En el dinámico campo de la inteligencia artificial (IA), la capacidad de adaptar modelos de lenguaje a las necesidades específicas de diferentes industrias está cobrando relevancia. A pesar de que los modelos de lenguaje de gran tamaño son eficientes en una amplia gama de tareas de lenguaje natural, su efectividad disminuye en contextos con terminologías específicas, como sucede en ciertos sectores de negocios. Esta discrepancia puede crear inconvenientes al gestionar datos textuales de dominios altamente especializados, donde el conocimiento intrínseco del modelo no es suficiente para ofrecer soluciones efectivas.


Un claro ejemplo es la industria automotriz, donde los diagnósticos precisos dependen del uso de códigos específicos que los usuarios no siempre proporcionan. Estos códigos, como el P0300 para fallos de encendido o el C1201 para errores en el sistema ABS, son esenciales. En su ausencia, un modelo de lenguaje de propósito general podría enfrentar dificultades, lo que podría resultar en diagnósticos erróneos o respuestas carentes de sentido. Por ejemplo, si un cliente reporta que su motor «funciona de manera irregular» sin un código específico, el modelo podría proponer una serie de problemas potenciales, muchos de los cuales no serían relevantes y podrían llevar a conclusiones incorrectas.


Ante esta situación, la personalización de modelos de lenguaje de pequeño tamaño (SLMs) está emergiendo como una solución eficaz.