Los asistentes conversacionales que escriben, resumen y programan se basan en los llamados modelos de lenguaje grandes. Su comportamiento parece casi humano, pero su principio de funcionamiento es más modesto de lo que se piensa: aprenden a predecir qué fragmento de texto es probable que venga a continuación.
Un ordenador no entiende palabras, solo números. Por eso el texto se divide en unidades llamadas tokens, que pueden ser palabras completas, sílabas o fragmentos. Cada token se transforma en un vector numérico, una lista de valores que representa su significado aproximado según el contexto en que suele aparecer. Palabras con usos parecidos terminan con vectores cercanos entre sí.
En 2017 se presentó una arquitectura llamada transformer que cambió el campo. Su mecanismo clave es la atención: para interpretar cada token, el modelo calcula cuánta importancia darle a todos los demás tokens de la frase. Así, en una oración donde aparece la palabra banco, el modelo puede decidir si se refiere a una institución financiera o a un asiento según las palabras cercanas. Esta capacidad de considerar el contexto completo, y de procesarlo en paralelo, permitió entrenar modelos mucho más grandes.
El modelo se entrena con cantidades enormes de texto. La tarea es simple: dado un fragmento, predecir el siguiente token. Cada vez que se equivoca, se ajustan sus parámetros para mejorar. Después de repetir esto con billones de ejemplos, el modelo ha capturado gramática, datos del mundo, estilos de escritura e incluso formas de razonamiento aproximado, todo como subproducto de predecir texto.
Luego suele haber una etapa de ajuste fino con ejemplos de conversaciones y con retroalimentación humana, que enseña al modelo a responder de forma útil, ordenada y segura en lugar de limitarse a continuar texto.
Al recibir tu pregunta, el modelo calcula una distribución de probabilidad sobre todos los tokens posibles para el siguiente lugar y elige uno, con cierto grado de aleatoriedad controlado por un parámetro llamado temperatura. Luego añade ese token al texto y repite el proceso, uno tras otro, hasta completar la respuesta. Por eso la misma pregunta puede producir respuestas distintas.
Estos modelos destacan redactando, resumiendo, traduciendo y explicando. Pero tienen límites claros: pueden inventar datos con total seguridad, no tienen acceso a información posterior a su entrenamiento salvo que se les conecte a herramientas, y no verifican por sí mismos la verdad de lo que afirman. Conviene tratarlos como un colaborador rápido que necesita supervisión.
Da instrucciones claras, aporta contexto, pide que muestre su razonamiento cuando sea relevante y verifica siempre las cifras, citas y datos críticos. Evita compartir información sensible que no quieras exponer.
Un modelo solo puede considerar una cantidad limitada de texto a la vez, llamada ventana de contexto. Todo lo que queda fuera de ella se olvida durante la conversación. Las ventanas han crecido mucho, pero siguen teniendo un límite, y la calidad de la atención puede disminuir con textos muy largos. Por eso es útil resumir y reiterar la información importante.
La misma idea se ha extendido a imágenes, audio y video, dando lugar a modelos multimodales capaces de describir una foto o responder preguntas sobre un documento escaneado. También se conectan a herramientas externas, como buscadores, calculadoras o bases de datos, para compensar sus debilidades en datos actuales y en cálculo exacto.
Los modelos de lenguaje demuestran que una tarea sencilla, repetida a una escala gigantesca, puede producir capacidades sorprendentes. Comprender cómo funcionan nos permite usarlos con más confianza y con un escepticismo saludable.