Fundamentos de los LLMs

Este curso introduce a profesionales que trabajan con IA generativa o quieren entender cómo funcionan los modelos de lenguaje de gran escala desde dentro. Dirigido a personas con curiosidad técnica sobre los LLMs que necesitan comprender qué ocurre bajo el capó cuando interactúan con un asistente de IA, el curso cubre los mecanismos esenciales: la tokenización del texto, el proceso de generación autoregresiva, el papel y las limitaciones de la ventana de contexto, la anatomía de una solicitud y los parámetros que controlan la variabilidad de las respuestas. Al finalizar, el participante será capaz de interpretar el comportamiento de un LLM en situaciones cotidianas —prompts largos, respuestas truncadas, aparente "olvido" de instrucciones— y tomar decisiones informadas sobre cómo estructurar sus solicitudes y ajustar los parámetros de generación.

Al finalizar el curso, el participante será capaz de:

• Identificar qué es un token y distinguir entre el texto visible y su segmentación interna en subunidades
• Explicar cómo un LLM genera texto a partir de una secuencia previa mediante predicción iterativa del siguiente token
• Relacionar la longitud del prompt y de la respuesta con el consumo de la ventana de contexto disponible
• Reconocer limitaciones derivadas de la ventana de contexto en tareas sencillas, como el aparente "olvido" de instrucciones tempranas
• Diferenciar entre instrucción, contexto de entrada e historial conversacional en una solicitud a un LLM
• Describir la función de los parámetros de generación como mecanismos que controlan la variabilidad de la respuesta

1. Tokens y tokenización Qué es un token y cómo difiere del texto visible; tokenización por subunidades (BPE); por qué una palabra puede generar varios tokens; diferencias entre caracteres, palabras y tokens; ejemplos con signos especiales, idiomas distintos al inglés y números
2. Generación autoregresiva Cómo un LLM predice el siguiente token usando el contexto previo; proceso iterativo token a token; diferencia entre entrenamiento (aprendizaje de patrones) e inferencia (generación); por qué el modelo no recupera respuestas de una base de datos
3. Ventana de contexto Qué es y cómo se mide en tokens; relación entre longitud del prompt, longitud de la respuesta y espacio disponible; limitaciones prácticas: truncamiento de instrucciones tempranas, documentos que superan el límite; estrategias básicas de mitigación
4. Anatomía de una solicitud Los tres componentes de una solicitud: instrucción (rol y tarea), contexto de entrada (datos para operar) e historial conversacional (turnos previos); diferencias entre cada parte; ejemplos de solicitudes mal estructuradas por mezcla de componentes
5. Parámetros de generación Función de temperature como control de variabilidad; relación entre temperatura baja y respuestas predecibles, temperatura alta y respuestas creativas; otros parámetros frecuentes (top_p, max_tokens); criterios para elegir temperatura según el tipo de tarea

• Acceso a un LLM conversacional (Claude, ChatGPT, Gemini o similar) con cuenta gratuita o de pago
• Acceso al Tokenizer Playground de OpenAI (platform.openai.com/tokenizer) para los ejercicios de tokenización
• Navegador web actualizado (Chrome, Firefox o Edge)
• Editor de texto básico para anotar observaciones durante los ejercicios (VS Code, Notepad++ o similar)

Ninguno requerido como requisito formal. Se recomienda haber cursado IIA01 — Introducción a la IA Generativa antes de este curso, ya que proporciona el contexto más amplio sobre los paradigmas de IA en el que se enmarcan los LLMs. No es necesario tener conocimientos de programación ni de matemáticas. Basta con familiaridad básica con herramientas digitales y haber interactuado de forma ocasional con algún asistente de IA como Claude, ChatGPT o Gemini.