Fundamentos de los LLMs: Prompting Avanzado e Integración

Curso de nivel intermedio dirigido a profesionales que ya comprenden cómo funciona un LLM internamente y quieren llevar su capacidad de trabajo con modelos de lenguaje al siguiente nivel: diseñar prompts efectivos con patrones avanzados, seleccionar la estrategia de adaptación correcta para cada caso de uso, detectar y mitigar alucinaciones, gestionar documentos que superan la ventana de contexto, optimizar el coste de la API y construir aplicaciones conversacionales con manejo robusto de errores. Al finalizar, el participante será capaz de integrar un LLM en una aplicación real con criterios técnicos de calidad, fiabilidad y coste.

Al finalizar el curso, el participante será capaz de:

• Diseñar prompts usando patrones avanzados —few-shot learning, chain-of-thought y output estructurado— seleccionando el patrón más adecuado según la tarea y verificando la mejora en calidad y consistencia respecto a un prompt básico
• Comparar las principales estrategias de adaptación de un LLM —prompt engineering, RAG y fine-tuning— y seleccionar la más adecuada para un caso de uso dado, justificando la decisión con criterios de coste, datos disponibles, tipo de conocimiento necesario y latencia
• Detectar alucinaciones en las respuestas de un LLM —distinguiendo entre alucinaciones factuales, de atribución y de coherencia— y aplicar estrategias de mitigación evaluando el impacto de cada una en la tasa de alucinaciones
• Gestionar conversaciones y documentos que superan la ventana de contexto aplicando estrategias de truncado inteligente, ventana deslizante y resumen acumulativo, justificando la elección según el tipo de tarea
• Estimar el coste de un sistema basado en LLM a partir del consumo de tokens, comparar el coste entre modelos e identificar al menos tres palancas de optimización implementando al menos una y midiendo el ahorro
• Integrar la API de un LLM en una aplicación Python implementando manejo de errores de la API, gestión del historial conversacional y uso de streaming para mejorar la experiencia de usuario

1. Patrones avanzados de prompting Few-shot learning: por qué los ejemplos mejoran la consistencia frente al zero-shot, cuántos ejemplos son suficientes, cómo seleccionar ejemplos representativos; chain-of-thought (CoT): cuándo aplicarlo, formulaciones efectivas, impacto en razonamiento multistep; output estructurado: especificación de formato JSON en el prompt, uso de exemplos few-shot para el contrato de salida, manejo de campos ausentes con null
2. Estrategias de adaptación: prompt engineering, RAG y fine-tuning Criterios de decisión: frecuencia de actualización del conocimiento, tipo de conocimiento (procedimental vs factual), coste de reentrenamiento, trazabilidad; cuándo usar RAG (conocimiento actualizable, trazabilidad necesaria); cuándo usar fine-tuning (comportamiento consistente, tono, formato de salida a escala); cuándo es suficiente con prompt engineering; cómo combinar las tres estrategias en una arquitectura real
3. Detección y mitigación de alucinaciones Tipos de alucinación: factual, de atribución, de coherencia; causas: completud estadística, falta de conocimiento, instrucciones ambiguas; estrategias de mitigación: grounding con contexto (RAG), instrucción de incertidumbre explícita, verificación cruzada; cómo medir la tasa de alucinaciones con un conjunto de evaluación
4. Gestión de contextos largos Ventana deslizante: mantener historial reciente + resumen comprimido de turnos anteriores; map-reduce para documentos: dividir en secciones, resumir por sección, reducir resúmenes parciales; cuándo usar RAG vs map-reduce según el tipo de tarea; trade-off entre coste, latencia y coherencia de cada estrategia
5. Economía de tokens y optimización de costes Cálculo del coste: tokens de input vs output, precios por modelo; prompt caching: cuándo es rentable, coste de escritura y lectura; selección de modelo por subtarea: modelo potente para generación, modelo barato para clasificación; reducción del system prompt; medición y monitorización del gasto
6. Integración de la API con Python Estructura de una llamada a la API: mensajes, parámetros, respuesta; gestión del historial conversacional: array de mensajes acumulado; streaming: por qué mejora la experiencia de usuario, cómo implementarlo; manejo de errores: rate limits (429) con exponential backoff, timeouts, errores de servidor; patrones de retry y circuit breaker

• Python 3.9+ con pip: anthropic o openai (SDK del proveedor elegido), tiktoken (para conteo de tokens)
• Cuenta con créditos en un proveedor de LLM API (Anthropic, OpenAI) — tier de pago o créditos de prueba suficientes para los ejercicios
• Editor de código (VS Code) con extensión Jupyter para los notebooks de los ejercicios
• Acceso a internet para las llamadas a la API durante los ejercicios en clase

→ LLM01 — Fundamentos de los LLMs (Iniciación, 4h)

• Identificar qué es un token y distinguir entre el texto visible y su segmentación interna en subunidades
• Explicar cómo un LLM genera texto a partir de una secuencia previa mediante predicción iterativa del siguiente token
• Relacionar la longitud del prompt y de la respuesta con el consumo de la ventana de contexto disponible
• Reconocer limitaciones derivadas de la ventana de contexto en tareas sencillas
• Diferenciar entre instrucción, contexto de entrada e historial conversacional en una solicitud
• Describir la función de los parámetros de generación como mecanismos que controlan la variabilidad de la respuesta