Prompt Engineering Avanzado

Curso de nivel avanzado dirigido a profesionales que ya diseñan y diagnostican prompts con criterio y necesitan operar sistemas de prompting en entornos de producción reales. El punto de partida es el dominio del diseño de system prompts, la iteración con evidencia y el diagnóstico de fallos; el objetivo es dar el salto a la producción: optimizar prompts para equilibrar calidad, coste y latencia, diseñar frameworks de evaluación automatizada con golden datasets y tests de regresión, arquitecturar pipelines multi-etapa con puntos de control y protocolos de fallo, evaluar la robustez frente a inputs adversariales, y aplicar selección dinámica de ejemplos y meta-prompting para escalar el diseño de prompts. Al finalizar, el participante será capaz de operar y mejorar sistemas de prompting en producción con criterio técnico y métricas objetivas.

Al finalizar el curso, el participante será capaz de:

• Optimizar un prompt para producción equilibrando calidad, coste y latencia, aplicando técnicas de compresión de contexto, caching de prefijos y selección de parámetros de inferencia, documentando el trade-off con métricas comparativas
• Diseñar un framework de evaluación automatizada de prompts con golden dataset representativo, métricas cuantificables y tests de regresión que detecten degradación ante cambios de prompt o de modelo
• Arquitecturar un pipeline de prompting multi-etapa para un caso de uso complejo, definiendo los puntos de control de calidad entre etapas y el protocolo de fallo ante outputs incorrectos
• Evaluar la robustez de un system prompt frente a inputs adversariales y edge cases, identificando vectores de ataque y rediseñando el prompt con salvaguardas verificables
• Diseñar un sistema de selección dinámica de ejemplos few-shot basado en similitud semántica, justificando cuándo mejora sobre few-shot estático y cuándo no aporta ventaja suficiente
• Aplicar meta-prompting para generar y refinar prompts automáticamente, evaluando los resultados con criterios explícitos y comparando la calidad frente al diseño manual

1. Optimización para producción Coste y latencia en sistemas LLM: tokens de entrada vs tokens de salida y su impacto diferenciado en el coste; técnicas de compresión de contexto: eliminación de instrucciones redundantes, compresión de ejemplos few-shot; caching de prefijos: cuándo activarlo y cuánto ahorro produce; parámetros de inferencia relevantes para la optimización: temperatura, max_tokens, top_p; metodología de optimización iterativa: medir antes de cambiar, cambiar una variable a la vez, documentar el trade-off; umbral de degradación de calidad aceptable según el caso de uso

2. Evaluación automatizada y tests de regresión Limitaciones de la evaluación manual y subjetiva de prompts; diseño del golden dataset: criterios de selección de casos representativos, cobertura de casos difíciles y ambiguos, validación de etiquetas; métricas por tipo de tarea: exactitud, precision/recall para clasificación, BLEU/ROUGE para generación, métricas de formato para outputs estructurados; umbrales de alerta y procedimiento de regresión ante cambio de prompt o modelo; integración del test de regresión en el flujo de despliegue

3. Pipelines multi-etapa Patrones de pipeline: secuencial, con routing condicional y con fan-out; criterios de output por etapa: formato, completitud, coherencia; puntos de control automatizables entre etapas; protocolo de fallo diferenciado: reintentar con el mismo prompt, reintentar con prompt alternativo, escalar a revisión humana, detener el pipeline; trazabilidad de inputs y outputs para diagnóstico de fallos; casos donde un único prompt complejo supera a un pipeline multi-etapa

4. Robustez adversarial y meta-prompting Vectores de ataque en sistemas LLM: jailbreak directo, prompt injection indirecta, escalada de privilegios, inputs fuera de scope; diseño de salvaguardas en el system prompt: instrucciones de prioridad, respuestas estándar ante redirecciones, validación de inputs; casos de prueba adversariales para verificar salvaguardas sin degradar el uso normal; selección dinámica de ejemplos few-shot: indexación en vector store, similitud semántica como criterio de recuperación, valor de k y filtrado de redundantes; meta-prompting: prompt generador, prompt de crítica, prompt de refinamiento; cuándo meta-prompting supera al diseño manual y cuándo no

• Acceso a un LLM con soporte de system prompt y API (Claude, GPT-4 o similar) — cuenta de pago requerida para los ejercicios de optimización de coste
• Python 3.x con pip para los ejercicios de selección dinámica de ejemplos (openai o anthropic, chromadb o faiss-cpu)
• Acceso a la API del proveedor elegido con clave activa
• Editor de código (VS Code recomendado) y terminal

→ PRE02 — Prompt Engineering: Diseño y evaluación (Intermedio, 6h)

• Estructurar un prompt con chain-of-thought para descomponer tareas de razonamiento multistep en pasos explícitos y verificables
• Diseñar un system prompt funcional adaptado a un caso de uso concreto: asistente conversacional, extractor de información o clasificador
• Traducir un objetivo de negocio ambiguo en un prompt completo con instrucción, contexto, restricciones y formato de salida definidos
• Comparar dos variantes de prompt para la misma tarea y seleccionar la más robusta justificando los criterios de decisión
• Iterar sobre un prompt usando los outputs como evidencia sistemática de mejora, sin depender de la intuición
• Diagnosticar si un output incorrecto tiene su causa en el prompt, en el modelo o en la ausencia de contexto o datos relevantes