Airflow — Avanzado

Dirigido a ingenieros de datos y DevOps que ya dominan la construcción y operación básica de pipelines en Airflow y necesitan llevar sus entornos a producción con garantías de escalabilidad, resiliencia y seguridad. A lo largo de las diez horas del curso, los participantes profundizarán en la arquitectura de pipelines complejos con TaskGroups y DAGs dinámicos, analizarán críticamente las estrategias de ejecución disponibles y aprenderán a optimizar los parámetros de concurrencia del entorno; además, automatizarán el ciclo de vida completo de los DAGs mediante pipelines CI/CD, diseñarán mecanismos de resiliencia con políticas de retry y SLAs, implantarán observabilidad con stacks de monitorización externos, gestionarán credenciales de forma segura a través de backends de secretos, y anticiparán el impacto de incrementos de carga antes de que generen degradaciones. Al finalizar, el participante será capaz de diseñar, operar y mantener entornos Airflow de nivel productivo que cumplan requisitos exigentes de rendimiento, fiabilidad y auditabilidad.

1. Describir los principios de idempotencia, parametrización y ausencia de dependencias circulares que rigen el diseño de pipelines complejos en Airflow, así como las diferencias arquitectónicas entre los ejecutores disponibles (LocalExecutor, CeleryExecutor y KubernetesExecutor) y los fundamentos del modelo de observabilidad basado en métricas del scheduler.
2. Arquitecturar pipelines de datos complejos empleando TaskGroups y Dynamic DAGs generados programáticamente, garantizando idempotencia y parametrización correcta.
3. Evaluar críticamente los trade-offs entre estrategias de ejecución, seleccionando y justificando el ejecutor adecuado para un escenario de carga y requisitos definidos.
4. Optimizar el rendimiento del entorno Airflow ajustando pools, slots, prioridades y parámetros de concurrencia para reducir tiempos de ejecución en un escenario de carga dado.
5. Automatizar el ciclo de vida de DAGs mediante un pipeline CI/CD que incluya linting, validación de integridad, tests unitarios de operadores customizados y despliegue automatizado al entorno productivo.
6. Arquitecturar estrategias de resiliencia configurando políticas de retry con backoff exponencial, SLAs con callbacks de alerting y dependencias inter-DAG con ExternalTaskSensor o TriggerDagRunOperator.
7. Implementar un sistema de observabilidad integrando métricas del scheduler y ejecutor con una plataforma externa (Prometheus + Grafana, Datadog u equivalente) e identificando umbrales de alerta críticos.
8. Automatizar la gestión segura de credenciales integrando Airflow con un backend de secretos externo y verificando que ninguna credencial queda expuesta en código, UI ni logs.
9. Anticipar el impacto de un incremento de carga significativo sobre la estabilidad del entorno, diseñando ajustes de configuración y arquitectura preventivos antes de que se manifiesten degradaciones.

Bloque 1 — Arquitectura avanzada de pipelines (2 h) Este bloque aborda el diseño de pipelines de alto nivel mediante TaskGroups y la generación programática de Dynamic DAGs. Se estudian los principios de parametrización, idempotencia y detección de dependencias circulares que diferencian un pipeline productivo de uno experimental. Se analiza en profundidad la anatomía de un DAG dinámico, sus patrones de factory y las implicaciones sobre el scheduler.

Bloque 2 — Estrategias de ejecución y optimización del entorno (2 h) Se comparan LocalExecutor, CeleryExecutor y KubernetesExecutor desde los ejes de escalabilidad, coste operativo, aislamiento de tareas y complejidad de despliegue, culminando en un ejercicio de selección justificada para escenarios reales. A continuación, se profundiza en la sintonización fina del entorno: configuración de pools y slots, asignación de prioridades, y ajuste de los parámetros parallelism, max_active_runs y max_active_tasks para maximizar el throughput en condiciones de alta concurrencia.

Bloque 3 — CI/CD para DAGs y gestión de credenciales (2 h) Este bloque cubre la automatización del ciclo de vida de los DAGs: construcción de un pipeline CI/CD con linting (flake8/ruff), validación de integridad, tests unitarios de operadores customizados y despliegue automatizado. Se complementa con la integración de Airflow con backends de secretos externos (AWS Secrets Manager, HashiCorp Vault o GCP Secret Manager) para garantizar que ninguna credencial sensible queda expuesta en código fuente, la UI ni los logs de ejecución.

Bloque 4 — Resiliencia y observabilidad en producción (2 h) Se diseñan estrategias de resiliencia para pipelines productivos: políticas de retry con backoff exponencial, definición de SLAs con callbacks de alerting y coordinación inter-DAG mediante ExternalTaskSensor y TriggerDagRunOperator. Paralelamente, se implementa un stack de observabilidad que recoge métricas del scheduler y el ejecutor en plataformas como Prometheus + Grafana o Datadog, definiendo umbrales de alerta críticos y paneles de seguimiento operativo.

Bloque 5 — Revisión de antipatrones y planificación de capacidad (2 h) El bloque final integra las competencias anteriores mediante el análisis crítico de DAGs existentes con problemas de rendimiento o mantenibilidad: se identifican antipatrones (XComs con datos voluminosos, lógica acoplada, falta de idempotencia) y se plantea una refactorización justificada con métricas. Seguidamente, se trabaja la planificación de capacidad ante incrementos de carga (×10 en DAGs activos o frecuencia de scheduling), diseñando ajustes preventivos de configuración y arquitectura antes de que emerjan degradaciones.

• Python 3.9 o superior con entorno virtual o gestor de entornos (conda, pyenv, uv).
• Docker Desktop (o Docker Engine + Docker Compose) con al menos 8 GB de RAM asignados al demonio.
• Airflow 2.7 o superior instalado en local vía imagen oficial apache/airflow o paquete PyPI.
• Acceso a un registry de contenedores (Docker Hub u equivalente) para los ejercicios de CI/CD.
• Cuenta de prueba en al menos uno de los siguientes servicios de secretos: AWS (Free Tier), GCP o HashiCorp Cloud Platform; alternativamente, instancia local de Vault en Docker.
• Prometheus y Grafana ejecutables en contenedor (se proporcionan los docker-compose.yml de referencia en el repositorio del curso).
• IDE con soporte Python (VS Code + extensión Python recomendado) y cliente Git.
• Acceso a internet para descarga de imágenes y documentación oficial.

Para aprovechar este curso el participante debe haber completado AIR02 o demostrar un dominio equivalente de los siguientes aspectos: creación y depuración de DAGs con operadores estándar y custom, uso de XComs, Variables y Connections, configuración básica de Airflow mediante airflow.cfg, gestión de entornos con Docker Compose, y comprensión del ciclo de scheduling y los estados de las tareas.