Airflow — Iniciación

Este curso está dirigido a profesionales técnicos —desarrolladores, ingenieros de datos o perfiles DevOps— que se aproximan por primera vez a la orquestación de flujos de trabajo y desean comprender qué es Apache Airflow, para qué sirve y cómo diferenciarlo de otras herramientas del ecosistema de datos. A lo largo de las ocho horas de formación, el alumno recorrerá desde los fundamentos conceptuales de Airflow —su arquitectura interna y sus componentes clave— hasta la escritura y ejecución supervisada de su primer DAG funcional en un entorno local, aprendiendo además a leer la interfaz web para monitorizar estados de ejecución y diagnosticar errores básicos en tareas fallidas. Al finalizar el curso, el participante será capaz de levantar un entorno Airflow operativo, construir un DAG simple con dependencias explícitas entre tareas y localizar de forma autónoma la causa de un fallo de ejecución a través de los logs de la UI.

1. Describir el propósito de Airflow como orquestador de flujos de trabajo y distinguirlo conceptualmente de un sistema ETL o runner de transferencia de datos ante casos de uso concretos.
2. Identificar los componentes principales de la arquitectura de Airflow —Scheduler, Webserver, Executor y Metadata DB— y explicar el papel que desempeña cada uno en el ciclo de vida de un DAG.
3. Identificar y explicar los parámetros esenciales de definición de un DAG, incluyendo el comportamiento derivado de distintas combinaciones de catchup y start_date y cuándo se generan DAG Runs retroactivos.
4. Ejecutar un entorno Airflow local —mediante instalación standalone o Docker Compose— verificando el acceso al Webserver y la presencia de un DAG de ejemplo en la interfaz.
5. Aplicar, de forma guiada, la escritura de un DAG con al menos dos tareas enlazadas mediante dependencias explícitas, usando operadores estándar de Airflow.
6. Interpretar los logs de una tarea fallida en la UI para identificar el tipo de error y analizar la transición entre estados de ejecución —queued, running, success, failed, upstream_failed— en el contexto de un DAG Run concreto.

Bloque 1 — Qué es Airflow y por qué existe Se introduce el concepto de orquestación de flujos de trabajo y se sitúa Airflow en el ecosistema de herramientas de datos. Se analiza su propósito diferencial frente a soluciones ETL clásicas o runners de scripts, a partir de escenarios de caso de uso reales que permiten al alumno razonar cuándo Airflow es la herramienta adecuada y cuándo no lo es.

Bloque 2 — Arquitectura interna: componentes y ciclo de ejecución Se describen los cuatro elementos fundamentales de cualquier instalación de Airflow —Scheduler, Webserver, Executor y Metadata DB— explicando qué responsabilidad asume cada componente y cómo interactúan entre sí desde el momento en que se define un DAG hasta que una tarea termina su ejecución. Se presta especial atención al rol del Scheduler como motor de planificación y al Executor como despachador de trabajo.

Bloque 3 — Entorno local: instalación y primera exploración El alumno levanta un entorno Airflow funcional en su máquina, eligiendo entre la modalidad standalone (para entornos de desarrollo rápidos) y Docker Compose (para una instalación más representativa de producción). Se verifica que el Webserver responde correctamente, se recorre la interfaz web y se localiza el DAG de ejemplo incluido por defecto, familiarizándose con la navegación básica de la UI.

Bloque 4 — Anatomía de un DAG: parámetros de definición y planificación Se examinan en detalle los parámetros que gobiernan el comportamiento de un DAG —dag_id, start_date, schedule y catchup— a partir de un DAG de ejemplo proporcionado. Se dedica especial atención a la semántica de catchup: qué son los DAG Runs retroactivos, en qué circunstancias Airflow los genera automáticamente y cómo evitar ejecuciones no deseadas al desplegar un DAG con una start_date pasada.

Bloque 5 — Escritura del primer DAG funcional De forma guiada, el alumno escribe un DAG completo con al menos dos tareas que representan pasos secuenciales de un flujo real, utilizando PythonOperator o BashOperator según el caso de uso elegido. Se establecen dependencias explícitas entre tareas mediante la sintaxis de Airflow y se despliega el DAG en el entorno local para observar su ejecución en tiempo real.

Bloque 6 — Monitorización y diagnóstico básico de errores Se trabaja la lectura de la interfaz web como herramienta de observabilidad: el alumno aprende a identificar el estado de cada tarea dentro de un DAG Run —queued, running, success, failed y upstream_failed— y a razonar sobre las transiciones entre estados. A partir de un DAG con un fallo intencionado, se practica la navegación por los logs de tarea para distinguir los tipos de error más frecuentes en nivel de iniciación: errores de importación, excepciones Python no controladas y tareas no encontradas.

• Ordenador con sistema operativo Linux, macOS o Windows 10/11 con WSL2 habilitado.
• Python 3.8 o superior instalado y accesible desde la terminal (python --version).
• Pip actualizado (pip install --upgrade pip) con capacidad para instalar paquetes en un entorno virtual.
• Para la modalidad Docker Compose: Docker Desktop 4.x o superior instalado y en ejecución, con al menos 4 GB de RAM asignados al motor Docker.
• Navegador web moderno (Chrome, Firefox o Edge en versión reciente) para acceder al Webserver de Airflow en localhost.
• Editor de código con soporte Python: se recomienda VS Code con la extensión de Python, aunque cualquier editor equivalente es válido.
• Conexión a Internet durante las sesiones de instalación para la descarga de paquetes e imágenes Docker.

• Familiaridad básica con la línea de comandos (Linux/macOS o WSL en Windows): navegación por directorios, ejecución de comandos y lectura de salida de terminal.
• Conocimientos elementales de Python: comprensión de funciones, importación de módulos y manejo básico de excepciones.
• Comprensión conceptual de qué es un proceso, un servicio en segundo plano y un servidor web (no se requiere experiencia de administración de sistemas).
• Nociones generales sobre qué es un flujo de datos o pipeline, aunque no sea necesaria experiencia previa con Airflow ni con otras herramientas de orquestación.

Nota: Para Docker Compose (Bloque 3, modalidad alternativa), es recomendable tener Docker Desktop instalado y conocer los comandos básicos (docker compose up/down). No es un requisito bloqueante; la modalidad standalone no lo necesita.