Apache Kafka intermedio

Este curso capacita a ingenieros y desarrolladores que ya manejan los fundamentos de Kafka para diseñar, configurar y operar pipelines de datos con criterio técnico. El curso cubre el diseño de topologías de topics con garantías de orden y políticas de retención adecuadas al caso de uso; la gestión de consumer groups y la verificación del rebalanceo de partitions; la configuración de compactación de logs; la integración con sistemas externos mediante Kafka Connect; la monitorización del consumer lag; la depuración de mensajes perdidos o duplicados analizando la semántica de entrega; y la configuración de replicación multi-broker para alta disponibilidad. Al finalizar, el participante será capaz de tomar decisiones justificadas de configuración y diagnosticar fallos en pipelines Kafka de complejidad media.

Al finalizar el curso, el participante será capaz de:

• Diseñar la topología de topics de un sistema con requisitos de ordenación, paralelismo y retención definidos, justificando el número de partitions y la estrategia de keys
• Configurar un consumer group con múltiples instancias y verificar el rebalanceo de partitions ante la entrada y salida de consumers usando kafka-consumer-groups.sh
• Configurar políticas de retención por tiempo y por tamaño y políticas de compactación de log en topics de distinto tipo, justificando cuándo usar delete y cuándo usar compact
• Integrar una fuente de datos externa usando Kafka Connect con un conector de origen existente, configurando el worker y verificando que los mensajes fluyen al topic destino
• Monitorizar el consumer lag de un pipeline usando kafka-consumer-groups.sh, identificar la causa de un lag creciente y proponer la corrección adecuada
• Depurar un pipeline con mensajes perdidos o duplicados identificando si la causa está en la configuración de acks del producer o en la estrategia de commit de offset del consumer
• Configurar la replicación de topics en un cluster multi-broker, verificar que las réplicas están en estado ISR y comprobar la tolerancia a fallos ante la caída del broker líder

1. Diseño de topología de topics Número de partitions y relación con el paralelismo de consumo; estrategia de key-based routing para garantías de orden por entidad; retention.ms, retention.bytes y cálculo de la retención necesaria; diseño de múltiples topics para dominios distintos
2. Consumer groups: configuración y rebalanceo Configuración de group.id, session.timeout.ms y heartbeat.interval.ms; triggers del rebalanceo (entrada, salida y timeout de consumer); lectura de kafka-consumer-groups.sh --describe; interpretación del campo LAG y del valor -1
3. Retención y compactación de logs cleanup.policy=delete vs cleanup.policy=compact; casos de uso de la compactación (topics de estado por clave); combinación compact,delete; ajuste de retention.ms, retention.bytes y min.cleanable.dirty.ratio
4. Integración con sistemas externos: Kafka Connect Arquitectura del worker y del conector; diferencia entre source connector y sink connector; configuración JSON del conector y despliegue mediante la API REST (POST /connectors); verificación del estado con GET /connectors/<nombre>/status
5. Monitorización y depuración de pipelines Métricas de consumer lag y su interpretación; causas de lag creciente (tasa de consumo vs producción); semántica de entrega at-most-once, at-least-once y exactly-once; configuración de acks, retries y enable.idempotence en el producer; commit de offset antes o después del procesamiento y sus consecuencias
6. Replicación multi-broker y alta disponibilidad replication-factor, ISR (In-Sync Replicas) y min.insync.replicas; elección de líder ante la caída de un broker; verificación del ISR con kafka-topics.sh --describe; efecto de acks=all cuando el ISR no satisface min.insync.replicas

• Docker Desktop 4.x o superior con un cluster multi-broker Kafka (3 brokers) en Docker Compose
• Kafka 3.6 o superior (imagen Docker oficial o Confluent Platform) con scripts CLI disponibles
• curl o cliente REST (Postman, Insomnia) para interactuar con la API REST de Kafka Connect
• Python 3.11 o superior con confluent-kafka 2.x para ejercicios de producer/consumer avanzado
• VS Code o editor equivalente con terminal integrada

→ KFK01 — Apache Kafka fundamentos (Iniciación, 8h)

• Identificar los componentes del modelo Kafka (broker, topic, partition, offset, producer, consumer) y el flujo de mensajes
• Describir cómo Kafka garantiza el orden mediante partitions y la estrategia de key-based routing
• Ejecutar un broker Kafka en local con Docker y verificar su operatividad
• Publicar y consumir mensajes con la CLI de Kafka y con un cliente Python básico
• Describir el modelo de consumer group y la distribución de partitions entre consumers
• Identificar y diagnosticar los errores frecuentes de un pipeline básico