Apache Kafka fundamentos

Este curso introduce Apache Kafka como plataforma de streaming distribuida para participantes que trabajan en entornos backend, datos o DevOps y necesitan entender cómo funciona el modelo productor-consumidor sobre topics particionados. El curso cubre la arquitectura de brokers, topics y partitions; las garantías de orden y persistencia mediante offsets; la puesta en marcha de un broker local con Docker; la publicación y consumo de mensajes con la CLI de Kafka; el modelo de consumer groups y distribución de particiones; y la implementación de un cliente básico en Python. Al finalizar, el participante será capaz de levantar un entorno Kafka, publicar y consumir mensajes, y diagnosticar los errores más frecuentes de un pipeline básico.

Al finalizar el curso, el participante será capaz de:

• Identificar los componentes del modelo Kafka (broker, topic, partition, offset, producer, consumer) y describir el papel de cada uno en el flujo de mensajes
• Describir cómo Kafka garantiza el orden y la persistencia de mensajes usando particiones, offsets y la estrategia de key-based routing
• Ejecutar un broker de Kafka en local con Docker y verificar que está operativo consultando sus topics y logs
• Publicar y consumir mensajes desde la línea de comandos usando los scripts de Kafka, controlando el offset de inicio y la partition destino
• Describir qué es un consumer group y cómo Kafka distribuye las particiones entre sus consumers para garantizar paralelismo y exclusividad
• Escribir un producer y un consumer básicos en Python usando la librería confluent-kafka, garantizando el envío con flush() y controlando el punto de lectura con auto.offset.reset
• Identificar los errores frecuentes al publicar y consumir mensajes (UNKNOWN_TOPIC_OR_PART, NoBrokersAvailable, OFFSET_OUT_OF_RANGE, heartbeat timeout) y describir cómo diagnosticarlos

1. Arquitectura de Kafka y modelo de mensajería Brokers, topics, partitions, offsets, producers y consumers; flujo de un mensaje desde el producer hasta el consumer; garantías de orden dentro de una partition; relación entre número de partitions y paralelismo de consumo
2. Entorno local con Docker y herramientas CLI Configuración de un broker Kafka con KRaft en Docker Compose; verificación de la operatividad con kafka-topics.sh --list; publicación de mensajes con kafka-console-producer.sh; consumo desde el principio y desde un offset específico con kafka-console-consumer.sh
3. Consumer groups y distribución de particiones Concepto de consumer group, asignación exclusiva de partitions a consumers, regla de paralelismo (consumers ≤ partitions), efecto de añadir o eliminar consumers, introducción al concepto de lag
4. Cliente Python: producer y consumer con confluent-kafka Configuración del producer con bootstrap.servers y key.serializer; envío de mensajes con produce() y flush(); configuración del consumer con group.id y auto.offset.reset; lectura de mensajes con poll() y commit de offsets
5. Diagnóstico de errores frecuentes Errores de configuración del broker y del cliente; UNKNOWN_TOPIC_OR_PART, NoBrokersAvailable, OFFSET_OUT_OF_RANGE, heartbeat timeout y Message too large; estrategia de lectura de logs del broker y del cliente para identificar la causa raíz

• Docker Desktop 4.x o superior (Linux, macOS o WSL2 en Windows) para ejecutar el broker Kafka en local
• Python 3.11 o superior con pip para instalar el cliente confluent-kafka
• confluent-kafka 2.x instalado en el entorno de trabajo (pip install confluent-kafka)
• VS Code o cualquier editor con terminal integrada para editar y ejecutar scripts Python
• Terminal con acceso a los scripts de Kafka (incluidos en la imagen Docker o descargados en la máquina)

No se requiere experiencia previa con Kafka ni con sistemas de mensajería. El participante debe ser capaz de ejecutar comandos en la terminal, leer un archivo YAML básico y escribir funciones sencillas en Python con bucles y condicionales. No es necesario haber trabajado con Docker en profundidad, aunque tener instalado Docker Desktop y haber ejecutado algún docker run facilitará el arranque.