Ingestion de données avec Kafka

Objectifs pédagogiques

• Décrire l’architecture de Kafka et son mode de fonctionnement dans un contexte multiclients
• Publier et récupérer des données vers un cluster Kafka
• Créer vos propres Consumers et Producers pour envoyer des données vers Kafka et lire des données depuis Kafka
• Ecrire des applications de streaming avec Kafka Streams

Programme

Jour 1

• Apache Kafka, les fondamentaux
• Plateforme de diffusion d’évènements distribuée
• L’abstraction des logs dans la diffusion d’évènements distribués
• Brokers, topics, partitions et segments
• Enregistrements (alias messages, événements)
• Politiques de rétention
• Producteurs, consommateurs et sérialisation
• La réplication
• Connexion Kafka
• Installation et architecture
• Installation et options avancées
• Considération matérielle (hardware)
• Fichiers journaux de Kafka
• Réplication et fiabilité
• Chemins d’écriture et de lecture de Kafka
• Partitions, consumer groups et scalability
• Exemples de travaux pratiques (à titre indicatif)
• Installation de Kafka
• Utilisation de Kafka « command line tools »
• Producers sous Kafka
• L’architecture d’un Producers Kafka
• Le partitionnement basé sur les clés
• Kafka Acks
• Configuration des paramètres
• Créer un fichier « producer.properties » personnalisé
• Utilisation du Batching

Jour 2

• Consumers sous Kafka
• Les partitions et leurs rôles dans l’évolutivité et la tolérance aux pannes
• Configuration des consumers
• Créer un fichier « consumer.properties » personnalisé
• Utiliser l’API du consommateur pour gérer les décalages
• Optimiser les requêtes de récupération
• Gestion des schémas dans Kafka
• Introduction à Avro
• Les schémas Avro
• Utilisation du Schema Registry
• Kafka Streams
• Les motivations pour Kafka Streams
• Les fondamentaux de Kafka Streams
• Exploration d’une application Kafka Streams
• Kafka Connect
• Kafka Connect
• Les connecteurs couramment utilisés
• Expliquer les différences entre le mode autonome et le mode distribué
• Configurer et utiliser Kafka Connect
• Exemples de travaux pratiques (à titre indicatif)
• Produire des données à Kafka et les consommer en temps réel
• Création d’une application Kafka Streams pour effectuer en temps réel

Le contenu de ce programme peut faire l’objet d’adaptation selon les niveaux, prérequis et besoins des apprenants.