Ingestion de données avec Kafka

14 heures
2 jour(s)
KAFKAINGESTION01

Objectifs

  • Décrire l’architecture de Kafka et son mode de fonctionnement dans un contexte multiclients
  • Publier et récupérer des données vers un cluster Kafka
  • Créer vos propres Consumers et Producers pour envoyer des données vers Kafka et lire des données depuis Kafka
  • Ecrire des applications de streaming avec Kafka Streams

Niveau requis

Avoir des connaissances de développement en Java ou C# ou Python.

Public concerné

Développeurs application, architectes souhaitant créer des applications qui interagissent avec Kafka.

Programme

Jour 1

  • Apache Kafka, les fondamentaux
  • Plateforme de diffusion d’évènements distribuée
  • L’abstraction des logs dans la diffusion d’évènements distribués
  • Brokers, topics, partitions et segments
  • Enregistrements (alias messages, événements)
  • Politiques de rétention
  • Producteurs, consommateurs et sérialisation
  • La réplication
  • Connexion Kafka
  • Installation et architecture
  • Installation et options avancées
  • Considération matérielle (hardware)
  • Fichiers journaux de Kafka
  • Réplication et fiabilité
  • Chemins d’écriture et de lecture de Kafka
  • Partitions, consumer groups et scalability
  • Exemples de travaux pratiques (à titre indicatif)
  • Installation de Kafka
  • Utilisation de Kafka « command line tools »
  • Producers sous Kafka
  • L’architecture d’un Producers Kafka
  • Le partitionnement basé sur les clés
  • Kafka Acks
  • Configuration des paramètres
  • Créer un fichier « producer.properties » personnalisé
  • Utilisation du Batching

Jour 2

  • Consumers sous Kafka
  • Les partitions et leurs rôles dans l’évolutivité et la tolérance aux pannes
  • Configuration des consumers
  • Créer un fichier « consumer.properties » personnalisé
  • Utiliser l’API du consommateur pour gérer les décalages
  • Optimiser les requêtes de récupération
  • Gestion des schémas dans Kafka
  • Introduction à Avro
  • Les schémas Avro
  • Utilisation du Schema Registry
  • Kafka Streams
  • Les motivations pour Kafka Streams
  • Les fondamentaux de Kafka Streams
  • Exploration d’une application Kafka Streams
  • Kafka Connect
  • Kafka Connect
  • Les connecteurs couramment utilisés
  • Expliquer les différences entre le mode autonome et le mode distribué
  • Configurer et utiliser Kafka Connect
  • Exemples de travaux pratiques (à titre indicatif)
  • Produire des données à Kafka et les consommer en temps réel
  • Création d’une application Kafka Streams pour effectuer en temps réel

Le contenu de ce programme peut faire l’objet d’adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités

Présentiel

Distanciel

Durée

14 heures
2 jour(s)

Prochaines sessions

Dates à venir

Formations intra-entreprise

Votre société a besoin d’une offre personnalisée ?
Contactez-nous pour obtenir un devis!