Storm – Flux de données
Code stage
STORM01
Durée
14 heures | 2 jours
Certification
non
Objectifs pédagogiques
- Mettre en oeuvre Storm pour le traitement de flux de données.
Niveau requis
Avoir connaissance d'un langage de programmation comme Java ou Python.
Public concerné
Chefs de projets, data scientists, développeurs.
Programme
Introduction
Présentation de Storm
Fonctionnalités
Architecture
Langages supportés
Définitions
Spout
Bolt
Topology
Architecture
Etude des composants d’un cluster Storm
Master node « Nimbus »
Worker node
Positionnement par rapport à un cluster Hadoop
Le modèle de données
Différents types de flux
Premiers pas
Configuration d’un environnement de développement
Installation d’un cluster Storm
Exemple de travaux pratiques (à titre indicatif)
Travailler sur le projet storm-starter
Flux de données
Définition du nombre de flux dans un noeud
Création de topologies regroupants des flux entre différents noeuds
Communication entre flux en JSON
Lecture de flux d’origines diverses
JMS
Kafka
Haute disponibilité
Tolérance aux pannes
Principe de fiabilisation de master node
Worker node
Nimbus
Garantie de traitement des flux
Principe
Paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS et TOPOLOGY_ACKERS
Traitements temps réel avec Trident
Elasticité :
Traitements concurrents dans un cluster Storm
Ajouts de noeuds
Commande « Storm rebalance »
Le contenu de ce programme peut faire l’objet d’adaptation selon les niveaux, prérequis et besoins des apprenants.
Suivre en Distanciel
Suivre en Présentiel
Pour connaître les prochaines dates disponibles, en présentiel ou à distance, contactez-nous.
Pour connaître les prochaines dates disponibles, en présentiel ou à distance, contactez-nous.
Modalités
Présentiel, Classe à distance
Formation disponible
en intra-entreprise
Votre société a besoin d'une offre personnalisée ?
Contactez-nous