Ingestion et indexation de données avec Logstash et Elasticsearch

Objectifs pédagogiques

• Définir la stack ELK
• Identifier les enjeux et les cas d’utilisation d’un moteur de recherche
• Expliquer comment indexer des données Log
• Analyser les données Log

Programme

Introduction NoSQL
Nature et exigence de stockage
Regard sur les BDD relationnelles
Théorème de CAP
Les familles des BDD NoSQL
NoSQL, comparatif et use case
Stack ELK, présentation
L’histoire de Elastic Stack
Pourquoi Elastic Stack
Les composants de Elastic Stack
La donnée sur ES
Cas d’utilisation
Les fichiers de configuration
Exemple de travaux pratiques (à titre indicatif)
Installation de Elasticsearch
Logstash
Fonctionnement et concepts
Différence entre Logstash et Beats
Logstash vs outil ingestion Big Data
Installation et configuration de base
Type de données à ingérer
Création et configuration d’un pipeline
Exemple de travaux pratiques (à titre indicatif)
Installation de Elasticsearch
Gestion et analyseur de documents
Indexation, récupération et suppression de documents
Composants d’un index
Analyse de texte pour l’indexation et la recherche
Mapping et la configuration des index
Les analyzers
Recherche multi-champs
Tri
Pagination
Cas d’utilisation réel avec Elasticsearch et Logstash
Mettre en place une architecture Logstash, Kibana
Utilisation des Filebeat avec Logstash
Utilisation de Logstash pour l’indexation des fichiers CSV
Visualiser sur Kibana le résultat de l’indexation
Le contenu de ce programme peut faire l’objet d’adaptation selon les niveaux, prérequis et besoins des apprenants.