DOCAPOSTE INSTITUTE : 06. Apache Kafka : centraliser les flux de données en temps réel
Organisme
94200 IVRY-SUR-SEINEVoir toutes ses formationsAutres organismes proposant cette formation
Durée
Modalités
- Classe virtuelle
- Présentiel
Tout au long et/ou à l’issue de la formation : évaluation des acquis des stagiaires via des exercices, des QCM, des QUIZZ, des mises en situation et/ou des cas pratiques.
Prix
Public
Architectes, Chefs de projet, Développeurs, équipes DevOps…
Pré-requis
Avoir des notions d'architectures applicatives en entreprise, des connaissances des protocoles réseaux, de bonnes connaissances en Java ou autre langage. Des connaissances en Spring ou Node.js sont recommandées.
Objectifs pédagogiques
Comprendre le fonctionnement de Kafka et les principes de communications inter applications
Acquérir les bonnes pratiques de distribution de messages
Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes
Appréhender les différentes APIs de Kafka.
Mettre en œuvre KSQL
Travailler en sécurité avec Kafka
Programme détaillé
Apache Kafka : plateforme de streaming de données open source
- Complexité des systèmes
- L'avènement du traitement en temps réel
- Data streaming
Concepts de base de Kafka
- Kafka et ses généralités
- Producers
- Brokers
- Consumers
- Zookeeper
- Les différents systèmes traditionnels de brokers des messages
Bonnes pratiques pour la cohérence et éviter la perte de données
- Les concepts de réplication
- Cohérence de publication des messages
- Arrêt et panne d'un broker
- Rôle du Broker Controller
- Les fichiers de logs (de données) de Kafka
- Gestion des Offsets
Haute disponibilité (HA)
- L'architecture Kafka de référence
- Kafka Connect
- SchemaRegistry
- RESTProxy
- Multi-Data-centers
Gestion d'un cluster Kafka
- Installer et exécuter Kafka
- Surveillance et suivi d'un cluster
- Opérations de cluster de base
- Stockage et compression des journaux
- Elasticité d'un cluster
Optimisation des performances de Kafka
- Performance des Producers
- Performance des Brokers
- Panne d'un Broker et Délai de Recovery
- Répartition de la charge de consommation
- Test de performance des consommateurs
Sécuriser un cluster Kafka / Zookeeper
- Cryptage du réseau et authentification via SSL
- Authentification via SASL
- Chiffrer les données sur le disque
- Sécurisation de ZooKeeper, SchemaRegistry et RESTProxy
- Migration vers un cluster sécurisé
Kafka connect
- Motivation pour Kafka Connect
- Types de connecteurs
- Déployer Kafka Connect
- Mode de déploiement (autonome/distribué)
- Configurer le connecteur
- Envisager de mettre en œuvre
- Les différences avec d'autres systèmes