AMBIENT IT : 06. Apache Kafka : centraliser les flux de données en temps réel
Organisme
AMBIENT IT
140 AV JEAN LOLIVE
93500 PANTIN
93500 PANTIN
Contact
Durée
21 heuresModalités
Formation
- Classe virtuelle
- Présentiel
Évaluation
Travaux pratiques, QCM de validation des acquis, évaluation à chaud et à froid.
Prix
Inter
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
882€ HT / personne
Intra
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
3528€ HT / groupe
4 stagiaires minimum
Public
Architectes, Chefs de projet, Développeurs, équipes DevOps…
Pré-requis
Avoir des notions d'architectures applicatives en entreprise, des connaissances des protocoles réseaux, de bonnes connaissances en Java ou autre langage. Des connaissances en Spring ou Node.js sont recommandées.
Objectifs pédagogiques
Comprendre le fonctionnement de Kafka et les principes de communications inter applications
Acquérir les bonnes pratiques de distribution de messages
Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes
Appréhender les différentes APIs de Kafka.
Mettre en œuvre KSQL
Travailler en sécurité avec Kafka
Programme détaillé
INTRODUCTION
- Historique et complexité des systèmes
- Le traitement en temps réel : une importance business
- Kafka : Une plateforme de données de flux
LES FONDAMENTAUX
- Un aperçu de Kafka et efficacité
- Producers
- Brokers
- Consumers
- Utilisation de ZooKeeper
INSTALLATION & ADMINISTRATION
- Installation et options avancés
- Considération matérielle (Hardware)
- Administrer Kafka
ARCHITECTURE
- Fichiers journaux de Kafka
- Réplication et fiabilité
- Chemins d’écriture et de lecture de Kafka
- Partitions, Consumer Groups et Scalability
DÉVELOPPER AVEC KAFKA
- Utiliser Maven pour la gestion de projet
- Accéder par programmation à Kafka
- Écrire un Producer in Java
- Utiliser REST API pour écrire un Producer
- Écrire un Consumer en Java
- Utiliser REST API pour écrire un Consumer
DÉVELOPPEMENT AVANCÉ AVEC KAFKA
- Créer un Consumer Multi-Thread
- Gestion des Offsets
- Consumer Rebalancing (rééquilibrage)
- Gestion manuelle des Offsets (Commits)
- Partitionnement des données
- Message Durability : gestion de la durée des messages
NOUVEAUTÉS DE LA VERSION KAFKA 3.0
- Nouvelles fonctionnalités de Kafka
- Changement d’API
- Amélioration de KRaft
- Amélioration de métadonnées
- Kafka Connect
- Option de configuration MirrorMaker 2
- Dépréciation de Java 8 et Scala 2.12 en Kafka
SCHEMA MANAGEMENT
- Introduction à Avro
- Avro Schemas
- Utilisation du Schema Registry
KAFKA CONNECT : DATA MOVEMENT
- Cas d’utilisation de Kafka Connect
- Les bases de Kafka Connect
- Modes : Standalone and Distributed
- Configuration du mode distribué
- Tracking Offsets
- Connector Configuration
- Comparaison d’utilisation avec des options avancées
KAFKA STREAMS
- Cas d’utilisation de Kafka Streams
- Kafka Streams : les fondamentaux Fundamentals
- Étude d’une application et usage de Kafka Streams