ORSYS : 06. Apache Kafka : centraliser les flux de données en temps réel
Organisme
92044 PARIS LA DEFENSE CEDEXVoir toutes ses formationsAutres organismes proposant cette formation
Durée
Modalités
- Classe virtuelle
- Présentiel
Développement d'un projet fil rouge faisant communiquer entre elles plusieurs applications en passant par Kafka.
Prix
Public
Architectes, Chefs de projet, Développeurs, équipes DevOps…
Pré-requis
Avoir des notions d'architectures applicatives en entreprise, des connaissances des protocoles réseaux, de bonnes connaissances en Java ou autre langage. Des connaissances en Spring ou Node.js sont recommandées.
Objectifs pédagogiques
Comprendre le fonctionnement de Kafka et les principes de communications inter applications
Acquérir les bonnes pratiques de distribution de messages
Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes
Appréhender les différentes APIs de Kafka.
Mettre en œuvre KSQL
Travailler en sécurité avec Kafka
Programme détaillé
Apache Kafka, centraliser les flux de données en temps réel
Un système unifié d'agents de messages
Cette formation vous permettra de maîtriser les agents de messages du projet open source Kafka, de la fondation Apache, pour la manipulation de flux de données en temps réel à faible latence. Vous apprendrez à utiliser ksqlDB, la mise en place de la sécurité des données et les outils de gestion de Kafka.
Objectifs pédagogiques
- Comprendre les principes de communications inter applications
- Appréhender l'architecture de Kafka
- Mettre en œuvre ksqlDB
- Travailler en sécurité avec Kafka
Déroulement de la formation :
- L'évolution des systèmes informatiques et domaines d'utilisation de Kafka
- Vue d'ensemble de Kafka
- Architecture à haute disponibilité
- Vue d'ensemble de ksqlDB et écosystème
- Utiliser ksqlDB
- Kafka Streams
- Sécurité avec Kafka
- Les outils autour de Kafka
Programme détaillé de la formation :
1. L’évolution des systèmes informatiques et domaines d’utilisation de Kafka
1/4 jour
- Les architectures applicatives en entreprise : cloud, microservices, big data, architectures élastiques, SOA.
- Communication entre applications.
- Utilité de Kafka.
- Les brokers de messages : producers, consumers, brokers.
- Comparaisons entre les différents brokers et Kafka.
2. Vue d’ensemble de Kafka
1/2 jour
- Les clusters.
- Les brokers.
- Les topics.
- Les partitions.
- Les offsets.
- Présentation de ZooKeeper. L’alternative future à ZooKeper.
Travaux pratiques
Installer et configurer kafca.
3. Architecture à haute disponibilité
1/2 jour
- Réplication et sécurité de la donnée : cohérence des messages, gestion des pannes de brokers, gestion des logs.
- Cluster de brokers : mise en place et configuration, monitoring, gestion des logs.
- Cluster de Zookeeper.
- Kafka Connect.
- Gestion des groupes et des charges.
4. Vue d'ensemble de ksqlDB et écosystème
1/4 jour
- Cas d'utilisation de ksqlDB : pourquoi ksqlDB, exemples de cas d'utilisation, ksqlDB et licensing.
- ksqlDB & Kafka.
- Utilisation interactive de ksqlDB.
- Architecture de ksqlDB.
- ksqlDB CLI.
- Les modes serveur de ksqlDB.
5. Utiliser ksqlDB
1/2 jour
- Les Streams et les Tables.
- Message Kafka et formats de données.
- Manipulation et agrégation de données.
- Fonctions définies par l'utilisateur (UDF).
- Enrichissement des données et jointures.
- Agrégations fenêtrées (Windowed opération).
- Métrique et observabilité.
Travaux pratiques
Utiliser ksqlDB (manipulation et agrégation de données).
6. Kafka Streams
1/2 jour
- Anatomie d’une application Streams.
- Configuration d’une application Streams.
- Topologie d’une application Streams.
- Opérations Stateless et Stateful.
- Kafka Streams DSL.
- Les opérations de type fenêtre glissante.
- L’API processeur.
7. Sécurité avec Kafka
1/4 jour
- Le chiffrement SSL.
- Configuration avec SASL.
- Utilisation d’ACL.
- Sécurisation : L’alternative future à Zookeeper.
Travaux pratiques
Mise en œuvre de la sécurité.
8. Les outils autour de Kafka
1/4 jour
- Outils de gestion de Kafka.
- Monitoring de Kafka.
- Apache Avro.
- Le "Schema Registry".
- Présentation de la plateforme Confluent : Les différences avec l’OpenSource.
Travaux pratiques
Monitorer, surveiller Kafka.