Aller au contenu principal

ORSYS : 06. Apache Kafka : centraliser les flux de données en temps réel

Durée

21 heures

Modalités

Formation
  • Classe virtuelle
  • Présentiel
Évaluation

Développement d'un projet fil rouge faisant communiquer entre elles plusieurs applications en passant par Kafka.

Prix

Inter
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
1102.5€ HT / personne
Intra
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
4961.25€ HT / groupe
4 stagiaires minimum

Public

Architectes, Chefs de projet, Développeurs, équipes DevOps…

Pré-requis

Avoir des notions d'architectures applicatives en entreprise, des connaissances des protocoles réseaux, de bonnes connaissances en Java ou autre langage. Des connaissances en Spring ou Node.js sont recommandées.

Objectifs pédagogiques

Comprendre le fonctionnement de Kafka et les principes de communications inter applications

Acquérir les bonnes pratiques de distribution de messages

Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes

Appréhender les différentes APIs de Kafka.

Mettre en œuvre KSQL

Travailler en sécurité avec Kafka

Programme détaillé

Apache Kafka, centraliser les flux de données en temps réel

Un système unifié d'agents de messages

Cette formation vous permettra de maîtriser les agents de messages du projet open source Kafka, de la fondation Apache, pour la manipulation de flux de données en temps réel à faible latence. Vous apprendrez à utiliser ksqlDB, la mise en place de la sécurité des données et les outils de gestion de Kafka.

 

Objectifs pédagogiques

  1. Comprendre les principes de communications inter applications
  2. Appréhender l'architecture de Kafka
  3. Mettre en œuvre ksqlDB
  4. Travailler en sécurité avec Kafka 

 

Déroulement de la formation :

  1. L'évolution des systèmes informatiques et domaines d'utilisation de Kafka
  2. Vue d'ensemble de Kafka
  3. Architecture à haute disponibilité
  4. Vue d'ensemble de ksqlDB et écosystème
  5. Utiliser ksqlDB
  6. Kafka Streams
  7. Sécurité avec Kafka
  8. Les outils autour de Kafka

 

Programme détaillé de la formation :

 

1. L’évolution des systèmes informatiques et domaines d’utilisation de Kafka

1/4 jour

- Les architectures applicatives en entreprise : cloud, microservices, big data, architectures élastiques, SOA.

- Communication entre applications.

- Utilité de Kafka.

- Les brokers de messages : producers, consumers, brokers.

- Comparaisons entre les différents brokers et Kafka.  

 

 2. Vue d’ensemble de Kafka

1/2 jour

- Les clusters.

- Les brokers.

- Les topics.

- Les partitions.

- Les offsets.

- Présentation de ZooKeeper. L’alternative future à ZooKeper.

Travaux pratiques

Installer et configurer kafca.

 

 3. Architecture à haute disponibilité

1/2 jour

- Réplication et sécurité de la donnée : cohérence des messages, gestion des pannes de brokers, gestion des logs.

- Cluster de brokers : mise en place et configuration, monitoring, gestion des logs.

- Cluster de Zookeeper.

- Kafka Connect.

- Gestion des groupes et des charges.  

 

 4. Vue d'ensemble de ksqlDB et écosystème

1/4 jour

- Cas d'utilisation de ksqlDB : pourquoi ksqlDB, exemples de cas d'utilisation, ksqlDB et licensing.

- ksqlDB & Kafka.

- Utilisation interactive de ksqlDB.

- Architecture de ksqlDB.

- ksqlDB CLI.

- Les modes serveur de ksqlDB.  

 

 5. Utiliser ksqlDB

1/2 jour

- Les Streams et les Tables.

- Message Kafka et formats de données.

- Manipulation et agrégation de données.

- Fonctions définies par l'utilisateur (UDF).

- Enrichissement des données et jointures.

- Agrégations fenêtrées (Windowed opération).

- Métrique et observabilité.

Travaux pratiques

Utiliser ksqlDB (manipulation et agrégation de données).

 

 6. Kafka Streams

1/2 jour

- Anatomie d’une application Streams.

- Configuration d’une application Streams.

- Topologie d’une application Streams.

- Opérations Stateless et Stateful.

- Kafka Streams DSL.

- Les opérations de type fenêtre glissante.

- L’API processeur.  

 

 7. Sécurité avec Kafka

1/4 jour

- Le chiffrement SSL.

- Configuration avec SASL.

- Utilisation d’ACL.

- Sécurisation : L’alternative future à Zookeeper.

Travaux pratiques

Mise en œuvre de la sécurité.

 

 8. Les outils autour de Kafka

1/4 jour

- Outils de gestion de Kafka.

- Monitoring de Kafka.

- Apache Avro.

- Le "Schema Registry".

- Présentation de la plateforme Confluent : Les différences avec l’OpenSource.

Travaux pratiques

Monitorer, surveiller Kafka.

Sessions

Filtrer les résultats

49 résultats

Modalités pédagogiques
Formation synchrone se déroulant avec la présence physique du (des) formateur(s) et du (des) apprenant(s) réunis dans un même lieu de formation.
Formation combinant des séquences en présentiel et des séquences à distance synchrones ou asynchrones.
Formation à distance, asynchrone, s’appuyant sur une plateforme d’apprentissage, pouvant être complétée par d’autres modalités de formation à distance (visio-conférence…)
Formation à distance, synchrone, s’appuyant sur un dispositif de visio-conférence. La classe virtuelle recrée à distance les conditions d’une formation en salle traditionnelle.
Type de formation
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
Options
Les compétences professionnelles visées par la formation sont validées via un test permettant d’obtenir une certification officielle.
Ces sessions ne peuvent être ni annulées ni reportées par l’organisme de formation.

0 résultat