Aller au contenu principal

AMBIENT IT : 06. Apache Kafka : centraliser les flux de données en temps réel

Durée

21 heures

Modalités

Formation
  • Classe virtuelle
  • Présentiel
Évaluation

Travaux pratiques, QCM de validation des acquis, évaluation à chaud et à froid.

Prix

Inter
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
882€ HT / personne
Intra
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
3528€ HT / groupe
4 stagiaires minimum

Public

Architectes, Chefs de projet, Développeurs, équipes DevOps…

Pré-requis

Avoir des notions d'architectures applicatives en entreprise, des connaissances des protocoles réseaux, de bonnes connaissances en Java ou autre langage. Des connaissances en Spring ou Node.js sont recommandées.

Objectifs pédagogiques

Comprendre le fonctionnement de Kafka et les principes de communications inter applications

Acquérir les bonnes pratiques de distribution de messages

Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes

Appréhender les différentes APIs de Kafka.

Mettre en œuvre KSQL

Travailler en sécurité avec Kafka

Programme détaillé

INTRODUCTION

  • Historique et complexité des systèmes
  • Le traitement en temps réel : une importance business
  • Kafka : Une plateforme de données de flux

 

LES FONDAMENTAUX

  • Un aperçu de Kafka et efficacité
  • Producers
  • Brokers
  • Consumers
  • Utilisation de ZooKeeper

 

INSTALLATION & ADMINISTRATION

  • Installation et options avancés
  • Considération matérielle (Hardware)
  • Administrer Kafka

 

ARCHITECTURE

  • Fichiers journaux de Kafka
  • Réplication et fiabilité
  • Chemins d’écriture et de lecture de Kafka
  • Partitions, Consumer Groups et Scalability

 

DÉVELOPPER AVEC KAFKA

  • Utiliser Maven pour la gestion de projet
  • Accéder par programmation à Kafka
  • Écrire un Producer in Java
  • Utiliser REST API pour écrire un Producer
  • Écrire un Consumer en Java
  • Utiliser REST API pour écrire un Consumer

 

DÉVELOPPEMENT AVANCÉ AVEC KAFKA

  • Créer un Consumer Multi-Thread
  • Gestion des Offsets
  • Consumer Rebalancing (rééquilibrage)
  • Gestion manuelle des Offsets (Commits)
  • Partitionnement des données
  • Message Durability : gestion de la durée des messages

 

NOUVEAUTÉS DE LA VERSION KAFKA 3.0

  • Nouvelles fonctionnalités de Kafka
  • Changement d’API
  • Amélioration de KRaft
  • Amélioration de métadonnées
  • Kafka Connect
  • Option de configuration MirrorMaker 2
  • Dépréciation de Java 8 et Scala 2.12 en Kafka

 

SCHEMA MANAGEMENT

  • Introduction à Avro
  • Avro Schemas
  • Utilisation du Schema Registry

 

KAFKA CONNECT : DATA MOVEMENT

  • Cas d’utilisation de Kafka Connect
  • Les bases de Kafka Connect
  • Modes : Standalone and Distributed
  • Configuration du mode distribué
  • Tracking Offsets
  • Connector Configuration
  • Comparaison d’utilisation avec des options avancées

 

KAFKA STREAMS

  • Cas d’utilisation de Kafka Streams
  • Kafka Streams : les fondamentaux Fundamentals
  • Étude d’une application et usage de Kafka Streams

Sessions

Filtrer les résultats
Modalités pédagogiques
Formation synchrone se déroulant avec la présence physique du (des) formateur(s) et du (des) apprenant(s) réunis dans un même lieu de formation.
Formation combinant des séquences en présentiel et des séquences à distance synchrones ou asynchrones.
Formation à distance, asynchrone, s’appuyant sur une plateforme d’apprentissage, pouvant être complétée par d’autres modalités de formation à distance (visio-conférence…)
Formation à distance, synchrone, s’appuyant sur un dispositif de visio-conférence. La classe virtuelle recrée à distance les conditions d’une formation en salle traditionnelle.
Type de formation
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
Options
Les compétences professionnelles visées par la formation sont validées via un test permettant d’obtenir une certification officielle.
Ces sessions ne peuvent être ni annulées ni reportées par l’organisme de formation.