Aller au contenu principal

ORSYS : 07. Talend : intégration de données pour le Big Data

Durée

21 heures

Modalités

Formation
  • Classe virtuelle
  • Présentiel
Évaluation

Succession de mini-projets donnant lieu à la conception de jobs Talend Big Data de difficulté croissante.

Prix

Inter
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
1102.5€ HT / personne
Intra
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
4961.25€ HT / groupe
4 stagiaires minimum

Public

Consultants BI, Architectes, Chefs de projets, Gestionnaires de données ou toute personnes devant gérer des flux de données. 

Pré-requis

Avoir des connaissances en Hadoop, Spark et Kafka

Objectifs pédagogiques

Maîtriser Talend dans un environnement Big Data

Se servir de Talend comme lien entre les fichiers, applications et bases de données

Acquérir la philosophie de l'outil

Adopter des bonnes pratiques et concevoir des Systèmes d’informations flexibles et bustes

Être capable d'implémenter ses Jobs

Lire et écrire des données sur HDFS et dans des bases de données NoSQL avec des Jobs Talend

Réaliser des Jobs de transformation à l'aide de Pig et Hive

Gérer la qualité de la donnée avec Talend

Utiliser Scoop pour faciliter la migration de bases de données relationnelles dans Hadoop

Maîtriser l'utilisation de la bibliothèque de composants

Effectuer des traitements ETL (Extraction, Transform and Load) simple et complexes de bout en bout

Programme détaillé

Talend intégration de données pour le Big Data

La plateforme d'intégration de données de Talend étend ses possibilités aux technologies Big Data que sont Hadoop (HDFS, HBase,  HCatalog, Hive et Pig) et les bases NoSQL Cassandra et MongoDB. Ce cours vous apportera les bases pour bien utiliser les composants Talend crées pour communiquer avec les systèmes Big Data.

 

Objectifs pédagogiques

  1. Maîtriser Talend dans un environnement Big Data
  2. Se servir de Talend comme lien entre les fichiers, applications et bases de données
  3. Acquérir la philosophie de l'outil
  4. Adopter des bonnes pratiques et concevoir des Systèmes d’informations flexibles et robustes
  5. Être capable d'implémenter ses Jobs
  6. Lire et écrire des données sur HDFS et dans des bases de données NoSQL avec des Jobs Talend
  7. Réaliser des Jobs de transformation à l'aide de Pig et Hive
  8. Gérer la qualité de la donnée avec Talend
  9. Utiliser Sqoop pour faciliter la migration de bases de données relationnelles dans Hadoop
  10.  Maîtriser l'utilisation de la bibliothèque de composants
  11. Effectuer des traitements ETL (Extraction, Transform and Load) simple et complexes de bout en bout

 

Déroulement de la formation :

  1. Présentation de Talend Open Studio
  2. Concevoir des Jobs
  3. Intégration de données dans un cluster et des bases de données NoSQL
  4. Import/Export avec SQOOP
  5. Effectuer des manipulations sur les données
  6. Architecture et bonnes pratiques dans un cluster Hadoop
  7. Analyser et entreposer vos données avec Hive

 

Programme détaillé de la formation :

 

 1. Présentation de Talend Open Studio

1/2 jour

-  L'intégration de données. Les solutions ETL.

-  Le Big Data. Données non structurées. Bases de données NoSQL.

-  L'écosystème Hadoop (HDFS, MapReduce, HBase, Hive, Pig...).

- TOS for Data Integration : Intégration des données.

- TOS for Data Quality : gestion de la qualité de la donnée.

- TOS for Big Data.

-  Philosophie du produit.

Travaux pratiques

Installation/configuration de TOS for Big Data. Prise en main.

 

 2. Concevoir des Jobs

1/2 jour

-  Présentation de Business Modeler, de Job Designer.

- Composants de transformation simples.

- Visualiser du code généré, exécuter un job.

- Paramétrer les jobs.

-  Créer et gérer ses propres variables.

-  Bonnes pratiques de conception.

Travaux pratiques

Développement d'un job se connectant à une source de données, filtrage, transformation et stockage du résultat dans un fichier.

 

 3. Intégration de données dans un cluster et des bases de données NoSQL

1/3 jour

- Définition des métadonnées de connexion du cluster Hadoop.

- Connexion à une base de MongoDB, Neo4j, Cassandra ou Hbase et export de données.

- Intégration simple de données avec un cluster Hadoop.

-  Présentation de composants d’extension.

- Utilisation du composant d’extension : Capture de tweets et importation directe dans HDFS.

Travaux pratiques

Lire des tweets et les stocker sous forme de fichiers dans HDFS, analyser la fréquence des thèmes abordés et mémorisation du résultat dans HBase.

 

 4. Import / Export avec SQOOP

1/3 jour

- Utiliser Sqoop pour importer, exporter, mettre à jour des données entre systèmes RDBMS et HDFS.

- Importer/exporter partiellement, de façon incrémentale de tables.

- Importer/Exporter une base SQL depuis et vers HDFS.

- Les formats de stockage dans le Big Data (AVRO, Parquet, ORC…).

Travaux pratiques

Réaliser une migration de tables relationnelles sur HDFS et réciproquement.

 

 5. Effectuer des manipulations sur les données

1/2 jour

- Présentation de la brique PIG et de son langage PigLatin.

- Principaux composants Pig de Talend, conception de flux Pig.

- Développement de routines UDF.

Travaux pratiques

Dégager les tendances d’utilisation d’un site Web à partir de l’analyse de ses logs.

 

 6. Architecture et bonnes pratiques dans un cluster Hadoop

1/2 jour

- Concevoir un stockage efficient dans HADOOP.

- Datalake versus Datawarehouse, doit-on choisir ?

- HADOOP et le Plan de Retour d’Activité (PRA) en cas d’incident majeur.

- Automatiser ses workflows.

Travaux pratiques

Créer son datalake et automatiser son fonctionnement.

 

 7. Analyser et entreposer vos données avec Hive

1/3 jour

- Métadonnées de connexion et de schéma Hive.

- Le langage HiveQL.

- Conception de flux Hive, exécution de requêtes.

- Mettre en œuvre les composants ELT de Hive.

Travaux pratiques

Stocker dans HBase l’évolution du cours d’une action, consolider ce flux avec Hive de manière à matérialiser son évolution heure par heure pour une journée donnée.

Sessions

Filtrer les résultats
Modalités pédagogiques
Formation synchrone se déroulant avec la présence physique du (des) formateur(s) et du (des) apprenant(s) réunis dans un même lieu de formation.
Formation combinant des séquences en présentiel et des séquences à distance synchrones ou asynchrones.
Formation à distance, asynchrone, s’appuyant sur une plateforme d’apprentissage, pouvant être complétée par d’autres modalités de formation à distance (visio-conférence…)
Formation à distance, synchrone, s’appuyant sur un dispositif de visio-conférence. La classe virtuelle recrée à distance les conditions d’une formation en salle traditionnelle.
Type de formation
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
Options
Les compétences professionnelles visées par la formation sont validées via un test permettant d’obtenir une certification officielle.
Ces sessions ne peuvent être ni annulées ni reportées par l’organisme de formation.