AMBIENT IT : 07. Talend : intégration de données pour le Big Data
Organisme
93500 PANTINVoir toutes ses formationsAutres organismes proposant cette formation
Durée
Modalités
- Classe virtuelle
- Présentiel
Travaux pratiques, QCM de validation des acquis, évaluation à chaud et à froid.
Prix
Public
Consultants BI, Architectes, Chefs de projets, Gestionnaires de données ou toute personnes devant gérer des flux de données.
Pré-requis
Avoir des connaissances en Hadoop, Spark et Kafka
Objectifs pédagogiques
Maîtriser Talend dans un environnement Big Data
Se servir de Talend comme lien entre les fichiers, applications et bases de données
Acquérir la philosophie de l'outil
Adopter des bonnes pratiques et concevoir des Systèmes d’informations flexibles et bustes
Être capable d'implémenter ses Jobs
Lire et écrire des données sur HDFS et dans des bases de données NoSQL avec des Jobs Talend
Réaliser des Jobs de transformation à l'aide de Pig et Hive
Gérer la qualité de la donnée avec Talend
Utiliser Scoop pour faciliter la migration de bases de données relationnelles dans Hadoop
Maîtriser l'utilisation de la bibliothèque de composants
Effectuer des traitements ETL (Extraction, Transform and Load) simple et complexes de bout en bout
Programme détaillé
INTRODUCTION
- Installation
- Contexte et métadonnées
CARTOGRAPHIE DES DONNÉES
- Données cartographiques
- Génération de données
- Sortie des rejets de tMap
- Filtrage des données cartographiées
- Données de la BDD cartographique
CONVERSION, EXTRACTION, ADHÉSION
- Expressions Regex
- Conversion de XML vers CSV
- Conversion de CSV vers XML
- XML avancé
- Donnéesd’adhésion
- Fractionnement des données
- Unification des données
FONCTIONNALITÉS UTILES
- Retirer et ajouter des propriétés
- Nombre de lignes
- Temp, supprimer, déplacer, renommer
JAVA
- Les bases de tJava
- Composant tJavaRow
- Volet tJavaFlex
- Utilisations personnalisées
BASE DE DONNÉES
- Utilisation d’Hyper SQL
- Analyse des schémas des tableaux
- Importation des schémas
- Lecture et écriture des données dans une BDD
DÉBOGAGE, EXPLOITATION, CONSTRUCTION, PROGRAMMATION
- Débogage
- Traitement des rejets
- Utilisation de tMsgbox
- Traitement des rejets d’entrée avec tMap
- Créer des emplois pour Talend
- Ajouter un contexte en ligne de commande
- Planification des tâches
CONCEPTS AVANCE
- Sous emplois
- Composants sur mesure
- tFileExcel (composants personnalisés)
- tSystem
- tSCP