Aller au contenu principal
Afficher le fil d'ariane

ORSYS : 04. Hadoop développement

Organisme

ORSYS
LA GRANDE ARCHE PAROI NORD
92044 PARIS LA DEFENSE CEDEX
Voir toutes ses formationsAutres organismes proposant cette formation

Durée

21 heures

Modalités

Formation

  • Classe virtuelle
  • Présentiel

Évaluation

Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…

Prix

Inter
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
1050€ HT / personne
Intra
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
4725€ HT / groupe
4 stagiaires minimum

Public

Développeurs, Chefs de projets, Data-scientists, Architectes…

Pré-requis

Avoir la connaissance d'un langage de programmation objet comme Java et du scripting.


Objectifs pédagogiques

Comprendre l’écosystème Hadoop Cloudera/Hortonworks

Présenter les principes du Framework Hadoop

Mettre en œuvre des tâches Hadoop pour extraire des éléments pertinents d'ensembles de données volumineux et variés

Développer des algorithmes parallèles efficaces avec MapReduce

Charger des données non structurées des systèmes HDFS et HBase

Programme détaillé

Hadoop,  développement

Ce cours vous apprendra à développer des applications vous permettant de traiter des données distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.

 

Objectifs pédagogiques

  1.  Comprendre l’écosystème Hadoop Cloudera/Hortonworks
  2. Présenter les principes du Framework Hadoop
  3. Mettre en œuvre des tâches Hadoop pour extraire des éléments pertinents d'ensembles de données volumineux
  4. Développer des algorithmes parallèles efficaces avec MapReduce
  5. Charger des données non structurées des systèmes HDFS et HBase

 

Déroulement de la formation :

  1. Le Big Data
  2. Collecte de données et application de Map Reduce
  3. Le stockage des données avec HBase
  4. Le stockage des données sur HDFS

 

Programme détaillé de la formation :

 

1. Le Big Data

1/2 jour

- Définition du périmètre du Big Data.

- Le rôle du projet Hadoop.

- Les concepts de base des projets Big Data.

- Présentation du Cloud Computing.

- Différence entre Cloud Computing privé et public.

- Les architectures Big Data à base du projet Hadoop.

-  L’écosystème Hadoop Cloudera/Hortonworks.

Démonstration

Usage d'Hadoop.

 

 2. Collecte de données et application de Map Reduce

1   jour

- Analyse des flux de données dans l'entreprise.

- Données structurées et non-structurées.

- Les principes de l'analyse sémantique des données d'entreprise.

- Graphe des tâches à base de MapReduce.

- La granularité de cohérence des données.

- Transfert de données depuis un système de persistance dans Hadoop.

- Transfert de données d'un Cloud dans Hadoop.

Travaux pratiques

Gérer la collecte d'informations clientèles par Map Reduce. Configuration de l'implémentation YARN. Développement d'une tâche basée sur Map Reduce.

 

 3. Le stockage des données avec HBase

1   jour

- Plusieurs types de base de données XML.

- Patterns d'usages et application au Cloud.

- Application de Hadoop database au sein d'un workflow.

- Utilisation des projets Hive/Pig.

- Utilisation du projet HCatalog.

- L'API Java HBase.

Travaux pratiques

Gérer les modifications d'un catalogue de données.

 

 4. Le stockage des données sur HDFS

1/2 jour

- Patterns d'usages et application au Cloud.

- Architecture et installation d'un système HDFS, journal, NameNode, DataNode.

- Opérations, commandes et gestion des commandes.

- L'API HDFS Java.

- Analyse de données avec Apache Pig.

- Le langage Pig Latin. Utiliser Apache Pig avec Java.

- Requêtage avec Apache Hive.

- Réplication de données. Partage de données sur une architecture HDFS.

Travaux pratiques

Administrer un référentiel client partagé sur Hadoop. Utilisation de la console de visualisation.

 

Sessions

Filtrer les résultats

63 résultats

Modalités pédagogiques
Formation synchrone se déroulant avec la présence physique du (des) formateur(s) et du (des) apprenant(s) réunis dans un même lieu de formation.
Formation combinant des séquences en présentiel et des séquences à distance synchrones ou asynchrones.
Formation à distance, asynchrone, s’appuyant sur une plateforme d’apprentissage, pouvant être complétée par d’autres modalités de formation à distance (visio-conférence…)
Formation à distance, synchrone, s’appuyant sur un dispositif de visio-conférence. La classe virtuelle recrée à distance les conditions d’une formation en salle traditionnelle.
Type de formation
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
Options
Ces sessions ne peuvent être ni annulées ni reportées par l’organisme de formation.

0 résultat