Aller au contenu principal
Afficher le fil d'ariane

SOFTEAM : 04. Hadoop développement

Durée

21 heures

Modalités

Formation

  • Classe virtuelle
  • Présentiel

Évaluation

Tout au long et/ou à l’issue de la formation : évaluation des acquis des stagiaires via des exercices, des QCM, des QUIZZ, des mises en situation et/ou des cas pratiques.

Prix

Inter
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
987€ HT / personne
Intra
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
4050€ HT / groupe
4 stagiaires minimum

Public

Développeurs, Chefs de projets, Data-scientists, Architectes…

Pré-requis

Avoir la connaissance d'un langage de programmation objet comme Java et du scripting.


Objectifs pédagogiques

Comprendre l’écosystème Hadoop Cloudera/Hortonworks

Présenter les principes du Framework Hadoop

Mettre en œuvre des tâches Hadoop pour extraire des éléments pertinents d'ensembles de données volumineux et variés

Développer des algorithmes parallèles efficaces avec MapReduce

Charger des données non structurées des systèmes HDFS et HBase

Programme détaillé

Architecture Hadoop

  • Histoire de Hadoop - Facebook, Dynamo, Yahoo, Google
  • Le noyau Hadoop
  • Architecture YARN, Hadoop 2.0

 

Système de fichiers distribués Hadoop (HDFS)

  • Clusters HDFS - NameNodes, DataNodes et clients
  • Métadonnées
  • Administration en ligne

 

MapReduce

  • Traitement et génération de grands ensembles de données
  • Fonctions Map
  • Programmation de MapReduce à l'aide de SQL / Bash / Python
  • Traitement parallèle
  • Failover

 

Entreposage de données avec Hive

  • Synthétisation des données
  • Requêtes ad-hoc
  • Analyser de grands ensembles de données
  • HiveQL (langage de requête de type SQL)
  • Intégration avec les bases de données SQL
  • Analyse des n-grammes

 

Traitement parallèle avec Pig

  • Évaluation parallèle
  • Interface du langage de requête
  • Algèbre relationnelle

 

Extraction de données avec Mahout

  • Regroupement ou Clustering
  • Classification
  • Filtrage collaboratif par lots

 

Recherche avec Elastic Search

  • Concepts de recherche Elastic
  • Installation, importation des données
  • Démonstration de l'API, exemples de requêtes

 

Stockage de données structurées avec HBase

  • Big Data : échelle de taille d'un grand ensemble de données.
  • Optimiser l'accès en lecture/écriture en temps réel

 

Base de données multi-master Cassandra

  • Le modèle de données de Cassandra
  • Cohérence éventuelle
  • Quand utiliser Cassandra

 

Redis

  • Modèle de données Redis
  • Quand utiliser Redis

 

MongoDB

  • Modèle de données MongoDB
  • Installation de MongoDB
  • Quand utiliser MongoDB

 

Kafka

  • L'architecture de Kafka
  • Installation
  • Exemple d'utilisation
  • Quand utiliser Kafka

 

Architecture Lambda

  • Concept
  • Hadoop + Intégration du traitement des flux
  • Exemples d'architecture

 

Big Data dans le Cloud

(Si le temps le permet)

  • Amazon Web Services
  • Concepts : modèle de paiement à l'utilisation
  • Amazone S3, EC2, EMR
  • Plateforme Google Cloud
  • Google Big Query

Sessions

Filtrer les résultats

63 résultats

Modalités pédagogiques
Formation synchrone se déroulant avec la présence physique du (des) formateur(s) et du (des) apprenant(s) réunis dans un même lieu de formation.
Formation combinant des séquences en présentiel et des séquences à distance synchrones ou asynchrones.
Formation à distance, asynchrone, s’appuyant sur une plateforme d’apprentissage, pouvant être complétée par d’autres modalités de formation à distance (visio-conférence…)
Formation à distance, synchrone, s’appuyant sur un dispositif de visio-conférence. La classe virtuelle recrée à distance les conditions d’une formation en salle traditionnelle.
Type de formation
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
Options
Ces sessions ne peuvent être ni annulées ni reportées par l’organisme de formation.

0 résultat