Aller au contenu principal
Afficher le fil d'ariane

FCT SOLUTIONS : 2. Architecture et infrastructure

Organisme

FCT SOLUTIONS
13 BOULEVARD VOLTAIRE
75011 PARIS
Voir toutes ses formationsAutres organismes proposant cette formation

Durée

21 heures

Modalités

Formation

  • Classe virtuelle
  • Présentiel

Évaluation

Ce module peut être suivi dans le cadre d’un cursus • Évaluation de la bonne compréhension par un questionnaire de type QCM destiné à vérifier la bonne intégration des savoirs dispensés en formation

Prix

Inter
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
1260€ HT / personne
Intra
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
6090€ HT / groupe
4 stagiaires minimum

Public

Architectes systèmes, développeurs, architectes et chefs de projets

Pré-requis

Connaître l'administration Linux (manipulation de fichiers, service, package, etc.)

Objectifs pédagogiques

Pour consulter les objectifs pédagogiques, merci de vous référer au programme détaillé de chaque stage.

Programme détaillé

Jour 1

 

I. Les questions clÉs À se poser lors de la mise en place d’un projet Big Data

 

1. Quels sont les différents cas d’usage de l’application ?

2. Quelles sont les sources de données ?

3. Les mesures de qualité et de performances ?

4. Quel est le cycle de vie de la donnée ? Par quelles transformations passe-t-elle ? Comment la gouverner ?

5. Comment gérer les différentes charges de travail et héberger des projets différents sur la même  infrastructure ?

6. Quels sont les principaux modèles d’architecture d’un SI BIG DATA ? C’est quoi le "Data Lake" ?

7. Comment dimensionner l’infrastructure et mesurer la scalabilité du système ?

8. C’est quoi le cycle de vie d’un projet BIG DATA ?

9. Quelles sont les compétences nécessaires pour réussir dans la mise en place d’un projet BIG DATA ?

10. Comparaison des principales distributions d’Hadoop : Apache Hadoop, HortonWorks, Cloudera, MapR

 

II. Architecture Big Data

 

 1. Limites des architectures classiques

 

2. Avantages des nouvelles architectures BIG DATA

a. Structures différentes de données (structurées, semi-structurées et non structurées)

b. Stockage de grandes quantités de données à moindre coût et scalabilité en termes de stockage

c. Performances élevées du traitement de données massives sous différentes latences (Batch ou en Streaming) et scalabilité en termes de traitements

d. Haute disponibilité

e. Agilité du système et son impact positif sur son évolution et sa maintenance

f. Impact sur l’entreprise et sa transformation en Client-Centric

 

3. Le Data Lake : Une nouvelle philosophie pour le stockage et le traitement de la donnée

a. Architecture du Data Lake et centralisation des données

b. Cas d’usages basés sur le Data Lake

c. Le modèle « en couches » de données

d. Data Lake vs Data Warehouse

 

4. La qualité de la donnée (Dataquality) dans un système BIG DATA

a. Causes du problème de la qualité de données dans les systèmes BIG DATA

b. Mise en place de la Gouvernance Applicative pour assurer la qualité des données

c. Identification des actions clés à mettre en place pour garantir la qualité de la donnée

d. Retour d’expérience sur la mise en place de projets de gouvernance de la donnée chez des clients grands comptes

 

5. La qualité des traitements dans un système BIG DATA

a. Importance de la supervision des chaînes de traitements

b. Exploitation efficaces des logs et détection des anomalies en temps réel

c. Mise en place de tableaux de bord pour la visualisation de la qualité des traitements en temps réel

 

6. Types d’architectures BIG DATA selon les exigences temporelles

a. Architectures Batch

b. Architectures Streaming

c. Lambda Architectures

Jour 2

 

III. Tour d’horizon sur les technologies Big Data classÉes par cas d’usage

 

1. Limites des outils et des paradigmes classiques qui ont mené à l’apparition des technologies BIG DATA

 

2. Historique des technologies BIG DATA : Google’s GFS & MapReduce

 

3. Principaux Frameworks du BIG DATA : Hadoop, Spark, Storm, etc.

 

4. Classification des outils du BIG DATA selon leurs cas d’usage :

a. Stockage et traitement de la donnée

i. Le système de fichiers distribué de Hadoop (HDFS)

ii. MapReduce

iii. YARN

iv. Spark

b. Les bases de données et la gestion des données

i. Définition du NoSQL

ii. NoSQL Vs SGBD Relationnels

iii. Classification des bases de données NoSQL selon leurs types et leurs cas d'usages

c. La sérialisation

i. Avro

ii. JSON

iii. Parquet

d. Le management et le monitoring

i. Ambari

ii. HCatalog

iii. ZooKeeper

iv. Oozie

e. L’analyse et la visualisation des données

i. Spark MLIB

ii. Mahout

iii. Hadoop Streaming

iv. Pig et MapReduce

v. Hadoop Image Processing Interface (HIPI)

f. Recherche

i. Elasticsearch

ii. Solr

g. Le transfert des données

i. Sqoop

ii. Flume

iii. DistCP

iv. Storm

v. Kafka

h. La sécurité et le contrôle d’accès

i. Kerberos

ii. Ranger

iii. Sentry

iv. Knox

 

5. Solutions BIG DATA sur le Cloud

 

6. Retour d’expérience sur les Frameworks et les outils BIG DATA utilisés : Leurs avantages, leurs limites et leurs évolutions.

 

 

Sessions

Filtrer les résultats

35 résultats

Modalités pédagogiques
Formation synchrone se déroulant avec la présence physique du (des) formateur(s) et du (des) apprenant(s) réunis dans un même lieu de formation.
Formation combinant des séquences en présentiel et des séquences à distance synchrones ou asynchrones.
Formation à distance, asynchrone, s’appuyant sur une plateforme d’apprentissage, pouvant être complétée par d’autres modalités de formation à distance (visio-conférence…)
Formation à distance, synchrone, s’appuyant sur un dispositif de visio-conférence. La classe virtuelle recrée à distance les conditions d’une formation en salle traditionnelle.
Type de formation
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
Options
Ces sessions ne peuvent être ni annulées ni reportées par l’organisme de formation.

0 résultat