PLB CONSULTANT : 5. Concevoir et piloter un projet Big Data

Objectifs pédagogiques : 

Cette formation Concevoir et piloter un projet Big Data vous permet de comprendre le contexte spécifique, le vocabulaire et les enjeux du Big Data afin de bien positionner les fondations d’un tel projet tant sur le plan humain, technique, sécurité, financier et juridique.

L’écosystème technologique du Big Data (infrastructure Hadoop, NoSQL, collecte, qualité des données, analyse, MapReduce, Machine Learning, dataviz, etc.) vous apparaîtra clairement ainsi que les liens entre ces composants au niveau technique mais aussi du projet. Le facteur humain et les bonnes pratiques en matière de gouvernance des données dans un projet Big Data seront également abordés. Concrètement à l’issue de cette formation vous serez capable de :

• Comprendre les spécificités d’un projet Big Data
• Comprendre les risques et le cadre juridique d’un projet Big Data
• Comprendre l’ensemble des technologies et les liens entre elles
• Comprendre les métiers concernés par un projet Big Data
• Savoir constituer et piloter l’équipe d’un projet Big Data
• Savoir mettre en place une gouvernance des données efficace
• Savoir piloter le cycle de vie des données (collecte, exploitation, analyse, visualisation)
• Savoir mettre en place des tests cohérents.

Définition et contexte spécifique des projets Big Data

Les origines du Big Data

Les données au cœur des enjeux

Explosion du nombre de données

Liens entre Big Data et internet des objets (IoT)

Problématique des données structurées, semi-structurées, non structurées dans un projet Big Data

Définition d’un système Big Data

Architecture générale et fonctionnement

Les différentes offres du marché

Propriété de la donnée, environnement juridique du traitement, sécurité

Sécurité éthique et enjeux juridiques

Les données personnelles

Les informations sensibles, interdites de collecte

La CNIL régule les données numériques

Les accords intra-pays

Technologies, compétences et métiers

Ranger les technologies dans les bonnes cases (Hadoop, MapReduce, Pig, Hive, Impala, Spark, Elasticsearch, etc.)

Différences de savoir-faire pour le chef de projet avec la BI «traditionnelle»

Léger zoom sur Hadoop

Les métiers « informatiques » concernés par le Big Data (administrateur, développeur, analyste, data scientist, etc.)

Quel élargissement des compétences pour les administrateurs et les développeurs Hadoop ?

Synthèse : exemple d’une architecture Big Data en production et positionnement des métiers

La journée type du chef de projet Big Data

Conséquences financières des choix techniques

Comprendre et traiter les spécificités d’un projet Big Data au sens organisationnel, méthodologique, technologique, économique, juridique et humain

Quelle démarche méthodologique et quelles étapes clé du chantier ?

Les prérequis à réunir et points de vigilance à surveiller ?

Comment gouverner et piloter le chantier Big Data ?

Quels sont les contributeurs internes à mobiliser ?

Les profils et compétences nécessaires à intégrer ?

La connaissance de la question

Composer et piloter une équipe Big Data

Hadoop dans le SI : Processus d’adoption

Comment conserver les ressources humaines « rares » dans le contexte du Big Data ?

Datalab : une équipe, un lieu, une approche

Comment élaborer un Datalab ?

Manager le processus de mise en place d’un projet Big Data

Gouvernance des Données et « Culture Données »

Définir une véritable stratégie Données

Partager les enjeux

Investir sur des initiatives ciblées et porteuses de valeur pour les métiers

Rompre avec les visions en silos

Promouvoir une « Culture Données »

Savoir communiquer (marketing digital)

Identifier les besoins et le type de données à traiter avec les métiers (use cases)

À travers différents cas d’école piochés sur l’Open Data, nous effectuons des use cases permettant de définir les indicateurs clés à déterminer

La viabilité de chaque effort est bien sûr mesurée par la détermination du ROI

La collecte et le stockage des données

Quelles données ?Quelles sources ?

L’importance de la qualité des données (data quality)

Exemple de traitement avec un ETL dédié Big Data

Résumé : les différentes phases de la collecte dans un projet

L’exploitation des données

Données structurées, semi structurées et non structurées

La réconciliation avec le référenciel interne

La question du Master Data Management

Big Data ou Smart Data ?

L’analyse des données

Définition de l’analyse statistique

La DatascienceLa place du Data scientist dans un projet Big Data

Datamining

L’implémentation d’indicateurs à destination du décisionnel

Résumé : les différentes phases et formes de l’analyse dans un projet

La visualisation des données (Dataviz)

Ce que les statistiques ne disent pas

Les objectifs de la visualisation

Quels graphes pour quels usages ?

Représentation de données complexes (encodage visuel, visualisation interactive)

Savoir communiquer sur les analyses de données (Data Storytelling)

Piloter et maîtriser les risques des projets Big Data

Différentes méthodes pour piloter un datalab :

- Business Driven

- Lean

- Scrum

Tests et analyses de performances

Stratégie pour le code de débogage MapReduce

Test local du code en utilisant LocalJobRunner

Écriture et utilisation de fichiers journaux

Études de cas / mises en situation