FCT SOLUTIONS : 5. Concevoir et piloter un projet Big Data

Jour 1

BIG Data : Concept et dÉfinition

- Introduction

- Les évolutions matérielles

- Définition du BIG DATA

- Les 5V du BIG DATA

- Les différentes sources de données

CaractÉristiques et cadrage d’un projet Big Data

- Quels projets sont éligibles au BIG DATA ?

- Comprendre les différents types de projet BIG DATA (SI, Datascience, cas d’usage opérationnel)

- Comprendre l’impact stratégique du BIG DATA menant à une organisation « Data-Centric » dans l’entreprise

- Comprendre les évolutions organisationnelles et méthodologiques à mettre en place dans les équipes opérationnelles pour répondre à l’agilité réclamée par les métiers et/ou le client

- Appréhender les différentes dimensions d’un projet BIG DATA (données, exploitation, juridique, compétences, budget, infrastructure, etc.)

- Identifier les besoins et le type de données à traiter en impliquant fortement le métier mais pas seulement (données internes, externes, open data, etc.)

- Les diverses approches pour réaliser un projet BIG DATA dans une entreprise dont le SI est organisé en silo

Approche par cas d’usage VS construction d’un socle

- Définition des besoins technologiques

- Estimation budgétaire

- Évolution des modes de contractualisation entre clients et prestataires

- Approche Test & Learn

Cas d’usage :

Google Flu : Détection des épidémies

Iron Man 3 : Étudier le ressenti lors de la sortie du film pour mieux le promouvoir

Enel : Déploiement des compteurs intelligents

Youtube : Publicité ciblée

Grande distribution : Mise en place de son Datalake

Le cadre juridique des donnÉes et la CNIL

- Comprendre le champ d’application, les règles et les sanctions concernant la protection des données personnelles

- Les obligations légales des entreprises (anonymisation, droit à l’oubli)

- Comment concilier BIG DATA et réglementation CNIL ?

- L’évolution du cadre légal européen, G29

Cas d’usage :

Netflix : Amélioration de son algorithme de recommandation

Télecom : Étude des flux de déplacements 

Google : Droit à l’oubli

La Gouvernance de donnÉes comme socle du projet Big Data

- Piloter le cycle de vie de la donnée

- Définir une stratégie de collecte des données

- Répondre aux questions : Pourquoi ? Pour qui ? Et comment ?

- Quel niveau de sécurité applique-t-on à ces données, quelle traçabilité ?

- Quelle est la durée de rétention et d’archivage de ces données ?

- Comment traiter et assurer la qualité des données ?

- Définir les rôles et les responsabilités (Data Owners, Data Stewart, Chief Data Officer, etc.)

- Gestion des Metadonnées comme enjeu clé

Cas d’usage :

Enedis : Construction et déploiement de la gouvernance de données

Industrie de l’énergie : Exemple des problématiques rencontrées dans leurs projets BIG DATA dû à une gouvernance non traitée

Jour 2

Composer et piloter une Équipe Big Data

- Quelles compétences et quels profils (techniques, business, statistiques, infrastructures) selon les différents types de projet

- Le Datascientist une ressource rare remplacée par l’équipe

- Faire collaborer les métiers, le SI et les statisticiens, les ressources du client et les ressources des ESN

Cas d’usage :

Retour d’expérience Monster

Retour d’expérience La Poste

Retour d’expérience d’un industriel de l’énergie

Manager un projet Big Data

- Les différentes phases d’un projet BIG DATA

- Anticiper les contraintes de sécurité et la mise en place des processus de Dataquality

- Retour d’expérience sur la construction d’un Datalake – Datahub

- Maîtriser la transformation d’un POC vers un projet industrialisé

- Apprendre à anticiper  les problématiques de production et de maintenance pour faciliter la future exploitation du projet

- Apprendre à anticiper les problématiques d’environnements et de montée de version Hadoop

- Comprendre la place prépondérante des tests dans les projets BIG DATA (approche TDD)

- Automatisation des tests unitaires, d’intégration et de performance

- Management par l’agilité (approche quick-win, itérative et incrémentale, approche DevOps)

- Piloter les risques d’un projet BIG DATA selon les axes :

- Gouvernance de données

- Sécurité

- Qualité de données

- RH

- Juridique

- Évolutivité et gestion des Métadonnées

- Architecture technique

- Exploitation et supervision des chaînes en production

- Maintenance

Cas d’usage :

Retour d’expérience d’un projet de valorisation de la donnée chez un grand industriel de l’énergie

Retour d’expérience d’un projet d’optimisation du traitement industriel à La Poste