ORSYS : 09. Big Data - Python pour l'analyse de données

Big Data - Python pour l'analyse de données

Le langage Python dispose d'un écosystème scientifique, permettant entre autres, les traitements statistiques : de la construction de modèles d'analyse, à leur évaluation jusqu'à leur représentation. Ce cours vous permet d'analyser des données d'horizon divers avec les bibliothèques Python.

Objectifs pédagogiques

1. Comprendre le principe de la modélisation statistique  
2. Savoir utiliser les principaux outils de traitement et d'analyse de données pour Python
3. Être capable d'extraire des données d'un fichier
4. Savoir appliquer les pratiques optimales en matière de nettoyage et de préparation des données avant l'analyse
5. Choisir entre la régression et la classification en fonction du type de données
6. Apprendre à mettre en place un modèle d'apprentissage simple 

Déroulement de la formation :

1. Présentation de l'écosystème Python scientifique
2. Travailler les données avec Python
3. Introduction à la modélisation
4. Procédures d'évaluation de modèles
5. Les algorithmes supervisés
6. Les algorithmes non supervisés

Programme détaillé de la formation :

1. Présentation de l’écosystème Python scientifique

1/4 jour

- Panorama de l’écosystème scientifique de Python : les librairies incontournables.

- Savoir ou trouver de nouvelles librairies et juger de leur pérennité.

- Les principaux outils et logiciels open source pour la data science.

Travaux pratiques

Installation de Python 3, d'Anaconda et de Jupiter Notebook.

 2. Travailler les données avec Python

3/4 jour

- Le socle scientifique Python : la SciPy Stack.

- Les bonnes pratiques pour bien démarrer votre projet de data science avec Python.

- Les formats de fichiers scientifiques et les librairies pour les manipuler.

- Pandas : l’analyse de données tabulaires (fichiers csv, excel...), statistiques, pivots, filtres, recherche…

- Numpy : calcul numérique et algèbre linéaire (les vecteurs, matrices, images).

- L’extraction des données,la préparation , le nettoyage.

Travaux pratiques

Ecrire des scripts Python permettant de travailler avec des données issues de fichiers, afin d’appliquer des filtres, des traitements de formatage, de nettoyage.

 3. Introduction à la modélisation

1/4 jour

- Les étapes de construction d'un modèle.

- Les algorithmes supervisés et non supervisés.

- Le choix entre la régression et la classification.

Travaux pratiques

Intégration dans l’environnement installé de scripts Python, pour analyse.

 4. Procédures d'évaluation de modèles

3/4 jour

- Les techniques de ré-échantillonnage en jeu d'apprentissage, de validation et de test.

- Test de représentativité des données d'apprentissage.

- Mesures de performance des modèles prédictifs.

- Matrice de confusion, de coût et la courbe ROC et AUC.

Travaux pratiques

Mise en place d'échantillonnage de jeux de donnes. Effectuer des tests d'évaluations sur plusieurs modèles fournis.

 5. Les algorithmes supervisés

1/2 jour

- Le principe de régression linéaire univariée.

- La régression multivariée.

- La régression polynomiale.

- La régression régularisée.

- Le Naive Bayes.

- La régression logistique.

Travaux pratiques

Mise en œuvre des régressions et des classifications sur plusieurs types de données.

 6. Les algorithmes non supervisés

1/2 jour

- Le clustering hiérarchique.

- Le clustering non hiérarchique.

- Les approches mixtes.

Travaux pratiques

Traitements de clustering non supervisés sur plusieurs jeux de données.