Aller au contenu principal

AMBIENT IT : 21. Deep Learning : les fondamentaux

Durée

21 heures

Modalités

Formation
  • Classe virtuelle
  • Présentiel
Évaluation

Travaux pratiques, QCM de validation des acquis, évaluation à chaud et à froid.

Prix

Inter
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
992.25€ HT / personne
Intra
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
3969€ HT / groupe
4 stagiaires minimum

Public

Toute personne intéressée par le Deep Learning et les réseaux de neurones : Ingénieurs, Analystes, Data Scientists, Data Analysts, Data Scientists, Data Steward, Développeurs…

Pré-requis

Avoir des bases en programmation et une bonne maîtrise des outils informatiques et statistiques. Connaitre les bases du Machine Learning est recommandé.

Objectifs pédagogiques

Comprendre les concepts de Machine Learning et l’évolution vers le Deep Learning (réseaux de neurones profonds)

Connaitre les briques de base du Deep Learning : réseaux de neurones simples, convolutifs et récursifs

Appréhender les modèles plus avancés : auto-encodeurs, gans, apprentissage par renforcement

Appréhender les bases théoriques et pratiques d'architecture et de convergence de réseaux de neurones

Comprendre les méthodologies de mise en place de réseaux de neurones, les points forts et les limites de ces outils

Programme détaillé

1. INTRODUCTION IA, MACHINE LEARNING & DEEP LEARNING

  • Le fantasme de l’intelligence artificielle face aux réalités d’aujourd’hui.
  • Disparition des algorithmes, nouvelle modélisation des problèmes.
  • Machine learning : présentation de l’apprentissage
  • Approches principales : supervised learning, unsupervised learning, reinforcement learning, self supervised learning.
  • Actions principales : classification, régression, clustering, estimation de densité, réduction de dimensionnalité, prédiction, génération
  • Algorithmes à évolution : introduction et état actuel
  • Exemples d’algorithmes Machine Learning : Régression linéaire, Naive Bayes, Random Tree.

 

2. CONCEPTS FONDAMENTAUX D’UN RÉSEAU DE NEURONES (APPLICATION : MULTI-LAYER PERCEPTRON)

  • Rappel de bases mathématiques.
  • Définition d’un réseau de neurones : architecture classique, fonctions d’activation et de pondération des activations précédentes, profondeur d’un réseau.
  • Définition de l’apprentissage d’un réseau de neurones : fonctions de coût, backpropagation,stochastic gradient descent, maximum likelihood.
  • Modélisation d’un réseau de neurones : modélisation des données d’entrée et de sortie selon le type de problème (régression, classification…). Curse of dimensionality. Distinction entre donnée multi-features et signal. Choix d’une fonction de coût selon la donnée.
  • Approximer une distribution par un réseau de neurones : présentation et exemples
  • Data Augmentation : comment équilibrer un data set et identifier les biais issus de la donnée.
  • Généralisation des résultats d’un réseau de neurones.
  • Initialisations et régularisations d’un réseau de neurones : L1/L2 régularization, Batch Normalization, Instance Normalization
  • Optimisations et algorithmes de convergence : stochastic gradient descent, batching, Adagrad, AdaDelta, RMSProp

 

3. OUTILS USUELS ML / DL

  • Outils de gestion de donnée : Apache Spark, Apache Hadoop
  • Outils Machine Learning usuel : Numpy, Scipy, Sci-kit
  • Frameworks DL haut niveau : PyTorch, Tensorflow, Caffe

 

4. APPLICATIONS DU DEEP LEARNING : REVUE DES ÉTATS DE L’ART ET EXEMPLES D’APPLICATIONS

  • Classification de données
    • Comprendre ce qu’est la classification de données dans différents scénarios : donnée brute, image, son, texte, etc.
    • Comprendre les enjeux d’une classification de données et les choix impliqués par un modèle de classification.
    • Présentation des outils usuels de classification et notamment des réseaux de type MLP (Multilayer perceptron) ou CNN (Convolutional neural network) VS outils de Machine Learnig (Random Forest, Naive bayes)
    • Présentation d’exemples de solutions existantes (par exemple : classification d’images médicales, d’historique client, de textes rédigés par des utilisateurs, etc.)
    • Clustering : cas particulier d’apprentissage non supervisé. Présentation des différents algorithmes (k-means, Random Forests, etc.)
    • Détection d’anomalies : outils et limites
  • Prédiction d’information et donnée séquentielle/temporelle
    • Enjeux et limite d’une prédiction d’information. Recherche de règles structurelles au sein de la donnée pouvant permettre une logique de prédiction.
    • La prédiction comme une classification ou une régression.
    • Pièges usuels d’une approche prédictive.
    • Présentation des outils usuels de prédiction : RNN (Recurrent Neural Networks), LSTM (Long Short Term Memory).
    • Exemples : prévision des images suivant une séquence vidéo. Prédiction de pollution atmosphérique en milieu urbain ou autres.
  • Transformation / Génération de données
    • Qu’est-ce que transformer une donnée exactement ? Quelles barrières, quels enjeux.
    • Opération de réinterprétation d’une même donnée : dé-bruitage, génération de résumés textuels, segmentation d’image.
    • Opération de transformation sur un même format : traduction de texte d’une langue à une autre (présentation sommaire de l’architecture Google Machine Translation ou BERT par Google).
    • Opération de génération de donnée « originale » : neural Style, superrésolution, génération d’images à partir de présentations textuelles.
  • Reinforcement Learning : contrôle d’un environnement
    • Présentation du Deep Reinforcement Learning.
    • Applications : contrôle de simulations numériques, voiture automatique, robotique.

 

5. CONVOLUTIONAL NEURAL NETWORKS (CNN)

  • Présentation des CNNs : principes fondamentaux et applications.
  • Fonctionnement fondamental d’un CNN : couche convolutionnelle, utilisation d’un kernel, padding & stride, génération de feature maps, couches de type ‘pooling’. Extensions 1D, 2D et 3D.
  • Présentation des différentes architectures CNN ayant porté l’état de l’art en classification d’images : LeNet, VGG Networks, Network in Network, Inception, Resnet. Présentation des innovations apportées par chaque architecture et leurs
  • applications plus globales (Convolution 1×1 ou connexions résiduelles).
  • Utilisation d’un modèle d’attention.
  • Application à un cas de figure de classification usuel (texte ou image).
  • U Networks pour la génération ou la segmentation multi-classes.
  • Exploitation des représentations internes d’un CNN pour un apprentissage secondaire non supervisé.

 

6. RECURRENT NEURAL NETWORKS (RNN)

  • Présentation des RNNs : principes fondamentaux et applications.
  • Fonctionnement fondamental des réseaux de neurones récursifs : hidden activation, back propagation through time, unfolded version.
  • Évolutions vers les GRU (Gated Recurrent Units) et LSTM (Long Short Term Memory). Présentation des différents états et des évolutions apportées par ces architectures.
  • Problèmes de convergence et vanising gradient.
  • Types d’architectures classiques : Prédiction d’une série temporelle, classification…
  • Architecture de type RNN Encoder Decoder.
  • Applications NLP : word/character encoding, traduction.
  • Applications Vidéo : prédiction de la prochaine image générée d’une séquence vidéo.

 

7. MODÈLES D’ATTENTIONS, CNN VS RNN

  • Définition d’un modèle d’attention fondamental en analyse d’une image, approche Deep Reinforcement Learning.
  • Modèle d’attention en amont d’un CNN pour ciblage d’une zone particulière.
  • CNN Sequence to sequence avec un modèle d’attention, détail d’architecture.
  • Attention dans une architecture RNN Encoder-decoder.
  • Modèle d’attention « Attention is all you need », état de l’art, Cellule transformer.

 

8. DEBUGGING / ANALYSE DU FONCTIONNEMENT D’UN RÉSEAU

  • État actuel de la compréhension mathématique de la convergence en Deep Learning.
  • Analyse de neurones « morts » ou de kernels fondamentaux d’un CNN.
  • GradCam et Saliency maps.
  • Analyse d’un modèle d’attention.
  • Hierarchical Contextual Decompositions.

 

9. MODÈLES GÉNÉRATIONNELS : VARIATIONAL AUTOENCODER (VAE) ET GENERATIVE ADVERSARIAL NETWORKS (GAN)

  • Présentation des modèles génératifs, lien avec les CNNs/RNNs.
  • Auto-encoder : réduction de dimensionnalité et génération d’une version compressée. Limites, mode collapse.
  • Variational Auto-encoder : modèle générationnel et approximation de la distribution d’une donnée. Définition et utilisation de l’espace latent. Reparameterization trick. Applications et limites observées.
  • Generative Adversarial Networks : principes fondamentaux. Architecture à deux réseaux (générateur et discriminateur) avec apprentissage alterné, fonctions de coût disponibles.
  • Convergence d’un GAN et difficultés rencontrées.
  • Convergence améliorée : Wasserstein GAN, Earth Moving Distance.
  • CycleGAN, progressive growing GANs, BigGAN.
  • Applications de génération d’images ou de photographies, génération de texte, superrésolution.

 

10. DEEP REINFORCEMENT LEARNING.

  • Présentation du reinforcement learning : contrôle d’un agent dans un environnement défini par un état et des actions possibles.
  • Approche fondamentale : Markov decision process, Q-Learning VS Policy Gradient, Monte Carlo, SARSA, TD Learning.
  • Deep Q Learning : experience replay, et application au contrôle d’un jeu vidéo. Double Q Learning & Dueling Q Networks. Rainbow.
  • Policy gradients. On-policy && off-policy. Actor critic architecture et approche asynchrone A3C.
  • Proximal Policy Optimization (OpenAI).
  • Encouragement de l’exploration par un paramètre d’entropie.
  • World models, imagination augmented agents.
  • Présentation AlphaGo et AlphaGo Zero.

Sessions

Filtrer les résultats
Modalités pédagogiques
Formation synchrone se déroulant avec la présence physique du (des) formateur(s) et du (des) apprenant(s) réunis dans un même lieu de formation.
Formation combinant des séquences en présentiel et des séquences à distance synchrones ou asynchrones.
Formation à distance, asynchrone, s’appuyant sur une plateforme d’apprentissage, pouvant être complétée par d’autres modalités de formation à distance (visio-conférence…)
Formation à distance, synchrone, s’appuyant sur un dispositif de visio-conférence. La classe virtuelle recrée à distance les conditions d’une formation en salle traditionnelle.
Type de formation
La formation en Inter est dispensée pour un groupe de salariés d’entreprises différentes.
La formation en Intra est dispensée pour un groupe de salariés d’une seule et même entreprise.
Options
Les compétences professionnelles visées par la formation sont validées via un test permettant d’obtenir une certification officielle.
Ces sessions ne peuvent être ni annulées ni reportées par l’organisme de formation.