Deep learning pour le traitement automatique des langues Présentiel

Ces dernières décennies, les réseaux de neurones artificiels et plus généralement le Deep Learning ont renouvelé les perspectives de recherche en traitement automatique des langues (TAL). La plupart des applications en TAL nécessitent de modéliser des données structurées qui se caractérisent par des distributions particulières, parcimonieuses et avec des espaces de réalisation de grande dimension.

Dans ce contexte, les réseaux de neurones et récemment les grands modèles de langue (LLM) ont permis des avancées importantes en introduisant la notion de représentations continues pour le TAL et ce pour de nombreuses tâches comme par exemple l'analyse syntaxique, la reconnaissance d'entités nommées, la classification de documents, la reconnaissance automatique de la parole et la traduction automatique. Ces progrès se sont amplifiés dès lors que les modèles neuronaux ont dépassé le cadre de l'apprentissage de représentation pour évoluer vers des architectures de plus en plus profondes, permettant de modéliser de bout en bout des tâches d'inférence complexes.

• Survol des architectures feed-forward permettant de poser les notations (inférence et apprentissage, fonctions d'activation, optimisation, épuisement du gradient, régularisation)
• Modélisation de séquences avec des réseaux de neurones (modèles n-grammes, modèles récurrents, modèles convolutionnels, architectures attentionnelles)
• Architectures logicielles pour l'apprentissage profond
• Modèles à grand vocabulaire : hiérarchies et unités sous-lexicales
• LLM pré-entrainés et apprentissage par transfert (Bert, Llama)
• Exemples d'applications : reconnaissance d'entités nommées, traduction automatique

La mise en oeuvre des méthodes se fera à l'aide des bibliothèques Pytorch et Transformers de Hugging Face, avec comme applications les modèles de langues et la reconnaissance d'entités nommées.

• Connaître la théorie et la pratique des réseaux profonds (deep learning) appliqués au traitement automatique des langues
• Maîtriser les enjeux à la fois théoriques et opérationnels afin de comprendre le potentiel des réseaux de neurones profonds ainsi que leurs limites dans le cadre du traitement automatique des langues
• Mettre en oeuvre des modèles récents avec les bibliothèques Pytorch et Transformers de HuggingFace

Des fichiers au format PDF ainsi que des Notebooks Jupyter seront mis à disposition des participants.

Il est demandé aux apprenants de venir avec leur propre ordinateur sur lequel les logiciels et outils (libres) nécessaires seront préalablement installés.