Spécialisation des LLM : Fine-tuning et Prompt Engineering Présentiel
Dernière mise à jour : 05/02/2026
Unité de recherche
Description
Pour des raisons techniques et organisationnelles, cette formation est temporairement suspendue ; de nouvelles dates seront proposées à partir de septembre 2026.
1er jour
- Théorie des Transformers (mécanisme d'attention, language modeling...)
- Fine-tuning classique
- Evaluations et métriques des Large Language Models
- Mise en place d'un cadre pour le développement de LLM (mlflow, multi-GPU...)
2ème jour
- Nettoyage des données textuelles (data cleaning)
- Prompt Engineering
- Retrieval Augmented Generation (RAG)
- Parameter-Efficient Fine-tuning (PEFT)
3ème jour
- Génération de données synthétiques et RAG Evaluation
- Alignement de LLM (DPO, RLHF...)
- Mise en production (inférence)
- Multimodalité
- Agents et appels d'outils
- Discussion sur les projets des apprenants (optionnel)
Objectifs de la formation
- Acquérir les bases théoriques des Transformers (mécanisme d'attention, language modeling...)
- Connaître les différentes méthodes de Fine-tuning (classique, LoRA...) et de Prompt Engineering (RAG, Chain of Thought...)
- Mettre en place un environnement d'entraînement et d'optimisation de Large Language Models (LLM) : boucle d'entraînement, évaluation, tracking des résultats, nettoyage des données...
- Appliquer la théorie dans un cas d'usage précis
Public visé
Ingénieurs, chercheurs, développeurs et post-doctorants.
Prérequis
Bases du Deep Learning acquises et maîtrise de Python. Des bases en pytorch sont recommandées.
Modalités pédagogiques
Alternance de cours et de travaux pratiques.
Moyens et supports pédagogiques
EQUIPEMENT : Salle informatique avec mise à disposition d'un ordinateur par apprenant connecté à la machine de cours de l'IDRIS (16 A100). La machine de cours peut être utilisée via un pc personnel. Il est recommandé à l'apprenant d'avoir un compte GitHub pour la récupération des ressources.
Les fichiers au format PDF, des Notebooks et les codes seront mis à disposition de l'apprenant.
Modalités d'évaluation et de suivi
Un suivi individualisé par des évaluations formatives est assuré. Une attestation de fin de formation est délivrée à la fin du parcours.
Informations sur l'admission
L'admission à cette formation ne fait l'objet d'aucun examen, test ou sélection préalable ; l'inscription est validée après réception du dossier complet et confirmation par l'organisme de formation.
Modalités tarifaires spécifiques
Nos formations sont exonérées de TVA. Elles bénéficient de remises volumes : - 5% pour 3-4 inscrits, - 10% pour 5-6 inscrits, et - 20% à partir de 7 personnes. Une réduction de 20% est appliquée pour les agents salariés du CNRS.
Informations sur l'accessibilité
Notre organisme s'engage à garantir l'accessibilité de ses formations à distance et en présentiel aux personnes en situation de handicap. Un référent handicap est mobilisable afin d'analyser les besoins spécifiques et de mettre en place, lorsque cela est possible, les adaptations pédagogiques, techniques ou organisationnelles nécessaires.