Spécialisation des LLM : Fine-tuning et Prompt Engineering Présentiel
Dernière mise à jour : 27/10/2026
Unité de recherche
Description
1er jour
- Théorie des Transformers
- Fine-tuning classique
- Mise en place d'un cadre pour le développement de LLM
2ème jour
- Évaluations et métriques des Large Language Models
- Nettoyage des données textuelles (data cleaning)
- Prompt Engineering et modèles de raisonnement
3ème jour
- Retrieval Augmented Generation (RAG)
- Parameter-Efficient Fine-tuning (PEFT)
- Alignement de LLM (DPO, RLHF)
4ème jour
- Inférence
- Multimodalité
- Agents et appels d'outils
Objectifs de la formation
- Acquérir les bases théoriques des Transformers et leur application aux LLM
- Comparer les stratégies d'adaptation d'un LLM : fine-tuning classique, PEFT, instruction-tuning, alignement
- Concevoir des prompts efficaces (prompt engineering) et optimiser les paramètres d'inférence
- Préparer un jeu de données propre et au format adapté à l'entraînement
- Implémenter des pipelines d'adaptation et évaluer leurs performances à l'aide de métriques adaptées
- Mettre en place un environnement complet d'entraînement et d'optimisation de LLM : nettoyage des données, boucle d'entraînement, évaluation, tracking des résultats
- Construire des systèmes à base de LLM : RAG, multimodalité, agents
Public visé
Ingénieurs, chercheurs, développeurs et post-doctorants.
Prérequis
- Maîtrise des notions de l'apprentissage en Deep Learning
- Maîtrise de Python
- Bases solides en PyTorch
Modalités pédagogiques
Alternance de cours et de travaux pratiques.
Moyens et supports pédagogiques
EQUIPEMENT : Salle informatique avec mise à disposition d'un ordinateur par apprenant connecté à la machine de cours de l'IDRIS.
Les fichiers au format PDF, des Notebooks et les codes seront mis à disposition de l'apprenant.
Modalités d'évaluation et de suivi
Un suivi individualisé par des évaluations formatives est assuré. Une attestation de suivi est délivrée à la fin de la formation.
Formateurs
Informations sur l'admission
L'admission à cette formation ne fait l'objet d'aucun examen, test ou sélection préalable ; l'inscription est validée après réception du dossier complet et confirmation par l'organisme de formation.
Modalités tarifaires spécifiques
Nos formations sont exonérées de TVA. Elles bénéficient de remises volumes : - 5% pour 3-4 inscrits, - 10% pour 5-6 inscrits, et - 20% à partir de 7 personnes. Une réduction de 20% est appliquée pour les agents salariés du CNRS.
Informations sur l'accessibilité
Notre organisme s'engage à garantir l'accessibilité de ses formations à distance et en présentiel aux personnes en situation de handicap. Un référent handicap est mobilisable afin d'analyser les besoins spécifiques et de mettre en place, lorsque cela est possible, les adaptations pédagogiques, techniques ou organisationnelles nécessaires.