Deep Learning optimisé sur supercalculateur Présentiel
Dernière mise à jour : 06/10/2025
Description
1er jour
- Présentation de la formation et du supercalculateur Jean Zay
- Les enjeux de la montée à l'échelle, l'accélération GPU et la précision mixte
- L'optimisation des formats de tenseur (Channels Last Memory Format)
- Profilage de code PyTorch
2ème jour
- Optimisation du prétraitement des données sur CPU (DataLoader)
- Entraînement distribué : notions générales et parallélisme de données
- Le stockage et le format des données d'entrée (webdataset)
3ème jour
- Compilation JIT et torchDynamo
- Entraînement Large Batches (Learning Rate Scheduler, optimiseurs Large Batches...)
- Les techniques d'optimisation de recherche des hyperparamètres
4ème jour
- Outils de visualisation des résultats
- Les techniques de Data Parallelism avancées (FSDP, ZeRO) pour les gros modèles
- Les parallélismes de modèle et les API pour les parallélismes de modèle
- Les bonnes pratiques
Objectifs de la formation
- Acquérir les principales techniques actuelles et en constante évolution, d'optimisation d'un apprentissage machine en Deep Learning avec pour but le passage à l'échelle sur un supercalculateur
- Connaître les problématiques d'accélération et de distribution sur plusieurs GPU, d'un point de vue système et algorithmique
Public visé
Personnes qui maîtrisent les fondamentaux du Deep Learning et qui souhaitent se former aux enjeux du passage à l'échelle. La formation est orientée sur le supercalculateur public Jean Zay hébergé à l'IDRIS. Mais les utilisateurs de tout autre supercalculateur institutionnel ou Cluster de calcul privé, trouveront une expertise adaptée à leur environnement.
Prérequis
Maîtriser Python et les notions de l'apprentissage en Deep Learning, et avoir des bases en Pytorch.
Modalités pédagogiques
Alternance de cours (15 h) et de travaux pratiques (13 h)
Moyens et supports pédagogiques
Les supports de cours sous format PDF seront remis aux participants.
ÉQUIPEMENT : Supercalculateur Jean Zay de l'IDRIS ; salle informatique avec mise à disposition d'un ordinateur par participant
Modalités d'évaluation et de suivi
Un suivi individualisé par des évaluations formatives est assuré. Une attestation de fin de formation est délivrée à la fin du parcours.
Formateurs
CB
CABOT Bertrand
Responsable scientifique
CP
CORNETTE Pierre
Responsable scientifique
GK
GUERDA Kamel
Responsable scientifique
Modalités tarifaires spécifiques
Nos formations sont exonérées de TVA. Elles bénéficient de remises volumes : - 5% pour 3-4 inscrits, - 10% pour 5-6 inscrits, et - 20% à partir de 7 personnes. Une réduction de 20% est appliquée pour les agents salariés du CNRS.
Informations sur l'accessibilité
Notre laboratoire est entièrement accessible aux personnes à mobilité réduite (PMR). Un accès adapté, des espaces de circulation et des sanitaires spécifiques sont à votre disposition pour garantir votre confort et votre autonomie. Pour toute information complémentaire, veuillez nous contacter.