Modèles pré-entraînés (encoder-only)

1

Leçon 1: Le pré-entraînement self-supervisé

1 heure et 30 minutes

2

Leçon 2: BERT : masked language modeling

2 heures

3

Leçon 3: Variantes BERT : RoBERTa, DistilBERT, ALBERT

1 heure et 30 minutes

4

Leçon 4: Fine-tuning pour la classification

2 heures

5

Leçon 5: Token classification : NER

2 heures

6

Leçon 6: Question Answering extractif

2 heures

7

Leçon 7: Modèles multilingues : XLM-RoBERTa

1 heure et 30 minutes

8

Leçon 8: TP : classification de texte avec BERT fine-tuné

2 heures et 30 minutes

9

Leçon 9: Synthèse encoder et passage au décodeur

3 heures