Modèle de langage

En traitement automatique des langues, un modèle de langage est un modèle statistique qui modélise la distribution de séquences de mots, plus généralement de séquences de symboles discrets (lettres, phonèmes, mots), dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant une séquence de mots[1].

BERT et GPT-3 sont des modèles de langage.

Bender et al. 2021 remet en cause la pertinence des énormes modèles de langage préentrainés[2].

Notes et références
  1. (en) Yoshua Bengio, « Neural net language models », dans Scholarpedia (lire en ligne).
  2. (en) Emily Bender, Timnit Gebru, Angelina McMillan-Major et Shmargaret Shmitchell, « On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 », FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency,‎ , p. 610–623 (DOI 10.1145/3442188.3445922)
  • Portail de la linguistique
  • Portail de l’informatique
  • Portail des probabilités et de la statistique
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.