Allocation de Dirichlet latente

Dans le domaine du traitement automatique des langues, l’allocation de Dirichlet latente (de l’anglais Latent Dirichlet Allocation) ou LDA est un modèle génératif probabiliste permettant d’expliquer des ensembles d’observations, par le moyen de groupes non observés, eux-mêmes définis par des similarités de données.

Thèmes en LDA

Par exemple, si les observations ( $\beta$ ) sont les mots collectés dans un ensemble de documents textuels ( $M$ ), le modèle LDA suppose que chaque document ( $M$ ) est un mélange ( $\theta$ ) d’un petit nombre de sujets ou thèmes ( $\alpha$ topics), et que la génération de chaque occurrence d’un mot ( $w$ ) est attribuable (probabilité) à l’un des thèmes ( $t$ ) du document. Le modèle LDA est un exemple de « modèle de sujet » . Il a d'abord été présenté comme un modèle graphique pour la détection de thématiques d’un document, par David Blei, Andrew Ng et Michael Jordan en 2002[1]. Les applications de la LDA sont nombreuses, notamment en fouille de données et en traitement automatique des langues.

Fonctionnement

On fixe un nombre K de thèmes et on cherche à apprendre les thèmes représentés dans chaque document et les mots associés à ces thèmes.

Initialisation

On attribue un thème à chaque mot de chaque document, selon une distribution de Dirichlet sur un ensemble de K thèmes.

$\theta _{i}\sim \operatorname {Dir} (\alpha )$ , avec $i\in \{1,\dots ,M\}$ et $\mathrm {Dir} (\alpha )$ est une distribution de Dirichlet avec un paramètre symétrique $\alpha$ creux ( $\alpha <1$ )

Ceci génère un premier « modèle de sujet » : des thèmes présents dans les documents et les mots définissant les thèmes. Ce modèle de sujet est très peu vraisemblable car généré aléatoirement.

Apprentissage

On cherche à améliorer le modèle de sujet généré aléatoirement en initialisation. Pour cela, dans chaque document, on prend chaque mot et on met à jour le thème auquel il est lié. Ce nouveau thème est celui qui aurait la plus forte probabilité de le générer dans ce document. On fait donc l’hypothèse que tous les thèmes sont corrects, sauf pour le mot en question.

Plus précisément : pour chaque mot ( $w$ ) de chaque document ( $d$ ), on calcule deux quantités pour chaque thème ( $t$ ) :

$p(t\mid d)$ : la probabilité que le document $d$ soit assigné au thème $t$
$p(w\mid t)$ : la probabilité que le thème $t$ dans le corpus soit assigné au mot $w$

On choisit alors le nouveau thème t avec la probabilité $p(t\mid d)\times p(w\mid t)$ . Ceci correspond à la probabilité que le thème $t$ génère le mot $w$ dans le document $d$ .

En répétant les étapes précédentes un grand nombre de fois, les assignations se stabilisent. On obtient le mélange de thème présent dans chaque document en comptant chaque représentation d’un thème (assigné aux mots du document). On obtient les mots associés à chaque thème en comptant les mots qui y sont associés dans le corpus.

Notes et références

David Blei, Andrew Ng et Michael I. Jordan, « Latent Dirichlet Allocation », Proceedings of the 14th International Conference on Neural Information Processing Systems: Natural and Synthetic, Vancouver, British Columbia, Canada, MIT Press, n^o NIPS’01,‎ 2001, p. 601-608 (lire en ligne, consulté le 7 janvier 2020)

Bibliographie

(en) David M. Blei, Andrew Y. Ng et Michael I. Jordan, « Latent dirichlet allocation », Journal of machine Learning research, John Lafferty, vol. 3,‎ 2003, p. 993-1022 (lire en ligne, consulté le 7 janvier 2020)
(en) Thomas L. Griffiths, Mark Steyvers, David M. Blei et Joshua B. Tenenbaum, « Integrating Topics and Syntax », Advances in Neural Information Processing Systems 17, L. K. Saul and Y. Weiss and L. Bottou,‎ 2005, p. 537-544 (lire en ligne, consulté le 7 janvier 2020)

Voir aussi

Articles connexes

Liens externes

(en) Kevin R. Canini, Lei Shi et Thomas Griffiths, « Online Inference of Topics with Latent Dirichlet Allocation », Proceedings of the Twelth International Conference on Artificial Intelligence and Statistics, PMLR « Proceedings of Machine Learning Research »,‎ 2009, p. 65-72 (lire en ligne)

Portail des probabilités et de la statistique
Portail de l’informatique

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.

[1] David Blei, Andrew Ng et Michael I. Jordan, « Latent Dirichlet Allocation », Proceedings of the 14th International Conference on Neural Information Processing Systems: Natural and Synthetic, Vancouver, British Columbia, Canada, MIT Press, n^o NIPS’01,‎ 2001, p. 601-608 (lire en ligne, consulté le 7 janvier 2020)