Modèle génératif

En classement automatique un modèle génératif est un modèle statistique défini par opposition à un modèle discriminatif. Étant donné une variable X à laquelle il doit associer une autre variable Y, le modèle génératif cherchera à décrire la probabilité conditionnelle $P(X|Y)$ ainsi que la probabilité $P(Y)$ puis d'utiliser la formule de Bayes pour calculer la probabilité $P(Y|X)$ [1].

Autrement dit le modèle génératif cherche à décrire chaque classe et à en déduire à quel point une donnée présente les caractéristiques de cette classe.

Avantages et inconvénients

Les avantages d'un modèle génératif sont les suivants :

Un modèle génératif permet d'estimer la confiance d'une prédiction et donc de formuler un rejet d'une prédiction, ce qui est impossible dans un modèle discriminatif.
La connaissance de $P(X|Y)$ permet également de générer des nouvelles données [2].
Des nouvelles classes peuvent facilement être ajoutées en additionnant leurs densités de probabilité à celles qui ont déjà été calculées. On peut également combiner différents modèles avec des combinaisons linéaires de leurs prédictions, un modèle génératif permet donc une accumulation continue des connaissances.

Un modèle génératif présente cependant un certain nombre d'inconvénients :

Le calcul de $P(X|Y)$ est très coûteux, d'autant plus que la dimension de $X$ est grande[3].

Formalisme

Soit deux variables aléatoires $X$ et $Y$ , appelées respectivement la donnée et la classe, un modèle génératif est une loi de probabilité jointe sur $(X,Y)$ qui s'écrit $P(X,Y)\in [0,1]$ . En particulier le modèle est défini par les distributions $P(X|Y)$ et $P(Y)$ , ce dernier terme étant appelé a priori bayésien sur la classe $Y$ . La probabilité $Y=y$ que la classe soit $y$ pour une donnée $X=x$ est donc déduite par l'inférence bayésienne suivante :

$P(Y|X)={\frac {P(X|Y)\cdot P(Y)}{P(X)}}$ ou la valeur de $P(X)$ est déduite par la loi des probabilités totales : $P(X)={\underset {i}{\sum }}P(X|Y_{i})\cdot P(Yi)$ pour l'ensemble des classes $Y_{i}$ existantes.

Exemples de modèles génératifs

Les modèles génératifs couramment utilisés en classification automatique sont les suivants :

Notes et références

(en) Siwei Xu, « Generative vs Discriminative Probabilistic Graphical Models », sur Medium, 5 avril 2020 (consulté le 4 août 2020)
(en) Prakash Pandey, « Deep Generative Models », sur Medium, 5 mars 2018 (consulté le 4 août 2020)
Rahul G. Krishnan, Dawen Liang et Matthew Hoffman, « On the challenges of learning with inference networks on sparse, high-dimensional data », arXiv:1710.06085 [cs, stat],‎ 17 octobre 2017 (lire en ligne, consulté le 4 août 2020)

Portail des probabilités et de la statistique

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.

[1] (en) Siwei Xu, « Generative vs Discriminative Probabilistic Graphical Models », sur Medium, 5 avril 2020 (consulté le 4 août 2020)

[2] (en) Prakash Pandey, « Deep Generative Models », sur Medium, 5 mars 2018 (consulté le 4 août 2020)

[3] Rahul G. Krishnan, Dawen Liang et Matthew Hoffman, « On the challenges of learning with inference networks on sparse, high-dimensional data », arXiv:1710.06085 [cs, stat],‎ 17 octobre 2017 (lire en ligne, consulté le 4 août 2020)