Auto-encodeur

La forme la plus simple d'un auto-encodeur est un réseau de neurones non récurrents qui se propage vers l'avant, très semblable au perceptron multicouches - ayant une couche d'entrée, une couche de sortie ainsi qu'une ou plusieurs couches cachées les reliant -, mais avec toutefois une couche de sortie possédant le même nombre de nœuds que la couche d'entrée, son objectif étant de reconstruire ses entrées (prédire une valeur cible ${\displaystyle X'}$ la plus proche des entrées ${\displaystyle X}$ plutôt que de prédire une valeur cible ${\displaystyle Y}$ étant donné les entrées ${\displaystyle X}$). Par conséquent, un auto-encodeur est un modèle d'apprentissage non supervisé.

Un auto-encodeur se compose toujours de deux parties, l'encodeur et le décodeur, qui peuvent être définies comme des transitions ${\displaystyle \phi }$ et ${\displaystyle \psi }$, telles que :

${\displaystyle \phi$ :{\mathcal {X}}\rightarrow {\mathcal {F}}}

${\displaystyle \psi$ :{\mathcal {F}}\rightarrow {\mathcal {X}}}

${\displaystyle \phi ,\psi =\arg \min _{\phi ,\psi }\|X-(\psi \circ \phi )X\|^{2}}$

Dans le cas où il n'y a qu'une seule couche cachée, l'étape d'encodage prend l'entrée ${\displaystyle \mathbf {x} \in \mathbb {R} ^{d}={\mathcal {X}}}$ et l'associe à ${\displaystyle \mathbf {z} \in \mathbb {R} ^{p}={\mathcal {F}}}$ :

${\displaystyle \mathbf {z} =\sigma (\mathbf {Wx} +\mathbf {b} )}$

${\displaystyle \mathbf {z} }$ est généralement appelé code, variables latentes ou représentation latente. ${\displaystyle \sigma }$ est une fonction d'activation, e.g., sigmoïde, ReLU, ${\displaystyle \mathbf {W} }$ une matrice de poids et ${\displaystyle \mathbf {b} }$ un vecteur de biais.

Ensuite, l'étape de décodage associe ${\displaystyle \mathbf {z} }$ à la reconstruction ${\displaystyle \mathbf {x'} }$ de forme identique à ${\displaystyle \mathbf {x} }$ :

${\displaystyle \mathbf {x'} =\sigma '(\mathbf {W'z} +\mathbf {b'} )}$

où les ${\displaystyle \mathbf {\sigma '} ,\mathbf {W'} ,{\text{ et }}\mathbf {b'} }$ du décodeur peuvent différer ou non des ${\displaystyle \mathbf {\sigma } ,\mathbf {W} ,{\text{ et }}\mathbf {b} }$ de l'encodeur, selon la conception de l'auto-encodeur.

Un auto-encodeur est aussi entrainé pour minimiser l'erreur de reconstruction, e.g., erreur quadratique :

${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )=\|\mathbf {x} -\mathbf {x'} \|^{2}=\|\mathbf {x} -\sigma '(\mathbf {W'} (\sigma (\mathbf {Wx} +\mathbf {b} ))+\mathbf {b'} )\|^{2}}$

où ${\displaystyle \mathbf {x} }$ est généralement la moyenne d'un ensemble de données d'apprentissage.

Si l'espace caractéristique ${\displaystyle {\mathcal {F}}}$ possède une dimension inférieure à celui de l'espace d'entrée ${\displaystyle {\mathcal {X}}}$, alors le vecteur caractéristique ${\displaystyle \phi (x)}$ peut être considéré comme une représentation compressée de ${\displaystyle x}$ . Si les couches cachées possèdent une taille plus grandes que celle de la couche d'entrée, l'auto-encodeur peut potentiellement apprendre la fonction identité et devenir sans intérêt. Toutefois, des résultats expérimentaux ont montré que dans ce genre de cas, l'auto-encodeur pouvait malgré tout apprendre des caractéristiques utiles [2]^:19.

L'algorithme d'apprentissage d'un auto-encodeur peut être résumé comme suit :

Pour chaque entrée x,

Effectuer un passage vers l'avant afin de calculer les activations sur toutes les couches cachées, puis sur la couche de sortie pour obtenir une sortie ${\displaystyle \mathbf {x'} }$,

Mesurer l'écart entre ${\displaystyle \mathbf {x'} }$ et l'entrée ${\displaystyle \mathbf {x} }$, généralement en utilisant l'erreur quadratique,

Rétropropager l'erreur vers l'arrière et effectuer une mise à jour des poids.

Un auto-encodeur est bien souvent entrainé en utilisant l'une des nombreuses variantes de la rétropropagation, e.g., méthode du gradient conjugué, algorithme du gradient. Bien que cela fonctionne de manière raisonnablement efficace, il existe des problèmes fondamentaux concernant l'utilisation de la rétropopagation avec des réseaux possédant de nombreuses couches cachées. Une fois les erreurs rétropropagées aux premières couches, elles deviennent minuscules et insignifiantes. Cela signifie que le réseau apprendra presque toujours à reconstituer la moyenne des données d'entrainement. Bien que les variantes de la rétropropagation soient capables, dans une certaine mesure, de résoudre ce problème, elles résultent toujours en un apprentissage lent et peu efficace. Ce problème peut toutefois être résolu en utilisant des poids initiaux proches de la solution finale. Le processus de recherche de ces poids initiaux est souvent appelé pré-entrainement.

Geoffrey Hinton a développé une technique de pré-entrainement pour l'auto-encodeur profond. Cette méthode consiste à traiter chaque ensemble voisin de deux couches comme une machine de Boltzmann restreinte de sorte que le pré-entrainement s'approche d'une bonne solution, puis utiliser la technique de rétropropagation pour affiner les résultats [12]. Ce modèle porte le nom de réseau de croyance profonde.

• Machine de Boltzmann restreinte

• Portail de l'informatique théorique
• Portail des données