Perceptron

Les entrées i₁ à i_n sont multipliées avec les poids W₁ à W_n, puis sommées, avant qu'une fonction d'activation soit appliquée.

Le perceptron peut être vu comme le type de réseau de neurones le plus simple. C'est un classifieur linéaire. Ce type de réseau neuronal ne contient aucun cycle (il s'agit d'un réseau de neurones à propagation avant). Dans sa version simplifiée, le perceptron est mono-couche et n'a qu'une seule sortie (booléenne) à laquelle toutes les entrées (booléennes) sont connectées. Plus généralement, les entrées peuvent être des nombres réels.

Un perceptron à n entrées ${\displaystyle (x_{1},\dots ,x_{n})}$ et à une seule sortie o est défini par la donnée de n poids (ou coefficients synaptiques) ${\displaystyle (w_{1},\dots ,w_{n})}$ et un biais (ou seuil) ${\displaystyle \theta }$ par[2]:

${\displaystyle o=f(z)=\left\{{\begin{matrix}1&\mathrm {si} &\sum _{i=1}^{n}w_{i}x_{i}>\theta \\0&\mathrm {sinon} &\end{matrix}}\right.}$

La sortie o résulte alors de l'application de la fonction de Heaviside au potentiel post-synaptique ${\displaystyle z=\sum _{i=1}^{n}w_{i}x_{i}-\theta }$, avec:

${\displaystyle \forall x\in \mathbb {R} ,\ H(x)=\left\{{\begin{matrix}0&\mathrm {si} &x<0\\1&\mathrm {si} &x\geq 0.\end{matrix}}\right.}$

Cette fonction non linéaire est appelée fonction d'activation. Une alternative couramment employée est ${\displaystyle f=tanh()}$, la tangente hyperbolique.

La règle de Hebb, établie par Donald Hebb[3], est une règle d'apprentissage des réseaux de neurones artificiels dans le contexte de l'étude d'assemblées de neurones.

Cette règle suggère que lorsque deux neurones sont excités conjointement, ils créent ou renforcent un lien les unissant.

Dans le cas d'un neurone artificiel seul utilisant la fonction signe comme fonction d'activation cela signifie que :

${\displaystyle W'_{i}=W_{i}+\alpha (Y.X_{i})}$

où ${\displaystyle W'_{i}}$ représente le poids ${\displaystyle i}$ corrigé et ${\displaystyle \alpha }$ représente le pas d'apprentissage.

Cette règle n'est malheureusement pas applicable dans certains cas bien que la solution existe.

Le perceptron de Frank Rosenblatt est très proche de la règle de Hebb, la grande différence étant qu'il tient compte de l'erreur observée en sortie.

Cette fonction est recommandée lorsque la tangente hyperbolique (tanh) est utilisée comme fonction d'activation.

${\displaystyle W'_{i}=W_{i}+\alpha (Y_{t}-Y)X_{i}}$

${\displaystyle W'_{i}}$ = le poids ${\displaystyle i}$ corrigé

${\displaystyle Y_{t}}$ = sortie attendue

${\displaystyle Y}$ = sortie observée

${\displaystyle \alpha }$ = le taux d'apprentissage

${\displaystyle X_{i}}$ = l'entrée du poids ${\displaystyle i}$ pour la sortie attendue ${\displaystyle Y_{t}}$

${\displaystyle W_{i}}$ = le poids ${\displaystyle i}$ actuel

• Réseau neuronal artificiel
• Perceptron multicouche

• F. Rosenblatt (1958), The perceptron: a probabilistic model for information storage and organization in the brain,

- repris dans J.A. Anderson & E. Rosenfeld (1988), Neurocomputing. Foundations of Research, MIT Press

• Portail des probabilités et de la statistique
• Portail de l’informatique
• Portail de l'informatique théorique