M-estimateur

En statistique, les M-estimateurs constituent une large classe de statistiques obtenues par la minimisation d'une fonction dépendant des données et des paramètres du modèle. Le processus du calcul d'un M-estimateur est appelé M-estimation. De nombreuses méthodes d'estimation statistiques peuvent être considérées comme des M-estimateurs. Dépendant de la fonction à minimiser lors de la M-estimation, les M-estimateurs peuvent permettre d'obtenir des estimateurs plus robustes que les méthodes plus classiques, comme la méthode des moindres carrés.

Définition

Les M-estimateurs ont été introduits en 1964 par Peter Huber sous la forme d'une généralisation de l'estimation par maximum de vraisemblance à la minimisation d'une fonction $ρ$ sur l'ensemble des données. Ainsi, le (ou les) M-estimateur associé aux données et à la fonction $ρ$ est estimé par

{\hat {\theta }}=\operatorname {argmin} _{\theta }\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)

Le M de M-estimateur provient donc du maximum de vraisemblance (maximum likelihood-type en anglais) et les estimateurs par maximum de vraisemblance sont un cas particulier des M-estimateurs.

Types

La résolution du problème de minimisation passe couramment par une différentiation de la fonction cible. En effet, pour chercher ${\hat {\theta }}$ , une méthode simple consiste à chercher les valeurs telles que

{\frac {\partial }{\partial \theta }}\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)=0.

Dans le cas où cette différentiation est possible, le M-estimateur est dit de type $ψ$ ; sinon, il est dit de type $ρ$ .

Exemples de M-estimateurs

Parmi les exemples connus de M-estimateurs, on peut citer :

$\rho (x)=x^{2}$ , ce qui revient à appliquer la méthode des moindres carrés
$\rho (x)=|x|$
$\rho _{k}(x)={\begin{cases}{\frac {x^{2}}{2}}&{\text{ si }}|x|<k\\k(|x|-{\frac {k}{2}})&{\text{ si }}|x|\geqslant k\end{cases}}$ (fonction de Huber (en))
$\rho _{c}(x)={\frac {c^{2}}{2}}\ln \left(1+\left({\frac {x}{c}}\right)^{2}\right)$ (fonction de Lorentz)
$\rho _{c}(x)={\frac {x^{2}}{2}}\left(1-{\frac {x^{2}}{2c^{2}}}+{\frac {x^{4}}{6c^{4}}}\right)$ (bipoids de Tukey)

Articles connexes

Méthode des moindres carrés

Références

Peter J. Huber, Robust Statistics, Wiley, 1981, 2004

Portail des probabilités et de la statistique

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.