Distance de Hellinger

En Théorie des probabilités, pour toutes mesures de probabilités et absolument continues par rapport à une troisième mesure , le carré de la distance de Hellinger entre et est donné par :

et désignent respectivement les dérivées de Radon-Nykodym de et . Cette définition ne dépend pas de , si bien que la distance de Hellinger entre et ne change pas si est remplacée par une autre mesure de probabilité par rapport à laquelle et soient absolument continues.

Pour alléger l'écriture, la formule précédente est couramment écrite :

La distance de Hellinger ainsi définie vérifie :

Remarque : Certains auteurs ne font pas figurer le facteur 1/2 précédant l'intégrale dans cette définition.

Propriétés

  • La distance de Hellinger est une α-divergence de Amari[1], correspondant à la valeur α =0.

À ce titre c'est une f-divergence de Csiszár[2] et une divergence de Bregman[3].

Comme il s'agit de la seule distance (symétrique, auto-duale) de la classe des α-divergences, c'est la distance canonique de l'espace des distributions de la famille exponentielle, le système de coordonnées associé étant .

Autre conséquence, étant une α-divergence, la courbure locale (son Hessien en P) de la distance de Hellinger est égale à l'information de Fisher de la distribution P :

.

par la relation

.

Exemples

  • La distance de Hellinger entre deux lois normales et est donnée par


  • La distance de Hellinger entre deux lois exponentielles et est donnée par :

Bibliographie

Notes et références

  1. S. Amari, H. Nagaoka, Methods of information geometry, Translations of mathematical monographs; v. 191, American Mathematical Society, 2000 (ISBN 978-0821805312)
  2. (en) I. Csiszár, « Information-type measures of difference of probability distributions and indirect observation », Studia Sci. Math. Hungar., vol. 2, , p. 229-318
  3. L. Bregman, The relaxation method of finding the common point of convex sets and its application to the solution of problems in convex programming, USSR Computational Mathematics and Mathematical Physics, Vol. 7(3): 200--217, 1967.

Articles connexes

  • Portail des probabilités et de la statistique
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.