Inégalité de Hoeffding

La démonstration fait usage de la proposition suivante :

Proposition —  Soit ${\displaystyle \ Y\ }$ une variable aléatoire réelle bornée et centrée (vérifiant ${\displaystyle \ \mathbb {E} [Y]=0\ }$). Soit ${\displaystyle \ c,\,d\ }$ deux nombres réels tels que ${\displaystyle \ c<d\ }$ et tels que ${\displaystyle \ \mathbb {P} (c\leq Y\leq d)=1.\ }$ Alors, pour tout réel ${\displaystyle \ s>0,\ }$

${\displaystyle \mathbb {E} \left[e^{sY}\right]\leq \exp \left(s^{2}(d-c)^{2}/8\right).}$

D'abord, on peut supposer c < 0 et d > 0. En effet, si ${\displaystyle c\geq 0}$, alors Y est une variable aléatoire presque-sûrement positive d'espérance nulle, donc Y=0 presque-sûrement et la proposition est évidente ; le raisonnement est analogue pour ${\displaystyle d\leq 0.}$ Par convexité de la fonction ${\displaystyle \ x\mapsto e^{sx},\ }$ on a, pour ${\displaystyle \ c\leq Y(\omega )\leq d,\ }$

${\displaystyle e^{sY(\omega )}\leq {\frac {d-Y(\omega )}{d-c}}\ e^{sc}\ +\ {\frac {Y(\omega )-c}{d-c}}\ e^{sd}.}$

En passant à l'espérance, puisque ${\displaystyle \ \mathbb {P} (c\leq Y\leq d)=1,\ }$ on en déduit que

${\displaystyle \mathbb {E} [e^{sY}]\leq f(s)={\frac {d}{d-c}}\ e^{sc}\ +\ {\frac {-c}{d-c}}\ e^{sd}.}$

On pose

${\displaystyle {\begin{array}{rl}(d-c)s&=u\\\ln(f(s))&=\psi (u),\\{\frac {-c}{d-c}}&=p,\quad 1-p={\frac {d}{d-c}}.\end{array}}}$

Puisque c < 0 et d > 0, on a bien ${\displaystyle p\in [0,1]}$ d'où la pertinence de la notation. Il suit que

${\displaystyle \psi (u)\,=\,-pu+\ln \left(1-p+pe^{u}\right).}$

On remarque alors que ${\displaystyle \ \psi (0)=\psi ^{\prime }(0)=0.\ }$ De plus

${\displaystyle \psi ^{\prime \prime }(u)={\frac {\left(1-p\right)pe^{u}}{\left(1-p+pe^{u}\right)^{2}}}={\frac {\alpha \beta }{(\alpha +\beta )^{2}}}\leq {\frac {1}{4}}.}$

Alors, en vertu de la formule de Taylor-Lagrange à l'ordre 1,

${\displaystyle \psi (u)=\psi (0)+\psi ^{\prime }(0)u+R_{2}(u)\leq {\frac {u^{2}}{8}}.}$

On applique ensuite l'inégalité de Markov. Pour cela, on pose:

${\displaystyle {\begin{array}{rl}Y_{i}&=X_{i}-\mathbb {E} [X_{i}],\\c_{i}&=a_{i}-\mathbb {E} [X_{i}],\quad d_{i}=b_{i}-\mathbb {E} [X_{i}],\end{array}}}$

et on remarque que

${\displaystyle {\begin{array}{rl}\mathbb {P} (c_{i}\leq Y_{i}\leq d_{i})&=1,\\d_{i}-c_{i}&=b_{i}-a_{i},\\S_{n}-\mathbb {E} [S_{n}]&=Y_{1}+Y_{2}+\dots +Y_{n}.\end{array}}}$

Pour tout ${\displaystyle \ s>0,\ }$ on a donc, en vertu d'un corollaire de l'inégalité de Markov, de l'indépendance des ${\displaystyle \ X_{i},\ }$ et donc des ${\displaystyle \ Y_{i},\ }$ et de la proposition précédente :

${\displaystyle {\begin{array}{rl}\mathbb {P} \left(S_{n}-\mathbb {E} [S_{n}]\geq t\right)&\leq \mathbb {E} \left[e^{s(S_{n}-\mathbb {E} [S_{n}])}\right]e^{-st}\\&=\mathbb {E} \left[e^{s(Y_{1}+Y_{2}+\dots +Y_{n})}\right]e^{-st}\\&=e^{-st}\ \prod _{i=1}^{n}\mathbb {E} \left[e^{sY_{i}}\right]\\&\leq \exp \left(-st+{\frac {s^{2}\ \sum _{i=1}^{n}(b_{i}-a_{i})^{2}}{8}}\right).\end{array}}}$

L'inégalité est en particulier vraie pour

${\displaystyle s_{0}={\frac {4t}{\sum _{i=1}^{n}(b_{i}-a_{i})^{2}}},}$

qui réalise le minimum de la borne de droite, ce qui démontre la première inégalité. La deuxième inégalité se démontre en remplaçant ${\displaystyle \ Y_{i}\ }$ par ${\displaystyle \ Y_{i}^{\prime }=\mathbb {E} [X_{i}]-X_{i},\ }$ et ${\displaystyle \ S_{n}-\mathbb {E} [S_{n}]\ }$ par ${\displaystyle \ \mathbb {E} [S_{n}]-S_{n},\ }$ dans le calcul précédent, en posant

${\displaystyle {\begin{array}{rl}c_{i}^{\prime }&=\mathbb {E} [X_{i}]-b_{i},\\d_{i}^{\prime }&=\mathbb {E} [X_{i}]-a_{i},\end{array}}}$

et en remarquant que

${\displaystyle {\begin{array}{rl}\mathbb {P} (c_{i}^{\prime }\leq Y_{i}^{\prime }\leq d_{i}^{\prime })&=1,\\d_{i}^{\prime }-c_{i}^{\prime }&=b_{i}-a_{i},\\\mathbb {E} [S_{n}]-S_{n}&=Y_{1}^{\prime }+Y_{2}^{\prime }+\dots +Y_{n}^{\prime }.\end{array}}}$

La troisième inégalité est une conséquence directe des deux premières.

• Inégalité d'Azuma
• Inégalité de Markov
• Inégalité de Bienaymé-Tchebychev

• C. McDiarmid, On the method of bounded differences. In Surveys in Combinatorics, London Math. Soc. Lectures Notes 141, Cambridge Univ. Press, Cambridge 1989, 148–188.
• W. Hoeffding, "Probability inequalities for sums of bounded random variables", J. Amer. Statist. Assoc. 58, 13–30, 1963

• Portail des probabilités et de la statistique