Ajustement affine

Cette méthode consiste à minimiser la somme des carrés des résidus, définie par : ${\displaystyle S=\sum _{i=1}^{n}(y_{i}-ax_{i}-b)^{2}}$

Quelle que soit la répartition des points, il existe une unique droite qui minimise S, dont les coefficients s’écrivent ${\displaystyle a={\frac {\mathrm {Cov} (x,y)}{\mathrm {V} (x)}}}$ ${\displaystyle b={\overline {y}}-a{\overline {x}}}$ où x est la moyenne des abscisses y est la moyenne des ordonnées : ${\displaystyle {\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$ ; ${\displaystyle {\overline {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}}$ V(x) est la variance des abscisses ${\displaystyle \mathrm {V} (x)={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i})^{2}-{\overline {x}}^{2}}$ et Cov(x,y) est la covariance des couples de coordonnées ${\displaystyle \mathrm {Cov} (x,y)={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}-{\overline {x}}\,{\overline {y}}}$.

L’expression de l’ordonnée à l’origine b montre que la droite ainsi définie passe par l’isobarycentre des points, de coordonnées (x, y).

Il existe plusieurs démonstrations possibles pour justifier ces valeurs[2] dont une consiste à considérer S, pour a donné, comme une fonction du second degré en b dont on peut déterminer le minimum, puis, ce b étant exprimé par sa valeur en fonction de a, trouver le minimum de la fonction du second degré en a.

La qualité de l’ajustement affine est alors mesurée par le coefficient de corrélation linéaire ${\displaystyle r={\frac {\mathrm {Cov} (x,y)}{\sqrt {\mathrm {V} (x)\mathrm {V} (y)}}}={\frac {\mathrm {Cov} (x,y)}{\sigma _{x}\sigma _{y}}}={\dfrac {\displaystyle \sum _{i=1}^{n}(x_{i}-{\bar {x}})\cdot (y_{i}-{\bar {y}})}{{\sqrt {\displaystyle \sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\cdot {\sqrt {\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}}}$ où σ_x et σ_y sont les écarts types des deux variables statistiques. Il intervient dans l'évaluation de la somme des carrés des résidus :

${\displaystyle S=n\mathrm {V} (Y)(1-r^{2})}$

Plus le coefficient de corrélation est proche de 1 ou –1, et plus la somme des carrés des résidus est voisine de 0. Le coefficient de corrélation est donc un bon indicateur de la validité de l'ajustement affine.

On peut aussi comprendre le rôle d'indicateur du coefficient de corrélation en observant le graphique centré sur le point moyen (de coordonnées (x, y)). Si l'ajustement affine n'est pas légitime, il y aura grossièrement autant de points dans chacun des quadrants et les produits (x_i – x)(y_i – y) seront de signes différents et se compenseront mutuellement quand on en fera la somme conduisant ainsi à un r petit en valeur absolue. Tandis que si l'ajustement affine est légitime, il y aura deux quadrants, de part et d'autre du point moyen, qui contiendront l'essentiel des points et les points correspondants seront donc caractérisés par le même signe dans le produit (x_i – x)(y_i – y), signe qui deviendra ainsi très largement majoritaire et que l'on retrouvera dans leur somme, ce qui conduit à une valeur de r grande en valeur absolue.

Enfin, l'inégalité de Cauchy-Schwarz permet d'affirmer que ${\displaystyle \left|\sum _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})\right|\leqslant \left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)^{1/2}\left(\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}\right)^{1/2}\Longleftrightarrow \mathrm {Cov} (X,Y)\leqslant {\sqrt {\mathrm {V} (X)}}{\sqrt {\mathrm {V} (Y)}},}$

avec égalité seulement si les y_i – y sont proportionnels aux x_i – x. Donc |r| ≤ 1 avec égalité seulement s'il existe un réel a tel que, pour tout i, y_i – y = a(x_i – x). Ainsi, plus |r| est proche de 1 plus l'ajustement affine semble légitime.

Une autre méthode d'interpréter le rôle joué par le coefficient de corrélation est d'observer les fluctuations de Y autour de sa moyenne. Il existe deux phénomènes qui expliquent ces fluctuations. D'une part, on sait que Y est considéré comme proche d'une fonction affine de X. Quand X fluctue autour de sa moyenne avec une variance de V(x), aX + b fluctue autour de sa moyenne y avec une variance de a²V(x), cette quantité s'appelle la variance expliquée. L'autre raison de fluctuation de Y est que le nuage de points n'est pas situé sur la droite d'ajustement : les valeurs y_i et ax_i + b peuvent être différentes. On démontre, à partir de l'expression précédente de S, que la variance est la somme de la variance expliquée et de la variance résiduelle c'est-à-dire (1/n)S.

Le rapport de corrélation est le rapport entre la variation expliquée (inévitable puisque X fluctue) et la variance totale. Ce rapport de corrélation est égal au carré du coefficient de corrélation r². Plus le rapport de corrélation est proche de 1, plus la variance expliquée est proche de la variance totale et plus la variance résiduelle est faible, donc meilleur est l'ajustement affine.

Comparaison d'un ajustement de Y par X et de X par Y.

On peut également ajuster le nuage de points en expliquant X par Y, c'est-à-dire en cherchant la droite (d') d'équation X = cY + d qui rend minimale la somme des carrés des distances M_iR_i où R_i est le projeté de M_i sur (d') parallèlement à l'axe des abscisses.

Les coefficients c et d sont alors données par ${\displaystyle d={\overline {x}}-c{\overline {y}}}$ ${\displaystyle c={\frac {\mathrm {Cov} (x,y)}{\mathrm {V} (y)}}}$

Cette droite passe aussi par le point moyen mais n'a pas toujours même pente que la précédente. Les droites ont même pente si a et c sont inverses l'un de l'autre, donc si ac vaut 1, or ac correspond à r². On retrouve ainsi le résultat : l'ajustement de X par Y donne la même droite que l'ajustement de Y par X seulement si le coefficient de corrélation vaut 1 ou –1.

Dans l'espace ${\displaystyle \mathbb {R} ^{n}}$, muni du produit scalaire canonique, on considère le vecteur X de coordonnées (x₁, x₂, ..., x_n), le vecteur Y de coordonnées (y₁, y₂, ..., y_n), le vecteur U de coordonnées (1, 1, ..., 1).

On peut remarquer que

• ${\displaystyle X\cdot U=n{\overline {x}}}$
• ${\displaystyle Y\cdot U=n{\overline {y}}}$
• ${\displaystyle X\cdot Y-n{\overline {x}}{\overline {y}}=n\mathrm {Cov} (x,y)}$
• ${\displaystyle X\cdot X-n{\overline {x}}^{2}=n\mathrm {V} (x)}$
• ${\displaystyle Y\cdot Y-n{\overline {y}}^{2}=n\mathrm {V} (y)}$

Rechercher la droite qui minimise la somme des carrés des résidus, c'est rechercher les réels a et b tels que ${\displaystyle ||Y-(aX+bU)||^{2}}$soit minimale. Cette norme sera minimale si et seulement si aX + bU est le projeté orthogonal de Y dans l'espace vectoriel engendré par X et U, donc dès que

• ${\displaystyle (Y-aX-bU)\cdot U=0}$
• ${\displaystyle (Y-aX-bU)\cdot X=0}$

La première égalité se traduit par

${\displaystyle n{\overline {y}}-an{\overline {x}}-nb=n({\overline {y}}-a{\overline {x}}-b)=0}$

ce qui donne bien pour b la valeur précédemment trouvée. La seconde égalité se traduit alors par

${\displaystyle Y\cdot X-aX\cdot X+{\overline {x}}U\cdot X-{\overline {y}}U\cdot X=0}$

${\displaystyle Y\cdot X-aX\cdot X+n{\overline {x}}^{2}-n{\overline {y}}{\overline {x}}=0}$

${\displaystyle n\mathrm {Cov} (x,y)-an\mathrm {V} (x)=n(\mathrm {Cov} (x,y)-a\mathrm {V} (x))=0}$

ce qui donne bien pour a la valeur précédemment trouvée.

On peut déterminer le cosinus de l'angle θ que forment entre eux les vecteurs Y – yU et X – xU par la formule

${\displaystyle \cos(\theta )={\frac {(Y-{\overline {y}}U)\cdot (X-{\overline {x}}U)}{||Y-{\overline {y}}U||\times ||X-{\overline {x}}U||}}={\frac {n\mathrm {Cov} (x,y)}{{\sqrt {n\mathrm {V} (y)}}\times {\sqrt {n\mathrm {V} (x)}}}}=r}$.

Cette égalité a du sens au regard du résultat donné par l'inégalité de Cauchy-Schwarz plus tôt. Le coefficient de corrélation peut donc être comme le cosinus de l'angle entre les deux vecteurs X et Y. Un coefficient de corrélation de 1 signifie que l'angle entre ces deux vecteurs est nul (alignement parfait), un coefficient de –1 donne un angle géométrique de π entre les deux vecteurs (vecteur de même direction mais de sens opposés) et si le coefficient de corrélation linéaire est en valeur absolue supérieur à √3/2 alors l'angle géométrique formé par les deux vecteurs est inférieur à π/6 ou supérieur à 5π/6.

Il peut sembler plus simple de chercher à minimiser la somme des distances des points à la droite, plutôt que la somme de leur carré. Cette méthode a d’ailleurs été développée antérieurement[3] à la méthode des moindres carrés. Mais il n’y a alors pas nécessairement unicité de la droite optimale, et la détermination des coefficients est beaucoup moins aisée.

Une telle droite optimale passe toujours par deux des points considérés[4].

Une méthode simpliste mais facile à mettre en œuvre sans calcul, par exemple pour tracer à la main une droite de tendance sur une représentation graphique, consiste à tracer la droite reliant deux points visiblement dans l’alignement des autres[5].

Une méthode plus systématique que la précédente consiste à relier les deux points d’abscisses minimale et maximale[6].

Ajustement affine par la méthode de Mayer

Cette méthode d'ajustement est plus simple à mettre en place. Elle semble avoir été utilisée par Leonhard Euler et Tobias Mayer[7]. Elle consiste, après avoir rangé les couples (x_i, y_i) selon l'ordre croissant des x_i, à partager le nuage en deux nuages de taille égale, à déterminer le point moyen de chacun des sous-nuages, et à tracer le droite reliant ces deux points moyens.

Elle consiste à ranger les couples (x_i, y_i) selon l'ordre croissant des x_i, partager alors la population en trois sous-populations de même taille (à une unité près), et rechercher dans chaque population la médiane des x_i et celle des y_i. Ce qui conduit à trois couples de médianes définissant trois points : P₁(m_1,x, m_1,y), P₂(m_2,x, m_2,y) et P₃(m_3,x, m_3,y). La droite d'ajustement est la droite passant par l'isobarycentre de ces trois points et parallèle à la droite (P₁ P₃)[8].

Nuage de points illustrant une probable indépendance des variables X et Y

Dans le cadre de la régression linéaire, l’ajustement affine permet de tester l’existence d’une corrélation linéaire entre deux variables.

Pour une valeur en abscisse non représentée dans le nuage de points, on peut estimer une valeur en ordonnée en lui appliquant la fonction affine obtenue par ajustement affine.

Prévisions à partir de l’ajustement affine d’un nuage de points

Par exemple, le graphique ci-contre représente les réponses à des sondages effectués sur la période 1992-2006 concernant le pourcentage de personnes dans la tranche 15-44 ans ayant déjà goûté au cannabis. Chaque point correspond à un sondage avec sa date en abscisse et le pourcentage d'expérimentateurs en ordonnées. Le nuage de points semble s'organiser selon une droite qui permet d'estimer qu'un sondage en 2008 aurait donné 42 % de réponses positives et qu'un sondage en 1994 aurait donné environ 20 % de réponses positives.

Le tracé d'une droite d'ajustement n'induit pas qu'il existe une relation de cause à effet entre les deux phénomènes mesurés et les extrapolations que l'on est tenté d'effectuer doivent se limiter aux voisinages proches du nuage de points car, au-delà des frontières de l'étude, le comportement relatif des deux variables peut très bien ne plus être affine.

Comportement non linéaire d'un nuage de points

Si le nuage de points semble indiquer une fonction exponentielle, on peut tenter un ajustement affine sur le logarithme naturel des ordonnées ln(Y), en fonction de X. En effet si ln(Y) = aX + b alors Y = e^b × e^aX

Si le nuage de points semble indiquer une fonction puissance, l'ajustement affine se tentera sur ln(Y) et ln(X) car ln(Y) = a ln(X) + b alors Y = e^b × X^a