Matrice de confusion

En apprentissage automatique supervisé, la matrice de confusion est une matrice qui mesure la qualité d'un système de classification. Chaque ligne correspond à une classe réelle, chaque colonne correspond à une classe estimée. La cellule ligne L, colonne C contient le nombre d'éléments de la classe réelle L qui ont été estimés comme appartenant à la classe C[1]. Attention il y a parfois interversion des axes de la matrice en fonction des auteurs.

Un des intérêts de la matrice de confusion est qu'elle montre rapidement si un système de classification parvient à classifier correctement.

Exemple

On souhaite mesurer la qualité d'un système automatique de classification (SAC) de courriers électroniques. Les courriers sont classifiés selon deux classes : courriel pertinent ou pourriel intempestif. Supposons que notre classificateur SAC soit testé avec un jeu de 200 mails, dont 100 sont des courriels pertinents et les 100 autres relèvent de pourriels.

Pour cela, on veut savoir :

  • combien de courriels seront faussement estimés comme des pourriels (fausses alarmes) par le système SAC et
  • combien de pourriels ne seront pas estimés comme tels (non détections) et classifiés à tort comme courriels par le système SAC.

La matrice de confusion suivante se lit alors comme suit :

  • horizontalement, sur les 100 courriels initiaux (ie : 95+5), 95 ont été estimés par le système automatique de classification SAC comme tels et 5 ont été estimés comme pourriels (ie : 5 faux-négatifs),
  • horizontalement, sur les 100 pourriels initiaux (ie : 3+97), 3 ont été estimés par le système SAC comme courriels (ie : 3 faux-positifs) et 97 ont été estimés comme pourriels,
  • verticalement, sur les 98 mails (ie : 95+3) estimés par le système SAC comme courriels, 3 sont en fait des pourriels,
  • verticalement, sur les 102 mails (ie : 5+97) estimés par le système SAC comme pourriels, 5 sont en fait des courriels.
  • diagonalement (du haut gauche, au bas droit), sur les 200 courriels initiaux, 192 (95 + 97) ont été estimés correctement par le système SAC.
Classe estimée - (par le classificateur SAC)
courriel pourriel
Classe réelle -
(selon le destinataire
humain des mails)		 courriel 95
(vrais positifs)		 5
(faux négatifs)
pourriel 3
(faux positifs)		 97
(vrais négatifs)

Cette notion s'étend à un nombre quelconque de classes. On peut normaliser cette matrice pour en simplifier la lecture : dans ce cas, un système de classification SAC sera d'autant meilleur que sa matrice de confusion s'approchera d'une matrice diagonale.

Pour aller plus loin :

  • la 2e ligne horizontale des pourriels nous donne une indication sur la capacité à détecter automatiquement les pourriels (ie : 97 % de succès).
  • la 2e ligne verticale des pourriels nous donne une indication sur à quel point les prédictions (détection de pourriels) sont fiables (ie : 5 % d'erreurs sur les courriels et 3% d'erreurs sur les pourriels soit 4 % d'erreur de classification d'un mail en moyenne par le système SAC).

Notes et références
  1. « Confusion Matrix », sur www2.cs.uregina.ca (consulté le )

Articles connexes
  • Portail des probabilités et de la statistique
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.