Oubli de la fréquence de base

Diagramme de Venn illustrant l'oubli de la fréquence de base. La disproportion entre la taille de la population délinquante, la population déclenchant l'alerte et la population générale augmente considérablement le risque d'erreur.

Soit une ville d'un million individus présents sur son territoire. Sur ce million (1 000 000) d'individus, 100 sont des délinquants présumés et répertoriés comme tels sur une liste, les 999 900 autres étant présumés non-délinquants.

Afin de détecter la présence d'un délinquant sur son territoire, la ville installe des caméras de vidéosurveillance avec un dispositif de reconnaissance faciale automatique : celui-ci doit déclencher une alerte dès lors que le visage filmé est celui d'un des 100 délinquants de la liste.

Malheureusement, le dispositif de reconnaissance faciale n'est pas parfait. Supposons qu'il ait un « taux d'erreur de 1 % », ou, plus précisément, que :

• sa sensibilité soit de 99 %, soit un taux de 1 % de faux négatifs parmi les vrais délinquants ;
• sa spécificité soit de 99 %, soit un taux de 1 % de faux positifs parmi les non-délinquants.

Lorsqu'une alerte se déclenche, quelle est la probabilité que l'on soit en présence d'un délinquant répertorié sur la liste ?

Si l'on raisonne avec « oubli de la fréquence de base », c'est-à-dire en ne retenant que le « taux d'erreur est de 1 % », on répond un peu rapidement qu'il y a 99 % de probabilité que l'individu soit effectivement un délinquant lorsqu'une alerte est déclenchée.

Ce qui est erroné.

En effet, lorsqu'on comptabilise l'ensemble des alertes, deux situations se présentent :

• 99 % des délinquants déclenchent l'alerte, soit 99 délinquants sur les 100 de la liste
• 1 % des non-délinquants déclenchent l'alerte, soit 9 999 non-délinquants sur 999 900.
• Soit un total de 99 + 9999 = 10 098 alertes.

Lorsqu'une alerte se déclenche, la probabilité que l'individu soit effectivement un délinquant est donc de 99 sur 10 098, soit 0,98 % et non de 99 % !

Cette probabilité peut être retrouvée par le théorème de Bayes.

Soit une population vaccinée à 95 % contre un virus. Le vaccin, bien qu'imparfaitement efficace, est supposé très efficace contre toute forme symptomatique de la maladie. Durant la pandémie, on enregistre parmi les malades testés positifs, le nombre de non-vaccinés et de vaccinés, pour déterminer l'impact de la vaccination sur la protection à la maladie. Intuitivement, un nombre élevé de vaccinés parmi les malades pourrait laisser penser que le vaccin est en fin de compte très peu efficace contre la maladie. Mais cette intuition est biaisée : En effet, s'il y a beaucoup de vaccinés parmi les malades c'est dû au fait que la population de base des vaccinés est très grande.

Dans l'hypothèse qu'il y a le même nombre de malades dans les populations vaccinées et non vaccinées, le vaccin est en réalité efficace à près de 95 % contre la maladie (2-1/95 % = 94.7 % exactement). Pour s'en convaincre il suffit de constater que, pour une efficacité du vaccin de 95 % :

• parmi les vaccinés (95 % de la population), 5 % (du fait des 95 % d'efficacité du vaccin) multipliés par le risque de contracter le virus contracteront la maladie ;
• parmi les non-vaccinés (5 % de la population), 100 % multipliés par le même facteur de risque contracteront la maladie.

Donc en multipliant 95 et 5 dans le premier cas (475) et 5 et 100 dans le deuxième cas (500), on constate que le nombre de vaccinés parmi les malades doit être quasi identique à celui des non-vaccinés, malgré un vaccin efficace à 95 %. Avec une couverture vaccinale proche de 100 %, il est donc prévisible d'enregistrer un nombre élevé de vaccinés parmi les malades[1]^{[source insuffisante]}.