Moins d’une fois sur vingt : grandeur et misère des tests d’hypothèses

Simon de Montigny
Université de Montréal
École de santé publique


Q : Pourquoi les universités enseignent p < 0,05?
R : Parce ce que c'est la règle qu'utilise la communauté scientifique.
Q : Pourquoi est-ce encore utilisé?
R : Parce ce que c'est ce qu’enseignent les universités.


Propos de George Cobb, tenus en 2014 sur un forum de discussion de l'American Statistical Association (traduction libre).

Le test d'hypothèses est une notion incontournable des cours de méthodes quantitatives et de statistique. La quantité p mentionnée ci-haut (appelée valeur-p) s’y rapporte. Souvent calculée par un logiciel, elle est abondamment mise à contribution dans l'analyse des expériences scientifiques comme en témoignent les deux exemples suivants. D’une part, en 2012, le boson de Higgs a été « observé » pour la première fois, c’est-à-dire qu’un appareil a détecté une particule élémentaire de masse 125 GeV/c² avec une valeur-p de 0,0000000017 (1,7 x 10⁻⁹). D’autre part, le vaccin rVSV-ZEBOV contre le virus Ebola a été déployé en République démocratique du Congo pour combattre deux épidémies depuis 2018. Les résultats d'essai clinique de ce vaccin rapportent un niveau de protection estimé à 100% avec une valeur-p de 0,0045. Un débat fait rage autour de la valeur-p. D’abord un résumé partiel de la modélisation statistique, elle s’est métamorphosée en filtre qui retient les études « non concluantes » pour ne laisser passer que les plus « importantes » dans les « meilleures » revues. Cette dérive s’explique facilement par l’idéologie d'excellence qui sévit dans le complexe scientifique-industriel. La critique de cet état des choses découle de la loi de Goodhart : « lorsqu’un indicateur statistique devient un objectif, il cesse d’être fiable ». L’enjeu est crucial pour la validité des tests d’hypothèses et la reproductibilité des résultats de la recherche scientifique. Les statisticiens sont partie prenante de ce débat. L’American Statistical Association émet un énoncé de principes sur l’interprétation et l’utilisation à bon escient de la valeur-p en 2016, et la revue The American Statistician publie un numéro spécial dédié à ce sujet au printemps 2019. Dans cet atelier, nous revisiterons cette controverse avec au menu une définition douteuse, deux types d’erreurs, plusieurs idées fausses… et, heureusement, quelques pistes de solution.

local 4.01
13h30