L’IA n’est pas fiable pour détecter la COVID-19
L’IA n’est pas plus performante pour prédire si une personne est atteinte de la COVID-19 qu’un simple questionnaire demandant aux gens de déclarer leurs symptômes.
Pas plus performant qu’un questionnaire
De nombreuses études antérieures avaient suggéré que les systèmes d’IA pouvaient détecter certains sons dans la toux et la voix des gens qui indiquent une infection par la COVID-19, avec des précisions rapportées atteignant 99 %.
Mais en testant les IA sur un ensemble complet de données sur la COVID-19 provenant du service national de santé britannique, les chercheurs ont montré que les performances soi-disant impressionnantes des IA reposent essentiellement sur la détection des facteurs démographiques associés à la probabilité d’une infection par la COVID-19.
« Nous montrons que la majeure partie des performances de classification de l’IA était due à des facteurs de confusion », explique Harry Coppock, de l’Imperial College London, au Royaume-Uni. « Nous avons recueilli le plus grand ensemble de données à ce jour sur des personnes infectées ou non par la COVID-19, ce qui nous a permis d’obtenir quatre [sons] », ajoute-t-il.
Des enregistrements audio de plus de 67 000 volontaires
Cette étude a permis de tester trois systèmes d’IA – dont l’une des dernières IA de classification des sons – sur des enregistrements audio de plus de 67 000 volontaires du Royaume-Uni, dont 23 514 personnes testées positives au COVID-19.
Ces enregistrements audio comprenaient quatre types de sons différents, explique M. Coppock : « une toux simple, trois toux, une phrase où ils disent « Je n’aime rien de plus qu’un thé à la crème l’après-midi », et le quatrième était une expiration. »
Les données de santé anonymisées provenant des dossiers du National Health Service des volontaires ont permis aux chercheurs de vérifier si les IA ne font que prédire l’infection par la COVID-19 en fonction de 16 facteurs de confusion – tels que le sexe, l’origine ethnique et le lieu de résidence.
En faisant correspondre les profils des personnes dont le test était positif avec des profils similaires de personnes dont le test était négatif, les scientifiques ont cherché à éliminer tout pouvoir prédictif de l’IA basé sur les facteurs démographiques partagés.
Une chute passant à 60 %
Les performances de l’IA ont connu une « chute massive », passant de 90 % à 60 %, lorsqu’on a tenu compte des facteurs de confusion, explique M. Coppock. Sur la base d’expériences supplémentaires, les chercheurs soupçonnent que les 10 % restants de la performance de l’IA, au-delà de l’exactitude du tirage au sort, sont également dus à des biais non détectés.
L’essentiel est que l’IA a été surpassée par un simple questionnaire de vérification des symptômes, qui serait à la fois moins cher et plus facile à déployer, explique M. Coppock.
« Ce travail est important car si nous ne comprenons pas comment une IA de dépistage de la COVID-19 basée sur l’audio pourrait fonctionner dans des conditions réelles, alors nous surestimerons la valeur d’une solution purement technique dans son déploiement », déclare Marzyeh Ghassemi du Massachusetts Institute of Technology.
Cette recherche a été publiée dans arXiv.
Source : New Scientist
Crédit photo : Depositphotos