"Nous passons tous un grand moment de notre vie sous l'eau, comme un iceberg. La plupart de nos pensées et de nos désirs ne sont pas exprimés. Nous vivons tous en permanence dans les conditions du secret" John Le Carré
Les systèmes de santé ne maîtrisent que la partie émergée de l'iceberg de l'IA.
Erkin Ötleş , M.D., Ph.D. Sara G. Murray , M.D., M.A.S. Ashley N. Beecy , M.D. Alexander A. Khalessi , M.D., M.B.A. and Karandeep Singh , M.D., M.M.Sc.Received: February 21, 2026; Accepted: February 24, 2026; Published: March 26, 2026
https://ai.nejm.org/doi/pdf/10.1056/AIe2600236
Abstract
Nombre d'entre eux étant insatisfaits de la rapidité d'adoption de l'IA par leur système de santé, il n'est pas surprenant que la plupart des utilisations se fassent en dehors de tout contrôle institutionnel.
La gouvernance de l'IA au sein des systèmes de santé est généralement conçue pour évaluer les outils d'IA orientés vers des cas d'utilisation spécifiques, ce qui permet de quantifier les risques potentiels de ces outils afin de les atténuer.
Cette approche de gouvernance est inadaptée aux plateformes d'IA génératives généralistes, car l'éventail des risques et des bénéfices varie selon l'usage qu'en font les médecins.
De ce fait, la supervision directe d'outils d'IA spécialisés coexiste avec une utilisation largement et discrète de plateformes d'IA grand public, dont les pratiques en matière de confidentialité et de sécurité des données sont incertaines.
Le manque d'implication des systèmes de santé vis-à-vis des outils d'IA grand public aggrave les risques en supprimant la visibilité et les protections institutionnelles. Nous décrivons l'ampleur de ce problème et expliquons pourquoi les systèmes de santé doivent réformer leur approche de la gouvernance de l'IA.
Les systèmes de santé ne contrôlent qu'une fraction des outils d'intelligence artificielle utilisés dans le domaine de la santé, laissant une vaste zone d'applications non réglementées qui échappe à leur surveillance. Cette métaphore de l'iceberg reflète une réalité préoccupante : alors que les systèmes de santé peuvent gouverner certains outils cliniques intégrés dans leurs infrastructures, de nombreuses applications d'IA fonctionnent en dehors de tout cadre de supervision formelle. [1]
La partie visible de l'iceberg comprend les outils d'IA que les systèmes de santé peuvent théoriquement contrôler. Il s'agit notamment des algorithmes intégrés dans les dossiers de santé électroniques, des logiciels de diagnostic d'imagerie médicale approuvés par la FDA, et de certains systèmes d'aide à la décision clinique. [1]
Cependant, la partie immergée est considérablement plus vaste et inclut les applications directes aux consommateurs (chatbots de santé mentale, applications de diagnostic cutané), les outils d'opérations commerciales (optimisation de la facturation, gestion de la chaîne d'approvisionnement), et les applications hybrides (transcription ambiante, réponses automatisées aux messages des patients). [1]
Le cadre réglementaire américain présente des lacunes importantes. La loi 21st Century Cures Act exclut de la définition de dispositif médical les logiciels d'IA destinés au support administratif, au bien-être général, à certains types de support décisionnel clinique, et à de nombreuses fonctions de gestion des données. [1] Par conséquent, de nombreux outils d'IA discutés dans la pratique clinique sont exemptés de la réglementation de la FDA. [1] Les outils directs aux consommateurs relèvent de la Federal Trade Commission, dont la surveillance se limite à la protection de la vie privée et à la publicité mensongère, sans évaluation des effets sur la santé. [1]
Used under license from The New England Journal of Medicine.
Cette situation crée des défis majeurs pour les systèmes de santé.
Comme l'a récemment déclaré l'ancien commissaire de la FDA Robert Califf : "Je ne crois pas qu'il existe un seul système de santé aux États-Unis capable de valider un algorithme d'IA mis en place dans un système de soins cliniques." Les systèmes de santé manquent souvent de l'infrastructure, de l'expertise et des ressources nécessaires pour assurer une formation appropriée des utilisateurs, surveiller la performance continue, détecter les biais, et déterminer si un outil reste bénéfique au fil du temps. [1]
Les recommandations récentes de la Joint Commission et de la Coalition for Health AI proposent des structures de gouvernance comprenant une expertise multidisciplinaire, des politiques de confidentialité des patients, une surveillance continue de la qualité, des évaluations des risques et des biais, ainsi qu'une formation spécifique au rôle. [3] Cependant, ces directives restent volontaires et ne s'appliquent qu'aux outils déployés au sein des systèmes de santé, laissant la majorité de l'écosystème d'IA en santé sans supervision adéquate. [4-5]
Used under license from The New England Journal of Medicine.
Les enjeux éthiques et juridiques se complexifient davantage avec l'IA générative et les agents d'IA, qui peuvent accomplir tellement de tâches qu'ils défient le cadre traditionnel de réglementation basé sur l'usage prévu, ressemblant davantage à des professionnels de santé qu'à des dispositifs médicaux. [1] Cette évolution soulève même la possibilité que les États puissent un jour délivrer des licences aux agents d'IA comme "médecins numériques". [1]
Les systèmes de santé devraient mettre en œuvre une surveillance continue et multidimensionnelle des algorithmes d'IA, comprenant la détection de la dérive des données et des performances, l'évaluation des biais, le signalement des événements indésirables, et la validation locale régulière. [1-2] Cette approche, appelée "algorithmovigilance" par analogie avec la pharmacovigilance, nécessite une infrastructure de gouvernance robuste et des méthodes d'évaluation adaptées au cycle de vie complet des outils d'IA. [3]
Surveillance de la performance et détection de la dérive
La surveillance postdéploiement doit inclure une détection précoce de la dégradation des performances causée par des changements dans les distributions de données, les caractéristiques des patients, les protocoles cliniques ou la qualité des données. [4] Les systèmes de santé devraient établir des pipelines de surveillance automatisés capables de détecter les changements significatifs dans les données d'entrée et les performances du modèle.
Commentaire
Pour faire simple, il existe un hold-up de l'IA par la médecine, qui s'approprie cette technologie en free-lance, ce qui crée des "hors-la-loi" de l'IA médicale en dehors de tout contrôle institutionnel. Un nouveau Far West ! Rappelons que l'éthique en matière d'IA est primordiale, que les dossiers patients doivent être préservés comme la confidentialité, etc.
