NEJM AI 2026 ; 3 ( 4 ) DOI : 10.1056/AIpc2501297 VOL. 3N° 4
Abstract
Les dispositifs médicaux dotés d'intelligence artificielle (IA) sont prometteurs pour améliorer les résultats de santé.
Cependant, leur efficacité concrète dépend à la fois de leurs performances techniques, et de la capacité des utilisateurs à interagir efficacement et de manière fiable avec le dispositif et à interpréter ses résultats.
En pratique clinique, les systèmes d'IA peuvent engendrer des difficultés spécifiques liées aux facteurs humains, du fait de leurs résultats probabilistes, de leur explicabilité limitée, de leur comportement adaptatif, du risque d'erreurs de classification et de la production de volumes importants de données.
Ces caractéristiques peuvent amplifier les risques de mauvaise perception, de mauvaise interprétation, de déséquilibre de la confiance, de biais d'automatisation, de perte de compétences, de technostress, de dérive des indications et d'erreurs liées aux changements ou aux modalités d'utilisation. Bien que ces risques soient de plus en plus reconnus dans la recherche et l'élaboration de recommandations, ils ne sont pas encore pleinement intégrés aux processus réglementaires ou d'évaluation des technologies de la santé.
Élaboré conjointement par des experts cliniques, réglementaires et en facteurs humains issus des secteurs de la santé, de l'enseignement supérieur et de l'industrie, cet ouvrage aborde les questions fondamentales de l'ergonomie de l'IA : pourquoi, quoi et comment.
Sept risques liés aux facteurs humains sont synthétisés en recommandations pratiques, conformes aux normes établies en matière d'ergonomie et de gestion des risques.
Ces recommandations portent notamment sur la définition des utilisateurs cibles et des exclusions, la conception de résultats fiables et compréhensibles, la démonstration de l'intégration aux flux de travail, le soutien à la formation pour prévenir la perte de compétences, la mise en place de solutions de repli sécurisées, le suivi de l'utilisation en situation réelle et la communication claire des mises à jour. Afin de concrétiser ces principes, nous décrivons les étapes de mise en œuvre et de validation compatibles avec les livrables réglementaires existants en matière d'ergonomie, notamment les spécifications d'utilisation, l'analyse des risques liés à l'utilisation, l'évaluation formative et sommative, l'étiquetage et la documentation de formation, la surveillance post-commercialisation et la gestion des changements.
Les dispositifs dotés d'IA n'offriront une valeur sûre et pertinente que si l'interaction entre les capacités du système et les facteurs humains spécifiques à l'IA est explicitement prise en compte tout au long du cycle de vie du produit. En associant des données d'utilisabilité avant commercialisation à un suivi après commercialisation et en soulignant la nécessité d'une répartition claire des responsabilités entre les fabricants, les systèmes de santé et les évaluateurs, ce cadre constitue une première étape pratique et conforme aux exigences réglementaires vers l'intégration des considérations relatives aux facteurs humains spécifiques à l'IA dans les évaluations réglementaires et des technologies de la santé de routine. Ce faisant, il vise à réduire les risques évitables tout en favorisant l'innovation. (Financé par la Commission européenne et d'autres organismes.)
Carte des risques et recommandations liés aux facteurs humains pour les AIeMD.
La colonne de gauche répertorie les principaux risques liés aux facteurs humains, tandis que la colonne centrale présente les sept recommandations portant sur les aspects les plus spécifiques à l'expérience utilisateur et à l'évaluation des dispositifs médicaux dotés d'intelligence artificielle. Les principaux risques atténués sont illustrés dans la colonne de droite ; toutefois, plusieurs recommandations sont souvent combinées pour traiter chaque risque. AIeMD désigne un dispositif médical doté d'intelligence artificielle.
Mise en correspondance des recommandations relatives aux facteurs humains de l'AIeMD avec les livrables réglementaires standard en matière d'utilisabilité.
Ce schéma met en correspondance les sept points d'orientation recommandés en matière d'ergonomie pour les dispositifs médicaux dotés d'intelligence artificielle (DIIA) (G1 à G7) avec les livrables internationaux courants d'ingénierie de l'utilisabilité et de gestion des risques (U1 à U7), généralement consignés dans les dossiers d'ingénierie de l'utilisabilité et la documentation réglementaire. Il illustre comment les risques spécifiques aux DIIA peuvent être opérationnalisés à partir des structures de preuves existantes, sans avoir à créer de nouvelles catégories de documentation. Ce schéma est donné à titre indicatif et dépend du contexte. Les activités peuvent se chevaucher ou être combinées, et les exigences en matière de preuves varient selon le risque lié au dispositif, son utilisation prévue, la juridiction et la nature des modifications. Ce schéma indique où les points d'orientation peuvent être documentés dans les livrables standard, et non dans un flux de travail fixe.
Conclusion
Ce cadre complète les normes établies en matière d'ergonomie par des considérations spécifiques à l'IA, associant les données d'utilisabilité avant commercialisation à la surveillance après commercialisation. Bien que la réglementation progresse, le rythme de l'innovation dépasse celui des directives réglementaires officielles.
De ce fait, les fabricants, les systèmes de santé et les évaluateurs ont la responsabilité immédiate de garantir une utilisation et une conception sûres. Les responsabilités doivent être clairement définies pour chacun de ces groupes ; à défaut, des lacunes en matière de responsabilisation peuvent entraîner l'omission d'activités critiques en matière de sécurité.
Dans les contextes aux ressources limitées, des garanties intégrées plus robustes et un soutien plus clair à la mise en œuvre sont particulièrement importants pour éviter d'aggraver les lacunes en matière de sécurité. À mesure que les dispositifs médicaux intégrant l'IA deviennent plus adaptatifs et personnalisés, les évaluations doivent suivre leur utilisation réelle, calibrer la confiance et mettre en évidence les erreurs liées aux changements.
Une documentation pratique et conforme aux exigences réglementaires concernant les utilisateurs, leur admissibilité, l'adéquation au flux de travail, les interfaces favorisant la confiance, les solutions de repli sécurisées, la communication des changements et la surveillance sur le terrain peut réduire les préjudices évitables. Cela peut se faire sans imposer une charge excessive.
SYNTHESE / NOTE BBKLM
Ce guide pratique analyse les risques liés aux facteurs humains dans l'utilisation des dispositifs médicaux intégrant l'intelligence artificielle, soulignant que l'efficacité clinique dépend autant de l'interaction homme-machine que de la performance technique. Les auteurs identifient sept périls majeurs, tels que le biais d'automatisation, la perte de compétences et le mauvais étalonnage de la confiance, qui découlent de la nature probabiliste et changeante de l'IA. Pour y remédier, l'article propose un cadre méthodologique structuré en sept recommandations concrètes, allant de la conception d'interfaces transparentes à la mise en place de voies de secours sécurisées en cas de défaillance du système. L'objectif final est d'intégrer ces exigences de convivialité et de surveillance post-commercialisation dans les processus réglementaires standards afin de garantir la sécurité des patients tout en favorisant l'innovation technologique.
L’IA Médicale à l’Épreuve du Réel :
5 Impératifs Stratégiques sur les Facteurs Humains
Dans le confort d'un laboratoire de recherche, l'intelligence artificielle (IA) est une championne de la précision, affichant souvent des scores dépassant les 99 %. Mais pour un clinicien opérant sous une pression constante, jonglant entre des alertes incessantes et une charge cognitive saturée — ce que nous appelons le Technostress — ces chiffres perdent de leur superbe. Le véritable défi de l'IA médicale n'est pas une question de performance brute du code, mais de la robustesse de l'interaction entre la machine et l'humain.
En tant que consultant en stratégie d'IA, je constate souvent que le fossé entre le succès technique et l'échec clinique réside dans l'ignorance des facteurs humains. L'efficacité réelle dépend de l'acceptation de l'utilisateur et de l'intégration du dispositif dans des flux de travail souvent chaotiques. Pour transformer le potentiel technologique en sécurité clinique, nous devons adopter cinq impératifs stratégiques.
1. La précision technique n'est pas la sécurité : Le design comme composant critique
Un algorithme peut être mathématiquement parfait tout en étant cliniquement dangereux. Les sorties de l'IA sont par nature probabilistes et souffrent d'une explicabilité limitée, ce qui amplifie les risques de mauvaise perception ou d'interprétation erronée. Ici, le design de l'interface n'est pas une question d'esthétique, mais un paramètre de sécurité vitale : les caractéristiques de l'interface orientent l'attention de l'utilisateur et cadrent sa décision.
« C'est l'interprétation humaine des résultats de l'IA et les décisions humaines basées sur ces résultats qui, en fin de compte, ont un impact sur les soins aux patients. »
La sécurité ne réside pas dans le processeur, mais dans le jugement humain qui agit comme le filtre ultime. Si l'interface échoue à communiquer l'incertitude ou les sorties inappropriées, le système entier devient défaillant.
2. Calibrer la confiance : Au-delà du score de certitude
Le mirage de la « confiance » est l'un des risques les plus complexes (Trust Miscalibration). Un score de confiance élevé affiché par une IA reflète sa certitude interne basée sur ses données d'entraînement, et non sa véracité absolue dans un contexte clinique réel.
L'impératif stratégique est de comprendre comment la formulation des recommandations et l'insistance du système influencent le praticien. Une présentation trop affirmative peut induire un biais d'automatisation, poussant le clinicien à suivre aveuglément l'outil, même face à des signes d'erreur évidents. À l'inverse, une interface mal conçue peut provoquer une aversion pour l'algorithme dès la première défaillance, privant le service d'un outil pourtant utile. Le design doit aider l'utilisateur à ajuster son niveau de dépendance en temps réel.
3. Prévenir la déshabilitation par des « zones sans IA »
L'usage prolongé de l'IA comporte un risque insidieux d'érosion des compétences, ou deskilling. Lorsque l'assistance devient systématique, la conscience de la situation et les réflexes cliniques s'étiolent, rendant le praticien vulnérable en cas de panne système ou face à des cas atypiques (hors données d'entraînement).
Le deskilling se définit comme « l'érosion des compétences ou une perte de conscience de la situation après une dépendance prolongée à l'assistance. »
Pour contrer cela, nous préconisons des stratégies actives de maintien de l'expertise. À Singapour, certains pôles de santé ont instauré des périodes cliniques obligatoires « sans IA ». L'objectif est double : garantir que les cliniciens peuvent toujours intervenir manuellement de manière efficace et maintenir une capacité critique face aux suggestions de la machine.
4. Maîtriser la « Dérive de l'usage prévu » (Indication Creep)
Une fois qu'un outil d'IA est adopté, il subit souvent une dérive de l'usage prévu. Sous l'effet du Technostress et de la routine, les utilisateurs tendent à normaliser le saut des vérifications d'exclusion. Un dispositif validé pour une population spécifique finit par être appliqué à de nouveaux contextes sans revalidation préalable.
L'exemple des fonctions ECG des montres connectées est instructif : elles intègrent des garde-fous stricts, comme des messages d'éligibilité basés sur l'âge, bloquant l'accès si l'utilisateur ne correspond pas au profil validé. Sans ces barrières visibles et automatiques, l'IA risque de devenir une source d'erreurs invisibles car déconnectée de son domaine de validité initial.
5. L'IA est un système vivant : Le défi des mises à jour
Contrairement aux dispositifs médicaux statiques, l'IA évolue. Chaque mise à jour, même mineure, peut perturber les habitudes ancrées et provoquer des « erreurs de mode ». Le déploiement de l'IA exige donc une stratégie de communication et de validation continue :
Le Mode Fantôme (Shadow Mode) : Avant tout usage clinique, l'outil doit être déployé en arrière-plan sur des données réelles pour vérifier sa stabilité et son intégration au flux de travail sans influencer les décisions.
Les Interstitiels : Lors d'un changement de seuil ou de mise en page, des écrans temporaires doivent forcer l'utilisateur à reconnaître les modifications critiques avant toute action.
Il est crucial de comprendre la boucle de rétroaction : les frictions organisationnelles (Technostress) augmentent la fatigue, ce qui accroît mécaniquement la vulnérabilité du clinicien au biais d'automatisation.
La sécurité de l'IA ne peut être une simple déclaration d'intention. Elle doit être mesurée. Nous recommandons l'utilisation d'échelles d'évaluation rigoureuses (allant de l'absence de considération à la validation systématique des résultats par des tests utilisateurs) pour auditer chaque dispositif.
La responsabilité de la sécurité est partagée : les fabricants doivent concevoir pour la compréhension, et les systèmes de santé doivent assurer la formation continue. En fin de compte, nous devons nous poser cette question : comment garantir que l'IA ne devienne jamais une boîte noire, mais reste un outil offrant toujours des parcours de repli sécurisés en cas de défaillance ?
C'est seulement à ce prix que nous réduirons les dommages évitables et que nous bâtirons une médecine numérique digne de confiance.
OPEN EVIDENCE AI
Les principaux problèmes de l'IA en médecine concernent le manque d'explicabilité , les biais algorithmiques , les risques pour la vie privée , la responsabilité juridique floue et la perte potentielle de compétences cliniques . Malgré son potentiel prometteur, l'intégration de l'IA dans la pratique clinique reste limitée en raison de multiples obstacles techniques, éthiques et organisationnels.[1-2]
Figure 1. Cadence de préparation des applications pour les grands modèles de langage.
Utilisé sous licence du New England Journal of Medicine.
Défis techniques et algorithmiques
Les systèmes d'IA fonctionnent souvent comme des "boîtes noires", rendant difficile la compréhension de leurs décisions.[1-2]Cette opacité pose des problèmes de confiance pour les cliniciens et les patients. Les algorithmes peuvent également reproduire des biais présents dans leurs données d'entraînement, conduisant à des disparités dans les soins selon l'origine ethnique, le sexe ou le statut socio-économique.[4-5]Le risque d'erreurs factuelles, particulièrement avec les grands modèles de langage, peut générer des conseils médicaux non vérifiés ou de la désinformation.[6-7]
Préoccupations éthiques et juridiques
La protection de la vie privée des patients est primordiale, car les systèmes d'IA doivent avoir d'énormes quantités de données sensibles.[8-9]La question de la responsabilité en cas d'erreur reste floue : qui est responsable lorsqu'une IA commet une erreur - le développeur, l'institution de santé ou le clinicien ?[1][10]Le consentement éclairé devient plus complexe lorsque l'IA intervient comme "tiers" dans la relation thérapeutique, nécessitant une transparence accrue sur son utilisation.[11]
Obstacles à l'implémentation clinique
Une revue systématique a identifié 19 barrières majeures organisées à trois niveaux : technique/algorithmique, parties motrices et sociétales.[1]Les défis pratiques incluent l'intégration dans les flux de travail existants, le manque de protocoles de validation standardisés, les difficultés d'interopérabilité et l'absence de preuves d'efficacité coût-bénéfice.[1][12]Les médecins expriment des inquiétudes concernant l'augmentation de la charge de travail, notamment par des examens supplémentaires inutiles générés par l'IA.[12]
Risques pour les compétences cliniques
La dépendance excessive aux recommandations de l'IA peut entraîner un "biais d'automatisation", où les utilisateurs suivent les suggestions sans questionnement critique. À long terme, la confiance excessive dans l'IA pourrait éroder les compétences diagnostiques des cliniciens, particulièrement chez les médecins en formation. [13-14]Les systèmes d'IA manquent également de capacités essentielles pour l'agence morale, comme la sensibilité, l'émotion et l'empathie, soulevant des doutes sur leur capacité à fournir des soins compatissants. [10]
Inégalités d'accès
Les disparités dans la maturité réglementaire et la préparation à l'IA entre pays risquent d'exacerber les inégalités mondiales en santé.[6]Si les technologies d'IA ne sont pas accessibles à toutes les populations, elles pourraient créer un fossé numérique dans les soins de santé.[4][8]
Les effets secondaires potentiels de l'IA en médecine incluent les erreurs diagnostiques , la désinformation médicale , l' augmentation de la charge de travail , le biais d'automatisation , l' érosion des compétences cliniques , les violations de la vie privée et l' exacerbation des inégalités de santé . Ces risques peuvent nuire à la sécurité des patients et à la qualité des soins si l'IA n'est pas correctement surveillée et intégrée.[1-3]
Erreurs et préjudices directs aux patients
Les systèmes d'IA peuvent générer des erreurs factuelles ou inférentielles, particulièrement avec les grands modèles de langage utilisés comme chatbots.[1][4]Des cas réels documentés incluent les hallucinations dangereuses du système Whisper, un algorithme de transplantation (UNOS) retardant les greffes pour les patients noirs, et le chatbot SARAH de l'OMS fournissant des informations de santé inexactes.[4]Les erreurs peuvent provenir de sorties de modèle inexactes, de la non-adhésion des cliniciens aux recommandations correctes, ou d'une mauvaise intégration dans le flux de travail clinique.[5]
Figure 1. Typologie des facteurs influençant le risque de responsabilité des outils d'intelligence artificielle dans le domaine de la santé.
Utilisé sous licence du New England Journal of Medicine.
Biais d'automatisation et dépendance excessive
critique du questionnaire
Les cliniciens peuvent développer une confiance excessive envers les recommandations de l'IA, suite aux suggestions sans questionnement critique - un phénomène appelé "biais d'automatisation".[6-7]Cette dépendance peut conduire à la complaisance et à l'érosion progressive des compétences diagnostiques, particulièrement chez les médecins en formation.[7]Les études historiques sur le diagnostic assisté par ordinateur en mammographie illustrent ces risques. [7]
Augmentation paradoxale de la charge de travail
Contrairement aux attentes, l'IA peut augmenter la charge de travail des cliniciens en générant des examens supplémentaires inutiles ou des faux positifs nécessitant un suivi.[8]Les médecins généralistes expriment des inquiétudes concernant les tests superflus déclenchés par les algorithmes d'IA, créant une charge administrative et clinique supplémentaire. [8]
Désinformation et conseils médicaux non vérifiés
Les chatbots et agents conversationnels exploités sur l'IA, disponibles comme outils de première ligne à faible coût, présentent des risques importants de désinformation et de conseils médicaux non vérifiés.[1]Un cas documenté implique un chatbot de Character AI promouvant des troubles alimentaires chez les adolescents.[4]Le risque de manipulation par des acteurs économiques ou politiques est également préoccupant.[1]
Violations de la vie privée et de la sécurité des données
Les systèmes d'IA devaient d'énormes quantités de données sensibles, créant des vulnérabilités en matière de cybersécurité.[2][9]La violation de données WotNot en 2024 a révélé des faiblesses dans les technologies d'IA et souligné le besoin urgent de protocoles de cybersécurité robustes.[9]expérience de santéPlus de 60 % des professionnels de la santé expriment leur hésitation à adopter les systèmes d'IA en raison de l'insécurité des données. [9]
Exacerbation des inégalités de santé
Les algorithmes peuvent reproduire et amplifier les biais présents dans leurs données d'entraînement, conduisant à des disparités selon l'origine ethnique, le sexe ou le statut socio-économique. [3][10]Les différences de maturité réglementaire entre pays risquent d'aggraver les inégalités mondiales en santé, créant un fossé numérique dans l'accès aux soins.[1]
Perturbation de la relation patient-médecin
L'intégration de l'IA transforme la relation bilatérale traditionnelle patient-médecin en une relation trilatérale, soulevant des questions complexes sur le consentement éclairé, l'autonomie du patient et la confiance.[11-12]Les systèmes d'IA manquent de capacités essentielles pour l'agence morale comme la sensibilité, l'émotion et l'empathie.[1]
Responsabilité juridique floue
Lorsqu'une erreur d'IA cause un préjudice, la question de la responsabilité reste non résolue - qui est responsable : le développeur, l'institution de santé ou le clinicien ?[2][13]Cette ambiguïté juridique complique la protection des patients et la reddition de comptes.[13]
Nécessité de surveillance continue
Contrairement aux systèmes de support décisionnel basés sur des règles, l'IA est dynamique et nécessite une surveillance fréquente pour identifier les problèmes de sécurité.[14]Les organisations de santé doivent mettre en place des processus de "red-teaming" et des cas de test standardisés pour évaluer régulièrement les systèmes d'IA.[14]
Reprenons l'essence de cet article : "Les effets secondaires potentiels de l'IA en médecine incluent les erreurs diagnostiques , la désinformation médicale, l'augmentation de la charge de travail , le biais d'automatisation, l'érosion des compétences cliniques , les violations de la vie privée et l'exacerbation des inégalités de santé . Ces risques peuvent nuire à la sécurité des patients et à la qualité des soins si l'IA n'est pas correctement surveillée et intégrée."
L'IA "jouet" dangereuse en médecine : OUI et NON
OUI si l'IA n'est pas maîtrisée, si l'éthique n'est pas préservée, si les patients sont sans limites dans leurs interrogations, s'il n'existe aucune règle d'utilisation médicale.
NON si l'IA médicale obéit à des règles, si l'éthique est préservée, si le secret médical est une réalité, si les utilisateurs sont formés et encadrés dès le début. Aucune improvisation n'est permise avec l'IA, notamment en médecine.
Bref on ne doit pas faire n'importe quoi avec l'IA sous prétexte que l'on est "docteur en médecine".
