"Montmory compare l’IA à un puzzle qui « éparpille » les informations, capable d’oser tout ce qu’une machine peut, mais sans véritable maîtrise ni intention."
Le collectif CHART. Directives de reporting pour les études de conseils de santé sur les chatbots : déclaration CHART .
Directives de reporting pour les études de conseils de santé sur les chatbots : déclaration CHART
La déclaration CHART
JAMA Netw Open. 2025 ; 8(8):e2530220. doi:10.1001/jamanetworkopen.2025.30220https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2837224?guestAccessKey=e4ad8b12-0eaa-48d9-a032-6e5566cbe72d&utm_medium=email&utm_source=postup_jn&utm_campaign=article_alert-jamanetworkopen&utm_content=new_this_week_&utm_term=080125
Article en libre d'accès
Importance
L’augmentation des études sur les conseils de santé par chatbot (CHA) s’accompagne d’une hétérogénéité dans les normes de reporting, ce qui affecte leur interprétabilité.
Objectif
Fournir des recommandations de rapport pour les études évaluant les performances des chatbots établis sur l’intelligence artificielle générative (IA) lors de la synthèse des preuves cliniques et de la fourniture de conseils de santé.
Conception, cadre et participants
CHART a été élaboré en plusieurs phases après une revue systématique exhaustive visant à identifier les variations dans la conduite, la communication et la méthodologie des études CHA. Les résultats de cette revue ont servi à élaborer une liste de contrôle provisoire, révisée par un processus de consensus Delphi asynchrone, international et multidisciplinaire, de 531 parties prenantes, trois réunions de consensus synchrones de 48 parties prenantes, puis par un essai pilote de la liste de contrôle.
Résultats
CHART comprend 12 éléments et 39 sous-éléments pour promouvoir la transparence et l'exhaustivité des rapports des études CHA. Ceux-ci comprennent
* le titre (sous-élément 1a),
* le résumé ou résumé (sous-élément 1b),
* le contexte (sous-élément 2ab),
* les identifiants du modèle (sous-élément 3ab),
* les détails du modèle (sous-éléments 4abc),
* l'ingénierie des invites (sous-élément 5ab),
* la stratégie de requête (sous-éléments 6abcd),
* l'évaluation des performances (sous-élément 7ab),
* la taille de l'échantillon (sous-élément 8), l'analyse des données (sous-élément 9a),
* les résultats (sous-éléments 10abc), la discussion (sous-éléments 11abc), les divulgations (sous-élément 12a),
* le financement (sous-élément 12b),
* l'éthique (sous-élément 12c),
*le protocole (sous-élément 12d) et la disponibilité des données (sous-élément 12e).
Conclusions et pertinence
La liste de contrôle CHART et le diagramme méthodologique correspondant ont été conçus pour aider les principales parties prenantes, notamment les cliniciens, les chercheurs, les éditeurs, les pairs évaluateurs et les lecteurs, à signaler, comprendre et interpréter les résultats des études CHA.
LES POINTS IMPORTANTS
CHART a été développé en réalisant une revue systématique, un consensus Delphi de 531 acteurs internationaux, et plusieurs réunions de consensus parmi un panel d'experts composé de 48 membres.
La déclaration CHART présente 12 éléments clés de rapport pour les études sur les conseils de santé par chatbot, sous la forme d’une liste de contrôle et d’un schéma méthodologique.
Tous les acteurs concernés, y compris les cliniciens, les chercheurs et les rédacteurs de revues, devraient encourager la transparence dans la communication des études sur les conseils de santé par chatbot.
CHART a été développé conformément aux normes méthodologiques les plus strictes grâce à une revue systématique exhaustive des études CHA. Un processus Delphi asynchrone modifié mené par un comité consultatif international et multidisciplinaire, et trois réunions de consensus synchrones d'un panel d'experts internationaux et multidisciplinaires ont également été mis en oeuvre.
La justification détaillée de chaque sous-élément est décrite dans notre article d'explication et d'élaboration. La liste de contrôle CHART décrit les éléments essentiels pour la rédaction des rapports des études CHA, qui évaluent généralement les performances des chatbots pilotés par l'IA générative lors de la synthèse des preuves cliniques ou de la fourniture de conseils de santé. Au moment de la rédaction de ce document, des progrès substantiels sont réalisés dans d'autres formes d'IA générative, telles que les vastes modèles multimodaux, auxquels notre liste de contrôle de rapport, élaborée dans le cadre d'études évaluant les performances des LLM, pourrait ne pas s'appliquer pleinement. Ainsi, en raison de la nature évolutive rapide de ces études, un processus dynamique doit être en place pour le suivi et la mise à jour de cette ligne directrice de rapport. 18
La liste de contrôle CHART s'applique aux études CHA où des chatbots pilotés par l'IA générative sont interrogés et leurs réponses sont rapportées et évaluées. La liste de contrôle CHART ne s'applique pas aux études CHA appliquant des techniques de randomisation (essais cliniques randomisés), ni aux études qui suivent les patients au fil du temps (études de cohorte prospectives). De futures extensions CHART des listes de contrôle pertinentes pour divers plans d'étude sont prévues, mais dans l'intervalle, les auteurs sont encouragés à appliquer à la fois la liste de contrôle CHART et les directives de rapport pertinentes selon le plan d'étude approprié, tel que CONSORT 19 ou STROBE. 20 Les auteurs utilisant des applications dans le domaine de l'intelligence artificielle au sens large (mais pas l'IA générative) sont encouragés à utiliser des directives de rapport plus génériques. 15 , 21 , 22 Les auteurs utilisant des modèles d'IA générative pour la rédaction médicale sont encouragés à appliquer les directives de rapport CANGARU 23 , qui sont en cours d'élaboration. CHART s'applique au paysage actuel des études CHA et évoluera en tant que directive de rapport évolutive.
Nous suggérons aux auteurs d'utiliser la liste de contrôle CHART dès le début de la rédaction des études CHA afin de s'assurer que tous les éléments de la liste de contrôle ont été rapportés quelque part dans leur manuscrit. De nombreuses recommandations de la liste de contrôle CHART suivent un ordre et une séquence naturels dans une étude CHA, mais ce n'est pas toujours le cas. Nous ne prescrivons pas de format spécifique ni n'imposons l'emplacement de chaque recommandation de rapport dans une étude CHA, car cet ordre peut également dépendre des politiques de formatage des revues. Une feuille de calcul téléchargeable et modifiable est disponible dans le supplément 2. Il est recommandé aux auteurs de compléter la liste de contrôle en indiquant le numéro de page où chaque sous-élément a été rapporté. La liste de contrôle complétée peut ensuite être soumise avec le manuscrit de l'étude CHA. Un article d'explication et de développement détaillé accompagne la liste de contrôle CHART et explique pourquoi la déclaration de chaque élément est recommandée .
L'exactitude des LLM est influencée par la nature des données sur lesquelles ils ont été formés.
*Ce principe est le premier des quatre selon la doctrine de l'utilisation équitable, qui sont abordés tout au long de la liste de contrôle CHART dans la mesure où ils se rapportent aux études CHA. Le premier principe fait référence à l'objectif et au caractère de l'utilisation du modèle.
* Le deuxième principe est la nature des données de formation originales. Bien que de nombreux LLM soient formés sur des données non médicales, il est essentiel que les informations factuelles et fondées sur des preuves soient prioritaires dans le contexte des soins de santé.
* Le troisième principe concerne la quantité et l'importance du matériel original utilisé pour former le modèle d'IA générative, et la clarté concernant l'origine des données de formation et l'autorisation ou la licence d'utilisation de contenu ou de données protégés par le droit d'auteur est recommandée.
* Enfin, le quatrième principe concerne l'impact sur le travail original, lorsque les modèles d'IA générative peuvent être formés avec des données protégées par le droit d'auteur.
Dans le cadre du développement de modèles, les résultats des modèles d'IA génératifs, tels que les LLM, sont également affectés par la présence de biais dans leurs ensembles de données d'entraînement. Cela introduit le risque que les LLM produisent des informations trompeuses ou préjudiciables lorsqu'ils sont appliqués à des fins de soins aux patients. Ces biais peuvent concerner de nombreux facteurs, y compris, mais sans s'y limiter, la race ou l'origine ethnique, le sexe ou le genre, la langue et la culture. Ce risque souligne encore plus l'importance de l'élément de la liste de contrôle de la science ouverte (élément 12) dans CHART, car le risque de biais provenant des données utilisées pour développer des chatbots pilotés par LLM peut être identifié ou atténué par le codage ouvert et le partage des données d'entraînement. De plus, les données utilisées pour entraîner les modèles d'IA génératifs peuvent constituer une menace pour la sécurité des données et la confidentialité des patients. L'utilisation de données identifiables de patients pendant l'entraînement du modèle est particulièrement préoccupante, car des informations sensibles peuvent être divulguées par inadvertance en l'absence de mesures de sécurité des données appropriées. Le risque de violation de données doit être traité en conséquence par des mesures de cybersécurité robustes. Ce concept souligne l'importance de l'élément de la liste de contrôle CHART relatif aux mesures prises pour assurer la protection des informations de santé des patients (élément 12ci). La poussée vers l'intégration clinique des modèles d'IA générative nécessite une supervision humaine de l'inclusion éthique et sûre des patients et de leurs informations de santé afin de fournir des conseils pour la conduite sûre des études CHA. Bien que nous reconnaissions l'importance de progresser en incluant les patients dans les études CHA pour développer davantage d'études centrées sur le patient (éléments 5biii et 7bii), nous encourageons les auteurs à indiquer si l'approbation éthique a été obtenue dans ces cas pour la conduite responsable de leur étude (élément 12c).
Cette ligne directrice de reporting suivra et adaptera la méthodologie traditionnelle d'une ligne directrice de pratique clinique évolutive. L'intervalle de mise à jour de cette ligne directrice de reporting s'appliquera à des éléments individuels de la liste de contrôle, plutôt qu'à la ligne directrice dans son intégralité. Les membres principaux du groupe de pilotage effectueront une recherche systématique de la littérature afin d'examiner en permanence la littérature selon les meilleures pratiques des lignes directrices évolutives, et se réuniront pour discuter de toute évolution pertinente dans le domaine de l'IA générative tous les 6 mois pendant les 2 premières années (jusqu'en 2026). Si des changements importants surviennent plus tôt, le groupe se réunira ad hoc si nécessaire. Le calendrier de suivi et de mise à jour de la ligne directrice sera examiné et révisé au moment de la prochaine mise à jour de la ligne directrice de reporting ou d'ici la fin de 2026, selon la première éventualité.
De plus, un panel d'experts dynamique composé de 14 membres a été sélectionné à l'issue de la troisième réunion de consensus, conformément aux meilleures pratiques en matière de lignes directrices dynamiques. Il comprend des membres qui s'engagent à se rendre disponibles pour des réunions virtuelles dans des délais très courts. Les membres du panel d'experts dynamiques représentent des profils issus de la médecine, de l'épidémiologie, de la science des données, de la méthodologie de la recherche en santé, de la méthodologie des lignes directrices en matière de reporting et des statistiques. Si aucune modification des lignes directrices en matière de reporting n'est justifiée au cours d'une année donnée, le panel d'experts dynamiques sera informé des activités du groupe de pilotage principal et sera informé de toute littérature ou sujet pertinent en matière d'IA générative à suivre et à connaître. Cette mise à jour aura lieu au moins une fois par an lors d'une réunion entre les membres principaux du groupe de pilotage et le panel d'experts dynamiques. Enfin, des pairs évaluateurs dynamiques seront sélectionnés à l'issue du processus d'évaluation par les pairs pour la déclaration CHART et la publication de son élaboration et de ses explications. Ils recevront également une mise à jour annuelle, mais ne seront contactés que si des éléments de la liste de contrôle doivent être mis à jour. Si de nouveaux éléments de la liste de contrôle candidats ou des révisions d'éléments existants sont identifiés par les membres principaux du groupe de pilotage, le comité d'experts en direct sera convoqué dans les meilleurs délais pour examiner la littérature pertinente. Conformément aux meilleures pratiques des lignes directrices en direct, 18 le seuil minimum sera fixé à 90 % d'accord parmi les membres du comité d'experts en direct pour modifier les éléments de la liste de contrôle afin de réduire le risque de faux positifs inhérent aux mises à jour fréquentes, tout en évitant un seuil excessivement élevé. Le cas échéant, le manuscrit actualisé sera copublié dans les revues pertinentes intéressées.
CHART s'applique aux personnes réalisant et examinant les études CHA, telles que les investigateurs, les pairs évaluateurs et les rédacteurs de revues à des fins académiques, ainsi qu'au public plus large des études CHA, notamment les cliniciens, les statisticiens, les chercheurs en IA générative, les experts réglementaires, les éthiciens, les méthodologistes de recherche, les décideurs politiques, les directeurs d'hôpitaux, les bailleurs de fonds, les patients et le grand public. Afin de promouvoir la transparence des rapports sur les études CHA, nous appelons les revues cliniques à adopter CHART : une norme de rapport exhaustive, élaborée avec une rigueur méthodologique méticuleuse. Le principal obstacle à l'adoption de CHART, selon nous, est l'incapacité à atteindre le public cible. Par conséquent, ce guide de rapport sera publié sur le site web du réseau EQUATOR et nous en diffuserons largement la publication. CHART sera également présenté lors de réunions d'évaluation par les pairs dans diverses spécialités médicales afin d'optimiser la diffusion et la portée de la liste de contrôle et du diagramme qui l'accompagne. Enfin, nous développerons un site Web pour héberger des versions remplissables de la liste de contrôle des résumés, de la liste de contrôle complète et du diagramme méthodologique, qui se trouvent dans les tableaux électroniques 2, 3 et 4 du supplément 1 , du supplément 2 et du supplément 3 de cette publication pour faciliter l'application de CHART par les chercheurs du CHA.
Suite à la publication des précédentes directives de reporting, la qualité des rapports des études applicables s'améliore.
À mesure que les chercheurs et les revues appliquent CHART et que l'exhaustivité des rapports des études CHA s'améliore, des études de meilleure qualité peuvent être produites. Les chercheurs, les éthiciens, les cliniciens et les régulateurs de la communauté de l'IA générative clinique doivent alors se tourner vers la validation des chatbots pilotés par l'IA générative dans le but de fournir des conseils de santé. Cette étape peut inclure la priorisation des mesures de validation de la qualité standardisées, la clarification du rôle de l'implication humaine dans les études de validation, la méthodologie de validation, et la communication des résultats de validation à l'aide de l'outil CHART. Les régulateurs doivent également se pencher sur la sensibilité et la confidentialité des données, en s'assurant que des mesures de sécurité des données sont mises en place par les développeurs d'IA générative en fonction de la catégorie de risque. 10 Les bailleurs de fonds doivent investir dans le développement d'études comparatives et de validation de haute qualité, ainsi que d'études CHA très rigoureuses dans le contexte du milieu de soins de santé concerné. Les bailleurs de fonds peuvent également encourager les candidats à inclure un plan de recherche conforme à la liste de contrôle CHART. Grâce à des études démontrant une transparence plus marquée et une rigueur méthodologique améliorée, les cliniciens, les patients et le public développeront progressivement une confiance accrue dans l’intégration clinique des chatbots génératifs pilotés par l’IA.
Enfin, il n'existe pas d'outils d'évaluation de la qualité pour les études CHA, et cela reste un domaine d'étude futur. CHART est un guide de reporting plutôt qu'un outil d'évaluation critique. Néanmoins, nous espérons que l'attention portée aux éléments clés de la liste de contrôle de CHART améliorera indirectement la rigueur méthodologique des études dans ce domaine.
À mesure que des données probantes de haute qualité s'accumulent, la voie à suivre pour intégrer l'IA générative dans l'environnement de la pratique clinique deviendra plus évidente pour les gestionnaires d'hôpitaux et les décideurs politiques.
La transparence des rapports d'études CHA est essentielle à leur interprétation, à mesure que nous progressons vers l'intégration clinique des technologies d'IA. Le guide de reporting CHART comprend une liste de contrôle en 12 points et un diagramme méthodologique correspondant. Ceux-ci permettent d'aider les principales parties prenantes, notamment les cliniciens, les chercheurs, les rédacteurs en chef, les pairs évaluateurs et les lecteurs, à communiquer, comprendre et interpréter les résultats des études CHA.
SYNTHÈSE
Ce document présente la déclaration CHART, un ensemble de directives de rapport créé pour uniformiser la manière dont les études sur les conseils de santé des chatbots (CHA) sont menées et publiées. L'objectif principal de CHART est d'améliorer la transparence et la compréhensibilité des recherches évaluant les performances des chatbots d'IA générative lorsqu'ils fournissent des conseils médicaux. Les lignes directrices ont été développées à l'aide d'un processus de consensus Delphi impliquant une multitude d'experts mondiaux et de parties prenantes, et elles proposent une liste de contrôle détaillée des éléments à inclure dans le rapport de ces études. Ces éléments couvrent tout, de l'identification du modèle d'IA à l'ingénierie des invites, en traversant l'évaluation des performances et les considérations éthiques comme la confidentialité des données. La publication souligne l'importance d'une adhésion rigoureuse à ces normes pour renforcer la confiance dans l'intégration clinique de l'IA générative. (NotebooKLM)
Commentaire
On évolue enfin vers des conseils en santé des chatbots grâce à la directive CHART.
"La directive CHART (dans le contexte des études sur les conseils de santé par chatbot) est un ensemble de recommandations ou lignes directrices. Elles sont destinées à structurer et à améliorer la qualité de la communication et du reporting des études liées aux conseils de santé fournis par des chatbots. Elle a été élaborée par une revue systématique, un consensus Delphi avec 531 parties prenantes internationales, et plusieurs réunions d’un panel d’experts.
Cette directive CHART présente 12 items clés à inclure dans les rapports d’études sur les conseils santé par chatbot, sous la forme d’une checklist et d’un diagramme méthodologique. Elle vise à encourager la transparence et la rigueur scientifique dans la présentation des travaux impliquant les chatbots de santé, en associant chercheurs, cliniciens, et éditeurs de revues.
Ainsi, la directive CHART est un cadre méthodologique pour garantir que les études sur les chatbots de santé soient rapportées de manière limpide, complète et transparente, afin de faciliter leur évaluation et leur utilisation par les professionnels et chercheurs." (PERPLEXITY/IA)
Cette directive, si elle est appliquée , elle le devra pour tous les agents conversationnels orientés vers la santé et impliqués dans la santé.
Allons nous vers plus de science, plus d'équité, plus de certitudes : à voir.
Copyright : Dr Jean-Pierre Laroche/2025