« Si nous découvrons une théorie complète, elle devrait un jour être compréhensible dans ses grandes lignes par tout le monde, et non par une poignée de scientifiques. Alors, nous tous, philosophes, scientifiques et même gens de la rue, serons capables de prendre part à la discussion sur la question de savoir pourquoi l'Univers et nous existons. Si nous trouvons la réponse à cette question, ce sera le triomphe ultime de la raison humaine – à ce moment, nous connaîtrons la pensée de Dieu. » Stephen Hawking
« ChatGPT jugé bien plus humain que les médecins dans ses réponses aux patients"
référence
Préambule
Ayers JW, Poliak A, Dredze M, Leas EC, Zhu Z, Kelley JB, Faix DJ, Goodman AM, Longhurst CA, Hogarth M, Smith DM. Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Intern Med. 2023 Apr 28:e231838. doi: 10.1001/jamainternmed.2023.1838. Epub ahead of print. PMID: 37115527; PMCID: PMC10148230.Comparaison des réponses des médecins et des chatbots d'intelligence artificielle aux questions des patients publiées sur un forum public de médias sociaux
https://jamanetwork.com/journals/jamainternalmedicine/fullarticle/2804309
Article libre d'accés
L'expansion rapide des soins de santé virtuels a provoqué une augmentation des messages des patients concomitante à une augmentation du travail et à l'épuisement professionnel chez les professionnels de la santé. Les assistants d'intelligence artificielle (IA) pourraient potentiellement aider à créer des réponses aux questions des patients en rédigeant des réponses qui pourraient être examinées par les cliniciens.
Quelques exemples colligés à partir de questions des patients, une fois imprimé le document est expliqué au patient ou plutôt commenté......et remis au patient sauf si erreurs bien entendu. L'intérêt du Chatbot c'est la rapidité , de plus avoir une réponse d'une IA à la question posée a un effet positif le plus souvent. Exemple récent un patient a finalement accepté la statine quand il a compris ce qu'était l'effet nocebo (cf ci dessous). Un autre diabétique a été convaincu de l'intérêt de l'exercice physique de la marche compte-tenu de son diabète. Tout cela pour les patients a un côté magique, aux médecins de maîtriser cet outil, car c'est bien de cela qu'il s'agit, un nouvel outil mais qu'un outil......le médecin garde le savoir, l'outil est à la disposition du médecin. Plus la demande est simple plus elle est exacte.
Pourquoi on utilise un stent après avoir dilaté une artère ?
Cancer et phlébite , quel est le lien ?
Points clés
Un assistant chatbot d'intelligence artificielle peut-il fournir des réponses aux questions des patients qui sont d'une qualité et d'une empathie comparables à celles écrites par les médecins ?
Un assistant chatbot d'intelligence artificielle peut-il fournir des réponses aux questions des patients qui sont d'une qualité et d'une empathie comparables à celles écrites par les médecins ?
Dans cette étude transversale de 195 questions de patients tirées au hasard sur un forum de médias sociaux, une équipe de professionnels de la santé agréés a comparé les réponses des médecins et des chatbots aux questions des patients posées publiquement sur un forum public de médias sociaux . Les réponses du chatbot ont été préférées aux réponses des médecins et ont été notées significativement plus élevées pour la qualité et l'empathie.
Ces résultats suggèrent que les assistants en intelligence artificielle peuvent être en mesure d'aider à rédiger des réponses aux questions des patients.
Contexte
L'expansion rapide des soins de santé virtuels a provoqué une augmentation des messages des patients concomitante à une augmentation du travail et à l'épuisement professionnel chez les professionnels de la santé. Les assistants d'intelligence artificielle (IA) pourraient potentiellement aider à créer des réponses aux questions des patients en rédigeant des réponses qui pourraient être examinées par les cliniciens.
Objectif
Evaluer la capacité d'un assistant chatbot IA (ChatGPT), sorti en novembre 2022, à apporter des réponses de qualité et empathiques aux questions des patients.
Evaluer la capacité d'un assistant chatbot IA (ChatGPT), sorti en novembre 2022, à apporter des réponses de qualité et empathiques aux questions des patients.
Conception, cadre et participants
Dans cette étude transversale, une base de données publique et non identifiable de questions d'un forum public de médias sociaux (Reddit's r / AskDocs) a été utilisée pour tirer au hasard 195 échanges d'octobre 2022 où un médecin vérifié a répondu à un public question. Les réponses du chatbot ont été générées en saisissant la question d'origine dans une nouvelle session (sans que des questions préalables aient été posées lors de la session) les 22 et 23 décembre 2022. La question d'origine ainsi que les réponses anonymisées et aléatoires des médecins et des chatbots ont été évaluées en triple par une équipe de professionnels de la santé agréés. Les évaluateurs ont choisi « quelle réponse était la meilleure » et ont jugé à la fois « la qualité des informations fournies » ( très médiocre , médiocre , acceptable, bon ou très bon ) et « l'empathie ou la manière de chevet fournie » ( pas empathique , légèrement empathique , modérément empathique , empathique et très empathique ). Les résultats moyens ont été classés sur une échelle de 1 à 5 et comparés entre chatbot et médecins.
Dans cette étude transversale, une base de données publique et non identifiable de questions d'un forum public de médias sociaux (Reddit's r / AskDocs) a été utilisée pour tirer au hasard 195 échanges d'octobre 2022 où un médecin vérifié a répondu à un public question. Les réponses du chatbot ont été générées en saisissant la question d'origine dans une nouvelle session (sans que des questions préalables aient été posées lors de la session) les 22 et 23 décembre 2022. La question d'origine ainsi que les réponses anonymisées et aléatoires des médecins et des chatbots ont été évaluées en triple par une équipe de professionnels de la santé agréés. Les évaluateurs ont choisi « quelle réponse était la meilleure » et ont jugé à la fois « la qualité des informations fournies » ( très médiocre , médiocre , acceptable, bon ou très bon ) et « l'empathie ou la manière de chevet fournie » ( pas empathique , légèrement empathique , modérément empathique , empathique et très empathique ). Les résultats moyens ont été classés sur une échelle de 1 à 5 et comparés entre chatbot et médecins.
Résultats
Sur les 195 questions et réponses, les évaluateurs ont préféré les réponses des chatbots aux réponses des médecins dans 78,6 % (IC à 95 %, 75,0 % à 81,8 %) des 585 évaluations. Les réponses moyennes (IQR) des médecins étaient significativement plus courtes que les réponses des chatbots (52 [17-62] mots contre 211 [168-245] mots ; t = 25,4 ; P < 0,001). Les réponses du chatbot ont été jugées de qualité significativement supérieure à celles des médecins ( t = 13,3 ; P < 0,001). La proportion de réponses jugées de bonne ou très bonne qualité (≥ 4), par exemple, était plus élevée pour le chatbot que pour les médecins (chatbot : 78,5 %, IC à 95 %, 72,3 %-84,1 % ; médecins : 22,1 %, IC à 95 %, 16,4 %-28,2 % ;). Cela équivaut à une prévalence 3,6 fois plus élevée dedes réponses de bonne ou très bonne qualité pour le chatbot. Les réponses des chatbots ont également été jugées significativement plus empathiques que les réponses des médecins ( t = 18,9 ; P < 0,001). La proportion de réponses jugées empathiques ou très empathiques (≥4) était plus élevée pour le chatbot que pour les médecins (médecins : 4,6 %, IC à 95 %, 2,1 %-7,7 % ; chatbot : 45,1 %, IC à 95 %, 38,5 %-51,8 % médecins : 4,6 %, IC à 95 %, 2,1 % à 7,7 %). Cela équivaut à une prévalence 9,8 fois plus élevée de réponses empathiques ou très empathiques pour le chatbot.
Répartition des notes moyennes de qualité et d'empathie pour les réponses des chatbots et des médecins aux questions des patients
Conclusions
Dans cette étude transversale, un chatbot a généré des réponses de qualité et empathiques aux questions des patients posées dans un forum en ligne. Une exploration plus approfondie de cette technologie est justifiée dans les milieux cliniques, comme l'utilisation d'un chatbot pour rédiger des réponses que les médecins pourraient ensuite modifier. Des essais randomisés pourraient évaluer plus avant si l'utilisation d'assistants d'IA pourrait améliorer les réponses, réduire l'épuisement professionnel des cliniciens et améliorer les résultats pour les patients.
Sur les 195 questions et réponses, les évaluateurs ont préféré les réponses des chatbots aux réponses des médecins dans 78,6 % (IC à 95 %, 75,0 % à 81,8 %) des 585 évaluations. Les réponses moyennes (IQR) des médecins étaient significativement plus courtes que les réponses des chatbots (52 [17-62] mots contre 211 [168-245] mots ; t = 25,4 ; P < 0,001). Les réponses du chatbot ont été jugées de qualité significativement supérieure à celles des médecins ( t = 13,3 ; P < 0,001). La proportion de réponses jugées de bonne ou très bonne qualité (≥ 4), par exemple, était plus élevée pour le chatbot que pour les médecins (chatbot : 78,5 %, IC à 95 %, 72,3 %-84,1 % ; médecins : 22,1 %, IC à 95 %, 16,4 %-28,2 % ;). Cela équivaut à une prévalence 3,6 fois plus élevée dedes réponses de bonne ou très bonne qualité pour le chatbot. Les réponses des chatbots ont également été jugées significativement plus empathiques que les réponses des médecins ( t = 18,9 ; P < 0,001). La proportion de réponses jugées empathiques ou très empathiques (≥4) était plus élevée pour le chatbot que pour les médecins (médecins : 4,6 %, IC à 95 %, 2,1 %-7,7 % ; chatbot : 45,1 %, IC à 95 %, 38,5 %-51,8 % médecins : 4,6 %, IC à 95 %, 2,1 % à 7,7 %). Cela équivaut à une prévalence 9,8 fois plus élevée de réponses empathiques ou très empathiques pour le chatbot.
Répartition des notes moyennes de qualité et d'empathie pour les réponses des chatbots et des médecins aux questions des patients
Conclusions
Dans cette étude transversale, un chatbot a généré des réponses de qualité et empathiques aux questions des patients posées dans un forum en ligne. Une exploration plus approfondie de cette technologie est justifiée dans les milieux cliniques, comme l'utilisation d'un chatbot pour rédiger des réponses que les médecins pourraient ensuite modifier. Des essais randomisés pourraient évaluer plus avant si l'utilisation d'assistants d'IA pourrait améliorer les réponses, réduire l'épuisement professionnel des cliniciens et améliorer les résultats pour les patients.
Quelques exemples colligés à partir de questions des patients, une fois imprimé le document est expliqué au patient ou plutôt commenté......et remis au patient sauf si erreurs bien entendu. L'intérêt du Chatbot c'est la rapidité , de plus avoir une réponse d'une IA à la question posée a un effet positif le plus souvent. Exemple récent un patient a finalement accepté la statine quand il a compris ce qu'était l'effet nocebo (cf ci dessous). Un autre diabétique a été convaincu de l'intérêt de l'exercice physique de la marche compte-tenu de son diabète. Tout cela pour les patients a un côté magique, aux médecins de maîtriser cet outil, car c'est bien de cela qu'il s'agit, un nouvel outil mais qu'un outil......le médecin garde le savoir, l'outil est à la disposition du médecin. Plus la demande est simple plus elle est exacte.
Question : est ce que l'exercice physique est importante chez le diabétique ?
Vous me parlez d'effet nocebo des statines, je n'ai pas compris ce qu'était cet effet nocebo, c'est quoi ?
Quels sont les risques des Anticoagulanst Oraux Directs (AOD)
Est ce que l'insuffisance rénale est un facteur de risque cardio vasculaire ?
Quelles so,t les propriétées de bas de comppression (bas à varices) ?
Vous me parlez d'effet nocebo des statines, je n'ai pas compris ce qu'était cet effet nocebo, c'est quoi ?
Quels sont les risques des Anticoagulanst Oraux Directs (AOD)
Est ce que l'insuffisance rénale est un facteur de risque cardio vasculaire ? Quelles so,t les propriétées de bas de comppression (bas à varices) ? Pourquoi on utilise un stent après avoir dilaté une artère ?
Cancer et phlébite , quel est le lien ? Pourquoi il faut se faire vacciner contre la Covid-19 ?
Les D Dimères sont augmentés et vous me dites je n'ai pas de phlébite alors que mon médecin m'a dit que j'avais une phlébite ?
Les D Dimères sont augmentés et vous me dites je n'ai pas de phlébite alors que mon médecin m'a dit que j'avais une phlébite ? Commentaire
Ces réponses de l'IA ne sont pas fondament4lement erronées à la différence de celles des pseudo experts TV, des charlatans et celle des réseaux sociaux et sites en tout genre. Quand après 20 mn de discussion avec un patient et que l'on ne retrouve aucun consensus, l'IA permet souvent de trancher....à la satisfaction du patient et du médecin, essayez !
Mieux vaut utiliser avec le patient Chabot que les docs patients de l'industrie.
Le médecin doit garder la maîtrise de l'IA, notamment de l'outil Chatbot. Retranscrire une question du patient et solliciter chatbot n'est ni une hérésie , ni une déviance de notre métier. Comme précisé avant , l'utilisation de cet outil en consultation est un plus indéniable. Nous sollicitons non pas un confrère ou Dr Google mais une IA........et alors ? Où est le problème? Quand la médecine est devenue informatisée, pour moi en 1994, les patients étaient interloqués, il ne le sont plus maintenant et depuis longtemps. Dialoguer avec une IA, ce n'est pas une révolution mais une évolution qui était attendue. Rien de plus, les outils informatiques se multiplient en médecine mais attention le médecin doit rester le "maître" de la médecine, de la clinique, de l'examen clinique, de l'écoute du patient. Cette consultation implique compassion, écoute , éthique, perception du patient, l'entretien "hippocratique", appelé "colloque singulier" ne disparaîtra jamais, mais existe t-il encore ? Par contre un outil chasse l'autre en médecine.....et ça c'est sûr !
Il faut arrêter d'avoir peur dès qu'une nouvelle technologie apparaît. Il faut "raison garder", l'utiliser, la maîtriser, se l'accaparer et l'utiliser si surtout elle en vaut la peine ! Chatbot en vaut la peine.
Mieux vaut utiliser avec le patient Chabot que les docs patients de l'industrie.
Le médecin doit garder la maîtrise de l'IA, notamment de l'outil Chatbot. Retranscrire une question du patient et solliciter chatbot n'est ni une hérésie , ni une déviance de notre métier. Comme précisé avant , l'utilisation de cet outil en consultation est un plus indéniable. Nous sollicitons non pas un confrère ou Dr Google mais une IA........et alors ? Où est le problème? Quand la médecine est devenue informatisée, pour moi en 1994, les patients étaient interloqués, il ne le sont plus maintenant et depuis longtemps. Dialoguer avec une IA, ce n'est pas une révolution mais une évolution qui était attendue. Rien de plus, les outils informatiques se multiplient en médecine mais attention le médecin doit rester le "maître" de la médecine, de la clinique, de l'examen clinique, de l'écoute du patient. Cette consultation implique compassion, écoute , éthique, perception du patient, l'entretien "hippocratique", appelé "colloque singulier" ne disparaîtra jamais, mais existe t-il encore ? Par contre un outil chasse l'autre en médecine.....et ça c'est sûr !
Il faut arrêter d'avoir peur dès qu'une nouvelle technologie apparaît. Il faut "raison garder", l'utiliser, la maîtriser, se l'accaparer et l'utiliser si surtout elle en vaut la peine ! Chatbot en vaut la peine.
Quand on banalise la parole, tout le monde s'invente savant, philosophe, pédagogue, théologien et surtout donneur de leçon. Où est le bon vieux temps où on respecte la bonne parole des sages et il faut lire pour apprendre! Mostefa Khellaf