根拠となった試験の抄録
試験の重要性：バーチャルヘルスケアの急速な拡大により、医療従事者の仕事量と燃え尽き症候群の増加に伴い、患者からのメッセージが急増している。人工知能（AI）アシスタントは、臨床医が確認できるような回答を作成することで、患者の質問に対する回答を作成するのに役立つ可能性がある。
目的：2022年11月にリリースされたAIチャットボットアシスタント（ChatGPT）が、患者の質問に対して質の高い共感的な回答を提供する能力を評価する。
試験デザイン、設定、参加者：この横断研究では、公開されたソーシャルメディアフォーラム（Reddit’s r/AskDocs）の質問の公開および非特定化データベースを使用して、検証済みの医師が公開質問に回答した2022年10月の195件のやりとりをランダムに抽選した。チャットボットの回答は、2022年12月22日と23日の新鮮なセッションに元の質問を入力することで生成された（セッション内で事前に質問が行われていない状態）。元の質問と、匿名化されランダムに並べられた医師とチャットボットの回答は、ライセンスを有する医療専門家のチームによって3重に評価された。評価者は「どちらの回答が良かったか」を選択し、「提供された情報の質」（非常に悪い、悪い、許容範囲、良い、非常に良い）と「提供された共感やベッドサイドマナー」（共感しない、少し共感する、適度に共感する、共感する、非常に共感する）の両方を判断した。平均的な成果は1～5のスケールで順序付けられ、チャットボットと医師の間で比較された。
結果：195の質問と回答のうち、評価者は585の評価のうち78.6%（95%CI 75.0%〜81.8%）で医師の回答よりもチャットボットの回答を好んだ。医師の回答の平均値（IQR）は、チャットボットの回答よりも有意に短かった（52 [17〜62] 語 vs. 211 [168〜245] 語、t=25.4; P<0.001）。チャットボットの回答は、医師の回答よりも有意に高品質と評価された（t=13.3; P<0.001）。例えば、「良い」または「非常に良い」と評価された回答（≧4）の割合は、医師よりもチャットボットの方が高かった（チャットボット：78.5%、95%CI 72.3%〜84.1%; 医師：22.1%、95%CI 16.4%〜28.2%）。これは、チャットボットの良質な回答や非常に良質な回答の普及率が3.6倍であることに相当する。また、チャットボットの回答は、医師の回答よりも有意に共感的と評価された（t=18.9; P<0.001）。共感的または非常に共感的と評価された回答（≧4）の割合は、医師よりもチャットボットの方が高かった（医師：4.6%、95%CI 2.1%〜7.7%; チャットボット：45.1%、95%CI 38.5%〜51.8%）。これは、チャットボットの方が、共感的または非常に共感的な回答の有病率が9.8倍高いということになる。
結論：この横断研究では、チャットボットが、オンラインフォーラムで提起された患者の質問に対して、質の高い共感的な回答を生成した。この技術を臨床の場でさらに検討することが必要であり、例えば、チャットボットを使用して回答を作成し、医師がそれを編集することができる。ランダム化試験により、AIアシスタントを使用することで回答が改善され、臨床医のバーンアウトが低下し、患者の転帰が改善されるかどうかをさらに評価できる。
引用文献
Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum
John W Ayers et al. PMID: 37115527 DOI: 10.1001/jamainternmed.2023.1838
JAMA Intern Med. 2023 Apr 28. doi: 10.1001/jamainternmed.2023.1838. Online ahead of print.
ー 続きを読む https://pubmed.ncbi.nlm.nih.gov/37115527/
コメント