ChatGPTによる臨床判断支援システムの精度は？
臨床判断支援システム（Clinical decision support systems, CDSS）は、腎機能障害患者において投与量変更の必要性がある薬剤を特定するために使用されています。
ChatGPTは、電子カルテ（electronic health record, EHR）システムに統合され、このような投与アドバイスを行う可能性を有していますが、その制度については充分に検討されていません。
そこで今回は、腎機能障害のある入院患者を対象とし、ChatGPTの臨床ルールガイド下での投与介入のパフォーマンスを評価することを目的に実施された横断研究の結果をご紹介します。
この横断研究は、オランダのTergooi Medical Centerで行われました。腎機能障害に関するCDSSアラートを電子カルテ（EHR）から2週間収集し、ChatGPTと専門家パネルに提示しました。アラートは患者変数の有無にかかわらず提示されました。
ChatGPTのパフォーマンス評価のために、提案された薬物介入が比較検討されました。
試験結果から明らかになったことは？
合計で80人の患者に対して172の臨床判断支援システム（Clinical decision support systems, CDSS）アラートが生成されました。アラートに対するChatGPTによる優柔不断な応答は除外されました。
| ChatGPTの正確度 | 患者変数なし | 患者変数を含む |
| “正しく同じ”応答 | 19.9% | 16.7% |
| “正しく異なる”応答 | 26.7% | 16.0% |
| “正しくない”応答 | 53.4% | 67.3% |
患者変数なしで提示されたアラートに対して、ChatGPTは19.9%に “正しく同じ”応答、26.7%に “正しく異なる”応答、53.4%に “正しくない”応答を提供しました。
患者変数を含むアラートでは、ChatGPTは16.7%に “正しく同じ”、16.0%に “正しく異なる”、67.3%に “正しくない”応答を提供しました。
直接経口抗凝固薬などの新しい薬剤では、精度が高いことが示されました。
コメント
臨床判断支援システム（Clinical decision support systems, CDSS）は、患者固有の臨床的変数を通して、医師が新しい情報を患者ケアに適用することを支援するものです。診断の強化のために用いられるシステムであり、医師によって入力される臨床的情報に基づいた多様な診断を提供します。具体的には、抗生物質管理プログラムや抗凝血剤投与量計算ソフトなど、その他の臨床決断支援システムも医療事故の予防や患者安全確保の改善を模索しています。
テキスト生成AIであるChatGPTは、CDSSとの親和性が高く、診断精度を強化できると考えられますが、実臨床における検証は充分ではありません。
さて、横断研究の結果、ChatGPTの腎機能障害を有する入院患者における臨床ルールガイド下投与介入における性能は不良でした。
学習用のデータが少ない、あるいは学習に用いたデータが適切でなかった可能性があることから、更なる学習と検証が求められます。
続報に期待。
✅まとめ✅ 横断研究の結果、ChatGPTの腎機能障害を有する入院患者における臨床ルールガイド下投与介入における性能は不良でした。
根拠となった試験の抄録
目的：臨床判断支援システム(Clinical decision support systems, CDSS)は、腎機能障害患者において投与量変更の必要性がある薬剤を特定するために使用される。ChatGPTは、電子カルテ（electronic health record, EHR）システムに統合され、このような投与アドバイスを行う可能性を持っている。本研究では、腎機能障害のある入院患者を対象とし、ChatGPTの臨床ルールガイド下での投与介入のパフォーマンスを評価することを目的とする。
方法：この横断研究は、オランダのTergooi Medical Centerで行われた。腎機能障害に関するCDSSアラートを電子カルテ（EHR）から2週間収集し、ChatGPTと専門家パネルに提示した。アラートは患者変数の有無にかかわらず提示された。パフォーマンスを評価するために、提案された薬物介入を比較した。
結果：合計で80人の患者に対して172のCDDSアラートが生成された。アラートに対するChatGPTによる優柔不断な応答は除外された。患者変数なしで提示されたアラートに対して、ChatGPTは19.9%に “正しく同じ”応答、26.7%に “正しく異なる”応答、53.4%に “正しくない”応答を提供した。患者変数を含むアラートでは、ChatGPTは16.7%に “正しく同じ”、16.0%に “正しく異なる”、67.3%に “正しくない”回答を提供した。直接経口抗凝固薬などの新しい薬剤では、精度が高かった。
結論：ChatGPTの腎機能障害を有する入院患者における臨床ルールガイド下投与介入における性能は不良であった。これらの結果から、ChatGPTは現状では腎機能障害に関連するCDSSアラートを扱うためにEHRに自動統合することは適切ではないと結論した。
キーワード：CDSS、ChatGPT、クリニカルルールガイデッドドーズインターベンション、言語モデル、腎機能障害
引用文献
Poor performance of ChatGPT in clinical rule-guided dose interventions in hospitalized patients with renal dysfunction
Merel van Nuland et al. PMID: 38592470 DOI: 10.1007/s00228-024-03687-5
Eur J Clin Pharmacol. 2024 Apr 9. doi: 10.1007/s00228-024-03687-5. Online ahead of print.
ー 続きを読む https://pubmed.ncbi.nlm.nih.gov/38592470/
コメント