術後患者に対する説明の情報源としてChatGPTとGoogle検索どちらが優れていますか?(定性的研究; JAMA Otolaryngol Head Neck Surg. 2023)

a black android smartphone with google apps on screen 00_その他
Photo by Czapp Árpád on Pexels.com
この記事は約4分で読めます。
ランキングに参加しています!応援してもよいよという方はポチってください!

術後患者に対する説明文書を作成するのに優れた情報源とは?

人工知能を搭載した言語モデルチャットボットChatGPT(generative pretrained transformer:生成的な事前訓練を行ったネットワークアーキテクチャ)は、医療を含む多くの業界にとって革新的なリソースであると言われています(New York Times)。

ヘルスリテラシーの低下や術後指示の理解度の低さは、転帰の悪化と関連していることから(PMID: 34728069PMID: 26182987)、転帰向上のために患者理解度の向上が求められます。

現在、ChatGPTは臨床医に取って代わることはできませんが、医療知識源として機能することができます。そこで今回は、ChatGPTが患者の知識を補強し、教育や健康に対するリテラシーレベルが低い集団で使用するための術後指示を作成する価値について評価した定性的研究の結果をご紹介します。

本試験では、小児耳鼻咽喉科でよく行われる8つの手術(鼓膜切開チューブ挿入術、扁桃摘出術およびアデノイド切除術、下鼻甲介縮小術、鼓膜形成術、人工内耳、首の塊切除術、微細直達喉頭鏡および気管支鏡、舌結紮解除術)の術後の患者指導について分析されました。

本試験の主要評価項目は、Patient Education Materials Assessment Tool-printable(PEMAT-P:AHRQ)スコアで、異なる背景や健康リテラシーレベルの患者に対する説明書の理解可能性と実行可能性が評価されました。また、副次的な成果として、説明書が手技に特化した項目に対応しているかどうかがスコア化されました。

各手術に特有の4つの項目は、各説明書が言及することが重要であると判断し、事前にリストが作成されました。スコアは、η2(90%CI)を適切な効果量とする1元配置分散分析およびクラスカル・ウォリス検定を用いて比較されました(PMID: 24324449)。

試験結果から明らかになったことは?

全体として、理解しやすさは73%〜91%、行動しやすさは20%〜100%、手順特有の項目は0%〜100%の範囲でした。

ChatGPTが作成した説明書は、理解しやすさが73%〜82%、行動しやすさが20%〜80%、手順特有の項目が75%〜100%でした。施設側が作成した説明書は、一貫して最も高いスコアでした。

医療機関ChatGPTGoogle検索
理解しやすさのスコア91%81%
(η2=0.86、90%CI 0.67〜1.00
81%
操作性スコア92%73%
(η2=0.22、90%CI 0.04〜0.55
83%
手順別の項目97%97%
(η2=0.23、90%CI 0〜0.64
72%

理解しやすさのスコアは、医療機関(91%)で最も高いことが明らかとなりました。ChatGPT(81%)およびGoogle検索(81%)は同様でした(η2=0.86、90%CI 0.67〜1.00)。

操作性スコアは、ChatGPT(73%)で最も低く、Google検索(83%)で中間、施設(92%)で最も高いことが示されました(η2=0.22、90%CI 0.04〜0.55)。

手順別の項目については、ChatGPT(97%)と施設(97%)の指示が最も高く、Google検索が最も低いことが明らかとなりました(72%)(η2=0.23、90%CI 0〜0.64)。

コメント

OPen AIが提供するChatGPTは、様々な分野で利用されています。特に医療分野における応用の期待度は高く、多くの検証がなされています。

ヘルスリテラシーの低下や術後指示の理解度の低さは、転帰の悪化と関連していることから、患者理解度の向上のための新たな施策が求められています。

さて、定性的研究の結果、ChatGPTは、小学校5年生の読解レベルまたは異なるヘルスリテラシーレベルの患者にとって有用な指示を提供することが示唆されました。しかし、ChatGPTが生成した指示は、Google検索や施設特有の指示よりも、理解しやすさ、行動しやすさ、手順特有の内容で低いスコアを示しました。

応用できる可能性があるものの、ツールとしてどのように活用すればよいか、適用範囲の設定など、まだまだヒトいできることは多いと考えられます。

続報に期待。

a robot holding a cup

✅まとめ✅ ChatGPTは、小学校5年生の読解レベルまたは異なるヘルスリテラシーレベルの患者にとって有用な指示を提供することが示唆された。しかし、ChatGPTが生成した指示は、Google検索や施設特有の指示よりも、理解しやすさ、行動しやすさ、手順特有の内容で低いスコアを示した。

次のページに根拠となった論文情報を掲載しています。

コメント

タイトルとURLをコピーしました