AIプログラムであるNYUTronは医療システムとして有用か？
医師は毎日、時間に制約のある重要な意思決定を行っています。臨床予測モデルは、臨床や業務上の出来事を予測することで、医師や管理者の意思決定を支援することができます。既存の構造化データに基づく臨床予測モデルは、データ処理やモデルの開発・展開が複雑なため、日常診療での使用は限られています。
NYUTronと名付けられたAIプログラムは、膨大なデータの学習により得た知識を基に翻訳や文書要約などのさまざまな言語処理タスクを実行する「大規模言語モデル」と呼ばれるものであり、医師が頻繁に診療時に残す独創的で個人的なメモを直接読んで理解することができる点が、これまでのAIプログラムと異なります。しかし、実臨床における応用のためには、予測精度を上げる必要があります。
そこで今回は、NYUTronの精度向上のために膨大な診療データによる学習と、特定のタスクに関する予測モデルとして有用であるかを検証した研究結果をご紹介します。
本試験では、事前学習用データセットであるNYU Notes（10年分の入院患者の臨床記録387,144例の患者、41億語）が用いられました。微調整用データセットは5つあり、EHRに含まれる医療言語の事前学習モデルを作成するために、MLMタスクを使用してEHR全体に対してNYUTronと呼ばれる1億900万パラメータのBERTライクLLMについて事前学習されました。その後、5つのタスク（30日全死因再入院予測、院内死亡予測、合併症指数予測、在院日数予測、保険拒否予測）について医療システム内でアプローチが評価されました。
試験結果から明らかになったことは？
NYUTronは、予測タスク（院内死亡率、再入院、在院日数、保険拒否）について78.7〜94.9％の曲線下面積（AUC）を示しました。これは、従来のモデルと比較してAUCが5.36〜14.7％改善することを示しています。さらに、臨床テキストを用いた事前トレーニングの利点、微調整による異なる部位への一般化可能性の向上、前向き単群試験における本システムの完全な展開の可能性についても示されました。
コメント
AIの進歩はめざましく、特にOpen AI社がChatGPTを発表したことにより、さまざまな分野で応用されいます。特に医療におけるAIの利活用が活発化しており、医師や患者にとって負担軽減を実現する可能性があります。
さて、本試験結果によれば、NYUTronは、予測タスク（院内死亡率、再入院、在院日数、保険拒否）について78.7〜94.9％の曲線下面積（AUC）を示しました。これは従来の予測モデルよりもAUCが5.36〜14.7％高く、つまり、NYUTron予測精度が高いことを意味しています。実臨床における医師の補助ツールとして、本AIモデルが有用であるか更なる学習と検証が求められます。続報に期待。
ちなみにAUCは1（100%）に近いほど予測精度が高いことを意味しています。一方、0.5（50%）に近いほど精度が低く、陰性や陽性といった結果を分離できないことを示しています。
- 0.9～1.0：非常に精度が高い
- 0.8～0.9：精度が高い
- 0.7～0.8：多少精度が高い
- 0.6～0.7：やや精度が低い
- 0.5～0.6：ランダムと変わらない精度
コメント