P値の限界と脆弱性指数（fragility index, FI）とは？
有意差の特徴と限界
ランダム化比較試験（RCT）では、ある治療法に効果があるかどうかの確信に、いくつかの要因が影響します。影響を与える要因の1つは、仮説検定が特定の閾値（多くの場合、P値<0.05）で帰無仮説を棄却して統計的有意性を示すかどうかです。統計的有意性とは、観察された結果またはより極端な結果が、偶然だけでは起こりそうになく、したがって比較した群が本当に異なる可能性が高いことを意味します。
統計的有意性を判断するための閾値P値の概念は、試験結果の解釈を助けるものです。これにより、複雑な確率論を、真の差が存在する可能性が高いかどうかを示す閾値に集約することができます。しかし、閾値P値の使用は、治療効果が本当に存在する可能性があるかどうかを判断するための単純すぎる概念として、多くの批判を受けています。例えば、読者は、試験規模や試験中のイベント数などの他の要因にかかわらず、同じようなP値を持つ結果を同じように信じるかもしれません。さらに、P値が閾値を超えている場合と下回っている場合の非常に小さな差（例えば、P=0.051とP=0.049）に基づいて、読者は治療効果の存在について非常に異なる信念を持つ可能性があります。このような限界があるにもかかわらず、P値の計算、報告、解釈が行われ、P<0.05を有意であると広く受け入れられています。P値の閾値の限界をよりよく伝えるための1つのアプローチは、閾値P値に基づく有意性がいかに容易に超えられるかを示す追加の指標を報告することです。
バイアスリスクが低い2件のRCTが、心筋梗塞の予防のために治験薬をプラセボと比較して評価するという仮想的な例を考えてみましょう。1つ目の試験では、患者100例が薬剤Aを投与され、患者100例がプラセボを投与されるようにランダムに割り付けられます。薬剤Aを投与された患者では、心筋梗塞を発症する患者が少なかった（1例 vs. 9例、フィッシャーの正確検定でP=0.02）。2番目の試験では、患者4,000例に薬剤Bを投与し、患者4,000例にプラセボを投与しました。薬剤Bを投与された患者のうち、心筋梗塞を発症したのは200例 vs. 250例で、P=0.02であった。どちらの試験もバイアスのリスクが低く、結果のP値もほぼ同じであったため、真の効果に対する確信は同じようなものになるかもしれない。しかし、最初の試験の結果は、イベントの数が少し変わっただけで簡単に影響を受けてしまう。もし、第1回目の試験の治療群で心筋梗塞を発症した患者が1例でも多ければ、P値は0.06に変わります。相対リスクが78％と依然として素晴らしい減少を示しているにもかかわらず、もはや統計的に有意であるとは考えられません。一方、2回目の試験で治療群にイベントを1つ追加しても、P値は0.02のままで、相対リスク減少のポイント推定値も20％のままで、意味のある影響はありません。
脆弱性指数（fragility index, FI）の特徴
いくつかの事象を追加した結果、統計的有意性が失われる可能性があることを知ると、真の治療効果が存在するという確信が薄れる可能性があります。ランダム化比較試験（RCT）では、その結果を包括的に報告することが不可欠です。そのため、統計的に有意な結果や有意でない結果が出た試験における結果の頑健性を評価する必要があります。
試験の頑健性は、統計的に有意な結果および有意でない結果を示した試験を対象とした不安定性指数あるいは脆弱性指数（fragility index, FI）および逆脆弱性指数（reverse fragility index, RFI）を用いて評価することができます。
統計的に有意な結果を有意でない結果に変えるために、非事象から事象に変化しなければならない患者数の最小値を、結果の脆弱性の指標（Fragility Index）として用いることができ、数値が小さいほど結果が脆弱であることを示しています（PMID: 24508144）。
今回は、抗糖尿病薬の心血管アウトカム試験（CVOT）のFIとRFIを算出し、結果の頑健性について検証した試験の結果をご紹介します。
試験結果から明らかになったことは？
合計889件の研究が確認され、24件のRCTが含まれていました。
24件の試験のうち、12件の［50％］試験が統計的有意性を達成しました。統計的に有意な結果が得られた試験とそうでない試験のFIとRFIの中央値は、それぞれ29 [4〜12]と22.5 [1〜37]でした。
脆弱性指標（Fragility quotient, FQ）と逆脆弱性指標（Reverse Fragility quotient, RFQ）の中央値は、統計的に有意な結果を得た試験と有意でない試験で、それぞれ0.0075 [0.002〜0.013]と0.0003 [0.0001〜0.004]でした。
ハザード比、p値、NNT-BはFIRと強い負の関係にありました。
コメント
臨床試験における結果の解釈について、統計的有意性が求められ、有意水準としてP値<0.05が用いられています。しかし、この値は慣例的に用いられているものであり、本来はクリアカットに試験結果を判断できるものではありません。
2014年にMichael Walshらが、初めて脆弱性指数の概念を公表しました（J Clin Epidemiol誌、PMID: 24508144）。この指数は、統計的に有意な結果および有意でない結果を示した試験を対象として、試験の頑健性を評価することができます。一つの基準値として、中央値8を超えていれば、結果の堅牢性があると判断できます。
さて、本試験結果によれば、心血管アウトカムの優越性を検証した抗糖尿病薬のRCT24件において、脆弱性指数（fragility index, FI）および逆脆弱性指数（reverse fragility index, RFI）は、それぞれ29と22.5であり、結果の頑健性が示されました。
本論文は有料であることから、対象となったRCT24件がどの試験かは判断できません。とはいえ、いずれも抗糖尿病薬のランドマーク試験であると考えられますので、これまでに公表された試験の結果は、頑健性が示されたと考えられます。
✅まとめ✅ 心保護効果の優越性を示した試験の半数は、良好な脆弱性指数（fragility index, FI）を有していた。優越性を示さなかった試験であっても、妥当な逆脆弱性指数（reverse fragility index, RFI）を示しており、これらの試験の頑健性を示している。
根拠となった試験の抄録
背景：ランダム化比較試験（RCT）では、その結果を包括的に報告することが不可欠である。そのため、統計的に有意な結果や有意でない結果が出た試験の頑健性を評価する必要がある。
頑健性は、統計的に有意な結果および有意でない結果を示した試験を対象としたfragility index（FI）およびreverse fragility index（RFI）を用いて評価することができる。
本研究の主な目的は、心血管アウトカム試験（CVOT）のFIとRFIを算出することである。
材料と方法：PubMed/MEDLINEを検索し、心血管アウトカムを評価することを主要目的とした抗糖尿病薬のすべてのRCTを同定した。各CVOT試験の試験特性を記録した。
FI、RFI、脆弱性指標（Fragility quotient, FQ）およびReverse fragility quotient [FQ]を算出し、試験の頑健性を評価した。相関にはSpearman順位相関試験を用いた。
調査結果：合計889件の研究が確認され、24件のRCTが含まれていた。24試験のうち、12［50％］試験が統計的有意性を達成した。統計的に有意な結果が得られた試験とそうでない試験のFIとRFIの中央値は、それぞれ29 [4〜12]と22.5 [1〜37]であった。
FQとRFQの中央値は、統計的に有意な結果を得た試験と有意でない試験で、それぞれ0.0075 [0.002〜0.013]と0.0003 [0.0001〜0.004]であった。
ハザード比、p値、NNT-BはFIRと強い負の関係にあった。
解釈の仕方：本研究において、心保護効果の優越性を示した試験の半数は、良好なFIを有していた。優越性を示さなかった試験であっても、妥当なRFIを示しており、これらの試験の頑健性を示している。しかし、フォローアップを失った患者がその試験のFIを超えている試験の結果は、解釈に注意を要する。
キーワード：堅牢性、脆弱性指数、脱落、p値
引用文献
Analysis of robustness of the landmark Cardiovascular outcome trials of antidiabetic drugs – A systematic review
Debdipta Bose et al. PMID: 34521330 DOI: 10.2174/1573399817666210914114511
Curr Diabetes Rev. 2021 Sep 13. doi: 10.2174/1573399817666210914114511. Online ahead of print.
ー 続きを読む https://pubmed.ncbi.nlm.nih.gov/34521330/
コメント