正規性検定の結果でt検定とMann–WhitneyのU検定を使い分ける方法は妥当なのか？

― Shapiro–Wilk検定を用いた二段階解析の問題点（BMC Med Res Methodol. 2012）

臨床疑問

2つの独立した群を比較する際、Shapiro–Wilk検定で正規性を確認してからt検定とMann–WhitneyのU検定を使い分ける方法は、第Ⅰ種の過誤率と検出力を適切に維持できるのだろうか？

例えば、ある薬剤の投与群と対照群で検査値を比較する場合を考える。解析者は、まず各群のデータが正規分布に従うかを調べ、次のように検定方法を選択することがある。

• 正規性検定で有意差が認められない場合：t検定
• 正規性検定で有意差が認められた場合：Mann–WhitneyのU検定

一見すると、データの分布に応じて適切な検定方法を選択しているように思われる。しかし、正規性検定自体も標本データに依存するため、その結果によって本解析を選択すると、検定結果に何らかの影響が生じる可能性がある。

本研究では、この問題を統計シミュレーションによって評価した。

研究の背景

Studentのt検定とは？

Studentの2標本t検定は、独立した2群の母平均を比較するための代表的な統計手法である。例えば、薬剤A群と薬剤B群の平均収縮期血圧を比較する場合などに使用される。通常のStudentの2標本t検定では、各群の観測値の独立性、正規性、等分散性などを仮定する。

ただし、正規性から多少逸脱していても、標本サイズや分布の特徴によってはt検定が比較的頑健に機能する場合がある。

そのため、正規分布でないことだけを理由に、必ずt検定が不適切になるわけではない。

Mann–WhitneyのU検定とは？

Mann–WhitneyのU検定は、独立した2群の分布を比較するためのノンパラメトリック検定である。観測値の順位を利用するため、通常のt検定のような正規分布の仮定を必要としない。ただし、Mann–WhitneyのU検定は、一般に「中央値の差を検定する方法」と説明されることがあるものの、厳密には注意が必要である。2群の分布形状が同じで、位置だけが異なるなどの条件では、位置の差を評価する検定として解釈できる。しかし、分布の形状やばらつきが異なる場合には、単純に中央値の差を検定しているとは限らない。

したがって、t検定とMann–WhitneyのU検定は、単に正規性の有無によって交換できる検定方法ではない。

Shapiro–Wilk検定とは？

Shapiro–Wilk検定は、標本データが正規分布に従うという帰無仮説を検定する方法である。一般に、有意水準を5％とした場合、以下のように判断する。

Shapiro–Wilk検定の結果	統計学的な解釈
P＜0.05	正規分布に従うという帰無仮説を棄却する
P≧0.05	正規分布に従うという帰無仮説を棄却できない

重要なのは、P≧0.05であっても、正規分布であることが証明されたわけではないという点である。特に標本サイズが小さい場合、正規分布から逸脱していても、その逸脱を検出できないことがある。反対に、標本サイズが大きい場合には、実質的には問題にならない程度の小さな逸脱でも、統計学的に有意となる可能性がある。

したがって、Shapiro–Wilk検定のP値だけで、t検定の適用可能性を判断することには限界がある。

二段階解析とは？

本研究で検討されたのは、次のような解析手順である。

第1段階：正規性の検定

Shapiro–Wilk検定を実施する。

第2段階：本解析

正規性検定の結果に基づいて、t検定またはMann–WhitneyのU検定を実施する。このような手順は、事前検定によって本解析の方法を選択することから、二段階解析と呼ばれる。

問題となるのは、最終的な検定方法が観測データによって決定される点である。

研究の概要

研究デザイン

本研究は、統計シミュレーションによって二段階解析の性能を評価した研究である。実際の患者を対象とした臨床試験ではなく、異なる確率分布から人工的に標本を生成し、解析方法の統計学的特性を検討した。

評価した統計手法

項目	内容
対象	独立した2群の標本
標本サイズ	2群で同じ標本サイズ
データの生成分布	指数分布、一様分布、正規分布
事前検定	Shapiro–Wilk検定
パラメトリック検定	Studentの2標本t検定
ノンパラメトリック検定	Mann–WhitneyのU検定
主な評価指標	条件付き第Ⅰ種過誤確率、解析全体の第Ⅰ種過誤率、検出力

2つの検定選択戦略

本研究では、正規性を確認する方法として2つの戦略を比較した。

Strategy I：各群を個別に正規性検定する方法

2群それぞれにShapiro–Wilk検定を実施する。

両群とも正規性検定を通過した場合にはt検定を使用し、それ以外の場合にはMann–WhitneyのU検定を使用する。

Strategy II：2群の残差をまとめて正規性検定する方法

各群のデータから残差を求め、2群の残差を統合したデータに対してShapiro–Wilk検定を実施する。

正規性検定を通過した場合にはt検定を使用し、通過しなかった場合にはMann–WhitneyのU検定を使用する。

両戦略の違いは、正規性を各群で個別に評価するか、残差を統合して評価するかという点である。

評価した統計学的指標

本研究では、以下の3つの指標が評価された。

① 条件付き第Ⅰ種過誤確率

事前の正規性検定によって特定の検定方法が選択されたという条件のもとで、帰無仮説を誤って棄却する確率である。

② 二段階解析全体の第Ⅰ種過誤率

正規性検定による選択と、その後の本解析を合わせた手順全体で、帰無仮説を誤って棄却する確率である。

③ 検出力

帰無仮説が偽である場合に、帰無仮説を正しく棄却する確率である。

試験結果から明らかになったことは？

事前の正規性検定によって条件付き第Ⅰ種の過誤確率が変化した

本研究では、事前のShapiro–Wilk検定によって、その後に実施するt検定とMann–WhitneyのU検定の条件付き第Ⅰ種の過誤確率が大きく変化した。

つまり、正規性検定の結果によって選択された標本だけを対象にすると、それぞれの検定が本来想定している第Ⅰ種の過誤確率とは異なる挙動を示した。

著者らは、その重要な原因として、事前検定による選択機構を挙げている。

二段階解析全体の第Ⅰ種の過誤率は許容範囲に維持された

一方、t検定が選択された場合とMann–WhitneyのU検定が選択された場合を合わせて評価すると、二段階解析全体の第Ⅰ種の過誤率は許容可能な範囲に維持されていた。

これは、個々の分岐で条件付き第Ⅰ種の過誤確率が変化していても、解析手順全体における第Ⅰ種の過誤率が必ずしも大きく逸脱するわけではないことを意味する。

検出力も許容可能な範囲に維持された

本研究では、二段階解析全体の検出力についても評価された。その結果、検討されたシミュレーション条件では、検出力も許容可能な特性を示した。ただし、抄録には具体的な検出力の数値や、各条件における比較結果は示されていない。

そのため、どの分布や標本サイズで検出力が高かったのか、またStrategy IとStrategy IIのどちらが優れていたのかについては、抄録だけから判断できない。

結果のまとめ

評価項目	研究結果
t検定の条件付き第Ⅰ種過の誤確率	事前の正規性検定によって大きく変化
Mann–WhitneyのU検定の条件付き第Ⅰ種の過誤確率	事前の正規性検定によって大きく変化
二段階解析全体の第Ⅰ種の過誤率	検討条件下では許容範囲
二段階解析全体の検出力	検討条件下では許容可能
著者らが指摘した重要な要因	事前検定による選択機構

なお、提示された抄録には、第Ⅰ種の過誤率や検出力の具体的なシミュレーション結果は記載されていない。そのため、数値を推測して補完することは避けた。

結果の解釈

なぜ条件付き第Ⅰ種の過誤確率が変化するのか？

ここで重要なのは、正規性検定の結果によって、後続の検定に使用される標本が選択されることである。例えば、正規分布から標本を生成した場合であっても、偶然によって正規性検定が有意となることがある。そのような標本だけを集めると、もとの標本全体とは異なる特徴を持つ集団が形成される可能性がある。

反対に、正規性検定を通過した標本だけを集めた場合にも、標本の特徴が選択によって変化する可能性がある。

このように、事前検定の結果によって標本を選択することで、その後の検定統計量の分布が変化し、条件付き第Ⅰ種の過誤確率に影響する。

条件付き第Ⅰ種の過誤率と全体における第Ⅰ種の過誤率は異なる

つまり、二段階解析全体の第Ⅰ種過誤率は、各分岐の条件付き第Ⅰ種過誤確率を、その分岐が選択される確率で重み付けしたものとなる。

例えば、以下のような仮想的な状況を考える。

項目	仮定した値
t検定が選択される確率	80％
t検定の条件付き第Ⅰ種の過誤確率	4％
U検定が選択される確率	20％
U検定の条件付き第Ⅰ種の過誤確率	9％

この場合、二段階解析全体の第Ⅰ種過誤率は、5％である。

つまり、個々の検定の条件付き第Ⅰ種過誤確率が5％から逸脱していても、解析全体としては5％に維持される場合がある。

ただし、この数値は説明のための仮想例であり、本研究のシミュレーション結果ではない。

本研究で観察された「条件付き第Ⅰ種の過誤確率の変化」と「全体の第Ⅰ種の過誤率の維持」は、このような確率の構造によって理解できる。

正規性検定を行えば、適切な検定方法を選択できるのか？

本研究の結果は、正規性検定による二段階解析を無条件に支持するものではない。著者らは、二段階解析が形式的な観点からは不適切と考えられる可能性を認めている。その一方で、検討した条件下では、解析手順全体の第Ⅰ種過誤率と検出力が許容可能であったことを報告している。

したがって、本研究から導かれるのは、「正規性検定による使い分けは常に適切である」という結論ではない。

むしろ、事前検定による検定方法の選択には統計学的な問題が存在するが、その問題が最終的な解析結果に与える影響は、条件によって異なるという理解が適切である。

批判的吟味（研究の限界）

① 検討された確率分布が限定されている

本研究では、正規分布、一様分布、指数分布から標本を生成している。これらは、正規性の有無や分布の非対称性などを検討するうえで有用である。一方、実際の臨床データには、外れ値、ゼロ過剰、混合分布、裾の重い分布など、さらに複雑な特徴が存在する場合がある。

そのため、本研究で二段階解析全体における第Ⅰ種の過誤率が許容範囲に維持されたとしても、すべてのデータ分布で同様の結果が得られるとは限らない。

② 2群の標本サイズが等しい条件で検討されている

本研究では、2群の標本サイズが等しい条件でシミュレーションが行われた。しかし、実際の臨床研究では、群間の標本サイズが異なる場合もある。また、標本サイズの不均衡と分散の違いが組み合わさると、通常のStudentのt検定における第Ⅰ種の過誤率に影響する可能性がある。

したがって、本研究の結果を標本サイズが不均衡な状況にそのまま一般化することはできない。

③ 等分散性の問題は別途考慮する必要がある

通常のStudentの2標本t検定では、2群の母分散が等しいことを仮定する。一方、Shapiro–Wilk検定は正規性を検定するものであり、等分散性を評価する検定ではない。

したがって、正規性検定を通過したとしても、Studentのt検定に必要なすべての仮定が満たされたことにはならない。

特に、2群の分散が異なる場合には、Welchのt検定などの選択肢も考慮する必要がある。なお、Welchのt検定に関する性能評価は、提示された抄録の検討対象には含まれていない。

④ t検定とMann–WhitneyのU検定は検定対象が異なる

t検定は、基本的に2群の母平均の差を検定する方法である。一方、Mann–WhitneyのU検定は、順位に基づいて2群の分布を比較する。したがって、正規性検定の結果によってt検定とU検定を切り替えることは、単に解析方法を変更するだけでなく、検定している帰無仮説や効果の解釈を変える可能性がある。

例えば、研究の臨床疑問が「2群の平均値に差があるか」である場合、正規性検定で有意差が認められたという理由だけでU検定に切り替えると、当初の研究目的と解析方法が一致しなくなる可能性がある。

この点は、二段階解析の第Ⅰ種過誤率が許容範囲に維持されていたとしても、別途検討する必要がある。

⑤ 第Ⅰ種の過誤率と検出力だけでは解析方法の妥当性を十分に評価できない

本研究では、第Ⅰ種の過誤率と検出力が主な評価指標であった。これらは統計学的検定の性能を評価するうえで重要である。一方、実際の臨床研究では、効果量の推定、信頼区間の被覆確率、推定バイアスなども重要となる。また、事前検定によって本解析の方法が変化すると、報告する効果量やその解釈も変化する可能性がある。

したがって、二段階解析の第Ⅰ種過誤率と検出力が許容範囲であったことだけをもって、解析方法として完全に妥当であると判断することはできない。

⑥ シミュレーション条件の詳細が抄録から確認できない

本研究の抄録には、各条件における具体的な第Ⅰ種の過誤率や検出力の数値が示されていない。また、標本サイズの設定、シミュレーション反復回数、正規性検定の有意水準などの詳細も、提示された抄録からは確認できない。

そのため、どの条件で二段階解析の性能が良好であったのか、また、どの程度の逸脱が認められたのかについては、原著全文で確認する必要がある。

臨床研究への応用

本研究は、臨床研究における統計解析方法の選択について重要な示唆を与えている。特に「正規性検定で有意差が認められなければt検定を使用する」という手順を、機械的に適用することの問題点を理解するうえで参考になる。実際の解析では、次のような観点が重要と考えられる。

確認事項	臨床研究における考え方
研究目的	平均値の差、分布の差など、何を評価したいのかを明確にする
データの分布	ヒストグラムやQ–Qプロットなども用いて確認する
標本サイズ	小標本では正規性検定の検出力が低い可能性を考慮する
群間の分散	等分散性の仮定が妥当か確認する
検定方法	t検定、Welchのt検定、U検定などの特性を理解して選択する
解析計画	可能な限り、主要解析の方法を事前に定める
感度分析	必要に応じて別の妥当な解析方法でも結果の頑健性を確認する

正規性検定は実施しない方がよいのか？

本研究の結果だけから、正規性検定を一律に実施すべきではないと結論づけることはできない。正規性検定は、データの分布特性を評価するための方法の一つである。問題となるのは、正規性検定のP値だけを根拠として、研究の主要解析を自動的に変更することである。

例えば、2群の平均値を比較することが研究目的であれば、データの分布、標本サイズ、外れ値、分散の違いなどを総合的に考慮し、適切な解析方法を選択することが望ましい。また、Welchのt検定は等分散性を仮定しない平均値の比較方法であり、実際の研究で有用な選択肢となる。ただし、Welchのt検定も、あらゆる非正規分布や外れ値に対して無条件に頑健であるわけではない。

そのため、特定の検定方法を一律に推奨するのではなく、研究目的とデータの特徴に応じて選択することが重要である。

まとめ

本研究では、Shapiro–Wilk検定による正規性の事前検定を行い、その結果によってStudentのt検定とMann–WhitneyのU検定を使い分ける二段階解析について、シミュレーションを用いて評価した。その結果、事前の正規性検定によって、後続の検定の条件付き第Ⅰ種の過誤確率が大きく変化することが示された。一方、二段階解析全体として評価すると、第Ⅰ種の過誤率と検出力は、検討された条件下では許容可能な範囲に維持されていた。著者らは、この二段階解析について、形式的な観点からは不適切と考えられる可能性があるものの、検討した例では有意水準と検出力を概ね適切に維持していたと結論づけている。

本研究からは、正規性検定による検定方法の選択が常に誤った結果をもたらすとはいえない一方、その手順を統計学的に無条件で正当化することもできないと考えられる。

臨床研究では、正規性検定のP値だけで解析方法を決定するのではなく、研究目的、評価したい効果、データの分布、標本サイズ、分散の違いなどを総合的に考慮し、適切な統計解析方法を事前に選択することが重要である。

根拠となった試験の抄録

背景：スチューデントの2標本t検定は、一般的に、2つの独立した標本（例えば、2つの治療群）の平均を比較するために用いられる。帰無仮説の下で、t検定は、2つの標本が分散が未知の同一の正規分布に従う母集団から得られたものであると仮定する。第I種を適切に制御するためには、正規性の仮定が成立している必要があり、これは多くの場合、予備的なシャピロ・ウィルク検定によって検証される。以下の2段階の手順が広く受け入れられている。正規性の予備検定で有意な結果が得られなかった場合はt検定を用い、予備検定で正規性の帰無仮説が棄却された場合は、本解析において非パラメトリック検定を適用する。

方法：指数分布、一様分布、および正規分布から、同サイズの標本を抽出した。両標本（戦略I）または両標本からの残差を統合した集合（戦略II）のいずれかが、正規性に関する予備的なシャピロ・ウィルク検定を通過した場合は、2標本t検定を実施した。それ以外の場合は、マン・ホイットニーのU検定を実施した。シミュレーションにより、2段階手順のパラメトリック部分およびノンパラメトリック部分について、条件付き第I種誤り確率を個別に推定した。最後に、2段階手順全体としての総合的な第I種誤り率と検出力について評価を行った。

結果：正規性の予備検定は、パラメトリック検定およびノンパラメトリック検定のいずれにおいても、その後の主要解析における条件付き第I種誤り率に著しい影響を与えた。我々は、観察された結果に対する考えられる説明について議論する。その中で最も重要なものは、予備検定による選択メカニズムである。興味深いことに、2段階手順全体の第I種誤り率および検出力は、許容範囲内に留まっていた。

結論：2段階手順は形式的な観点からは不適切と見なされる可能性がある。しかしながら、調査対象の事例においては、この手順は名目上の有意水準を十分に維持し、許容可能な検出力特性を有しているようであった。

引用文献

To test or not to test: Preliminary assessment of normality when comparing two independent samples
Justine Rochon et al. PMID: 22712852 PMCID: PMC3444333 DOI: 10.1186/1471-2288-12-81
BMC Med Res Methodol. 2012 Jun 19:12:81. doi: 10.1186/1471-2288-12-81.
― 続きを読む https://pubmed.ncbi.nlm.nih.gov/22712852/