２つのグループの有意差を検定するには仮説検定を実施して判断してきました。３つ以上のグループについてはどうすればよいでしょうか？ 一つは分散分析を用いる方法があります。「実験の効果を判定するには」「ここでも平方和が活躍」「統計学習は自転車乗りの練習と一緒」で説明してきました。３つ以上のグループについて効果があるかないかの判断が可能ですが、３つグループ（例えば、A、B及びC）の中で、AとB、AとC及びBとC間相互について、有意差があるか否かを調べるためには、やや不適だと思います。本日は事例に基づき、現在、私が理解している「多重比較検定」について説明していきます。
資料はこちら → 多重比較検定
p.1 A、B及びCグループの平均値がμ１、μ２及びμ３だとします。AとB、AとC及びBとCの間で平均値の有意差の有無を検定する場合、各々の有意水準が0.05の場合、検定１～3を実施すると、第１の過誤の確率が増加して有意水準が0.143になってしまいます。同じデータで検定を繰り返すと、「有意差がある」と判定される確率が高くなっていくので、複数の群での複数回の検定は精度が悪くなるそうです。以下に事例で説明します。
p.2 A1～A4の４つのグループのデータが左上であったとします。このデータを基に、Excelの分析ツールを用いた一元配置分散分析を実施した結果が、下表です。p値（青枠内）が0.056で0.05より大きいため、有意差があるとはいえないと判定されました。 次に、A1とA2、A1とA3、A1とA4……と２群間で総わたりの検定を実施し得られた統計量tij及びｐ値を表にしました。有意水準0.05の両側検定の場合の棄却領域の境界値は2.776です。統計量の絶対値を2.776と比較すると、A1とA4の検定において有意差ありとなります。p値も0.05より小さいので有意差ありと判定されます。一元配置分散分析では、有意差がない、２群間の検定では一つの検定で有意差ありと判定され、判定に違いが出てしまいました。
p.3 Ｍinitabで実行してみました。手順を書いておきます。③比較をクリックしたら、右のようなポップアップが出てきますので、□に全てレ点チェックしてＯＫしてください。
p.4 実行結果です。左が一元配置分散分析結果です。p値が0.056で0.05以上なので、有意差なしの判定です。右側が、種々の比較手法を用いて解析した結果を示しています。何れの手法もA1とA4の検定において、p値が0.05より小さいので有意差ありと判定されました。ここでも一元配置分散分析結果と判定が異なることがわかります。
p.5 上述の比較手法の結果を図にしたものです。アンダーラインは判定基準です。これらの図からもA1とA4の検定結果に有意差があることを示していることが直観的にみることができます。
p.6 2つ目の事例データです。今までと同様に分析ツールの一元配置分散分析及び2群間の検定を実行した結果、一元配置分散分析結果は、有意差あり、２群間の検定結果は全て有意差なしと反対の結果となります。
p.7 Minitabの実行結果です。今回は４つの比較手法のうち２つは異なる判定となりました。
p.8 図においても、有意差あり・なしが混在しています。
P.9 多重比較法を表にまとめてみました。Minitabに登場する全ての比較手法は、残念ながら調べ切れておりません。わかり次第アップいたします。大きく分けて、有意水準補正型、分布補正型及び検定統計量補正型の3つに分類されます。下に図を一緒にご覧ください。有意水準補正型の概念が一番シンプルです。有意水準0.05で検定したい場合は、0.05を検定回数で割った水準で、２群間の検定を実施していくことになります。分布補正型の場合は、F分布のような補正された分布より境界値ｑを求めて判定していきます。検定統計量補正型の場合は、２つの群にしてから検定します。A群の平均値と（B群とC群の平均値）という組み合わせ、（A群とB群の平均値）とC群の平均値という組み合わせ、（A群とC群の平均値）とB群の平均値という組み合わせの何れでも構いません。その際に比較係数ｃを用いて計算します。
比較手法は一長一短があるようで、どれが適しているか私も把握できておりません。多くのグループを検定する場合は、種々の検定手法を用いて結果を比較考察する必要がありそうです。最初に分散分析を実施後、次に比較手法を用いるという手順もあるようです。 従来、検定の手順としてF検定で分散を検定して、その後ｔ検定などで平均値の検定をするという手順が普通でしたが、最近は上述のように複数回検定を実施するのは好ましくないという考えを主張する方がおられます。その場合、F検定を行わずウェルチのｔ検定を実行するようです。 この辺の最新情報がわかりましたら、お知らせいたします。統計学も進化？しているようです。本日の話は難しい！！ 皆さんも混乱してしまったかもしれません。