統計特論3

5.分布パラメータの推定

統計的推定

 母集団(population)分布の形がパラメータ(母数)θ をもった f(x;θ) であると 想定できる場合,母集団から大きさ n の無作為標本(random sample), X1,…,Xn, を抽出し,その標本から 母集団分布のパラメータ θ を推定する. たとえば,母集団が正規分布すると想定される場合,母集団母数は平均 μ,分散 σ2 になる.すなわち, θ = (μ,σ2)である.

統計量(statistic)

 母集団からの無作為標本の任意の関数で未知のパラメータを含まない ものを統計量という.これは,
T = t(X1,…,Xn)       (5. 1)
と表される.たとえば,標本平均,最大値,などである.標本の実現値であるデータや観測値(observation) が与えられると,統計量の具体的な値が定まる.

点推定(point estimation)

 分布パラメータ θ の値そのもの,もしくは,その関数 τ(θ) の値を推定することである. θ を推定した量を θ^ と表記し,これを推定量(estimator)と 呼ぶ.推定量は確率変数の関数(推定関数)で,統計量で構成される. 標本の観測値が得られたときの推定量の実現値を推定値(estimate) と呼んで区別することもある.

区間推定(interval estimation)

 分布パラメータ θ が含まれる範囲を確率的に
Pr[ θ1 < θ < θ2 ] = p,
のように推定すること.

推定量には何でもなれる

 分布の未知母数 θ の推定量としてはどのようなものもなりうる.極端な例では,どのような標本が得られた かにかかわらず,母集団平均は1である,という推定方式や, 最初に得られた標本の値を母集団平均とする,という方式も考えられる.このような推定方式では, 母集団に対して有益な情報を与えることはほとんどないが,たまたま母集団母数を正確に推定することもある. つまり,競馬の単勝馬券(1 着となる馬番号を当てる)で何も考えずに 3 番の馬券を買い続ければ,たまには 的中することもあるのと同じである.
 このため,推定量の良さを測る尺度が必要になる.

一致推定量(consistent estimator)

 母集団分布パラメータ θ は,母集団から標本 X1,…,Xn を抽出して推定量 θ^ を構成する.このとき, 標本の大きさ n を大きくしていけば母集団母数 θ を正しく推定できることが必要であろう.つまり, 任意の ε > 0 に対して,
limn -> ∞ Pr[ | θ^ - θ | < ε ] = 1,        (5. 2)
が成り立つ.これは,データをたくさん集めればそれだけ母集団に対して正しい知識を 与える推定方法を行っていることを保証するものである.式(3.4)の大数の法則により,標本平均 X- = ΣXi/n は母集団平均の一致推定量であることがわかる.

平均2乗誤差(Mean Squared Error : MSE)

 推定量の良さを測る最も一般的な尺度である.分布パラメータ θ のある関数 τ(θ) を 統計量 T で推定したとき,平均2乗誤差は,T と τ(θ) との偏差の2乗の期待値 で表される.すなわち,
mse                   (5. 2)
と定義される.MSE は θ の関数であるが,どのような θ に対しても MSE が小さい ような推定量 T があればよいが一般には存在しない.
 一方,MSE は,
mse                   (5. 3)
と変形される.ここで,τ(θ) - E[T ] は推定量 T の偏り(バイアス(bias))と 呼ばれる量である.つまり,平均2乗誤差は,推定量の分散とバイアスの大きさに分解できる.
 なお,推定量 T の分散 Var[T] の平方根を標準誤差(Standard Error : SE)と呼ぶこともある.

不偏推定量(unbiased estimator)

 分布パラメータ θ のある関数 τ(θ) の推定量 T の中で,
                                                      E[T ] = τ(θ)                                                             (5. 4)
となるものを不偏推定量という.
 不偏推定量のクラスの中では,平均2乗誤差は推定量の分散 Var[T ] と等しくなるので, 分散最小の推定量が望ましいことになる.

Cramer - Rao の下限(Cramer - Rao lower bound)

 不偏推定量のクラスで到達可能な分散の下限は,Cramer - Rao により与えられている.
 いま,分布パラメータ θ のある関数 τ(θ) の不偏推定量 T の分散の下限は,
cramer                   (5. 6)
で与えられる.ここで,I(θ) は,Fisher の情報量(Fisher information)である.
また,Cramer - Rao の下限に一致する分散をもつ不偏推定量を有効(efficient)と言う.  

頑健(ロバスト)性(robustness)

 データ(標本の実現値)が正規分布から由来するのであれば,母平均の推定量として標本平均が最小分散をもつ 不偏推定量なので,最良である.しかしながら,実際のデータが正規分布から由来するとは限らない場合もある. このようなときや外れ値(outlier)があるときでもそれなりの推定が行える推定量をロバストである,という. メディアンは,標本平均よりロバストであることが知られている.
 いま,正規分布より裾の重い t 分布を考えてみる.母集団分布が t 分布であるときの標本平均とメディアンの 分布を比較すればロバスト性が評価できる.自由度 2 の t 分布では極端な値が出やすいので,標本平均の 分散はとても大きくなっている.

最尤法

 分布パラメータの推定法として,最もよく用いられるのが最尤法である.

尤度(likelihood)

 パラメータ θ をもった分布 f(x;θ) からの無作為 標本(random sample) X1,…,Xn が得られたとする.このとき, 標本の同時分布の確率密度は,
mle
と表せる.これを,標本が与えられたときのパラメータ θ の関数とみなし,
mle                   (5. 7)
と表記する.これを,標本 X1,…,Xn の尤度(関数)という. 尤度は積の形で少し扱いにくいので,尤度の対数を取った対数尤度
mle
を用いることも多い.

最尤推定量(Maximum Likelihood Estimator : MLE)

 標本の尤度は,標本が生成する確率モデル f(x;θ) のもとでの標本の同時確率密度 なので,想定した確率モデル f(x;θ) のもとで標本が生起する(データのような標本が実現する) 確率に比例した量になる.この標本の "生起確率" を最大にするような分布パラメータ θ を 求めることを最尤法という.最尤法により得られたパラメータの推定量を 最尤推定量という.
 多くの場合,最尤推定量は尤度をパラメータ θ で微分して 0 とおいた,
mle
の解,もしくは,対数尤度を θ で微分して 0 とおいた,
mle
の解として得られる.

6.正規母集団からの標本に基づく推論

独立な正規分布の合成分布

平均 μ1, 分散 σ12,の正規分布 からの標本 X 〜 N( μ1,σ12 ) と, 平均 μ2, 分散 σ22,の正規分布 からの標本 Y 〜 N( μ2,σ22 ) があり,両者が互いに独立であるとする.(Y の値は X の値の影響を受けない.)

正規分布に基づく母数の区間推定

 正規分布は,平均 μ と分散 σ2 の2つの母数を持つ. 2つの母数とも未知であるのが普通であるが,片方が既知であるときは母数に関する推論は 簡単に行える.このため,多少非現実的な設定であるが,まず,既知の場合を考え,その後,より 一般的である2つの母数とも未知である場合を扱う.

分散既知の場合の母平均 μ の区間推定

 正規分布する母集団で母分散 σ2 がわかっている場合は,未知の母平均 μ に関する区間推定は以下のように行える.
いま,正規分布 N( μ,σ2 ) において,大きさ n の標本 x1x2,…,xn を抽出したとき,母平均は標本平均で推定される.標本平均 x- の分布は,
meanCI
となる.標準正規分布の 97.5%分位点を z0.975(= 1.96)とすると, 標準正規分布する確率変数 z が -z0.975 から z0.975 に入る 確率は 0.95 となる.つまり,
meanCI
となる.最後の式を母集団平均 μ の 95% 信頼区間(confidence interval)と言う.
このように,母数の信頼区間を標本から推定することを区間推定という.区間推定においては, 信頼区間の幅 2d が小さい程よい.すなわち,母分散が小さい母集団で, 標本の大きさ(サンプルサイズ)が大きい程,精度の高い推定が行える.

平均既知の場合の母分散 σ2 の区間推定

 正規母集団で母平均 μ がわかっているとき,大きさ n の標本 x1x2,…,xn を抽出したとき,母分散は,
varCI
で推定される.ところで,標本は
varCI
と分布するので,自由度 n の χ2 の 2.5%分位点と 97.5%分位点をそれぞれ, χ2(n)0.025,χ2(n)0.975 とすると,
varCI
が成り立つ.下の式の区間を母分散 σ2 の 95% 信頼区間と言う.

平均未知の場合の母分散 σ2 の区間推定

 正規母集団では,母数が未知であるのが普通であろう.このとき, 大きさ n の標本 x1x2,…,xn を抽出したとき,母平均 μ と母分散 σ2 は,そえぞれ 標本平均 x- と標本分散 s2
sampmv
で推定される.母平均 μ の信頼区間を述べる前に母分散 σ2 の 信頼区間の構成法を述べる.
 ところで,標本や標本平均は,
sampmv
と分布する.一方,
sampmv
と計算されるので,(n - 1)s22 という量は,
sampmv
と,自由度 n - 1 の χ2 分布,χ2(n - 1),に従うことがわかる.
 自由度 n - 1 の χ2 分布の 2.5%分位点と 97.5%分位点をそれぞれ, χ2(n - 1)0.025,χ2(n - 1)0.975 とすると,
varCI
が成り立つ.下の式の区間を母分散 σ2 の 95% 信頼区間と言う.

分散未知の場合の母平均 μ の区間推定

 前節で考えたように正規母集団の母数が未知のときは, 大きさ n の無作為標本 x1x2,…,xn から,母平均 μ と母分散 σ2 は,それぞれ 標本平均 x- と標本分散 s2
sampmv
で推定される.
 標本平均 x- の分布は標準化すると,
tCI
のように標準正規分布となり,標本分散に関係する量は,
tCI
のように自由度 n - 1 の χ2 分布する.これより,zU をその自由度 n - 1 で 割った量の平方根との比は,
tCI
のように自由度 n - 1 の t 分布に従う.
 自由度 n - 1 の t 分布の 97.5%分位点を t(n - 1)0.975 とすると, t 分布する確率変数 t が -t(n - 1)0.975 から t(n - 1)0.975 に入る 確率は 0.95 となる.つまり,
tCI
となる.最後の式を母分散未知のときの母集団平均 μ の 95% 信頼区間と言う.

7.仮説検定(Test of hypothesis)

帰無仮説(H0)と対立仮説(H1

統計学で扱う仮説(hypothesis)とは,母集団に対する断定や推測.たとえば,

などである.

統計的仮説検定で用いられる仮説は,まず,帰無仮説(null hypothesis)という形式で与えられる.
帰無仮説は棄却(reject)されることに意味がある仮説である.
帰無仮説と反対の仮説を対立仮説(altanative hypothesis)という.

上の3番目の例でみると,

帰無仮説: 母集団 A と母集団 B の平均は等しい. (H0: μA = μB
対立仮説: 母集団 A と母集団 B の平均は等しくない. (H1: μA ≠ μB

母集団 A と母集団 B は異なる処理(薬の投与など)をしているので,実験の目的 は,母集団 A と母集団 B の平均は異なる(処理効果がある)ことを言いたい (対立仮説が正しいことを望む)のだが,まずは 「等しい(処理効果無し)」と仮定してみようという考え方で, 数学の背理法と似た論理である.

背理法:√2 が無理数であることを証明するため,まず√2 が有理数であると仮定し,矛盾があることを 示す.つまり,有理数であることは絶対ありえない(確率 0 である!)ことを示す. この矛盾は,そもそも√2 を有理数とした仮定が誤っていたからであると考え,有理数という仮定を 棄却して,無理数であることを証明する.

検定の概要

検定統計量(Test statistic)

 標本から算出される量で,検定に用いられるもので,t 値(t value),F 値(F value)などがある. この値から帰無仮説を受託(accept)(採択)するか 棄却(reject)(対立仮説の採択)するかを判定する.

p 値(p value)と有意水準(Significance level)

 統計的仮説検定では,たとえば2つの母集団平均が等しいという帰無仮説を考えると, この帰無仮説のもとで,検定統計量(標本平均の差に基づく t 値など)以上 (もしくは未満)の値が得られる確率を求める.R ではこの値が p 値で表示される.
 p 値は くだけた言い方をすれば,帰無仮説が正しいとしたときに,標本のようなデータが得られる確率 である.
 これが十分小さい(ほとんどありえない)ときは,平均が等しいと仮定したことが誤りであったと判断して 帰無仮説を棄却し,2つの母集団平均には差があると結論づける.
 この確率がそれほど小さく ない場合は,このような統計量が得られることもありえると考え,帰無仮説を採択し,平均が等しいと考え てもよいとする.
 棄却か採択かの判断の基準となる確率を有意水準といい, 5 %1 % がよく用いられる.

 統計のソフトが発達していなかった頃は,検定統計量である t 値や F 値を電卓等で算出し,その値を t 分布や F 分布の 5 %や 1 %の有意水準に対応する数表と照らし合わせて検定を行い,5 %有意とかを 記述していた.
 現在では,ソフトが検定統計量に対する p 値を直接計算してくれるので数表はいらなくなった.この結果, 検定に重要な数字であった t 値や F 値より,より直接的な p 値が重要な指標になってきた.p 値を みれば,何%有意かが一目でわかるので,結果にわざわざ 5 %有意とかを記述する必要がなくなってきており, 論文の書き方も変わってきている.

片側検定と両側検定

実験状況によっては,薬投与などの処理を行った集団(処理群)平均 μA が,薬を投与しない 集団(対照群)の平均 μB より小さくなることはないことが事前に わかっているような場合が ある.このようなとき,

帰無仮説,H0: μA = μB
対立仮説,H1: μA > μB
となる.これは,事前情報より,μA < μB となる可能性 をまったく考えない場合である.
このため検定には,片側 5 %点や 1 %点を用いる.

両側検定と信頼区間

母集団平均に対する両側検定は,母集団平均に対する信頼区間と大きな関係がある. いま,帰無仮説(H0)と対立仮説(H1)が,

H0:μ = μ0
H1:μ ≠ μ0
であり,母分散 σ2 が既知のときを考える.
標本の大きさがnで,標本平均が x- であったとすると,母平均μに対する 95%信頼区間は,
Pr[ − 1.96 < √n(x- − μ )/σ < 1.96 ] = 0.95,
Pr[ x- − 1.96×σ/ √n < μ < x- + 1.96×σ/ √n ] = 0.95
となる.
 一方,この検定の検定統計量は,標本平均の標準化値の絶対値
|z| = √n|x- − μ0 |/σ
で, 有意水準 5 %で帰無仮説を受諾するのは,検定統計量 |z| が両側 5 %点である 1.96 以下のときである.つまり,
帰無仮説を受諾 ⇔ − 1.96 < √n(x- − μ0 )/σ < 1.96
である.この両者の関係より,
帰無仮説を受諾 ⇔ 母平均の信頼区間に μ0 が含まれる.
帰無仮説を棄却 ⇔ 母平均の信頼区間に μ0 が含まれない.
が成り立つ

検定における2種類の過誤

検定は,仮説を棄却するか採択するかのいずれかであるが, 統計量は分布をもつので,この判定には間違いが起こることがある.
以下のように,この過誤には 2 種類がある.

統計的検定における2種類の過誤
  仮説の棄却(reject) 仮説の採択(accept)
仮説が真(true)のとき 第1種の過誤(Type 1 error) 正解
仮説が偽(false)のとき 正解 第2種の過誤(Type 2 error)

第1種の過誤が有意水準である.また,第2種の過誤の確率を β としたとき, 仮説が偽のとき正しく仮説を棄却する確率,1 - β,を検出力,もしくは検定力(power)という. よい検定は,第1種の過誤を固定したもとで検出力の高い検定方式である.

正規母集団の母平均に対する t 検定

1つの母集団に対する検定(One sample problem)

 平均 μ,分散 σ2 がともに未知である正規母集団に対して,
帰無仮説 H0: μ = μ0
対立仮説 H1: μ ≠ μ0
の両側検定を考える.  いま,母集団から大きさ n の無作為標本 x1x2,…,xn を抽出したところ,標本平均が x-,標本分散が s2 であったとする. 帰無仮説のもとでは,標本平均は,
ttest
と分布するので,これを,標本平均の標準誤差 s/√n で標準化した t は,
ttest
のように自由度 n - 1 の t 分布に従う.この分布の97.5%分位点を t(n - 1)0.975 とすると, 有意水準 5 %の検定は,
|t| > t(n - 1)0.975
のとき帰無仮説を棄却する.|t| が検定統計量で,この値を |t| 値という.

なお,この検定は,対のある標本に適用できる.対のある標本とは,n 組のペアー標本(paired smple),

(x1y1 ),(x2y2 ), …,(xnyn )
からなる.正規性の仮定のもとでは,
xi 〜 N( μi,σx2 ), yi 〜 N( μi + δ,σy2 )
ここで興味ある母数は δ であり,μ1,…,μn は攪乱母数(nuisance parameter) である.yixi の差を取ると,
ziyixizi 〜 N( δ,σz2 )
となるので,1つの母集団に対する検定に帰着する.なおこの問題は, 反復のない 2×n の2元配置と考えて解くこともできる.

2つの母集団に対する検定(Two sample problem)

 2つの母集団 A,B があり,それぞれが平均を μA,μB, 分散を σA2,σB2 の正規分布に従って いるが,その値は未知であるとする.いま,両集団の分散の値が等しく, σA2=σB2=σ2,と仮定 できるとしよう.このとき,2つの母平均に対する

帰無仮説,H0: μA = μB
対立仮説,H1: μA ≠ μB

の検定は t 分布を用いて行える.

 母集団 A から大きさ nA,母集団 B から大きさ nB の標本を抽出した. 母集団 A からの標本の標本平均が x-A, 標本分散が sA2 であり,母集団 B の 標本平均が x-B, 標本分散が sB2 であった.母集団 A,B が共通の 分散 σ2 をもつとすると,その推定値 s2 は 以下のように推定できる.

母集団 A からの標本の偏差平方和:  SA=(nA−1)sA2
母集団 B からの標本の偏差平方和:  SB=(nB−1)sB2
母集団 A,B 全体での偏差平方和:  SSASB =(nA−1)sA2+ (nB−1)sB2
母集団 A,B 共通の標本分散: bunsan

また,母集団Aの標本分布は,N(μA,σ2)であり,母集団Bでは, N(μB,σ2)であることから,それぞれの標本平均は,
x-A 〜 N(μA,σ2/nA), x-B 〜 N(μB,σ2/nB
と分布する.これより,標本平均の差x-Ax-Bは,
diffmean
と分布する.

帰無仮説(H0: μA = μB)のもとでは,μA−μB=0,なので, 標本平均の差は,

diffmean
と分布する.これを標準化した z 値,
diffz
において,標準偏差 σ の代わりに標本標準偏差 s を代入した t 値が,
difft
のように自由度 nA+nB−2 の t 分布に従うことを利用して検定ができる. なお,母集団 A,B からの標本の大きさがともに等しく, nA=nB=n であるときは,式がずっと簡単になる.

母集団A,Bで分散の同等性が疑われるときは,ウェルチ(Welch)の検定を用いる.

正規母集団の母分散に対する検定

母集団分散の検定

  平均 μ,分散 σ2 がともに未知である正規母集団に対して,
帰無仮説 H0: σ2 = σ02
対立仮説 H1: σ2 ≠ σ02
の検定を考える.  いま,母集団から大きさ n の無作為標本 x1x2,…,xn を抽出したところ,標本平均が x-,標本分散が s2 であったとする.すると, 帰無仮説ももとで(under H0),標本分散に関係した量が,
vartest
と自由度 n - 1 の χ2 分布に従うので,U を検定統計量にして検定が行える.

 有意水準 5 %の検定は,自由度 n - 1 の χ2 分布の 2.5%点と 97.5%点をそれぞれ χ2(n - 1)0.025, χ2(n - 1)0.975 とすると,

U < χ2(n - 1)0.025U > χ2(n - 1)0.975
のいずれかの不等式を満たしたとき帰無仮説を棄却し,母分散は σ02 と有意に異なる と結論づける.

2つの母集団分散の同等性の検定

 2つの母集団 A,B があり,それぞれが平均を μA,μB, 分散を σA2,σB2 の正規分布に従って いるが,その値は未知であるとする.このとき,2つの母分散の同等性の検定,

帰無仮説,H0: σA2 = σB2
対立仮説,H1: σA2 ≠ σB2

の検定を考える.

 母集団 A から大きさ nA,母集団 B から大きさ nB の標本を抽出した. 母集団 A からの標本の標本平均が x-A, 標本分散が sA2 であり,母集団 B の 標本平均が x-B, 標本分散が sB2 であるとする.すると, 標本分散に関係した量はそれぞれ

vartest
と χ2 分布に従い,それぞれが独立である.これらの量の比は,
vartest
のように,自由度 nA - 1,nB - 1 の F 分布に従う.

 ところで,帰無仮説が正しいとする と,σA2 = σB2 とおけるので, 母集団の分散比は,γ0 = σA2B2 = 1, となる.このとき,標本分散の分散比の統計量 γ が,

vartest
と,自由度 nA - 1,nB - 1 の F 分布に従うので,この γ 値を検定統計量にして 2つの母分散が等しいという帰無仮説の検定が行える.
 すなわち,有意水準 5 %の検定を行うには,自由度 nA - 1,nB - 1 の F 分布 の 2.5%点と 97.5%点をそれぞれ F(nA - 1,nB - 1)0.025, F(nA - 1,nB - 1)0.975 とすると,検定統計量 γ が,
γ < F(nA - 1,nB - 1)0.025γ > F(nA - 1,nB - 1)0.975
のいずれかの不等式を満たしたとき帰無仮説を棄却し,2つの母集団の分散は有意に異なると結論づける.

2つの母集団の分散比の信頼区間

 2つの母集団 A,B の分散 σA2,σB2 の分散比, γ0 = σA2B2,の 95%信頼区間は, 上記の考えから簡単に求めることができる.すなわち,互いに独立に χ2 分布する 変量の比が,標本分散の分散比 γ と母集団分散比 γ0 の比となり,
vartest
と分布する.これより,母集団分散比の 95%信頼区間は,
vartest
となる.

成功確率(比率)に関する検定

標準正規分布による近似検定(大標本理論)

 成功確率 p のベルヌイ試行を n 回行ったときの成功回数 X は, X 〜 B(n, p),のように2項分布に従う.X の平均と分散はそれぞれ, E[X ] = np,Var[X ] = np(1 - p),である.
 ここで,成功確率が p0 であるという帰無仮説,
H0: p = p0
の検定を考える.帰無仮説のもとでは,成功回数 X は,X 〜 B(n, p0), と分布するので,X をその平均と標準偏差で標準化すると,中心極限定理から,
binotest
のように標準正規分布に漸近的に従う.
 これより,近似的な 5%両側検定は,標準正規分布の 97.5%分位点の z0 = 1.96 より 検定統計量 T = |z| の値が大きくなったとき帰無仮説を棄却することで得られる. なお,二項分布は離散的なので,Yates の連続性の補正(continuity correction)を行った検定統計量を用い,
binotest
のとき帰無仮説を棄却する方が近似の精度がよいと言われている.

 このように,中心極限定理を利用して,標準正規近似を行って検定を行うやり方を大標本(large sample)理論 といい,コンピュータが発達する以前はもっぱら大標本理論に基づいた検定を行っていた.

比率の正規近似に基づく信頼区間

 成功確率 p のベルヌイ試行を n 回行ったとき x 回成功したとすると,成功確率は, p^ = x/n,と推定される.この推定値は最尤推定値である.
 成功回数 x は二項分布し,その平均は E[x ] = np,分散は Var[x ] = np(1 - p),で あるので,成功確率推定量 p^ の平均は E[p^ ] = E[x/n] = p, 分散は Var[p^ ] = Var[x/n] = Var[x ]/n2 = p(1 - p)/n, となる.これより,
binotest
と漸近的に分布するので,標準正規分布の 97.5%点の z0 = 1.96 を用いると, 近似的に
binotest
という不等式が成り立つ.これを整理すると,
binotest
という p の2次不等式を解くことに帰着する.いま,p の2次方程式の根を
binotest
とすると,この根を用い,p の 95%信頼区間は近似的に
binotest
となる.
 また,連続性の補正を行うには,成功確率の推定値 p^ を,信頼区間の下限と上限でそれぞれ
binotest
というように変えて,信頼区間が少し広くなるようにする. R では,これらの式を用いて信頼区間を構成しているようである.

 ここで,さらに近似を加えて,z02 の項を消去すると, p の2次方程式の根は,

binotest
となるので,p の 近似的な 95%信頼区間は,
binotest
と簡略化される.
 なお,この信頼区間は, 成功確率推定量 p^ の分散において,真の成功確率 p の 代わりにその推定量 p^ に置き換えて,Var[p^ ] = p^(1 - p^)/n,とみなした場合と同じで, この信頼区間は教科書等でよく出てくる.
 簡略化された信頼区間で連続性の補正を入れるには,
binotest
として,信頼区間の幅を拡げる.

 ところで,正規近似による信頼区間の構成では,場合により信頼区間が負になったり 1 を超えることがあるが, このときは,0 と 1 で切り詰め(truncate)る.

二項確率の計算による正確な検定

 現在では二項確率が R などのコンピュータソフトにより直接計算できるので, 正規分布による近似検定を行う意味はあまりないといえる.
 いま.独立なベルヌイ試行を n 回行ったところ,成功回数が x であったとする.このとき, 成功確率 p が p0 であるという帰無仮説,とその対立仮説
H0: p = p0, H1: p ≠ p0
の検定を考える.帰無仮説のもとでは成功回数の期待値は np0 である. いま,x > np0 であるとする.このときは,まず成功回数 が x 回以上である確率 Pr[X ≧ x] を計算する.これが上側確率で,
binotest
である.
 両側検定では下側確率を考える必要がある.これは,帰無仮説のもとでデータ x が得られる確率,
binotest
より,小さな確率を持つ密度を加え合わせて,
binotest
として求められる.これらから,帰無仮説の有意確率(p 値)は,
Pupper + Plower
となり,これが が 0.05 より小さければ有意水準 5%で帰無仮説を棄却し,0.01 より小さければ有意水準 1%で帰無仮説を棄却 する.
 x < np0 のときは,上の上側確率と下側確率の関係が逆になる.

二項確率のベータ分布表現による信頼区間の構成

 成功確率 p のベルヌイ試行を n 回行ったときの成功回数の確率変数を X, パラメータ,x と n - x + 1 のベータ分布に従う確率変数を YY 〜 beta(x,n - x + 1),とすると,成功回数 X がある回数 x 以上になる確率は,
binotest
となる.また,成功回数が x 以下になる確率は,
binotest
となる. これらの関係は,ベータ分布の累積分布を部分積分すると,
binotest
となることを利用して求められる.

 これより,成功確率 p の 95%信頼区間は,

下限:Beta(x, n - x + 1) 分布の累積確率が 0.025 になる値,qbeta(0.025, x, n - x + 1)
上限:Beta(x + 1, n - x) 分布の累積確率が 0.975 になる値,qbeta(0.975, x + 1, n - x)
として求められる.

 ところで,F 分布とベータ分布の関係

binotest
を用いて,成功確率 p の信頼区間を F 分布を用いて構成することもできる. これは,以前は F 分布の数表が充実していたためであろう. 統計ソフトが発達した現在では,ベータ分布の累積分布関数を用いて信頼区間 を構成するのが普通であり,R でもベータ分布を利用している.

8.適合度検定

Pearson χ2 検定

 前節の比率の検定は,χ2 分布を用いる適合度検定と大きな関係がある. ここでは n 回のベルヌイ試行で X 回成功したときに,成功確率が p0 であるという,
帰無仮説,H0: p = p0, 対立仮説,H1: p ≠ p0
の検定を考えた.そこでは,X を標準化して標準正規分布にもって行ったが,これを2乗して χ2 分布を用いることもできる.すなわち,
fit
という関係がある.
 ところで,n 回のベルヌイ試行の結果と帰無仮説のもとでの期待値を表にすると,

   成 功   失 敗 
 観測度数  X n - X
 期待度数  np0 n(1 - p0)

となる.ここで,ピアソン(Pearson)のχ2 値,

fit
を計算すると,
fit
となる.つまり,χ2 値は,試行回数 n が大きくなるにつれて 帰無仮説のもとで自由度 1 の χ2 分布に漸近的に従う.よって,これより検定が行える.

確率分布との適合度

確率分布が既知のとき

 データが想定している確率分布に適合しているかは,ピアソン(Peason)の χ2 適合度検定で行う ことができる.いま,離散分布の,たとえば m = 5 のセルに対して,観測されたカウントデータと対応する 想定確率が,

  セル1  セル2 セル3  セル4  セル5    計   
 観測度数  n1 n2 n3 n4 n5 n
 想定確率分布  p1 p2 p3 p4 p5 1

のようになっていたとする.このとき,ピアソン(Peason)の χ2 値は,
tekigo
のように近似的に自由度 m - 1 の χ2 分布に従う.これにより,データが想定確率分布に 適合しているかの検定が行える.検定の帰無仮説は,

H0:データは想定確率分布に従う.

である.  この近似は n が大きく,各セルの度数 ni が 5 以上である ことが望ましい,とされている.  一方,正規分布などの連続分布では,適当に階級分けして離散化すればこの検定が行える.ただし,階級分け は任意なので,階級分けのやり方によっては結果が異なる恐れがある.

確率分布のパラメータをデータから推定する場合

 確率分布のタイプ(二項分布やポアソン分布など)は想定できるが,パラメーターはデータから推定することが 普通であろう.このときは,推定されたパラメーターのもとでの推定確率分布を用いて,セル数が m = 5 のときは,

  セル1  セル2 セル3  セル4  セル5    計   
 観測度数  n1 n2 n3 n4 n5 n
 推定確率分布  p^1 p^2 p^3 p^4 p^5 1

のような表ができる.推定したパラメーターの数が k であったとすると, このとき,ピアソン(Peason)の χ2 値は,
tekigo
のように近似的に自由度 m - k - 1 の χ2 分布に従う.これにより,データが推定確率分布に 適合しているかの検定が行える.

他の分布

 ポアソン分布や負の二項分布などの離散分布では,前節の二項分布のときと同様に適合度検定が行える. 正規分布などの連続型分布では,多少恣意的にはなるが離散化を行えば適合度検定が行える.

参考文献(古い順)

  1. Introduction to the Theory of Statistics, Mood, A. M., Graubill, F. A. & Boes, D. C., 1974, McGRAW-HILL
  2. 工学のためのデータサイエンス入門−フリーな統計環境Rを用いたデータ解析−,間瀬茂ら,2004, 数理工学社
  3. 実践生物統計学−分子から生態まで−(第 1 章,第 2 章), 東京大学生物測定学研究室編(大森宏ら), 2004,朝倉書店
  4. The R Tips データ解析環境 R の基本技・グラフィックス活用集,船尾暢男,2005,九天社
  5. R で学ぶデータマインニング I −データ解析の視点から−,熊谷悦生・船尾暢男,2007,九天社
  6. R で学ぶデータマインニング II −シミュレーションの視点から−,熊谷悦生・船尾暢男,2007,九天社

Copyright (C) 2008, Hiroshi Omori. 最終更新日:2008年 7月13日