앞 글에서 충분통계량은 여러 개가 존재할 수 있다고 했다. 그 중 가장 단순한 형태를 가진 최소충분통계량을 찾는 방법에 대해 알아보자.
[Rao-Blackwell 정리]
ˆθ=t(X1,X2,⋯,Xn)이 θ에 대한 불편추정량이고, Y=u(X1,X2,⋯,Xn)가 θ에 대한 충분통계량일 때,
φ(Y)=E[ˆθ|Y] (Y의 함수이면서 불편추정량임)
는 θ에 대해 불편추정량이고, 모든 θ∈Θ에 대해
Varθ[φ(Y)]≤Varθ(ˆθ)
을 만족한다.
즉, ˆθ가 불편추정량이고 Y가 충분통계량일 때, 불편추정량(Y)에 충분통계량(ˆθ)을 조건부를 걸어 기댓값(E)을 취하면 원래의 불편추정량보다 더 작은 분산을 가진 불편추정량을 가진다.
Rao-Blackewll에서 불편추정량이 완비성을 가지면 Lehmann-Scheffe정리로 이어진다.
[Lehmann-Scheffe 정리]
$Y=u(X_1,X_2,\cdots,X_n)을\theta에대한완비충분통계량이라고할때,임의의불편추정량\theta$에 대해
φ(Y)=E[ˆθ|Y]
는 θ에 대한 최소분산불편추정량(Uniformly Minimum Variance Unbiased Estimator 또는 UMVUE)이 되며, 이는 유일(unique)하다.
(Remark) Lehmann-Scheffe 정리의 의미는 C.S.S.의 함수로서(φ(Y)) 기댓값이 특정모수(θ 또는 θ의 함수)가 될 때, φ(Y)가 바로 그 모수에 대한 UMVUE가 된다는 것을 의미한다.
[Cramer-Rao 부등식]
임의의 불편추정량이 가질 수 있는 분산의 하한(lower bound)를 제공한다. 최소분산을 갖는 비편향추정량은 유일하므로, 주어진 비편향추정량의 분산이 Cramer-Rao 하한과 일치하면 그 추정량이 유일한 UMVUE가 된다.
h(θ)에 대한 임의의 불편추정량을 T=T(X1,X2,⋯,Tn)라고 할 때, 적절한 조건하에서
Var(T)≥[h′(θ)]2nI1(θ)
이 성립한다. 여기서 I1(θ)를 Fisher의 정보량(Information number)이라고 하며
I1(θ)=E[∂∂θlnf(X1;θ)]2
으로 정의된다.
(주의) f(x;θ)가\theta$에 의존하는 경우에는 C-R부등식이 성립되지 않는다.
(Remark)
C-R 하한은 불편추정량이 가질 수 있는 분산의 최솟값이므로, C-R 하한을 분산으로 가지는 불편추정량이 있으면 그 추정량은 최소분산불편추정량(UMVUE)가 된다.
C-R는 불편추정량에 국한되어 있기 때문에 편의추정량들 중에서는 CRLB보다 작은 분산을 갖는 추정치가 존재가능하다.
[불편추정량의 효율]
불편추정량의 성능을 나타내는 효율을 다음과 같이 정의한다.
effθ(T)=[∂∂θh(θ)]2[nI1(θ)]−1 / Var(T)
effθ(T)≤1이다. 위 식의 분자는 C-R하한을 나타낸다.
또한, lim를 불편추정량의 T의 점근효율(asymptotic efficiency)이라고 한다.
[유효추정량] : efficient estimator
불편추정량 T의 분산이 C-R 하한의 값을 가질 때, 그 추정량을 유효추정량이라고 한다. 즉, 불편추정량 T에 대해 $eff_\theta(T)=1을 만족하는 추정량이다.
만약 $\lim_{n \to \infty}eff_\theta(T)=1$을 만족할 때, T를 모수에 대한 점근유효추정량(asymptotic efficient estimator)이라고 한다.
'Statistics > 수리통계학' 카테고리의 다른 글
확률변수(Random variable) (1) | 2021.03.18 |
---|---|
충분통계량과 완비통계량 (0) | 2020.03.16 |
바람직한 추정량 (0) | 2020.03.06 |
모수추정법 - 점추정 (0) | 2020.03.06 |
댓글