(UMVUE)최소분산불편추정량[Rao-Blackwell, Lehmann-Scheffe, Cramer-Rao]

 

 

앞 글에서 충분통계량은 여러 개가 존재할 수 있다고 했다. 그 중 가장 단순한 형태를 가진 최소충분통계량을 찾는 방법에 대해 알아보자.

 

[Rao-Blackwell 정리]

 

$\hat\theta=t(X_1,X_2,\cdots,X_n)$이 $\theta$에 대한 불편추정량이고,  $Y=u(X_1,X_2,\cdots,X_n)$가 $\theta$에 대한 충분통계량일 때, 

$\varphi(Y)=E[\hat\theta|Y]$   (Y의 함수이면서 불편추정량임)

는 $\theta$에 대해 불편추정량이고, 모든 $\theta \in \Theta$에 대해 

$Var_\theta[\varphi(Y)] \leq Var_\theta(\hat\theta)$ 

을 만족한다.

 

즉, $\hat\theta$가 불편추정량이고 $Y$가 충분통계량일 때, 불편추정량($Y$)에 충분통계량($\hat\theta$)을 조건부를 걸어 기댓값($E$)을 취하면 원래의 불편추정량보다 더 작은 분산을 가진 불편추정량을 가진다.

 

Rao-Blackewll에서 불편추정량이 완비성을 가지면 Lehmann-Scheffe정리로 이어진다.

 

 

[Lehmann-Scheffe 정리]

 

$Y=u(X_1,X_2,\cdots,X_n)$을 $\theta$에 대한 완비충분통계량이라고 할 때, 임의의 불편추정량 $\theta$에 대해 

$\varphi(Y)=E[\hat\theta|Y]$

는 $\theta$에 대한 최소분산불편추정량(Uniformly Minimum Variance Unbiased Estimator 또는 UMVUE)이 되며, 이는 유일(unique)하다.

 

(Remark) Lehmann-Scheffe 정리의 의미는 C.S.S.의 함수로서($\varphi(Y)$) 기댓값이 특정모수($\theta$ 또는 $\theta$의 함수)가 될 때, $\varphi(Y)$가 바로 그 모수에 대한 UMVUE가 된다는 것을 의미한다.

 

[Cramer-Rao 부등식] 

 

임의의 불편추정량이 가질 수 있는 분산의 하한(lower bound)를 제공한다. 최소분산을 갖는 비편향추정량은 유일하므로, 주어진 비편향추정량의 분산이 Cramer-Rao 하한과 일치하면 그 추정량이 유일한 UMVUE가 된다.

 

$h(\theta)$에 대한 임의의 불편추정량을 $T=T(X_1,X_2,\cdots,T_n)$라고 할 때, 적절한 조건하에서

$Var(T) \geq \frac{[h'(\theta)]^2}{nI_1(\theta)}$

이 성립한다. 여기서 $I_1(\theta)$를 Fisher의 정보량(Information number)이라고 하며

$I_1(\theta) = E[\frac{\partial}{\partial \theta}ln f(X_1;\theta)]^2$

으로 정의된다. 

(주의) $f(x;\theta)가 $\theta$에 의존하는 경우에는 C-R부등식이 성립되지 않는다.

 

(Remark)

C-R 하한은 불편추정량이 가질 수 있는 분산의 최솟값이므로, C-R 하한을 분산으로 가지는 불편추정량이 있으면 그 추정량은 최소분산불편추정량(UMVUE)가 된다. 

C-R는 불편추정량에 국한되어 있기 때문에 편의추정량들 중에서는 CRLB보다 작은 분산을 갖는 추정치가 존재가능하다.

 

 

[불편추정량의 효율]

불편추정량의 성능을 나타내는 효율을 다음과 같이 정의한다.

$eff_\theta(T) = [\frac{\partial}{\partial\theta}h(\theta)]^2 [nI_1(\theta)]^{-1}$ / $Var(T)$

$eff_\theta(T) \leq 1$이다. 위 식의 분자는 C-R하한을 나타낸다.

또한, $\lim_{n \to \infty}eff_\theta(T)$를 불편추정량의 T의 점근효율(asymptotic efficiency)이라고 한다.

 

[유효추정량] : efficient estimator

불편추정량 T의 분산이 C-R 하한의 값을 가질 때, 그 추정량을 유효추정량이라고 한다. 즉, 불편추정량 T에 대해 $eff_\theta(T)=1을 만족하는 추정량이다. 

만약 $\lim_{n \to \infty}eff_\theta(T)=1$을 만족할 때, T를 모수에 대한 점근유효추정량(asymptotic efficient estimator)이라고 한다.