바람직한 추정량

추정량의 의미와 바람직한 추정량이 되기 위한 조건에 대해 알아보자.

 

확률변수 $X_1, \cdots, X_n$의 함수인 통계량 $Y=u(X_1,\cdots,X_n)$ 가 모수$\theta$의 추정에 사용될 때, 이를 추정량(estimator)이라고 하고 기호로는 $\hat{\theta}=u(X_1,\cdots,X_n)$으로 표기한다. 추정량의 관측값 $u(x_1,\cdots,x_n)$은 추정치(estimate)라고 한다.

- 추정량 : 모수의 추정에 사용되는 통계량 => 확률변수들의 함수이므로 확률변수가 될 수 있다. 분포를 가짐.
- 추정치 : 추정량의 관측값 => 관측 후, 상수값이므로 추정치는 확률변수가 될 수 없다.


바람직한 추정량의 성질에 대해 알아보자.

[불편추정량]

먼저, 편향(or 편의 : bias)에 대해 알아보자. "추정량과 모수의 차이"를 편향이라고 한다. 당연히 추정량이 모수에 가까울수록 좋다. 추정량의 기댓값이 모수와 같아지는 것이 가장 바람직한 경우이다. 편향이 0일 때의 추정량을 불편추정량(Unbiased Estimator)라고한다. 이를 수식으로 표현해 보자.

$E(\hat{\theta}) - \theta = 0$
=> $E(\hat{\theta})=\theta$    (=>추정량$\hat{\theta}$ 분포의 중심위치가 $\theta$와 동일하다. )  

반대로, 편향이 0이 아닐 때의 추정량을 편의추정량(Biased Estimator)이라고 한다.

(Remark) 두 추정량이 존재한다고 할 때, 분산이 같다면 불편성을 가지는 추정량이 더 좋은 추정량이지만, 그렇지 않다면 불편추정량이 항상 더 좋은 추정량은 아니다. 즉, 불편성은 추정량으로써 반드시 요구되는 성질이 아니다. 


[일치추정량]

표본의 크기 n이 무한히 증가하면 그 표본에서 얻은 추정량이 모수와 일치하게 될 때, 그 추정량을 일치추정량(
Consistent Estimator)이라고 하며, 추정량의 점근적 성질을 가진다.

모수 $\theta$에 대한 추정량 $\hat{\theta}$이 
$\hat{\theta} \hat{\overset{p}{\rightarrow}} \theta$  (=>n이 충분히 크면 $\hat{\theta}$이 $\theta$로부터 벗어날 확률의 극한은 0으로 간다. ) 
을 만족할 때, 이 추정량을 일치추정량이라고 한다.

추정량의 일치성을 보이기 위해서는
ⅰ) $\lim_{n->\infty}E(\hat\theta) = \theta$
ⅱ) $\lim_{n->\infty}Var(\hat\theta) = 0$
을 보이는 것으로 충분하다. (확률수렴의 충분조건 참고.)

(Remark) 일치성은 표본이 큰 경우에 대한 추정량의 성질로써, 좋은 추정량이 되기위해 반드시 요구되는 성질이다.


[유효추정량]

추정량의 분산을 의미하며 두 추정량이 불편추정량이라면, 분산이 더 작은 쪽이 더 효율적인 추정량이된다.

 

모수 $\theta$에 대한 두 추정량 $\hat{\theta_1}$과 $\hat{\theta_2}$ 가

$Var(\hat\theta_1)$ < $Var(\hat\theta_2)$    
을 만족할 때, $\hat\theta_1$이 $\hat\theta_2$보다 유효(efficient)하다고 한다.