모수추정법 - 점추정

[서론]

 

점추정을 배우기에 앞서 왜 점추정을 하게 되었는지 설명하고자 한다.

 

통계학에서는 데이터를 다루는 목적에 따라 추론통계학(Inference Statistical)과 기술통계학(Descriptive Statistical)로 나뉜다. 여기서 우리는 추론통계학에 대해 알아보자. 추론통계학이란, 표본이 가진 정보로 모집단의 특성(모수 : parameter)을 추론하고 그 결과가 신뢰성이 있는지 검정하는 것이다. 의미에서 힌트가 있었다. 추론통계학은 크게 추정(estimation)과 검정(test)이 있다. 추정에 초점을 맞추어 보자. 추정은 표본을 추출하여 측정한 결과값을 모집단에 대한 측정결과로 사용하는 것이다.  추정에는 '점 추정(point estimation)'과 '구간 추정(interval estimation)' 으로 나눠진다. 

 

여기서 왜 전수조사를 하지 않고 표본조사를 할까에 대한 궁금증을 가질 수 있다. 전수조사를 하면 모집단에 대한 추론을 100% 확신할 수 있지만, 비용 또는 시간 등의 이유로 불가능한 경우가 많기 때문에 표본이 가진 정보를 가지로 추론한다.

 

점추정까지 오기까지 간단한 흐름을 보았다. 이제부터 점추정의 의미에 대해 알아보자.

 

점추정(Point Estimation)이란, 표본을 이용하여 모집단의 특성(모수 : parameter)을 단일한 값으로 추정하는 방법이다. 대표적으로 표본평균과 표본분산으로 모집단의 평균과 분산을 추정하는 것이다. 여기서 단일한 값을 추정량이라고 한다.

 

- 모수는 모집단의 특성을 보여주는 값으로, 일반적으로 세타($\theta$)로 표현한다.

---

모수 $\theta$ 의 추정방법에는

 

(A) 적률추정법

(B) 최대가능도추정법

(C) 베이지안추정법

 

등이 있다. 이 장에서는 (A),(B)만 다룰 것이다.

---

이제부터 모수를 추정하는 방법에 대해 알아보자.

 

[적률추정 (Method of Moments Estimator : MME)]

 

모수 $\theta$의 함수인 k차 모적률을 k차 표본적률과 일치시켜 모수를 추정하는 방법이다. 

이를 수식으로 나타내보면

$E(X^k)=\frac{1}{n}\sum_{i=1}^{n}X_i^k$

 

와 같다. 편의상 모적률을 $m_k$ , 표본적률을 $M_k$로 정의하겠다. 이 과정은 다음과 같이 쉽게 이해될 수 있다.

 

만약 추정하고자 하는 모수 $\theta = (\theta_1,\theta_2, \cdots,\theta_p)$가 k차까지의 모적률을 통해 다음과 같이

 

$\theta_1 = h_1(m_1,\cdots,m_k)$                             ex) $\theta = E(X_1) = m_1$

$\cdots$                                                       

$\theta_p = h_p(m_1,\cdots,m_k)$    ex) $\theta(1-\theta) = Var(X_1) = m_2-(m_1)^2$

 

표현된다면 $\theta$에 대한 적률추정량은 모적률($m_k$)을 표본적률($M_k$)로 대체한

 

$\theta_1 = h_1(M_1,\cdots,M_k)$                                          ex) $\hat{\theta} = M_1 = \bar{X}$

$\cdots$                                                       

$\theta_p = h_p(M_1,\cdots,M_k)$   ex) $\theta(1-\theta) = M_2-(M_1)^2 = \frac{1}{n}\sum X_i^2-\bar{X}^2$

 

으로 주어진다. 모수의 수가 p개인 경우, p개의 적률을 이용해 모수의 추정값을 얻을 수 있다.

 

- MME의 기본적 idea는 $n->\infty$일 때, k차 표본적률은 k차 모적률로 확률수렴한다는 사실(WLLN)에 근거한다.

- MME는 최대가능도추정량보다 선호되지 않지만, 최대가능도추정량에 비해 손쉽게 구해지는 장점이 있다. 또한 반복해를 통해 최대가능도추정량을 구하는 경우에 초깃값으로 사용되기도 한다.

---

[최대가능도추정 (Maxomum Likelihood Estimator : MLE)]

 

최대가능도추정을 알아보기 전에 가능도함수(Likelihood Function)에 대해 알아보자. 가능도함수는 확률변수들의 joint p.d.f $f(x_1,x_2,\cdots,x_n;\theta)$를 모수 $\theta$의 관점에서 본 것이다. 다음과 같이 표현한다.

$L(\theta;x_1,x_2,\cdots,x_n)$      ->$\theta$가 확률변수

 

확률변수가 서로 독립이고 $f(x_1;\theta)$에서 얻은 확률표본이면,

$L(\theta;x_1,x_2,\cdots,x_n) = f(x_1;\theta)f(x_2;\theta) \cdots f(x_n;\theta) = \prod_{i=1}^{n}f(x_i;\theta)$

으로 표현이 가능하다.

 

최대가능도추정법은 관측값을 얻을 가능성(가능도함수)을 최대로 해주는 모수의 추정량$\hat(\theta)$을 찾는 방법이다. 이 추정량을 최대우도추정량이라고 한다.

가능도함수가 최대가 되는 $\theta$를 찾기 위해서는 '미분'을 이용한다. 즉, 극댓값을 찾는 것이다. 

- > MLE를 찾는 방법에 대해 살짝 언급해보자면 가능도함수에 로그를 취한 후, 미분을 하여 미분한 식이 0이 되게하는 해($\theta$)를 찾으면됨.

 

(Remark) MLE의 불변성(invariance property)

모수 $\theta$에 대한 MLE 을 $\hat{\theta}$이라고 할 때, $h(\theta)$에 대한 MLE는 다음과 같다.

 

$\hat{h(\theta)} = h(\hat{\theta})$