Processing math: 96%
본문 바로가기
Statistics/수리통계학

(UMVUE)최소분산불편추정량[Rao-Blackwell, Lehmann-Scheffe, Cramer-Rao]

by 뚜찌지롱 2020. 3. 18.

 

 

앞 글에서 충분통계량은 여러 개가 존재할 수 있다고 했다. 그 중 가장 단순한 형태를 가진 최소충분통계량을 찾는 방법에 대해 알아보자.

 

[Rao-Blackwell 정리]

 

ˆθ=t(X1,X2,,Xn)θ에 대한 불편추정량이고,  Y=u(X1,X2,,Xn)θ에 대한 충분통계량일 때, 

φ(Y)=E[ˆθ|Y]   (Y의 함수이면서 불편추정량임)

θ에 대해 불편추정량이고, 모든 θΘ에 대해 

Varθ[φ(Y)]Varθ(ˆθ) 

을 만족한다.

 

즉, ˆθ가 불편추정량이고 Y가 충분통계량일 때, 불편추정량(Y)에 충분통계량(ˆθ)을 조건부를 걸어 기댓값(E)을 취하면 원래의 불편추정량보다 더 작은 분산을 가진 불편추정량을 가진다.

 

Rao-Blackewll에서 불편추정량이 완비성을 가지면 Lehmann-Scheffe정리로 이어진다.

 

 

[Lehmann-Scheffe 정리]

 

$Y=u(X_1,X_2,\cdots,X_n)\theta,\theta$에 대해 

φ(Y)=E[ˆθ|Y]

θ에 대한 최소분산불편추정량(Uniformly Minimum Variance Unbiased Estimator 또는 UMVUE)이 되며, 이는 유일(unique)하다.

 

(Remark) Lehmann-Scheffe 정리의 의미는 C.S.S.의 함수로서(φ(Y)) 기댓값이 특정모수(θ 또는 θ의 함수)가 될 때, φ(Y)가 바로 그 모수에 대한 UMVUE가 된다는 것을 의미한다.

 

[Cramer-Rao 부등식] 

 

임의의 불편추정량이 가질 수 있는 분산의 하한(lower bound)를 제공한다. 최소분산을 갖는 비편향추정량은 유일하므로, 주어진 비편향추정량의 분산이 Cramer-Rao 하한과 일치하면 그 추정량이 유일한 UMVUE가 된다.

 

h(θ)에 대한 임의의 불편추정량을 T=T(X1,X2,,Tn)라고 할 때, 적절한 조건하에서

Var(T)[h(θ)]2nI1(θ)

이 성립한다. 여기서 I1(θ)를 Fisher의 정보량(Information number)이라고 하며

I1(θ)=E[θlnf(X1;θ)]2

으로 정의된다. 

(주의) f(x;θ)\theta$에 의존하는 경우에는 C-R부등식이 성립되지 않는다.

 

(Remark)

C-R 하한은 불편추정량이 가질 수 있는 분산의 최솟값이므로, C-R 하한을 분산으로 가지는 불편추정량이 있으면 그 추정량은 최소분산불편추정량(UMVUE)가 된다. 

C-R는 불편추정량에 국한되어 있기 때문에 편의추정량들 중에서는 CRLB보다 작은 분산을 갖는 추정치가 존재가능하다.

 

 

[불편추정량의 효율]

불편추정량의 성능을 나타내는 효율을 다음과 같이 정의한다.

effθ(T)=[θh(θ)]2[nI1(θ)]1 / Var(T)

effθ(T)1이다. 위 식의 분자는 C-R하한을 나타낸다.

또한, lim를 불편추정량의 T의 점근효율(asymptotic efficiency)이라고 한다.

 

[유효추정량] : efficient estimator

불편추정량 T의 분산이 C-R 하한의 값을 가질 때, 그 추정량을 유효추정량이라고 한다. 즉, 불편추정량 T에 대해 $eff_\theta(T)=1을 만족하는 추정량이다. 

만약 $\lim_{n \to \infty}eff_\theta(T)=1$을 만족할 때, T를 모수에 대한 점근유효추정량(asymptotic efficient estimator)이라고 한다.

 

 

'Statistics > 수리통계학' 카테고리의 다른 글

확률변수(Random variable)  (1) 2021.03.18
충분통계량과 완비통계량  (0) 2020.03.16
바람직한 추정량  (0) 2020.03.06
모수추정법 - 점추정  (0) 2020.03.06

댓글