ARIMA 오차 회귀 모형

 

일반적으로 선형회귀식에서 회귀계수에 대해 OLS추정량을 구하게 되는데, 이는 오차가 Gauss-Markov 조건을 만족할 때 가장 좋은 추정량이 된다(BLUE: Best Linear Unbiased Esitimator). 가우스-마코브의 조건으로는 다음과 같다.

 

1. 오차변수의 기댓값은 0 이다.

2. 오차변수와 독립변수의 공분산은 0이다.

3. 오차변수의 분산은 일정한 상수이다.  -> 이분산성(heteroskedasticity)

4. 오차변수들 사이의 공분산은 0이다. -> 계열 상관성(Serial Correlation)

5. 오차변수는 정규분포를 따른다.  -> 조건을 추가적으로 만족하면 MVUE(Minimum Variance Unbiased Estimator)

 

 

이분산성 또는 계열상관이 존재함에도 불구하고 OLS을 사용하면, 추정량은 편의는 없으나 효율적인 추정량이 되지 못한다(참고 : kanggc.iptime.org/em/chap6/chap6.pdf). 따라서, OLS가 아니라 GLS(Generalized Least Squares, 일반화최소제곱)를 사용한다. GLS는 $\Sigma$를 알 때 사용할 수 있으며, 이분산성을 가지는 모델에 변화를 주어 동분산을 가지는 모델로 만들어주는 방법이다. 즉, 데이터가 기존가정을 충족할 수 있도록 데이터를 함수 변환하여 OLS를 적용하는 방법이다.

 

하지만, 우리는 실제 상황에서 $\sigma^2, \Sigma$를 알 수 없는 경우가 많다. 따라서, \Sigma$를 가정하거나 경험적으로 추정하는 방법을 사용한다. 전자는 WLS(Weighted Least Squares, 가중최고제곱)이라고 하며, 후자는 FGLS(Feasible GLS)라고 한다.(참고: www3.grips.ac.jp/~yamanota/Lecture_Note_10_GLS_WLS_FGLS.pdf)

GLS의 특별한 경우로, 

 

WLS는 자기상관은 없고 이분산성만 가지는 경우에 사용되는 방법으로 데이터가 등분산을 만족할 수 있도록 데이터에 가중치를 곱해 OLS를 적용하는 방법이다. (GLS에서 데이터에 대한 함수변환을 수행한다고 했는데 WLS의 경우 함수가 가중치에 해당하는 것!) 이 때, 가중치는 각 관측치에 대한 표준오차의 역수 \frac{1}{\sigma_i^2}$ 이다. 즉, WLS는 $\sigma_i^2$ 를 알아야 사용할 수 있다. 

$\frac{Y_i}{\sigma_i} = \beta_1 \frac{1}{\sigma_i} + \beta_2 \frac{X_{2i}}{\sigma_i} + \frac{\epsilon_i}{\sigma_i}$

$Y_i^* = \beta_1\frac{1}{\sigma_i} + \beta_2 X_{2i}^* + u_i$

 

 가중 선형회귀 잔차제곱합 = $\sum_{i=1}^n u_i^2$ = $\sum_{i=1}^n W_{i} \epsilon_i^2$

$W_{i} =\frac{1}{\sigma_i^2}$

 

 

WLS에서는 이분산성의 구조($\Sigma$)를 가정하여 추정량을 구했다. FGLS는 OLS로부터 이분산성의 구조($\Sigma$)를 추정하여 회귀계수 추정량을 구한다.