Type I and Type II errors

귀무가설이 유지되면, 그것은 참인 귀무가설(true null hypothesis)이라고 말한다. 하지만 그렇지 않다면 그것은 거짓 귀무가설(false null hypothesis)이라고 한다. 예를 들어, $H_0$ : $\mu_t = \mu_c$를 검정한다고 하자. 그리고 실제로 두 모집단에서 평균 혈압이 차이가 없다고 하면 귀무가설이 참일 것이다. 차이가 있으면 귀무가설이 거짓일 것이다. 물론 우리는 정말 귀무가설이 참인지 거짓인지 사전에 알 수가 없다. 이러한 이유로 우리는 가설검정을 수행해야한다.

일단 가설검정을 수행하면, 데이터에 기반한 귀무가설 기각여부(Decision)는 알게 된다. 그러나 실제 모집단에서 귀무가설 기각여부(Truth)는 알 수가 없다. 따라서, 우리는 가설검정 수행시 발생할 수 있는 모든 상황을 생각해볼 수 있으며 위의 표로 요약할 수 있다.
실제로 귀무가설이 참일 때 이를 기각하지 않거나, 거짓일 때 이를 기각하는 것은 올바른 결정(Correct)가 된다. 반면, 실제로 귀무가설이 참인데 이를 기각하거나, 거짓인데 이를 기각하지 않으면 틀린 결정을 하게되는 것이다. 전자의 상황을 Type I error, 후자의 상황을 Type II error 라고 한다. 더 나아가 Type I error rate는 귀무가설이 참인 상황에서 Type I error가 발생하는 확률 즉, 귀무가설을 올바르지 않게 기각할 확률이다. 가설검정의 검정력(power)은 대립가설이 참인 상황에서 Type II error가 발생하지 않을 확률로 정의되며 즉 귀무가설을 올바르게 기각할 확률을 의미한다.

이상적으로 우리는 Type I error rate 와 Type II error rate가 작기를 바란다. 하지만, 두 실제로 그러지 못하며 두 확률은 trade-off 관계(반비례 관계)를 가진다. 귀무가설이 참이 아니라는 것에 대해 확신한다면 귀무가설만 기각함으로써 Type I error를 줄일 수 있다. 하지만, 이것은 Type II error를 증가시키게 된다. 반대로, 귀무가설이 참이 아니라는 것에 대한 중간 수준의 증거만 있어도 귀무가설을 기각하여 Type II error를 줄일 수 있지만, 이로 인해 Type I error를 증가시킬 것이다. 실제로 우리는 Type II error보다 Type I error가 더 심각한 오류라고 생각한다. 이는 차이가 있는데 없다고 하는 것보다 차이가 없는데 있다고 하는게 더 심각한 상황임을 의미하며, 올바르지 않은 과학적 근거를 주장하는 것이기 때문이다. 따라서, 가설검정을 수행할 때 우리는 전형적으로 Type I error rate를 낮추길 원한다.

Type I error rate를 줄이는 것은 귀무가설을 기각시키는 기준이 되는 유의수준 $\alpha$와 관련이 있다. p-value 가 유의수준 $\alpha$ 보다 작을 때 귀무가설을 기각함으로써 우리는 Type I error rate가 $\alpha$ 보다 작거나 같을 것으로 생각할 수 있다.