[일반통계학] 14. 큰 수의 법칙과 중심극한정리

확률부등식

1. (마르코프 부등식) 확률변수 $X$와 함수 $u(x) \ge 0$에 대해 기댓값 $\mathbb{E}[u(X)]$가 존재할 때, 임의의 상수 $c >0$에 대해 다음이 성립한다. $$ P[u(X) \ge c] \le \frac{\mathbb{E}[u(X)]}{c}$$

이를 마르코프 부등식(Markov's inequality)이라고 한다.

 

(증명) $A = \{x: u(x) \ge c \}$라 두자. $X$의 확률밀도함수를 $f(x)$라 하면 $$\begin{align} \mathbb{E}[u(X)] &= \int_{-\infty}^{\infty} u(x)f(x)\ dx \\ &= \int_{A} u(x)f(x)\ dx + \int_{A^c} u(x)f(x)\ dx \\ &\ge \int_{A} u(x)f(x)\ dx\ \ \ (\because u(x)f(x) \ge 0) \\ &\ge c \int_{A}f(x)\ dx\ \ \ (\because u(x) \ge c) \\ &= cP[X \in A] \\ &= cP[u(X) \ge c]   \end{align}$$ 다음과 같이 정의되는 지시함수(indicator function)를 이용하면 보다 간단한 증명이 가능하다. $$\mathbf{1}_A(x) = \begin{cases}  1, & x \in A \\ 0, & x \in A^c \end{cases}$$ 지시함수의 값이 $0$ 또는 $1$임을 이용하면 $$ \mathbf{1}_{\{u(X) \ge c\}} \le \frac{u(X)}{c} \cdot  \mathbf{1}_{\{u(X) \ge c\}} \le \frac{u(X)}{c} $$의 관계가 성립하고, 양변에 기댓값을 취하면 $$\mathbb{E}[\mathbf{1}_{\{u(X) \ge c\}}] \le \frac{\mathbb{E}[u(X)]}{c} $$이다. 그런데 $$\begin{align} \mathbb{E}[\mathbf{1}_{\{u(X) \ge c\}}] &= 1 \cdot P[u(X) \ge c] + 0 \cdot P[u(X) < c] \\  &= P[u(X) \ge c] \end{align}$$이므로 원하는 바를 얻는다.

 

2. (체비셰프 부등식) 확률변수 $X$의 분산 $\text{Var}(X) = \sigma^2$이 존재할 때, 기댓값 $\mathbb{E}(X) = \mu$와 임의의 상수 $\epsilon >0$에 대해 다음이 성립한다. $$ P [\vert X - \mu \vert \ge \epsilon] \le \frac{\sigma^2}{\epsilon^2}$$ 이를 체비셰프 부등식(Chebyshev's inequality)이라고 한다.

 

(증명) 마르코프 부등식에 $u(X) = (X-\mu)^2$, $c = \epsilon^2$을 대입하여 얻는다.

 

2-1. 체비셰프 부등식에 의하면 $X$의 분포가 무엇이든 평균으로부터 $6 \sigma$ 밖의 값을 가질 확률은 $$ P[\vert X-\mu \vert \ge 6 \sigma] \le \frac{1}{36} \fallingdotseq 0.028  $$ 즉, 2.8% 이하이다.

큰 수의 법칙

1. (큰 수의 법칙) 평균이 $\mu$인 모집단으로부터의 랜덤표본을 $X_1$, $X_2$, ..., $X_n$이라 하자. 이 때 표본평균을 $\bar{X}$이라 하면 다음이 성립한다. $$\bar{X} \overset{p}{\rightarrow} \mu $$ 이를 (약한) 큰 수의 법칙(weak law of large numbers; WLLN)이라고 한다. 즉, 큰 수의 법칙은 $n \to \infty$일 때 표본평균이 모평균으로 확률수렴함을 말한다.

 

(증명) 큰 수의 법칙은 일반적인 경우에도 성립하지만 여기에서는 모집단이 분산 $\sigma^2$을 가지는 경우를 고려하자. 이 때 $\mathbb{E}(\bar{X}) = \mu$, $\text{Var}(\bar{X}) = \frac{\sigma^2}{n}$이므로, 체비셰프 부등식을 이용하면 임의의 $\epsilon >0$에 대해 다음이 성립함을 안다. $$ 0 \le P[\vert \bar{X} - \mu \vert \ge \epsilon] \le \frac{\sigma^2}{n \epsilon^2}$$이다. 이제 $n \to \infty$의 극한을 취하면 $$ \lim_{n \to \infty} P[\vert \bar{X} - \mu \vert \ge \epsilon] = 0$$을 얻는다.

 

2. (표본분산의 확률수렴) 평균이 $\mu$, 분산이 $\sigma^2$인 모집단으로부터의 랜덤표본을 $X_1$, $X_2$, ..., $X_n$이라 하자. 이 때 표본분산을 $S^2$이라 하면 다음이 성립한다. $${S^2} \overset{p}{\rightarrow} \sigma^2  $$

 

(증명) 평균 중심화된(mean-centered) 확률변수 $Y_i = X_i - \mu$, $\bar{Y} = \bar{X}-\mu$를 고려하면 $$\begin{align} S^2 &= \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2 \\ &=\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \bar{Y})^2 \\ &=\frac{1}{n-1}\left(\sum_{i=1}^{n} {Y_i}^2 - n\bar{Y}^2 \right) \\ &=\frac{n}{n-1} \left(\frac{1}{n} \sum_{i=1}^{n} {Y_i}^2 - \bar{Y}^2 \right)  \end{align}$$이다. 이 때 $\varsigma^2 = \frac{1}{n}\sum_{i=1}^{n}{Y_i}^2$ 항의 기댓값과 분산은 다음과 같다 (단, 모집단의 초과첨도 $\kappa$가 존재해야 $\varsigma^2$가 유한한 분산을 가짐). $$\begin{align} \mathbb{E} (\varsigma^2) &= \mathbb{E}({Y_i}^2) \\ &= \text{Var}(X_i) \\ &= \sigma^2  \\ \text{Var} (\varsigma^2) &= \frac{1}{n}\text{Var}({Y_i}^2) \\ &=\frac{1}{n} \left(\mathbb{E}({Y_i}^4) - [\mathbb{E}({Y_i}^2)]^2 \right) \\ &=   \frac{\sigma^4 (\kappa + 2)}{n}\end{align}$$ 이제 큰 수의 법칙에 의해 $\varsigma^2 \overset{p}{\rightarrow} \sigma^2$, $\bar{Y} \overset{p}{\rightarrow} 0$이고 함수 $g_1(x, y) =x-y^2 $은 연속이므로 연속 사상 정리를 적용하면 원하는 바를 얻는다. 한편 함수 $g_2(x, y) = \sqrt {x-y^2}$ 또한 연속이므로 표본표준편차 $S$는 모표준편차 $\sigma$로 확률수렴한다.

 

(참고) 모집단의 초과첨도 $\kappa$가 존재한다는 가정이 있으면 1에서처럼 체비셰프 부등식을 이용할 수도 있다. 즉, 임의의 $\epsilon>0$에 대해 $$ 0 \le P[\vert S^2 - \sigma^2 \vert \ge \epsilon] \le \frac{\sigma^4}{n\epsilon^2}\left(\kappa + \frac{2n}{n-1} \right)$$이 성립하고, $n \to \infty$의 극한을 취하면 $$ \lim_{n \to \infty} P[\vert S^2 - \sigma^2 \vert \ge \epsilon] = 0$$

중심극한정리

1. (중심극한정리) 평균이 $\mu$, 분산이 $\sigma^2$인 모집단으로부터의 랜덤표본을 $X_1$, $X_2$, ..., $X_n$이라 하자. 이 때 표본평균을 $\bar{X}$라 하면 다음이 성립한다. $$\frac{\bar{X} - \mu}{\frac{\sigma}{\sqrt{n}}} \overset{d}{\rightarrow} \text{N}(0, 1)$$ 이를 중심극한정리(central limit theorem)라고 한다. 즉, 중심극한정리는 $n \to \infty$일 때 표본평균의 분포가 정규분포로 분포수렴함을 말한다.

 

(증명) 표준화된 표본평균을 $Z_n$이라 하고 $Z \sim \text{N}(0, 1)$이라 하자. 전략은 $n \to \infty$일 때 $M_{Z_n}(t)$가 $M_Z(t) = e^{\frac{t^2}{2}}$으로 수렴함을 보이는 것이다. 먼저 $$\begin{align} Z_n &= \frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} \\ &= \frac{X_1+\cdots+X_n - n \mu}{\sqrt{n}\sigma} \\ &= \frac{(X_1-\mu)+\cdots+(X_n-\mu)}{\sqrt{n} \sigma}\end{align}$$이므로, $$\begin{align} M_{Z_n}(t) &= \mathbb{E}\left[e^{tZ_n}\right] \\ &=\mathbb{E}\left[e^{\frac{t(X_1-\mu)}{\sqrt{n}\sigma}+\cdots+ \frac{t(X_n-\mu)}{\sqrt{n}\sigma}}\right] \\ &=\mathbb{E}\left[e^{\frac{t(X_1-\mu)}{\sqrt{n}\sigma}}\right] \cdots \mathbb{E}\left[e^{\frac{t(X_n-\mu)}{\sqrt{n}\sigma}}\right] \\ &=\left(\mathbb{E}\left[e^{\frac{t(X_i-\mu)}{\sqrt{n}\sigma}} \right] \right)^n \\ &= \left(M_{X_i-\mu} \left(\frac{t}{\sqrt{n} \sigma} \right) \right)^n \end{align}$$ 이다. 편의상 $M_{X_i-\mu}(t) = m(t)$라 두면 $$\begin{align}m(0) &= \mathbb{E}[ ( X_i - \mu)^0 ] =1 \\ m'(0) &= \mathbb{E}[(X_i - \mu)^1 ] = 0 \\ m''(0) &= \mathbb{E}[(X_i - \mu)^2 ] =\sigma^2   \end{align}$$임을 안다. 한편 테일러 정리에 따르면 $$\begin{align} m(t) &= m(0) + m'(0)t + \frac{m''(\xi)}{2}t^2 \\ &= 1 + \frac{m''(\xi)}{2}t^2 \\ &=1 + \frac{\sigma^2t^2}{2} + \frac{(m''(\xi) - \sigma^2)t^2}{2}  \end{align}$$을 만족하는 $\xi$가 $(0, t)$ 내에 적어도 하나 존재한다. 이제 식을 정리하면 $$\begin{align}M_{Z_n}(t) &= \left( m\left( \frac{t}{\sqrt{n}\sigma}\right) \right)^n \\ &=\left(1 + \frac{t^2}{2n} +\frac{(m''(\xi)-\sigma^2)t^2}{2n\sigma^2} \right)^n  \end{align} $$을 만족하는 $\xi$가 $(0, \frac{t}{\sqrt{n} \sigma})$ 내에 존재하고, $n \to \infty$일 때 $\xi \to 0$, $m''(\xi) \to m''(0) = \sigma^2$이므로 $$\lim_{n \to \infty} M_{Z_n}(t) = e^{\frac{t^2}{2}} = M_Z(t)$$를 얻는다.

 

2. (스튜던트화된 평균의 극한분포) 평균이 $\mu$, 분산이 $\sigma^2$인 모집단으로부터의 랜덤표본을 $X_1$, $X_2$, ..., $X_n$이라 하자. 이 때 표본평균을 $\bar{X}$, 표본분산을 $S^2$이라 하면 다음이 성립한다. $$\frac{\bar{X}-\mu}{\frac{S}{\sqrt{n}}} \overset{d}{\rightarrow} \text{N}(0, 1) $$

(증명) $$\frac{\bar{X}-\mu}{\frac{S}{\sqrt{n}}} = \frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}}\cdot \frac{\sigma}{S} $$ 그런데 표준화된 표본평균의 분포는 표준정규분포로 분포수렴하고 표본표준편차는 모표준편차로 확률수렴하므로 슬럿츠키의 정리에 의해 원하는 바를 얻는다. 위 등식에서 좌변을 스튜던트화된(Studentized) 표본평균이라고 말하며, 모집단이 정규분포를 따를 경우 해당 통계량은 자유도가 $n-1$인 $t$분포를 따른다는 것을 앞선 포스팅에서 살펴본 바 있다.

 

3. (표본분산의 극한분포) 평균이 $\mu$, 분산이 $\sigma^2$, 초과첨도가 $\kappa$인 모집단으로부터의 랜덤표본을 $X_1$, $X_2$, ..., $X_n$이라 하자. 이 때 표본평균을 $\bar{X}$, 표본분산을 $S^2$이라 하면 다음이 성립한다. $$\frac{S^2 - \sigma^2}{\frac{\sigma^2 \sqrt{\kappa+2}}{\sqrt{n}}} \overset{d}{\rightarrow} \text{N}(0, 1)$$

(증명) $Y_i = X_i - \mu$, $\bar{Y} = \bar{X}-\mu$라 두면 $$\begin{align} S^2 &=\frac{n}{n-1} \left(\frac{1}{n} \sum_{i=1}^{n} {Y_i}^2 - \bar{Y}^2 \right) \\ &= \frac{n}{n-1}(\varsigma^2 - \bar{Y}^2)  \end{align}$$임을 앞서 살펴보았다. 그런데 중심극한정리에 의해 $$\frac{\varsigma^2 - \sigma^2}{\frac{\sigma^2 \sqrt{\kappa+2}}{\sqrt{n}}} \overset{d}{\rightarrow} \text{N}(0, 1)$$이고 큰 수의 법칙에 의해 $\bar{Y} \overset{p}{\rightarrow} 0$이므로 슬럿츠키의 정리를 적용하면 원하는 바를 얻는다.

References

김우철, 개정판 수리통계학

송성주·전명식, 수리통계학 제5판

생새우초밥집

 - 중심극한 정리 증명