[일반통계학] 13. 확률변수의 수렴

확률수렴과 분포수렴

1. 실수열 $a_n$이 $a \in \mathbb{R}$로 수렴한다는 것은 어떠한 $\epsilon >0$을 생각하더라도 그에 따른 적절한 $N(\epsilon) \in \mathbb{N}$이 존재하여 그보다 큰 $n$에 대해서는 $a_n$과 $a$ 사이의 거리가 $\epsilon$보다 작아진다는 것이다. 즉, $$ \forall \epsilon >0,\ \exists N(\epsilon) \in \mathbb{N}\ \text{such that} \\n > N \implies \vert a_n - a \vert < \epsilon$$일 때 $$\lim_{n \to \infty} a_n = a$$로 표기한다.

 

2. 그러나 확률변수의 열 $X_n$에서는 위와 같이 수렴을 정의하는 것이 불가능한데, 확률변수들은 각 시행마다 다른 값을 가질 수 있기 때문이다. 즉, $\vert X_n - X \vert < \epsilon$과 같은 표현은 성립하지 않으며 수렴을 정의하기 위해서는 이를 확률적 표현으로 바꾸어 주어야 한다. 이 때 어떤 표현 방식을 택하는지에 따라 확률변수의 수렴은 여러가지 형태로 나뉘는데, 여기에서는 대표적인 두 가지 형태인 확률수렴과 분포수렴에 대해 다룬다.

 

3. (확률수렴) 확률변수의 열 $X_n$과 확률변수 $X$가 임의의 $\epsilon > 0$에 대하여 $$ \lim_{n \to \infty} P(\vert X_n - X \vert < \epsilon) = 1$$ 또는 동치인 $$\lim_{n \to \infty} P(\vert X_n - X \vert \ge \epsilon) = 0 $$을 만족시킬 때, $X_n$은 $X$로 확률수렴(convergence in probability)한다고 말하며 $$X_n \overset{p}{\rightarrow} X$$로 표기한다.

 

4. (분포수렴) 확률변수의 열 $X_n$과 확률변수 $X$가 각각 누적분포함수 $F_{X_n}$, $F_X$를 가진다고 하자. $F_X$가 연속인 모든 점 $x$에서 $$ \lim_{n \to \infty}F_{X_n}(x) = F_X(x)$$가 성립할 때, $X_n$은 $X$로 분포수렴(convergence in distribution)한다고 말하며 $$X_n \overset{d}{\rightarrow} X$$로 표기한다. 이 때 $X$를 $X_n$의 극한분포(limiting distribution) 또는 점근분포(asymptotic distribution)라고 한다.

 

4-1. $X_n$과 $X$가 각각 적률생성함수 $M_{X_n}$, $M_X$를 가지고 $$\lim_{n \to \infty}M_{X_n}(t) = M_X(t) $$가 성립할 때, $X_n$은 $X$로 분포수렴함이 알려져 있다.

확률변수의 수렴에 관한 정리

1. 확률수렴하면 분포수렴한다. 즉, 다음이 성립한다. $$ X_n \overset{p}{\rightarrow} X \implies X_n \overset{d}{\rightarrow} X$$

(증명) 핵심은 $X_n$의 누적분포함수로부터 $P[\vert X_n - X \vert \ge \epsilon]$의 형태를 끌어내는 것이다. 먼저 $$\begin{align} F_{X_n}(x) &= P[\{X_n \le x\} \cap \{\vert X_n - X \vert < \epsilon \}] \\ &+P[\{X_n \le x\} \cap \{\vert X_n - X \vert \ge \epsilon \}] \\ &\le F_X(x+\epsilon) + P[\vert X_n - X \vert \ge \epsilon] \end{align} $$이고, 유사한 전개를 통해 $$\begin{align} 1-F_{X_n}(x) &= P[\{X_n > x\} \cap \{\vert X_n - X \vert < \epsilon \}] \\ &+P[\{X_n > x\} \cap \{\vert X_n - X \vert \ge \epsilon \}] \\ &\le 1-F_X(x-\epsilon) + P[\vert X_n - X \vert \ge \epsilon] \end{align} $$임을 알 수 있다. $F_{X_n}(x)$에 관해 정리하고 $n \to \infty$의 극한을 취하면 $$F_X(x - \epsilon) \le \lim_{n \to \infty} F_{X_n}(x) \le F_X(x + \epsilon) $$이다. 이제 $\epsilon \to 0$의 극한을 취하면 $F_X$가 연속인 모든 점 $x$에서 $$\lim_{\epsilon \to 0} F_X(x - \epsilon) = \lim_{\epsilon \to 0} F_X(x+\epsilon) = F_X(x)$$이므로 $$\lim_{n \to \infty}F_{X_n}(x) = F_X(x) $$를 얻는다.

 

2. 상수로 수렴하는 경우 분포수렴은 확률수렴과 동치이다. 즉, $c \in \mathbb{R}$에 대해 다음이 성립한다. $$X_n \overset{d}{\rightarrow} X \iff X_n \overset{p} {\rightarrow} X\\ \text{provided that}\ P[X=c] = 1 $$ 이를 간단히 다음과 같이 나타내기도 한다. $$ X_n \overset{d}{\rightarrow} c \iff X_n \overset{p} {\rightarrow} c$$

(증명) ($\Longleftarrow$)는 1의 특수한 경우이므로 ($\Longrightarrow$)만 보이면 된다. $X$의 누적분포함수는 $$ F_X(x) = \begin{cases} 0, & x<c \\ 1, & x \ge c \end{cases}$$이므로 $x = c$ 이외의 모든 점에서 연속이다. 이제 임의의 $\epsilon >0$에 대해 $$\begin{align} \lim_{n \to \infty} P[X_n - c \le -\epsilon] &= \lim_{n \to \infty}P[X_n \le c-\epsilon] \\ &= \lim_{n \to \infty} F_{X_n} (c - \epsilon) \\ &= F_X (c-\epsilon) \\ &=0 \end{align}$$이고, $0 < \alpha < 1$라 하면  $$\begin{align} 0 \le \lim_{n \to \infty} P[X_n - c \ge \epsilon]  &= \lim_{n \to \infty} P[X_n \ge c + \epsilon]  \\ &\le \lim_{n \to \infty} P[X_n > c + \alpha \epsilon] \\ &= 1-\lim_{n \to \infty} F_{X_n}(c + \alpha \epsilon ) \\ &= 1-F_X(c + \alpha \epsilon) \\ &=0 \end{align}$$이 되어 다음 등식을 얻는다. $$\lim_{n \to \infty} P[\vert X_n - c \vert \ge \epsilon ] = 0 $$

 

3. (다차원 확률변수의 확률수렴) $k$차원 확률변수 $\mathbf{X}_n = (X_{n1}, \cdots, X_{nk})$와 $\mathbf{X} = (X_1, \cdots, X_k)$가 임의의 $\epsilon >0$에 대하여 $$\lim_{n \to \infty}P[ \| \mathbf{X}_n - \mathbf{X}\| \ge \epsilon]=0 $$을 만족시킬 때, $\mathbf{X}_n$은 $\mathbf{X}$로 확률수렴한다고 말하며 $$ \mathbf{X}_n \overset{p}{\rightarrow} \mathbf{X}$$로 표기한다. 이 때 $\| \cdot \|$는 $L^2\ \text{norm}$을 가리킨다. $$\| \mathbf{X}_n - \mathbf{X}\| = \left( \sum_{i=1}^{k} (X_{ni} - X_i)^2 \right)^{\frac{1}{2}} $$ $\mathbf{X}_n$이 $\mathbf{X}$로 확률수렴할 필요충분조건은 $\mathbf{X}_n$의 각 성분들이 $\mathbf{X}$의 각 성분들로 확률수렴하는 것이다. 즉, 다음이 성립한다. $$ \mathbf{X}_n \overset{p}{\rightarrow} \mathbf{X} \iff X_{ni} \overset{p}{\rightarrow} X_i,\ \ i=1,\cdots, k$$

(증명)

($\Longrightarrow$) 부등식 $$\vert X_{ni}-X_i\vert \le \|\mathbf{X}_n - \mathbf{X} \|$$로부터 $$ 0 \le P[ \vert X_{ni}- X_i \vert \ge \epsilon ] \le P[ \| \mathbf{X}_n - \mathbf{X} \| \ge \epsilon ] $$임을 알고, $n \to \infty$의 극한을 취하면 원하는 바를 얻는다.

 

($\Longleftarrow$) $L^2\ \text{norm}$과 $L^1\ \text{norm}$ 사이의 부등식 $$\| \mathbf{X}_n - \mathbf{X} \| \le \sum_{i=1}^{k}\vert X_{ni}-X_i \vert $$로부터 $$0 \le P[\|  \mathbf{X}_n - \mathbf{X} \| \ge \epsilon] \le P \left[ \sum_{i=1}^{k} \vert X_{ni}-X_i \vert \ge \epsilon \right] $$이다. 그런데 $$\bigg \{ \sum_{i=1}^{k}\vert X_{ni} - X_i \vert \ge \epsilon \bigg \} \subset \bigcup_{i=1}^{k} \bigg\{\vert X_{ni} - X_i \vert \ge \frac{\epsilon}{k} \bigg\}$$의 관계로부터(3-1 참고) $$ 0 \le P[\|  \mathbf{X}_n - \mathbf{X} \| \ge \epsilon] \le \sum_{i=1}^{k} P\left[ \vert X_{ni} - X_i \vert \ge \frac{\epsilon}{k} \right] $$임을 알고, $n \to \infty$의 극한을 취하면 원하는 바를 얻는다.

 

3-1. 편의상 이차원인 경우를 생각하면 $$\{ \vert U \vert + \vert V \vert \ge \epsilon \} \subset \bigg\{ \vert U \vert \ge \frac{\epsilon}{2} \bigg\} \cup \bigg\{ \vert V \vert \ge \frac{\epsilon}{2} \bigg\}$$임을 보이면 된다.

4. (연속 사상 정리) 연속함수를 취해도 확률변수의 수렴성이 보존된다. 즉, 연속함수 $g$에 대하여 다음이 성립한다. $$ \mathbf{X}_n \overset{p}{\rightarrow} \mathbf{X} \implies g(\mathbf{X}_n) \overset{p}{\rightarrow} g(\mathbf{X}) \\ \mathbf{X}_n \overset{d}{\rightarrow} \mathbf{X} \implies g(\mathbf{X}_n) \overset{d}{\rightarrow} g(\mathbf{X})$$

 

5. (확률수렴과 사칙연산) $X_n \overset{p}{\rightarrow} X$이고 $Y_n \overset{p}{\rightarrow} Y$일 때 다음이 성립한다. $$X_n + Y_n \overset{p}{\rightarrow} X+Y \\ X_n Y_n \overset{p}{\rightarrow} XY $$

(증명) 3에 의해 $$(X_n, Y_n) \overset{p}{\rightarrow}(X, Y)$$임을 안다. 이제 $$\begin{align} g_1(x, y) &= x+y \\ g_2 (x, y) &= xy \end{align}$$로 두면 $g_1$, $g_2$는 연속이므로 4에 의해 원하는 바를 얻는다.

 

6. (슬럿츠키의 정리) $X_n \overset{d}{\rightarrow} X$이고 $Y_n \overset{d}{\rightarrow} Y$일 때 일반적으로 $X_n + Y_n \overset{d}{\rightarrow} X+Y$ 또는 $X_n Y_n \overset{d}{\rightarrow} XY $가 성립하지는 않는다. 단, 두 확률변수 중 하나가 상수로 수렴할 경우 위 내용이 성립하는데, 이를 슬럿츠키의 정리(Slutsky's theorem)라고 한다. 즉, $X_n \overset{d}{\rightarrow} X$이고 $Y_n \overset{p}{\rightarrow} c$일 때 다음이 성립한다. $$X_n + Y_n \overset{d}{\rightarrow} X+c \\ X_n Y_n \overset{d}{\rightarrow} Xc  $$

(증명) $X_n + Y_n \overset{d}{\rightarrow} X+c$임을 증명해 보자. 1에서와 유사한 전개를 이용하면 $$\begin{align} F_{X_n + Y_n}(x) &\le F_{X_n}(x-c-\epsilon) + P[\vert Y_n - c\vert \ge \epsilon]  \\ F_{X_n+Y_n}(x) &\ge F_{X_n}(x-c+\epsilon) - P[\vert Y_n - c\vert \ge \epsilon]\end{align}$$이다. $F_{X_n + Y_n}(x)$에 대해 정리하고 $n \to \infty$의 극한을 취하면 $$F_X(x-c-\epsilon) \le \lim_{n \to \infty} F_{X_n + Y_n}(x) \le F_X(x-c+\epsilon) $$이고, $F_X$가 연속일 경우 $\epsilon \to 0$의 극한을 취하여 $$\lim_{n \to \infty}F_{X_n + Y_n} (x) = F_X(x-c) = F_{X+c}(x)$$임을 보일 수 있다.

References

김우철, 개정판 수리통계학

송성주·전명식, 수리통계학 제5판

영문 위키피디아

 - Convergence of random variables

 - Proofs of convergence of random variables

생새우초밥집

 - 수리통계학에서의 확률 수렴

 - 다변량 확률 변수의 확률 수렴

 - 수리통계학에서의 분포 수렴

 - 확률수렴하면 분포수렴한다