[일반통계학] 4. 기댓값과 그의 성질

기댓값

1. 확률변수 $X$의 확률밀도함수를 $f(x)$라 할 때, $X$의 기댓값(expectation) $\mathbb{E}(X)$를 다음과 같이 정의한다. $$\mathbb{E}(X) = \begin{cases} \displaystyle{\sum_{\text{All}\ x}} xf(x) & \text{for discrete}\ X \\[4 pt] \displaystyle{\int_{-\infty}^{\infty}}xf(x)\ dx & \text{for continuous}\ X \end{cases}$$ 앞으로 기댓값의 정의를 사용할 때는 특별한 언급이 없는 한 확률변수가 연속형인 경우만을 고려하며, 이산형의 경우 $\int$을 $\sum$로 바꾸어 생각하면 된다.

 

2. 확률변수 $X$의 확률밀도함수를 $f(x)$라 할 때, $X$의 함수로 주어진 확률변수 $g(X)$의 기댓값은 다음과 같다. $$\mathbb{E}[g(X)]=\displaystyle{\int_{-\infty}^{\infty}}g(x)f(x)\ dx $$

 

2-1. $g(X)$의 확률밀도함수를 직접 구하여 1의 정의에 따라 계산해도 결과는 같다.

 

3. 확률변수 $X$, $Y$의 결합확률밀도함수를 $f(x, y)$라 할 때, $X$, $Y$의 함수로 주어진 확률변수 $g(X, Y)$의 기댓값을 다음과 같이 정의한다. $$\mathbb{E}[g(X, Y)]=\displaystyle{\int_{-\infty}^{\infty} \int_{-\infty}^{\infty}} g(x, y)f(x, y)\ dxdy $$

 

3-1. 상수 $a$, $b$, $c$에 대해 다음이 성립한다. $$\mathbb{E}(aX+bY+c) = a\mathbb{E}(X) +b\mathbb{E}(Y) + c $$ 즉, 기댓값은 선형성(linearity)을 가지는데, 이는 $\sum$나 $\int$이 선형이므로 자연스러운 결과이다.

 

3-2. $X$, $Y$가 독립인 경우 다음이 성립한다. $$\begin{align} \mathbb{E}(XY) &=\mathbb{E}(X)\mathbb{E}(Y) \\ \mathbb{E}[g(X)h(Y)] &= \mathbb{E}[g(X)] \mathbb{E}[h(Y)] \end{align}$$

분산과 공분산

1. 확률변수 $X$의 분산(variance) $\text{Var}(X)$를 다음과 같이 정의한다. $$\begin{align} \text{Var}(X) &= \mathbb{E}[(X-\mathbb{E}(X))^2] \\ &= \mathbb{E}(X^2) - [\mathbb{E}(X)]^2  \end{align}$$

 

1-1. 상수 $a$, $b$에 대해 다음이 성립한다. $$\text{Var}(aX+b) = a^2 \text{Var} (X) $$

 

2. 확률변수 $X$, $Y$의 공분산(covariance) $\text{Cov}(X, Y)$를 다음과 같이 정의한다. $$\begin{align} \text{Cov}(X, Y) &= \mathbb{E}[(X-\mathbb{E}(X))(Y-\mathbb{E}(Y))] \\ &= \mathbb{E}(XY) - \mathbb{E}(X)\mathbb{E}(Y) \end{align}$$

 

2-1. 정의로부터 $\text{Cov}(X, X)= \text{Var} (X)$이며, $X$, $Y$가 독립인 경우 $\text{Cov}(X, Y) = 0$임을 바로 알 수 있다.

 

2-2. 상수 $a$, $b$, $c$, $d$에 대해 다음이 성립한다. $$\text{Cov}(aX+b, cX+d) = ac\text{Cov}(X, Y) $$

 

2-3. 다음이 성립한다. $$\text{Var}(X \pm Y) = \text{Var}(X) + \text{Var}(Y) \pm 2\text{Cov}(X, Y)  $$ 물론 $X$, $Y$가 독립인 경우 $$\text{Var} (X \pm Y) = \text{Var} (X) + \text{Var} (Y) $$이다.

조건부기댓값

1. 조건부확률변수 $Y \vert X$의 조건부기댓값(conditional expectation) $\mathbb{E}(Y \vert X)$를 다음과 같이 정의한다. $$\mathbb{E}(Y \vert X) = \displaystyle{\int_{-\infty}^{\infty}} y f(y \vert x)\ dy$$

 

1-1. $X$, $Y$가 독립인 경우 $\mathbb{E}(Y \vert X) = \mathbb{E}(Y)$이다.

 

1-2. $X$, $Y$가 독립이 아닌 경우 $\mathbb{E}(Y \vert X)$는 $X$의 함수이다. 이 때 $X$의 확률분포를 이용하여 $\mathbb{E}(Y \vert X)$의 가중평균을 구하면 $\mathbb{E}(Y)$가 된다.  $$\mathbb{E}[\mathbb{E}(Y \vert X)] = \mathbb{E}(Y) $$ 즉, 조건부기댓값의 기댓값은 원래 확률변수의 기댓값과 같다. 이를 전체 기댓값의 법칙(law of total expectation) 또는 반복 기댓값의 법칙(law of iterated expectation)이라고 한다.

 

2. 조건부확률변수 $Y \vert X$의 조건부분산(conditional variance) $\text{Var} (Y \vert X)$를 다음과 같이 정의한다. $$\begin{align} \text{Var}(Y \vert X) &= \mathbb{E} [(Y - \mathbb{E}(Y \vert X))^2 \vert X] \\ &= \mathbb{E}(Y^2 \vert X) - [\mathbb{E}(Y \vert X)]^2  \end{align}$$

 

2-1. $X$, $Y$가 독립인 경우 $\text{Var}(Y \vert X) = \text{Var}(Y)$이다.

 

2-2. $X$, $Y$가 독립이 아닌 경우 $\text{Var} (Y \vert X)$는 $X$의 함수이다. 이 때 $X$의 확률분포를 이용하여 $\text{Var}(Y \vert X)$의 가중평균을 구하면 $$ \mathbb{E}[\text{Var}(Y \vert X)]= \text{Var}(Y) - \text{Var}[\mathbb{E}(Y \vert X)]$$이다. 즉, 확률변수의 분산은 조건부분산의 기댓값과 조건부기댓값의 분산으로 분해할 수 있다. 이를 전체 분산의 법칙(law of total variance)이라고 한다.

적률생성함수와 확률생성함수

1. 확률변수 $X$의 $n$차 적률(moment) $\mu'_n$과 $n$차 중심적률(central moment) $\mu_n$을 다음과 같이 정의한다. $$\begin{align} \mu_n' &= \mathbb{E}(X^n) \\[3 pt] &= \int_{-\infty}^{\infty} x^n f(x)\ dx \\[3 pt] \mu_n &= \mathbb{E}[(X-\mathbb{E}(X))^n] \\[3 pt] &= \int_{-\infty}^{\infty} (x-\mathbb{E}(X))^n f(x)\ dx  \end{align}$$

 

이 때, $X$의 기댓값은 $1$차 적률, 분산은 $2$차 중심적률이며, 왜도와 초과첨도는 각각 $3$차, $4$차 중심적률을 이용해 정의한다. $$\begin{align} \text{Skew}(X) &= \frac{\mu_3}{{\text{Var}(X)}^{\frac{3}{2}}} \\ \text{Kurt}(X) &= \frac{\mu_4}{{\text{Var}(X)^2}}-3 \end{align}$$

 

2. 확률변수 $X$의 적률생성함수(moment generating function) $M_X(t)$를 다음과 같이 정의한다. $$\begin{align} M_X(t) &= \mathbb{E}(e^{tX}) \\[3 pt] &= \int_{-\infty}^{\infty} e^{tx}f(x)\ dx \end{align}$$ 위 기댓값이 $t=0$ 근방에서 수렴할 때, 지수함수의 테일러 전개로부터 $$\begin{align} M_X(t) &= \mathbb{E} \left(\sum_{n=0}^{\infty} \frac{(tX)^n}{n!} \right) \\[3 pt] &= \sum_{n=0}^{\infty} \frac{\mathbb{E}(X^n)}{n!} t^n \end{align} $$를 얻는다. 이로부터 $$\mu'_n= \left. \frac{d^n}{dt^n}M_X(t) \right\vert_{t=0}$$임을 안다. 즉, $X$의 $n$차 적률은 $t=0$에서 적률생성함수의 $n$차 미분값이다.

 

2-1. $a$, $b$가 상수일 때 $Y=aX+b$의 적률생성함수는 다음과 같다. $$M_Y(t) = e^{bt}M_X(at)$$

 

2-2. $X$, $Y$가 독립인 경우 $Z=X+Y$의 적률생성함수는 다음과 같다. $$M_Z(t) = M_X(t) M_Y(t)$$

 

2-3. $X$, $Y$가 같은 적률생성함수를 가지면 두 확률변수는 같은 확률밀도함수를 가진다. 즉, 확률변수의 분포는 적률생성함수에 의하여 유일하게 결정된다.

 

3. 확률변수 $X$, $Y$의 $m+n$차 $(m,n)$번째 결합적률(joint moment) $\mu'_{m, n}$을 $X^mY^n$의 기댓값으로 정의한다. $$\begin{align} \mu'_{m,n} &= \mathbb{E}(X^mY^n) \\[3 pt] &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x^m y^n f(x, y)\ dx dy \end{align}$$

 

4. 확률변수 $X$, $Y$의 결합적률생성함수(joint moment generating function) $M_{X, Y}(s, t)$를 다음과 같이 정의한다. $$\begin{align} M_{X, Y}(s, t) &= \mathbb{E}(e^{sX}e^{tY}) \\[3 pt] &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} e^{sx}e^{ty} f(x, y)\ dxdy \end{align}$$ 위 기댓값이 $(s, t)=(0, 0)$ 근방에서 수렴할 때, 지수함수의 테일러 전개로부터 $$\begin{align} M_{X, Y}(s, t) &= \mathbb{E} \left(\sum_{m=0}^{\infty}\frac{(sX)^m}{m!} \sum_{n=0}^{\infty} \frac{(tY)^n}{n!} \right) \\[3 pt] &= \mathbb{E} \left(\sum_{m=0}^{\infty} \sum_{n=0}^{\infty} \frac{X^mY^n}{m!n!}s^m t^n \right) \\[3 pt] &= \sum_{m=0}^{\infty} \sum_{n=0}^{\infty} \frac{\mathbb{E}(X^mY^n)}{m!n!}s^mt^n \end{align}$$를 얻는다. 이로부터 $$\mu'_{m, n} = \left. \frac{\partial^{m+n}}{\partial s^m \partial t^n}M_{X, Y}(s, t)\right\vert_{s=0,\  t=0} $$임을 안다.

 

4-1. 이 때 $M_X(s) = M_{X, Y}(s, 0)$, $M_Y(t)=M_{X, Y}(0, t)$를 각각 $X$, $Y$의 주변적률생성함수(marginal moment generating function)라고 한다. 정의로부터 두 확률변수가 서로 독립일 필요충분조건은 결합적률생성함수가 주변적률생성함수들의 곱으로 표현되는 것임을 알 수 있다.

 

5. 음이 아닌 정수를 취하는 이산확률변수 $X$의 확률밀도함수를 $f(x)$라 할 때, $X$의 확률분포는 다음의 확률생성함수(probability generating function) $G_X(s)$로도 표현할 수 있다. $$\begin{align} G_X(s) &=\mathbb{E}(s^X) \\ &= \sum_{x=0}^{\infty} s^xf(x) \\ &= f(0)+ f(1)s + f(2) s^2 +\cdots \end{align}$$ $\vert s \vert \le 1$일 때 다음의 관계가 성립한다. $$f(n)= \frac{1}{n!} \left. \frac{d^n}{ds^n} G_X(s) \right\vert_{s=0} $$

References

김우철 외, 개정판 일반통계학

송성주·전명식, 수리통계학 제5판

김우철, 개정판 수리통계학