02-02. Function of random variables, Definitions of convergence, Convergence in probability, Convergence with probability 1, Convergence in distribution

@
random variable X 는 실험결과로 부터 도출된 어떤 input 을 받아서 그것을 실수로 mapping 시키는 function 이다.
random variable X 는 sample space 의 각각의 outcome 을 실수 R 로 대응시키는 function 이다.
$X : \Omega \rightarrow R$

@
random variable X 의 range 가 finite 하거나 countably infinite 할때 discrete random variable 이라고 한다.

range 는 random variable X 가 가질 수 있는 모든 값을 모아놓은 집합이다.
$range r(x) = \{x|x\Omega such \; that \; X(\omega)=x \}$

@
example.
동전을 두번 던진다.
random variable X = H 가 나오는 횟수라 가정하자.
$\Omega = \{HH, HT, TH, TT\}$
X(HH)=2.
X(TT)=0.
$r(x)=\{0,1,2\}$

@
example.
-1, 1 사이에서 숫자 $\omega$ 를 뽑는다.
$X(\omega) = 1$ if $\omega>0$
$X(\omega) = 0$ if $\omega=0$
$X(\omega) = -1$ if $\omega<0$
$X(\omega)$ 가 가질수 있는 범위는 1,0,-1 이므로 X 는 discrete 이다.

@
가장 큰 관심사는 이벤트가 어느 확률로 일어나는가 이다.

random variable 도 어떤 값을 가질 확률이 얼마이냐 라는 질문을 해볼 수 있다.
이런 질문을 다루는 것이 pmf probability mass function 이다.
$p_{X}(x)$
X : random variable.
x : X 가 가질 수 있는 값.

@
discrete random variable X 의 pmf $p_{X}(x)$ 는 다음과 같이 정의된다.
$p_{X}(x) = P(X=x) = P(\{\omega\in \Omega| X(\omega)=x\})$
random variable X 가 x 값을 취하도록 하는 sample 들의 집합 의 확률이다.

@
동전 두번 던지기 실험을 다시 생각해본다.
$P_{X}(x) = \frac{1}{4}$ if x= 0 when TT.
$P_{X}(x) = \frac{1}{2}$ if x= 1 when HT, TH.
$P_{X}(x) = \frac{1}{4}$ if x= 2 when HH.

@
숫자 하나만 가지로 random variable 의 특성을 얘기하고 싶다.
expectation, variance, 등이다.

@
mean(expectation) of random variable X.
$E[X] = \sum\limits_{x} x P_{X}(x)$
x : X가 취하는 x.
$P_{X}(x)$ : x 가 될 확률.

@
$E[X] = 0\times \frac{1}{4} + 1\times \frac{1}{2} + 3\times \frac{1}{4}$ .
$E[X] = 1$ .
앞면이 평균 한번 나온다.

@
variance 는 $E[(X-E[X])^{2}]$ 이다.
안을 보면 random variable 이 들어있는 함수이다.
이것의 평균을 구한 것이다.
평균에서 얼마나 떨어져 있느냐를 나타내는 것이 variance 이다.
$E[(X-E[X])^{2}] Var[X] = \sum\limits_{x} (x-E[X])^{2} P_{X}(x)$
$stdv[x] = \sqrt{Var[X]}$

@
pmf 를 보고 분산이 어느게 큰지 얘기 해 보자.
두번째것이 분산이 더 크다.

@
properties.
1. $E[aX+b] = aE[X]+b$
1. $Var[aX+b] = a^{2}Var[X]$

@
이벤트에 대한 conditioning random variable.

$P(A) > 0$ 인 이벤트 A 가 있다.
discrete random variable X 의 conditional pmf $P_{X|A}$ 는 다음과 같이 정의된다.
A가 일어났다는 가정하에 random variable X 가 x 를 취할 확률.
$P_{X|A}(x) = P(X=x|A) \frac{P({X=x}\cap A)}{P(A)}$

@
conditional expectation.
$E[X|A] = \sum\limits_{x} x P_{X|A}(x)$

@
두개의 discrete random variable 의 joint pmf 를 정의해보자.
X, Y : discrete random variable 이라고 가정하자.
$P_{X,Y}(x,y) = P(X=x,Y=y)$
(x 로 인해) 전체합이 5면서, (y 로 인해) 짝수일 확률 같은 상황.


@
하나의 random variable 을 다른 random variable 의 condition 을 취할 수 있다.
이때, conditional pmf 는 Y가 y 를 취했을 때, X가 x 를 취할 확률 이다.
$P_{X|Y}(x|y) = P(X=x|Y=y)$
$P_{X|Y}(x|y) = \frac{P(X=x, Y=y)}{P(Y=y)}$
$(P(X=x, Y=y) = P(\{X=x\}\cap\{Y=y\})) = P(\{\omega\in \Omega| X(\omega)=x \& Y(\omega)=y \})$
$P_{X|Y}(x|y) = \frac{P(X=x, Y=y)}{P(Y=y)}$
위의 수식을 이용한다.
$P_{X|Y}(x|y) = \frac{P_{X,Y}(x,y)}{P_{Y}(y)}$

@
independence.
모든 x, y 에 대해서 joint pmf $P_{X,Y}(x,y)$ 가 각각의 pmf 의 곱 $P_{X}(x)P_{Y}(y)$ 과 같을때, 두 discrete random variable 이 independent 하다 라고 한다.

확률로는 다음과 같다.
동시에 일어날 확률이 각각 이벤트가 발생할 확률의 곱과 같다.
$P(X=x, Y=y) = P(X=x)P(Y=y)$

@
continuous random variable(CRV).
random variable X 를 다음과 같을때 continuous 하다고 한다.
0보다 큰 function $f_{X}(\cdot)$ 이 존재해야한다.
$P(x\in B) = \int_{B} f_{X}(x)dx, \forall B\subset R$ 를 만족해야한다.

예를들어, B 가 [a,b] interval 이라면 $P(x\in B)$ 는 다음과 같이 표현된다.
$P(a\leq X \leq b) = \int_{a}^{b} f_{X}(x)dx$

@
R axis 를 가정하고 그 위에 function 을 가정한다.
random variable X 가 이 사이에 들어갈 probability 이 function 을 이 구간에서 적분해서 구할수 있으면 continuous 라고 한다.
이때, $f_{X}(\cdot)$ 을 pdf(probability density function) of X 이라고 한다.

@
$P_{X}(x) = P(X=x)$ : discrete 에서의 pmf.
$f_{X}(x) = P(X=x)=0$ : continuous 에서의 pdf.

@
0,1 사이 숫자로 mapping 시키는 uniform random variable X 가 있다고 가정한다.
0에서 1 사이 숫자를 뽑는 실험에서 각각의 숫자가 equally likelihood 하게 나온다고 가정한다.
그리고 그 숫자는 X 에 의해 같은 숫자로 mapping 된다고 가정한다.
$X(\omega)=\omega$, $\forall \omega \in [0,1]$

$f_{X}(x) = 1 if x\in [0,1]$
$f_{X}(x) = 0 if x\notin [0,1]$

@
x 의 pdf 에 대하여 $\int_{-\infty}^{\infty}f_{X}(x)dx=1$ 이어야 한다.
pmf 도 마찬가지이다 $\sum\limits_{x}P_{X}(x)=1$

@

summary by table

discrete random variablen	continuous random variable
PMF $P_{X}(x)=P(X=x)$	PDF $f_{X}(x), P(X\in B)=\int_{B}f_{X}(x)dx$
CDF $F_{X}(k)=P(X\leq k)$ $F_{X}(k)=\sum\limits_{x\in k} P_{X}(x)$	CDF(in CRV, it's non-decreasing but can't be over 1) $F_{X}(x)=P(X\leq x)=\int_{-infty}^{x}f_{X}(t)dt$
Mean $E[X]=\sum\limits_{x}P_{X}(x)$ $Var[X]=\sum(x-E[X])^{2}P_{X}(x)$	$E[X]=\int_{-\infty}^{\infty}xf(x)dx$ $Var[X]=\int_{-\infty}^{\infty}(x-E[X])^{2}dx$
independence $P_{X,Y}(x,y)=P_{X}(x)P_{Y}(y)$	$f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)$
conditional pmf $P_{X|Y}(x|y)=\frac{P_{X,Y}(x,y)}{P_{Y}(y)}$	conditional pdf $f_{X|Y}(x|y)=\frac{f_{X,Y}(x,y)}{f_{Y}(y)}$

@
total expectation theorem.
$A_{1}, ..., A_{n}$ 이 sample space $\Omega$ 의 partion 이며 $P(A_{i})>0$ 이라고 가정하자.
$E[X]=\sum\limits_{i=1}^{n}P(A_{i})E[X|A_{i}]$
$E[X|A]=\sum\limits_{x}P_{X|A}(x)$ 을 사용한다.
$E[X]=\sum\limits_{i=1}^{n}P(A_{i}) \sum\limits_{x} x P(X=x|A_{i})$
$E[X]=\sum\limits_{x}x\sum\limits_{i=1}^{n}P(A_{i}) P(X=x|A_{i})$
$E[X]=\sum\limits_{x}x \sum\limits_{i=1}^{n}P(A_{i}) P(X=x|A_{i})$
total probability theorem 에 의해서 $\sum\limits_{i=1}^{n}P(A_{i}) P(X=x|A_{i}) = P(X=x)$