02-01. Function of random variables, Definitions of convergence, Convergence in probability, Convergence with probability 1, Convergence in distribution

@
전 확률 정리 total probability theorem.
$A_{1}, ..., A_{n}$ 을 sample space 의 partition 이라고 하자.
(partition : 어떤 집합을 discrete 하게 나누는것).
이때, $P(B) = P(A)P(B|A_{1}) + ... + P(A_{n})P(B|A_{n})$ 으로 표현할 수 있는 것이 total probability theorem 이다.
증명).
$P(B) = P((B\cap A_{1}) \cup (B\cap A_{2}) \cup ... \cup (B\cap A_{n}))$
$P(B) = P(\cup_{i=1}^{n} (B\cap A_{i}))$
모든 A가 discrete 하므로 $A_{i} \cap B$ 도 discrete 하다.
따라서, 각각의 합으로 쓸수 있다.
$P(B) = P(B\cap A_{1}) + ... + P(B\cap A_{n})$
조건부 확률의 정의로 .
$P(B) = P(A)P(B|A_{1}) + ... + P(A_{n})P(B|A_{n})$ 로 쓸수있다.

@
example. chess tournament.
$\frac{1}{4}$ type 3.
$\frac{1}{4}$ type 2.
$\frac{1}{2}$ type 1.

게임에 들어가서 type1 을 상대로 이길 확률 0.3 .
게임에 들어가서 type2 을 상대로 이길 확률 0.4.
게임에 들어가서 type3 을 상대로 이길 확률 0.5.
이라고 가정하자.

랜덤하게 type 을 뽑았을때 이길 확률을 구해보자.

B 를 이기는 event 로 가정한다.
P(B) 를 구하고싶다.
$A_{i}$ 를 i type 이 선택되는 event 라고 가정하자.

$A_{1}, A_{2}, A_{3}$ 가 partion 이라면 total probability theorem 에 의해서 .
$P(B) = P(A_{1})P(B|A_{1}) + P(A_{2})P(B|A_{2}) + P(A_{3})P(B|A_{3})$ 로 표현할 수 있다.
value 를 대입해보자.
$P(B) = \frac{1}{2} \cdot 0.3 + \frac{1}{4} \cdot 0.4 + \frac{1}{4} \cdot 0.5$
$P(B) = \frac{3}{8}$

@
bayes' rule.

$A_{1}, ..., A_{n}$ 을 partition of $\Omega$, $P(A)>0$, $\forall i$ 라고 가정하자.

그리고 conditional probability 먼저 생각해보자.
$P(A_{i}|B) = \frac{P(A_{i}\cap B)}{P(B)}$
$A_{i}\cap B$ 를 conditional probability definition 에 의해서 P(B) 를 total probability theorem 에 의해서 다시 쓸수 있다.

$P(A_{i}|B) = \frac{P(A_{i})P(B|A_{i})}{P(A)P(B|A_{1})+...+P(A)P(B|A_{n})}$

상황을 가정하자.
$A_{i}$ 는 질병이다.
B 는 테스트 결과이다.

테스트에서 특정 결과가 나왔을 때 그 사람이 질병 $A_{i}$ 를 갖고 있을 확률은 .
분모부터 생각해보면.
각각의 질병 $A_{i}$ 를 갖고있을때 테스트결과 B 가 나올 conditional probability 곱하기 $A_{i}$ 를 갖고 있을 확률 을 모두 더한다.
분모는 특정한 i 에 대해서만 적용한다.

간단해보이지만 스팸필터링, 질병예측, 등 많은 곳에 쓰인다.

@
내가 이겼을 때 type1 이 었을 확률 $P(A_{1}|B) = \frac{P(A_{1}) P(B|A_{1})}{P(B)}$
$P(A_{1}|B) = \frac{\frac{1}{2} 0.3}{\frac{3}{8}}$
$P(A_{1}|B) = 0.4$

@
example : radar detection to the flying aircraft around (the case which is not much fit to out intuition).

event $A = \{aircraft present\}$
event $B = \{ringing alarm\}$
Suppose we have following given probability.
$P(A) = 0.05$
$P(B|A) = 0.99$
$P(B|A^{C}) = 0.1$

What we want to know is what is the probability of event A(aircraft) when ringing alarm, in other words, we want to find P(A|B).

when we see $P(B|A) = 0.99$, we think this radar detector is precise.

$P(A|B) = \frac{P(A) P(BA)}{P(A) P(B|A) + P(A^{C}) P(B|A^{C})}$
$P(A|B) = \frac{0.05 \times 0.99}{0.05 0.99 + 0.95 \times 0.1} \approx 0.3426$
when ringing the alarm(B occurred), the probability of A(aircraft was there) is pretty low.

@
independence.
만약, $P(A\cap B)=P(A)P(B)$ 이면, 두 event A, B 가 independence 이다.
독립일때, $P(A\cap B)=P(A)P(B)$ 이므로.
$P(A|B) = \frac{P(A\cap B)}{P(B)}$
$P(A|B) = P(A)$

@
배반사건 disjointness 와 independence 는 다른 개념이다.
A, B 가 discrete 하다는 동시에 일어날 수없다는 의미이다.
A, B 가 disjoint 하다 $A\cap B = \phi$ 그리고 $P(A), P(B) > 0$ 이라고 가정하자.
그러면, A, B 는 independent 하지 않다.

@
example.
4개의 면을 가지는 주사위를 2번 연속던진다.
$A_{i}$ = 첫번째 던진게 i 인 event 를 의미한다.
$B_{j}$ = 2번째 던진게 j 이벤트.
라고 가정하자.

sample space $\Omega = \{1,2,3,4\}^{2}$ 으로써 16개의 outcome.
$\{1,2,3,4\}^{2} = \{1,2,3,4\} \times \{1,2,3,4\}$ 첫번째 실험, 두번째실험 조합한 것.

$A_{i}, B_{j}$ 가 independent 한가?.
첫번째 던져서 i 가 나올 확률은 $\frac{4}{16}=\frac{1}{4}$
두번째 던져서 j 가 나올 확률도 $\frac{1}{4}$
첫번째 던져서 i, 두번째 던져서 j 가 나올 확률 $P(A_{i}\cap B_{j}) = \frac{1}{16}$
따라서, 위의 정의로 부터 A, B 는 independent 하다고 얘기할 수 있다.

@
이벤트 A = 첫번째 던진게 1.
이번트 B = 두번 던진 합이 5.

$P(A) = \frac{1}{4}$
$P(B) = \frac{1}{4}$
$P(A\cap B) = \frac{1}{16}$

@
베르누이 시행.
동전던지기와같이 각각의 시행이 두종류의 outcome 만 가지는 시행이다.

@
n 개의 nernoulii trials.
H 가 나올 확률 p .
T 가 나올 확률 1-p.

k개의 H 를 얻을 확률 P(kHs) 는 다음과 같이 구한다.

하나의 outcome 을 생각해보자.
HTH...TT.
여기에 k 개의 H, n-1 개의 T 가 있는 것이다.
그리고 각각의 던지기는 independent 하다.
따라서 $p^{k}(1-p)^{n-k}$
이러한 outcome 의 총 갯수 $\begin{pmatrix} n\\k \end{pmatrix} = {_{n}C_{r}} = \frac{n!}{(n-k)!k!}$ (n choose k) 를 $p^{k} (1-p)^{n-k}$ 앞에다 곱해주면 된다.

$\begin{pmatrix} n\\k \end{pmatrix} p^{k} (1-p)^{n-k}$ 를 binomial probability 라 부른다.
$_{n}C_{r} = \frac{n!}{(n-k)!k!}$ 을 binomial coefficient 라고 부르고 이것이 나오는 과정은 다음과 같다.
HTH...TT 를 $R_{1}, R_{2}, R_{3} ..., R_{n}$ 이라고 하면 이것을 나열하는 경우의 수는 n! 이다.
이경우, $R_{1}, R_{3}$ 가 바뀐다고 해도 똑같은 outcome 이므로 없애줘야한다.
이런경우가 k 개 있다.
T 역시 같은 경우이므로 $(n-k)!$ 을 나눠줘야한다.

그럼, $\sum\limits_{k=0}^{n} P(kHs)$ 이 확률은 어떻게 될까?.
1 이 된다.
$\sum\limits_{k=0}^{n} P(kHs) = \sum\limits_{k=0}^{n} \begin{pmatrix} n\\k \end{pmatrix} p^{k} (1-p)^{n-k} = 1 $