exestudiary

Random vector

Joint Cumulative Distribution Function

Joint PDF / PMF

Marginal CDF and PDF / PMF

example

Expectation

Theorem

Remark

Example

Joint Moment Generating Function

Remark

example

Expected value of Random vector

Theorem

Markov's inequality

Chebyshev's inequality

Convex function

Theorem

Jenson's inequality

example

Mean and Variance

example

r-th moment and Central moment

example

Moment Generating Function

MGF

CGF

Uniqueness of MGF

example

Expectation

Theorem

1.8.1

1.8.2

Continuous Random Variables

Transformations

example

Discrete Random Variables

Transformations

Example

Random variables(확률 변수)

random variable 은 일종의 함수라고 생각하면 된다.

probability space에서 real space(실수 집합)으로 mapping이 된다고 생각하면 된다. 

예를 들어 random variable $ X $를 주사위를 두 번 굴려서 나온 윗 면의 합이라고 하면,

$X(i, j) = i + j$로 나타낼 수 있고 $ X $의 space는 {2, ... 12}가 된다. 

The Sample space는 $ {(i, j) : 1 \leq i, j \leq 6} $이 되고 $ P[{(i, j)}] = 1 / 36 $이다.

즉, 주사위 윗면의 의미로서 1, 2, 3, 4, 5, 6이 X라는 확률변수 함수를 만나서 실수로 표현이 될 수 있다는 것이다.

Probability Mass Function

여기서 앞서 말한 주사위 사례를 들어보자. 

$B_1 = {x : x = 7, 11}$ and $B_2 = {x: x = 2, 3, 12}$ 라고 할 때,

$P_x(B_1) & P_x(B_2)$를 구해보자. 그러면 간단하게 다음과 같이 나타내면 된다. 

Probability Density Function

Choosing a real number at random from (0, 1).

Let $X$ be the number chosen & the space of $ X $ is $ D $(데, space의 개념이다.) = (0, 1).

The pdf of $X$ is $f_X(x) = I_(0 < x < 1)$, where $I_A$ be an indicator function of a set $A$.

E.g. the probability that $X$ is less than an eighth or greater than seven eights is 

$$ P[{X < 1/8} \cup {X > 7/8}] = \int_0^\frac{1}{8} \mathrm{d}x + \int_\frac{7}{8}^1 \mathrm{d}x = \frac{1}{4}$$ 

Cumulative Distribution Function(CDF)

Example 

Suppose we roll a fair die. Let $X$ be the upface of the roll and the space of $X$ is {1, 2, 3, 4, 5, 6}.  

The pmf is $p_X(i) = 1/ 6, i = 1, 2, 3, 4, 5, 6$.

If $x < 1, P(X \leq x) = 0$; If $1 \leq x < 2, P(X \leq x) = p_X(1) = 1 /6$, and so on. 

Hence, the cdf of $X$ is

= 위에 D가 있는 것은 X 와 Y의 확률 변수가 같다는 의미가 아니라 CDF가 같다는 뜻이다. 즉, 분포적 성질이 같다는 것과 같다. 

Theorems

Conditional Probability (조건부 확률)

The probability that $C_2$ occurs given that event $C_1$ has occurred is called the conditional probability of $C_2$ given $C_1$ and is defined by 

그림으로 표현하자면 아래와 같다.

Conditional probability is a probability? 

조건부확률이 확률의 정의를 만족하는지 살펴보자.

Properites of Conditional Probability

Ex. Four cards are to be dealt successively, at random and without replacement, from an ordinary deck of playing cards. The probability of receving a spade, a heart, a diamond, and a club, in that order is.. 

$C_1$ : 1st - 13 / 52

$C_2$ : 2nd - 13 / 51

$C_3$ : 3rd - 13 / 50

$C_4$ : 4th - 13 / 49

(카드 놀이에서 4번을 뽑는데 각각 다른 걸 뽑을 확률을 나타낸 것)

- Prior probability vs. posterior probability

- Let $C_1, ... C_k$ : k causes of an event.

- P($C_i$) indicates the chance of $i$th cause.

  If known, it is obtained from the past investigation >>>> prior probability 

  (쉽게 말해 알려진 확률을 prior probability)

- P($C_i | C$) indicates the chance of $i$th cause when the event $C$ happened.

  It updates the past information >>>> posterior probability

Independence

1. Statistically / stochastically independent means independent in a probability sense.
2. Two events A and B are independent if and only if $P(A|B) = P(A|B^c) = P(A)$ or $P(B|A) =P(B|A^c) = P(B)$. Otherwise, they are independent.
3. Events $C_1, C_2, C_3$  are pairwise independents if and only if $P(C_1 \cap C_2) = P(C_1)P(C_2)$, $P(C_1 \cap C_3) = P(C_1)P(C_3)$, $P(C2 \cap C_3) = P(C_2)P(C_3)$.

Mutual Independence (모든 경우가 독립이면)

ex. Pairwise independence does not imply mutual independence

1,2,3,4가 적혀있는 spinner를 2번 돌렸다. 

$C_1$은 두 번 돌린 spinner의 숫자의 합이 5가 되는 사건이고, $C_2$는 첫 번째 돌렸을 때 1이 나오면 되는 사건이고, $C_3$는 두 번째 돌렸을 때 4가 나오면 되는 사건이다. 

표를 통해서 모든 경우의 수를 생각해보면

$C_1$ > 빨간색

$C_2$ > 파란색

$C_3$ > 민트색

Then $P(C_i) = 1/4, i = 1, 2, 3$, and for $i \neq j$, $P(C_i \cap C_j) = 1/16$.

Thus, C_1, C_2, C_3 are pairwise independent.

But, $C_1 \cap C_2 \cap C_3$ is the event that (1, 4) is spun and its probability is 1/16.

$P(C_1 \cap C_2 \cap C_3) = 1 / 4 \times 1/4 \times 1/4 \neq 1 / 16 $

이것이 의미하는 것이 두 사건이 독립이라고 해서 mutual independence가 성립한다고 보장할 수 없다를 예제를 통해서 확인할 수 있다. 

$\sigma$-field

$ \sigma $ - field는 위의 세 조건을 반드시 만족해야한다. 

Example

1. Find the smallest $\sigma$-field of subsets of $C$(체) = {1, 2, 3}.

2. Find the largest $\sigma$-field of subsets of $C$(체) = {1, 2, 3}.

Probability Space

Theorems 

Remark

Thm 3.6. Continuity Property

위의 특징을 시각화하면 아래의 그림과 같다.

반드시 increasing sequence라는 조건이 있어야 한다.

증명을 해보면

파란색 별 모양이 의미하는 것이 $C_n$이 increasing sequence 중에서 가장 마지막에 나오는 집합이기에 앞서 나온 집합들을 다 포함할 수 있다는 것이다. 그러고 난 다음에 우리는 donut 모양으로 집합을 생각할 것인데 이것은 mutually exclusive의 성질을 사용하여 집합의 덧셈으로 표현하기 위함이다. 아래와 같이 표현할 수있다. 

그러면 mutually exclusive 하기에 다음과 같이 표현이 가능하다.

decreasing sequence의 경우에도 같은 방향으로 살펴볼 수 있다. 그런데 이 때는 여집합을 사용해서 mutually exclusive한 성질을 사용하고자 한다. 

이것이 성립하기 때문에 모든 식에 여집합을 취해주면 증명하고자 하는 식이 도출된다. 

1. Set and Subset

- Set: a collection of objects (elements).

- 어떤 Set $ C_1 $의 모든 element가 $ C_2 $의 element라면 Set $ C_1 $ 은 $ C_2 $의 Subset이라고 한다.

∀ $  x \in C_1 $ , $x \in C_2 $

Denoted by C_1 \subset C_2

Example 

- Define two sets $ C_1 $ = {(x, y) : 0 $\leq$  $x$ = $y$ $\leq$ 1}  and $ C_2 $ = {($x$, $y$) : 0 $\leq$ $x$ $\leq$ 1, 0 $\leq$ $y$ $\leq$ 1}. Because the elements of $ C_1 $ are the points on one diagonal of the square, then $C_1 \subset C_2 $. 

- Remark: $C_1 = C_2$  <=> $ C_1 \subset C_2$ & $C_2 \subset C_1 $

2. Intersection 

- Intersection: $ C_1 \cap C_2 $ (= {$x$ | $x \in C_1$ and $ x \in C_2$})

집합이 유한개: 

집합이 무한개: 

- Null set: $ C = \emptyset $

If $ C_1 \cap C_2 = \emptyset $, then $C_1$ and $C_2$ are said to be mutually exclusive or disjoint.

3. Union

- Union: $C_1 \cup C_2$ (= {x | $ x \in C_1$ or $ x \in C_2 $})

- (Notation) 

- 집합의 수에 따라 나눈 것(위: 유한개, 아래: 무한개)

4. Space and Complement

여기서 보면 Space의 표기가 다르다는 것을 확인할 수 있다. ('체'나 '데' 라고 부른다고 한다.)

5. Useful Algebra

Commutative Laws(교환법칙), Associative Laws(결합법칙), Distributive Laws(분배법칙), DeMorgan's Laws(드모르간의 법칙)

6. Point functions

1.  $f(x) = 2x, -\infty$ $ < x < $ $ \infty $
2. $$g(x, y) =\begin{cases} {e}^{-x-y},\;  \; 0 < x < \infty,\ 0 < y < \infty \\ 0,\; \; elsewhere \end{cases}$$
3. $$h(x_1,...,x_n) = \begin{cases} 3x_1 \cdots x_n, \; \; 0 \leq x_i \leq 1, i = 1, 2, \ldots, n \\ 0, \; \; elsewhere \end {cases}$$

Point function은 Point가 input되고 하나의 값이 도출된다는 것을 의미한다. 

7. Set functions

Let $C$ be a set in two-dimensional space and 

$$Q(C) = \begin{cases} the \ area \ of \ C, \;\; C \ has \ a \ finite \ area \\ undefined, \;\; otherwise \end{cases}$$ 

1. $$ C = {(x, y) : x^2 + y^2 \leq 1} \to Q(C) = \pi \times 1^2 = \pi$$
2. $$ C = {(0, 0), (1, 1), (0, 1)} \to Q(C) = 0 + 0 + 0 = 0 $$
   1. 점의 넓이는 0이기에 0 + 0 + 0 이다.
3. $$ C = {(x, y) : 0 \leq x, 0 \leq y, x + y \leq 1} \to Q(C) = \frac{1}{2}$$