생성모델

250x250

Notice

Recent Comments

Link

github

Tags more

Archives

Today

Total

관리 메뉴

주뇽's 저장소

생성모델 본문

ComputerVision/GAN

생성모델

뎁쭌 2023. 7. 1. 01:55

728x90

1. VAE VS GAN

VAE vs GAN

VAEs(Variational Autoencoders)

reale data에 데이터를 압축하여 핵심만을 학습하여 그 핵심으로 다시 real data를 예측
- 사람이 암기과목을 학습할 때와 비슷함
학습 부담이 적다
창의성은 없다
학습이 완료된 후 decoder부분만을 사용

GAN(generative Adversarial Networks)

생성 모델이 random noise로부터 data를 생성한 후 판별 모델이 real data와 생성 data를 비교
학습 부담이 크다(학습이 잘 안될 수 있음)
real data뿐 아니라 창의적이 data가 나올 수 있음
학습이 완료된 후 generative 부분만을 사용

머신러닝 기초

데이터로부터 학습능력을 가진 알고리즘
E : 데이터 셋, T : 기능, P : 가치측정(비용측정)

Task의 종류

회귀
- 어떠한 함수를 만들었을 때 반환값이 실수(float)

분류

어떠한 함수를 만들었을 때 반환값이 범주형(int)

학습의 종류

지도학습
- 입력과 정답이 한 쌍으로 이루어져 있음
- $y= f(x) == P(y |x )$
비지도학습
- 입력만 주고 정답은 주지 않음
- $P(X)$
semi-supervised learning

머신러닝의 목표

머신러닝은 손실값을 최소로 하는 세타를 찾는 문제

→ 즉 최솟값을 유발하는 입력값을 찾는 문제

2. 확률, 정보 이론

Discrete V ariables and Probability Mass Function

Probability mass function (PMF)

P(x = x) → P(x) : x가 일어날 확률

ex) P(x = 3) : P를 주사위를 던지는 행위라고 했을 때 주사위를 던져서 3이 나올 확률

0 ≤ P(x = x) ≤ 1 : 확률값은 0~1 사이에 존재
Sum P(x) = 1 : 모든 확률값을 더하면 1

Joint Probability(결합 확률)

2개 이상의 사건이 동시에 일어나는 확률이며 그리고 라고 해석하면 된다.
P(x = x, y= y) : y가 일어나고 x가 일어날 확률

ex) P(x = x, y = y)

P : 주사위와 동전을 던지는 행위
x : 주사위를 던졌을 때 특정 x값이 나올 확률
y : 동전을 던졌을 때 앞면 또는 뒷면이 나올 확률

주사위와 동전을 던졌을 때 동전의 앞면 또는 뒷면이 나오고 주사위의 특정값이 동시에 나올 확률

	x = 1	x = 2	x = 3	x = 4	x = 5	x = 6
y = 앞면	1/12	1/12	1/12	1/12	1/12	1/12
y = 뒷면	1/12	1/12	1/12	1/12	1/12	1/12

Marginal Probability(주변 확률)

여러 사건이 동시에 일어날 수 있을 때(결합 확률), 하나의 사건이 일어날 확률 분포
하나의 변수에 대한 확률 분포를 나타내는 것이다. 예를 들어, 날씨와 판매량을 고려하는 경우, 날씨와 판매량이라는 두 개의 변수가 있다. 그러나, 이 중에서 날씨가 어떻든, 판매량의 분포를 알고 싶은 경우, 이때 날씨를 고려하지 않고 판매량의 분포를 따로 계산하는 것이 주변 확률이며 자신이 알고 싶은 쪽으로 나머지 확률분포를 밀어 버린다고 생각하면 된다.

주사위에 대한 Marginal probability

x = 1	x = 2	x = 3	x = 4	x = 5	x = 6
2/12	2/12	2/12	2/12	2/12	2/12

Conditional Probability(조건부 확률)

어떤 조건이 주어진 상태에서 특정 사건이 발생할 확률
P(y = y | x = x) = P(x = x, y = y) / P(x = x)
조건부 확률 = 결합확률 / 주변 확률

	x = 1	x = 2	x = 3	x = 4	x = 5	x = 6
y = 앞면	1/12	1/12	1/12	1/12	1/12	1/12
y = 뒷면	1/12	1/12	1/12	1/12	1/12	1/12

| p(y = y | x = 3) |
| --- |
| (1/12) / (1/6) =1 / 2 |

The Chain Rule of Conditional Probability(조건부 확률의 연쇄 법칙)

결합확률 = 조건부확률 * 주변확률

P(a, b, c) = P(a | b, c)p(b,c)
- P(b,c) = P(b | c) * P(c)
- → P(a, b, c) = P (a | b, c) * P(b |c) * P(c)

조건부확률 = 결합확률 / 주변확률

P(a, b | c) = P(a, b, c) / P(c)
- P(a, b, c) = P(a, b, | c) * P(c)
- → P(a, b, c) = P(a, b | c) * P(c) = P (a | b, c) * P(b |c) * P(c)

Independence and Conditional Incdependence

사건의 독립

어떤 사건 A,B에 대해 두 사건이 독립(Independent)이면 두 사건은 서로 쪼개질 수 있다.
P(B | A) = P(B), P(A | B) = P(A)
조건으로 주어진 사건 A(B)가 다른 사건 B(A)에 아무런 영향을 주지 못한다.
조건부확률 정의에 따라 P(A | B) = P(A ^ B) / P(B) = P(A)
P(A ^ B) = P(A) * P (B) 독립된 2사건의 결합확률은 두 사건의 곱과 같다.

조건부 독립

두 사건 A와 B가 세 번째 사건 C의 조건을 알고 있을 때 서로 독립적이라는 확률적 개념
C 사건이 주어졌을 때, A 사건과 B 사건이 서로 영향을 주지 않는다면, A와 B는 C에 대해 조건부 독립
P(A∩B|C) = P(A|C) * P(B|C)

여기서 P(A∩B|C)는 C 사건이 주어졌을 때 A와 B가 모두 발생할 확률, P(A|C)는 C 사건이 주어졌을 때 A가 발생할 조건부 확률, P(B|C)는 C 사건이 주어졌을 때 B가 발생할 조건부 확률을 나타낸다. 따라서 이러한 식이 성립한다면 A와 B는 C에 대해 조건부 독립이라고 할 수 있다.

Expectation, Variance, and Covariance(기댓값, 분산, 공분산)

Expectation(기댓값)