[ML] SVM

About this offer

공부 기록 1. 마진과 서포트 벡터 분류 학습의 가장 기본적인 아이디어: 클래스를 잘 나누는 결정 경계/초평면 찾는 것 ⇒ 새로운 데이터에 대해서도 견고한 경계 서포트 벡터: 결정 경계와 가장 가까운 값 마진: 결정 경계(직선)와 서포트 벡터(점) 사이의 거리 → 점과 직선 사이의 거리 결정 경계에서 양쪽 서포트 벡터로의 거리는 같다 (→ 하나만 구해서 x2 해도 됨) 마진은 클수록 좋음 → 데이터가 잘 벌어져 있다 → 분류를 잘한다 ⇒ 마진을 최대화 하는 결정 경계를 구해보자 2. 수학적 모델링 초평면 어떤 n차원 공간에서 한 차원 낮은 n-1 차원의 subspace ex1) 3차원 공간에서 초평면: 면, 2차원 공간에서 초평면: 선 ex2) *전제: 벡터의 크기(길이)가 1이여함 법선 벡터 $w = [w_1, w_2]^T$ 에 대해 원점과의 거리가 $d$인 직선의 방정식 → 법선 벡터는 직선과 수직임 (2차원) 법선 벡터 $w = [w_1, w_2, w_3]^T$ 에 대해 원점과의 거리가 $d$인 직선의 방정식 → 법선 벡터는 평면과 수직 (3차원 일반적으로 선형방정식으로 묘사 됨 (*차원에 따라 $w$의 개수는 달라짐) $$ W^Tx+b =0 $$ w=[w_1, w_2, w_3]^T: 법선 벡터 → 초평면의 방향 결정 (수직 방향) b: 초평면과 원점과의 거리 (법선 벡터의 크기가 1일 때만 성립) 이때 점 x에서 초평면까지의 거리 d → 점과 직선 사이의 거리 공식 $$ d= \frac{|w^Tx+b|}{||w||} $$ 초평면만 주어지면 거리 구할 수 있는 이유 (수업 필기 내용) ⇒ 만약 선형 분류가 가능하다고 가정한다면 위와 같은 초평면 $\mathbf {(w^T+b=0)}$ 이 존재한다. $y_i =1$ 이면 $\mathbf {(w^T+b>0)}$ 이고, $y_i =0$ 이면 $\mathbf {(w^T+b<0)}$ 이다. ⇒ 초평면의 양쪽을 가장 가까운 샘플인 서포트 벡터와 거리를 같게 가정함 ($\delta$는 거리에 해당함)  스케일링 (양변을 $\delta$로 나눔)  - **등호는 서포트 벡터에서 성립함** - 선형 분리가 가능하다고 가정했으므로 이런 부등식을 만족시키는 **$w^T_{new}, b_{new}$가 항상 존재함** 그림 임의의 점 x에서 초평면까지의 거리 d $$ x $$ 마진: 초평면과 서포트벡터 사이의 거리 → 최대화 해야함 $$ d_{x_0}=\frac{|w^Tx_0+b|}{||w||} =\frac{1}{||w||} $$ $$ d_{x_1}=\frac{|w^Tx_1+b|}{||w||} =\frac{1}{||w||} $$ $$ margin = \frac {2}{||w||} $$ 최적화 문제 최적화 문제로 바꾸려면 마진에 역수 취하면 됨 → 최소화 문제로 바뀜 !image.png 제곱한 이유: 해를 구하기 더 쉽기 때문 라그랑주 함수는 그냥 참고용 닫힌해 항상 존재 → 데이터만 같다면 항상 같은 해 도출 S.V 만 안바뀌면 SVM은 항상 고정 S.V 바뀌면 SVM도 바뀜 3. 변형 ;우리에게 주어진 데이터가 선형 분리 안될 때 소프트 마진(↔ 하드 마진) 몇몇의 샘플들에 대해서는 조건식을 만족하지 않아도 되도록 함 조건식을 만족하지 않는 경우 $y_i =0 → w^Tx + b > 0$ 위에 손실 함수 미분 불가능 → 대리 손실 찾아야함 ⇒ 볼록이고 연속인 함수 사용 커널 트릭 차원 뻥튀기 → 고차원 공간에서 선형적으로 분리할 수 있다고 가정하고, 고차원 내적을 직접 계산하지 않고 원래 차원에서 간접적으로 계산 $$ K(x,x') = \phi(x)^T\phi(x') $$ 4. 서포트 벡터 회귀 초평면을 회귀식으로 사용 !image.png !image.png

Offer details

Provider

velog

Source

velog-rss

Score

54.35

Confidence

49%