라쏘(Lasso) 란?

사전 지식

 

1.단순 선형회귀
단 하나의 특성(feature)을 가지고 라벨값(label) 또는 타깃(target)을 예측하기 위한 회귀 모델을 찾는 것

= scattor plot에서 특성 x 와 라벨값 y 사이의 관계를 설명할 수 있는 '선'을 찾는 것

= 최대한 특성과 라벨값의 관계를 가장 잘 설명해줄 수 있는 일차함수식을 찾아내는 것

= 새로운 데이터의 특성값이 주어졌을 때 그에 해당하는 라벨값을 예측해낼 수 있다.

 

y = w[0] * x[0] + b

 

y : 예측값

x[0] : 특성

w[0] : 가중치(weight) 또는 계수(coefficient) (일차함수에서 기울기)

b : 편향(offset) (일차함수에서 y절편)

 

여러 개의 샘플들의 특성값들과 라벨값들을 이용해서 가장 적합한 w[0] 와 b를 찾아야 함.

-> 어떻게? 경사감소법(경사하강법)

 

하지만 하나의 특성으로 좋은 예측능력을 보이는 모델을 만들기 쉽지 않다.

->그래서 -> 다중선형회귀

 

 

2. 다중선형회귀

하나의 특성이 아닌 여러 개의 특성을 활용해서 회귀모델을 만든다.

 

y = w[0]*x[0] + w[1]*x[1] + ... + w[p]*x[p] + b

 

특성의 개수 : p+1개

필요한 가중치의 개수 : p+1 개

 

:p+1개의 특성(x[0], x[1], ...,x[p]) 와 라벨값(y)에 사아의 관계를 잘 설명할 수 있는

w[0],w[1],...,w[p] 와 b를 찾아야한다.

-> 이걸 찾으면 라벨값이 없는 새로운 데이터의 예측값을 구할 수 있다.

 

 

특성이 하나였을 때는 선형 모델이 직선이 되었지만, 특성이 두개면 평면, 더 높은 차원에서는 초평면(hyperplane)이 되는 특징을 가지고 있다. 

 

3. 평균제곱오차 (mean squared error, MSE)

단순 선형회귀와 다중선형회귀에서 적절한 가중치와 편향을 찾아내는 방법

 

선형회귀는 라벨값과 예측값 사이의 평균제곱 오차(MSE) 를 최소화하는 파라미터 w와 b를 찾는다.

:라벨값(정답), 예측값의 차이가 작으면 작을 수록 성능이 좋은 것이기 때문!

 

 

평균제곱오차 공식

문제 : 다중 선형 회귀 모델은 과대적합(overfitting) 될 때가 종종 있다 (과하게 학습하여 일반화 능력이 떨어진다.)

->  릿지(Ridge)와 라쏘(Lasso) 제안

 

 

라쏘 (Lasso) 란?

선형 회귀에서 적절한 가중치와 편향을 찾는 최소제곱법 + 추가 제약 조건(L1 Norm)

 

일반적으로 딥러닝에서 네트워크의 Overfitting(과적합) 문제를 해결하는 방법으로 다음과 같은 3가지 방법을 제시

1. 더 많은 데이터를 사용할 것
2. Cross Validation
3. Regularization

Regularization 방법 중 하나인 L1 Norm 

벡터의 요소에 대한 절댓값의 합

 

x = [1,2,3,4,5]

||x|| = (|1|+|2|+|3|+|4|+|5|) = 15

 

 

 

 

 m은 가중치의 개수를 의미하고(따라서 특성의 개수도 됨), 

 α :  페널티의 효과를 조절해주는 파라미터

 α의 값이 커지면 패널티 항의 영향력이 커지고, α의 값이 작아져서 거의 0이 되면 선형 회귀와 같아짐.

라쏘의 목적 : MSE와 penalty 항의 합이 최소가 되게 하는 w 와 b를 찾는 것

 

 

 

참고자료

bskyvision.com/193