[모각코 5주차] inductive bias

돌아온 모각코 5주차 

오늘의 주제는 inductive bias다. 

논문을 읽다보면 자주(?) 보이는 친구인데 

정확히 어떤 것을 의미하는지 파헤쳐보쟝

---

[Inductive bias]

inductive bias는 기계 학습에서 모델이 데이터로부터 학습할 때 특정한 가정이나 선호를 가지는 경향을 의미한다. 이것은 모델이 어떤 가정이나 가중치를 선택하는 데 도움을 주는 일종의 가이드라인? 제약? 으로 작용하게 된다. 

 

일반화의 오류에 대해서 생각해보자.

일반적으로 모델이 갖는 일반화의 오류는 불안정하다는 것과 겉으로만 그럴싸 해보이는 것으로 나뉜다. 모델이 주어진 데이터에 대해서 잘 일반화한 것인지, 혹은 주어진 데이터에만 잘 맞게 된 것인지 모르기때문에 발생하는 것이다. 

• Models are brittle : 데이터의 input이 조금만 바뀌어도 모델의 결과가 망가지게 되는 것
• Models are spurious : 데이터 본연의 의미를 학습하는 것이 아닌 결과와 편향을 학습하게 되는 것.

이러한 문제를 해결하기 위해 등장한 친구가 inductive bias인데, 주어지지 않은 입력의 출력을 예측하는 것이다. 

즉! 일반화의 성능을 높이기 위해서 만약의 상황에 대한 추가적인 가정이라고 생각하면 편할 것이다. 

 

모델이 학습하는 과정에서 학습 데이터이외의 데이터들까지도 정확한 출력에 가까워지도록 출력하기 위해서는 추가적인 가정이 필수적이라고 생각한다. 그래서 성공적으로 학습하여 일반화가 잘 된 모델은 어떠한 inductive bias의 유형을 갖게된다. 이것들이 바로 일반화하기위해 만들어진 가정이라고 볼 수 있는 것이다. 

 

다시말해, inductive bias는 보지 못 한 데이터에 대해서도 귀납적 추론이 가능하도록 하는 알고리즘을 가지고있는 가정의 집합! 이다. 

 

몇가지 inductive bias의 예를 들어보면, 

• Translation invariance : 어떠한 사물이 들어 있는 이미지를 제공해줄 때 사물의 위치가 바뀌어도 해당 사물을 인식할 수 있다.
• Translation Equivariance : 어떠한 사물이 들어 있는 이미지를 제공해줄 때 사물의 위치가 바뀌면 CNN과 같은 연산의 activation 위치 또한 바뀌게된다.
• Maximum conditional independence : 가설이 베이지안 프레임워크에 캐스팅될 수 있다면 조건부 독립성을 극대화한다.
• Minimum cross-validation error : 가설 중에서 선택하려고 할 때 교차 검증 오차가 가장 낮은 가설을 선택한다.
• Maximum margin : 두 클래스 사이에 경계를 그릴 때 경계 너비를 최대화한다.
• Minimum description length : 가설을 구성할 때 가설의 설명 길이를 최소화합니다. 이는 더 간단한 가설은 더 사실일 가능성이 높다는 가정을 기반으로 하고있다.
• Minimum features: 특정 피쳐가 유용하다는 근거가 없는 한 삭제해야 한다.
• Nearest neighbors: 특징 공간에 있는 작은 이웃의 경우 대부분이 동일한 클래스에 속한다고 가정한다.

 

---

애-매 하게 알던 친구의 개념을 톡톡히 잡고 가는 타임.. 

종종 이렇게 정리하는 시간

아주 좋습니다. 

모각코 화이팅.