귀납적 편향이란?

cs182 강의를 듣고 함께 들은 내용을 복습하며 의견을 나누는 스터디를 시작하였다. 1, 2강은 딥러닝과 머신러닝 등에 대한 소개들로 이루어져 있어 이미 알고 있는 내용이 많았으나 귀납적 편향은 익숙하지 않은 용어였다. 강의를 들은 내용과 스터디를 통해서 공유 되었던 의견들을 토대로 나의 관점에서 다시 정리하였다.

귀납적 편향(inductive bias) 또는 학습 편향(learning bias)는 학습 알고리즘에서 학습자가 아직 접하지 않은 주어진 입력의 출력을 예측하기 위해 사용하는 일련의 가정이다.

• 귀납: 인간의 다양한 경험, 실천, 실험 등의 결과를 일반화하는 사고 방식
• 귀납논증: 구체적 사실로부터 보편적 사실을 추론해내는 방식
• 편향: 한쪽으로 치우침
• 통계적 편향: 결과와 사실 간의 차이를 유발하는 체계적인 경향

귀납적 편향이 필요한 알고리즘의 한계

학습 알고리즘의 가장 간단한 예인 선형회귀 분석으로 생각해보면 위에서 말한 일련의 가정은 선형성, 독립성, 등분산성, 정규성일 것이다. 선형 회귀 분석을 적용하기 위해서는 데이터가 위의 가정사항을 만족하고 있어야 할 것이다. 만일 위 조건을 만족하지 않는 다면 조건을 위한 조치가 필요할 것이다. 이러한 조치에는 Feature Engineering이나 모델 개선, 적한한 모델로의 변경 같은 것들이 있을 것이다. 귀납적 편향을 줄일 수 있는 모델, 다시말해 가정을 줄일 수 있는 모델을 만들 수 있다면 일반화하여 편리하게 사용할 수 있을 것이다. 딥러닝이 가지는 한가지 큰 장점과 목표는 귀납적 편향과 관련이 있다. 딥러닝은 깊은 여러 개의 층을 통과하며 표현(representation)이 잘 된다. 이 과정은 앞서 말한 가정사항을 충족하기 위한 Feature Engineering과 유사한 과정을 모델에게 맡기는 것이라고 이해해 볼 수도 있을 것이다.

강의에서는 귀납적 편향을 완전히 배제하는 것은 어렵다고 한다. 하지만 최대한 줄일 수는 있을 것이다.

딥러닝 모델 발전 과정에서의 귀납적 편향 제거

예전에 Mask R-CNN과 관련된 학습을 하였다. 이것과 관련해서 알고리즘의 발전 과정을 간단하게 보면 아래와 같다.

FCN > R-CNN > Fast R-CNN > Faster R-CNN > Mask R-CNN

이러한 알고리즘이 발전되는 과정에서 모델 성능에 대한 향상 뿐만 아니라 귀납적 편향이 크게 줄어들게 된다. 이미지 내에서 객체가 있을 위치를 찾는 ROI 과정이 가정 사항이 필요한 selective search에서 RPN(region proposal network)로 대체된다. selective search를 쓰는 알고리즘에서는 가정 사항이 위배되면 모델의 전체적인 성능이 저하될 것이다. 이를 RPN으로 대체하면서 가정 사항에 대한 제약을 완화하고 조금 더 많은 이미지들을 높은 성능으로 목표로 하는 task들을 달성할 수 있을 것이다.

LSTM이나 CNN 같이 각각 시계열이나 이미지에 쓰던 모형들이 전부 Transformer 계열들로 대체되었다는 얘기를 많이 들었다. 이것들에 대해서도 귀납적 편향을 줄이고 있는 과정으로도 볼 수 있을 것이다.

예전에 공부할 때는 이것을 한 단어로 표현할 방법이 없었다. 지금은 귀납적 편향 제거로 간단하게 설명 가능할 것이다. 예전에 공부했던 것이 새롭게 정리되는 느낌이다. 새로운 용어에 대해 익히면서 딥러닝을 바라보는 시각이 작게나마 또렷해진 느낌을 받는다.