오차제곱합(Sum of Squares for Error, SSE)

손실함수에서 오차제곱합는 대표적으로 사용되는 기법 중 하나입니다. 이번 글에서는 그 개념에 대해 알아보겠습니다.

 

오차제곱합을 알아보기 전에, 먼저 오차를 구해보겠습니다.

$$ Error = Ture  - Pred $$

정말 간단하죠? 이제 여기서 전체 오차합을 구해봅시다.

$$ \sum (True - Pred) $$

아주 쉽습니다. 그런데 여기서 문제가 있습니다.

바로 오차에 음수가 나오면, 오차의 합의 크기가 작아집니다.

예를 들겠습니다. 오차 1 = 1, 오차 2 = 5, 오차 3 = 4가 있습니다. 이들의 합은 10입니다. 여기서 오차 4(-10)를 추가합니다.그럼 오차의 합은 0이 됩니다. 각각 오차가 있음에도 불구하고, 결과적으로 오차가 없다고 나와서 문제가 생깁니다.

이를 예방하는 방법이 무엇일까요?

바로! 오차에 절댓값 혹은 제곱을 해서 양수로 만들면 됩니다. 여기서는 오차제곱합을 설명하겠습니다.

 

오차제곱합의 수식은 다음과 같습니다.

$$ \frac{1}{2} \sum_k (y_k-t_k)^2 $$

 

각각의 오차를 구한 후에 제곱을 하여 모두 더함으로써 오차 제곱합을 구하게 됩니다. 그런데 $\frac{1}{2}$를 곱하는 이유가 무엇일까요? 이유는, 딥러닝에서 오차를 이용하여 기울기를 구합니다. 이 때 미분하면서 생기는 2를 없애주기 위해 $\frac{1}{2}$를 사용합니다.