교차 엔트로피 오차(Cross Entropy Error, CEE)

 

 

손실함수에서 교차엔트로피는 대표적으로 사용되는 기법 중 하나입니다. 이번 글에서는 그 개념에 대해 알아보겠습니다.

 

교차 엔트로피 오차의 수식은 다음과 같습니다.

$$ E = -\sum_{k}t_k\log y_k  $$

 

$t_k$는 정답데이터로, 정답인 경우 1 나머지는 0으로 채워져 있습니다. $y_k$는 예측 확율로, 보통 softmax함수를 사용해서 각각의 값이 0과 1사이 값을 갖습니다. 그리고 그의 합은 1이 됩니다. 그렇다면, '-'부호의 의미가 무엇일까요?

 

이를 이해하기 위해, 먼저 log 그래프를 살펴보겠습니다. 우리가 알고 있는 log그래프는 검정색 실선입니다. $x$가 0에 가까울수록 음의 무한대에 가까워지고 1에 가까워질수록 0에 근접합니다.

 

손실함수의 목적은 예측값과 실제값의 차이를 측정하는 것입니다. 차이가 작다면, 모델이 잘 학습했다고 판단할 수 있습니다. 만약, '-'부호가 없다면 이런 문제가 발생합니다. 정답이 1이고, 예측한 결과가 1이면 오차는 0이 됩니다. 하지만, 반대로 정답이 1인데 예측한 결과가 0.1이라면 오차가 음의 무한이 됩니다. 0과 음의 무한 중 작은 수는 음의 무한입니다. 실제로 큰 오차가 발생했음에도 오히려 값이 작게 나타납니다. 이러한 문제를 방지하지하기 위해 수식에 '-'부호를 붙여 사용합니다. 그래프는 빨간색 실선입니다.