728x90 반응형 CEE1 교차 엔트로피 오차(Cross Entropy Error, CEE) 손실함수에서 교차엔트로피는 대표적으로 사용되는 기법 중 하나입니다. 이번 글에서는 그 개념에 대해 알아보겠습니다. 교차 엔트로피 오차의 수식은 다음과 같습니다. $$ E = -\sum_{k}t_k\log y_k $$ $t_k$는 정답데이터로, 정답인 경우 1 나머지는 0으로 채워져 있습니다. $y_k$는 예측 확율로, 보통 softmax함수를 사용해서 각각의 값이 0과 1사이 값을 갖습니다. 그리고 그의 합은 1이 됩니다. 그렇다면, '-'부호의 의미가 무엇일까요? 이를 이해하기 위해, 먼저 log 그래프를 살펴보겠습니다. 우리가 알고 있는 log그래프는 검정색 실선입니다. $x$가 0에 가까울수록 음의 무한대에 가까워지고 1에 가까워질수록 0에 근접합니다. 손실함수의 목적은 예측값과 실제값의 차이를 측.. 2023. 9. 8. 이전 1 다음 728x90 반응형
