'손실함수' 태그의 글 목록
본문 바로가기
728x90
반응형

손실함수4

평균 제곱 오차(Mean Squared Error, MSE) 이전 시간에 오차제곱합의 개념을 설명했습니다. 오차제곱합(Sum of Squares for Error, SSE) 손실함수에서 오차제곱합는 대표적으로 사용되는 기법 중 하나입니다. 이번 글에서는 그 개념에 대해 알아보겠습니다. 오차제곱합을 알아보기 전에, 먼저 오차를 구해보겠습니다. $$ Error = Ture - gogomake.tistory.com 오차제곱합의 수식은 다음과 같습니다. $$ \frac{1}{2} \sum_k (y_k-t_k)^2 $$ 이 오차제곱합을 데이터의 개수 $n$으로 나누면, 평균 제곱 오차(Mean Squared Error, MSE)를 얻을 수 있습니다. 이는 각 데이터 포인트의 오차 제곱의 평균을 나타내며, 수식으로 표현하면 다음과 같습니다. $$ \frac{1}{2} \fr.. 2023. 9. 11.
오차제곱합(Sum of Squares for Error, SSE) 손실함수에서 오차제곱합는 대표적으로 사용되는 기법 중 하나입니다. 이번 글에서는 그 개념에 대해 알아보겠습니다. 오차제곱합을 알아보기 전에, 먼저 오차를 구해보겠습니다. $$ Error = Ture - Pred $$ 정말 간단하죠? 이제 여기서 전체 오차합을 구해봅시다. $$ \sum (True - Pred) $$ 아주 쉽습니다. 그런데 여기서 문제가 있습니다. 바로 오차에 음수가 나오면, 오차의 합의 크기가 작아집니다. 예를 들겠습니다. 오차 1 = 1, 오차 2 = 5, 오차 3 = 4가 있습니다. 이들의 합은 10입니다. 여기서 오차 4(-10)를 추가합니다.그럼 오차의 합은 0이 됩니다. 각각 오차가 있음에도 불구하고, 결과적으로 오차가 없다고 나와서 문제가 생깁니다. 이를 예방하는 방법이 무엇일.. 2023. 9. 10.
교차 엔트로피 오차(Cross Entropy Error, CEE) 손실함수에서 교차엔트로피는 대표적으로 사용되는 기법 중 하나입니다. 이번 글에서는 그 개념에 대해 알아보겠습니다. 교차 엔트로피 오차의 수식은 다음과 같습니다. $$ E = -\sum_{k}t_k\log y_k $$ $t_k$는 정답데이터로, 정답인 경우 1 나머지는 0으로 채워져 있습니다. $y_k$는 예측 확율로, 보통 softmax함수를 사용해서 각각의 값이 0과 1사이 값을 갖습니다. 그리고 그의 합은 1이 됩니다. 그렇다면, '-'부호의 의미가 무엇일까요? 이를 이해하기 위해, 먼저 log 그래프를 살펴보겠습니다. 우리가 알고 있는 log그래프는 검정색 실선입니다. $x$가 0에 가까울수록 음의 무한대에 가까워지고 1에 가까워질수록 0에 근접합니다. 손실함수의 목적은 예측값과 실제값의 차이를 측.. 2023. 9. 8.
손실함수(Loss Function) 이번에는 손실 함수가 무엇인지, 왜 중요한지, 그리고 어떻게 구현하는지에 대해 알아보겠습니다. 손실 함수에는 여러 알고리즘이 있는데 교차 엔트로피 오차, 오차 제곱합, 그리고 평균 제곱 오차를 Python 코드 구현해보겠습니다. 손실함수(Loss Function) 신경망 구현하기 신경망을 구현하기 전, 활성화 함수가 무엇인지와 왜 비선형 함수를 사용해야 하는지에 대해 살펴보겠습니다. 그 다음, 여러 종류의 활성화 함수(계단 함수, 시그모이드 함수, ReLU 함수 등)를 알 gogomake.tistory.com 이전 글에서는 신경망의 기본 구조를 만들었습니다. 하지만, 그 신경망에는 한가지 문제점이 있습니다. 바로 신경망이 스스로 매개변수를 업데이트하지 못한다는 점입니다. 신경망이 정확한 예측을 하려면, .. 2023. 9. 8.
728x90
반응형

티스토리툴바