728x90 반응형 TRANSFORMER2 Self-Attention와 Multi-Head Attention Self- Attention Attention 자연어 처리(NLP) 분야에서 'Attention'은 혁신적인 발전을 가져왔습니다. 기존의 Seq2Seq 모델에서의 한계를 극복하며 더욱 정밀하고 정교한 번역이 가능해졌습니다. 이번에는 Attention 메커니즘의 기 gogomake.tistory.com 저번 포스팅에서 Attention의 개념과 계산하는 과정을 설명했습니다. 이번 포스팅에서는 이어서 Query, Key, Value를 설명하고 Self-Attention에 대해 설명하겠습니다. 만약 Attention 개념이 생소하다면, 위 포스팅을 다시 참고하시길 바랍니다. Query, Key, Value 이전에 설명한 Attention의 과정입니다. 여기서 Query, Key 그리고 Value를 표시하면 다.. 2023. 10. 4. 23.09.12 transformer 너무 어렵다. 오늘도 어김없이 운동으로 하루를 시작했다. 오늘은 가슴운동하는 날이다. 푸시업은 기초 운동으로 가볍게 했는데 문제는 월워크다. 진짜 진짜 힘들다. 숨이 터질 것 같다. 처음 세트도 5개를 겨우 한다. 일단, 나의 목표는 3세트를 완전하게 하는 것이 목표다. 오늘도 '바다가 들리는 편의점'을 읽으면서 이어드림스쿨에 갔다. 오늘 내용은 흥미로웠는데 선생님과 학생이 그 편의점에서 만나면 얼마나 재미있을지 기대가 된다.(선생님은 학생 말을 듣고 현타가 와서 선생님을 그만둔 상태다. 그리고 선생님한테 말을 한 학생이 아니지만, 그 학생의 친구가 간식을 먹기위해 매주 화요일마다 편의점에 향한다. 언제가 이 둘이 만날것 같다.) 오늘 수업은 어제 내용을 복습하고 딥러닝의 CV 발전사를 공부했다. 문제는 실습이다. 어.. 2023. 9. 13. 이전 1 다음 728x90 반응형
