728x90 반응형 self-attention2 Self-Attention와 Multi-Head Attention Self- Attention Attention 자연어 처리(NLP) 분야에서 'Attention'은 혁신적인 발전을 가져왔습니다. 기존의 Seq2Seq 모델에서의 한계를 극복하며 더욱 정밀하고 정교한 번역이 가능해졌습니다. 이번에는 Attention 메커니즘의 기 gogomake.tistory.com 저번 포스팅에서 Attention의 개념과 계산하는 과정을 설명했습니다. 이번 포스팅에서는 이어서 Query, Key, Value를 설명하고 Self-Attention에 대해 설명하겠습니다. 만약 Attention 개념이 생소하다면, 위 포스팅을 다시 참고하시길 바랍니다. Query, Key, Value 이전에 설명한 Attention의 과정입니다. 여기서 Query, Key 그리고 Value를 표시하면 다.. 2023. 10. 4. [하루 마무리] 23.09.26 "역시 기초가 중요하다." 오늘의 운동 오늘의 아침 운동은 상체운동입니다. 오늘은 '월워킹' 대신 엎드려 걷기를 시작했습니다. 원래는 한 사람이 다리를 붙잡고 팔로만 걸어야 합니다. 하지만, 저는 혼자서 운동해서 주변에 있는 '밸런스볼'을 이용했습니다. 다리를 볼 위에 두고 팔로 걸었습니다. 앞으로 갈 때마다 볼은 저의 몸과 멀어졌고, 멀어질 때마다 볼을 다리 쪽으로 이동해야 했습니다. 그래서 팔보다 복근에 자극이 왔습니다.(이게 아닌데;;;) 오늘 운동 대.실.패. ㅠㅠ 다음에는 볼이 움직이는 범위까지 앞 뒤로 왕복해서 움직여서 해보겠습니다. 오늘의 책 '자본주의' 오늘도 '자본주의'를 읽었습니다. 오늘 읽은 내용은 챕터 3 '나도 모르게 지갑이 털리는 소비 마케팅의 비밀'입니다. 내용을 요약하면 사람들이 마케팅으로 현혹해서 과.. 2023. 9. 27. 이전 1 다음 728x90 반응형
