728x90 반응형 attention6 Self-Attention와 Multi-Head Attention Self- Attention Attention 자연어 처리(NLP) 분야에서 'Attention'은 혁신적인 발전을 가져왔습니다. 기존의 Seq2Seq 모델에서의 한계를 극복하며 더욱 정밀하고 정교한 번역이 가능해졌습니다. 이번에는 Attention 메커니즘의 기 gogomake.tistory.com 저번 포스팅에서 Attention의 개념과 계산하는 과정을 설명했습니다. 이번 포스팅에서는 이어서 Query, Key, Value를 설명하고 Self-Attention에 대해 설명하겠습니다. 만약 Attention 개념이 생소하다면, 위 포스팅을 다시 참고하시길 바랍니다. Query, Key, Value 이전에 설명한 Attention의 과정입니다. 여기서 Query, Key 그리고 Value를 표시하면 다.. 2023. 10. 4. [하루 마무리] 23.09.23 평화로운 토요일, 오늘도 조금씩 앞으로 Attention! 포스팅 Attention 자연어 처리(NLP) 분야에서 'Attention'은 혁신적인 발전을 가져왔습니다. 기존의 Seq2Seq 모델에서의 한계를 극복하며 더욱 정밀하고 정교한 번역이 가능해졌습니다. 이번에는 Attention 메커니즘의 기 gogomake.tistory.com 오늘 드디어 Attention을 포스팅했습니다!! 정말 어려운 내용이라서 이해하기 어려웠습니다. 그리고 이해했으니 내용을 정리하느라 블로그에 포스팅하기 위해 자료를 만드느라 오래 걸렸습니다. 포스팅하니 엄청 뿌듯하네요^^ Yolo V2 논문 읽기 오후에는 청소를 하고 드라마를 보느라 저녁시간에 Yolo 시리즈를 비교분석했습니다. 비교분석하면서 느낀 점이 있습니다. '음... 이걸 다 비교분석하려면, 알아야 하.. 2023. 9. 23. Attention 자연어 처리(NLP) 분야에서 'Attention'은 혁신적인 발전을 가져왔습니다. 기존의 Seq2Seq 모델에서의 한계를 극복하며 더욱 정밀하고 정교한 번역이 가능해졌습니다. 이번에는 Attention 메커니즘의 기본 원리와 그 작동 방식에 대해 상세히 알아보도록 하겠습니다. Attention Attention은 Seq2Seq의 문제점을 극복하기 위해 나타났습니다. Seq2Seq는 NLP에서 널리 사용하는 구조로, 입력 시퀀스를 Encoder에 전달하고, 그 결과를 Decoder로 출력하여 변환된 시퀀스를 얻는 구조입니다. Seq2Seq의 주요 문제점은 고정된 크기의 Latent vector가 긴 입력정보를 충분히 담지 못한다는 것입니다. 즉, 정보의 손실이 발생할 수 있습니다. 이를 해결하기 위해 A.. 2023. 9. 23. [하루 마무리] 23.09.22 하나 정복했다 오늘의 운동 짹짹짹 소리를 들으면서 일어나고 싶었지만, 빅스비 알람 소리를 듣고 오늘도 아침운동하러 갑니다. 그나저나 오늘 날씨가 춥네요. 밖으로 나가자마자 '오우~ 춥다.'라고 느꼈습니다. 주말에 옷정리해야 하나 봅니다.(귀찮다...) 드디어!!! 스쿼트를 했습니다!!! 이번에 할 때는 무거운 것부터 시작하고 점점 무게를 낮춰서 진행했습니다. 확실히 체력이 있을 때 무거운 것부터 하니까 안정적으로 할 수 있었습니다. 그리고 오늘 마침내 머신 하나를 정복했습니다!! 바로, 이너 싸이 머신입니다. 그동안 55kg에서 손의 도움을 받아서 했는데 이번에는 60kg을 도움 없이 마무리했습니다.!!(뿌듯 뿌듯) 마지막으로 크런치를 했습니다. 그냥 크런치가 아니라 중량 디클라인 크런치입니다. 첫 번째 사진을 두 번.. 2023. 9. 22. [하루 마무리] 23.09.21 조금씩 조금씩 앞으로 오늘의 운동 새벽 6시 오늘도 아침운동을 위해 헬스장으로 걸어갑니다. 오늘은 제가 제일 좋아하는 등운동하는 날입니다. 오늘은 풀업 자세가 잘 나와서 좋았습니다. 그리고 티바 로우 머신은 30kg부터 자세를 잡고 있습니다. 35kg은 자세가 무너지네요;;; 열심히 운동을 하고 '이어드림스쿨'에 가기 위해 중동역으로 향하는 길입니다. 신호를 기다리고 있을 때 하늘을 보니 대박! 하늘 좀 보세요!! 엄청 이쁩니다!! 역시, 비 오고 다음날은 하늘이 이뻐서 좋습니다! 여러분도 비오고 다음날, 아침 하늘을 바라보는 것을 추천합니다! '자본주의' 어제 다짐한 대로 읽었던 내용을 다시 읽었습니다. 은행은 확실하게 대출로 돈을 창조한다는 것을 알게 되었습니다. 없는 돈을 계속 창조하면 인플레이션이 발생합니다. 이를 예.. 2023. 9. 21. [하루 마무리] 23.09.20 나는 시간을 만들고 있다. 오늘의 운동 아침 6시, 비몽사몽한 몸으로 헬스장에 가서 하체운동으로 하루를 시작합니다!! 아침에는 바로 운동하면 어지럽기 때문에 스트레칭 후 유산소 1km를 달리고 몸을 풀어줍니다. 그리고 본격적으로 하체운동을 시작합니다. 오늘은 덤벨런지를 했습니다. 맨몸으로 왼다리 20회 오른 다리 20회를 하고 나면 온몸에 땀이 흐르기 시작합니다. 2분 휴식 후 덤벨 10kg 두 개를 두 손으로 잡고 덜덜 떨리는 다리로 런지를 시작합니다. 이때부터 정신이 혼미해집니다. 하나하나가 고통스럽습니다.(크~ 맛있다!!!) 정신을 못 차리면 중심을 잃어서 정신을 똑바로 차려야 합니다! 마지막, 한 개!!!! 마무리하면 입고 있는 옷은 땀으로 다 젖어있습니다. 3세트도 똑같이 했습니다. 런지가 정말 어렵고 힘든 운동입니다. .. 2023. 9. 20. 이전 1 다음 728x90 반응형
