728x90 반응형 nlp4 [이어드림스쿨 3차 모의대회] 자연스러운 영한 번역문 생성 과제 2, 3일차 자연스러운 영한 번역문 생성 과제 이번에 진행한 과정은 다음과 같습니다. GPT API를 이용한 FewShot Learing 모델의 기본적인 성능 테스트 GPT API를 이용한 FewShot Learning 먼저, pip install를 진행합니다. !pip install openai import os import openai openai.api_key = "api" response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "You will be provided with a sentence in English, and your task is to translate it int.. 2023. 11. 1. [이어드림스쿨 3차 모의대회] 자연스러운 영한 번역문 생성 과제 1일차 자연스러운 영한 번역문 생성 과제 이어드림 마지막 모의 경진 대회가 시작했습니다. 이번 주제는 NLP로 영어를 한글로 번역하는 과제입니다. NLP는 자신 없지만, 최선을 다해서 Top 10안에 도달하는 것이 목표입니다. 대회설명 PDF파일로 제공된 대회설명입니다. train데이터가 7만여건, test데이터가 1만여 건으로 데이터가 굉장히 많습니다. train데이터 일부입니다. text데이터를 이용해서 target으로 번역해야 합니다. 제한사항입니다. 추가로 외부데이터는 사용불가능합니다. 평가지표는 번역평가에 자주 이용하는 BLEU입니다. 파파고 API 사용 BART기반 모델을 사용하니 train속도가 굉장히 느립니다. 그래서 train하는 동안 파파고API를 사용해서 제출해보려고 합니다. 먼저, API를.. 2023. 10. 30. Self-Attention와 Multi-Head Attention Self- Attention Attention 자연어 처리(NLP) 분야에서 'Attention'은 혁신적인 발전을 가져왔습니다. 기존의 Seq2Seq 모델에서의 한계를 극복하며 더욱 정밀하고 정교한 번역이 가능해졌습니다. 이번에는 Attention 메커니즘의 기 gogomake.tistory.com 저번 포스팅에서 Attention의 개념과 계산하는 과정을 설명했습니다. 이번 포스팅에서는 이어서 Query, Key, Value를 설명하고 Self-Attention에 대해 설명하겠습니다. 만약 Attention 개념이 생소하다면, 위 포스팅을 다시 참고하시길 바랍니다. Query, Key, Value 이전에 설명한 Attention의 과정입니다. 여기서 Query, Key 그리고 Value를 표시하면 다.. 2023. 10. 4. Attention 자연어 처리(NLP) 분야에서 'Attention'은 혁신적인 발전을 가져왔습니다. 기존의 Seq2Seq 모델에서의 한계를 극복하며 더욱 정밀하고 정교한 번역이 가능해졌습니다. 이번에는 Attention 메커니즘의 기본 원리와 그 작동 방식에 대해 상세히 알아보도록 하겠습니다. Attention Attention은 Seq2Seq의 문제점을 극복하기 위해 나타났습니다. Seq2Seq는 NLP에서 널리 사용하는 구조로, 입력 시퀀스를 Encoder에 전달하고, 그 결과를 Decoder로 출력하여 변환된 시퀀스를 얻는 구조입니다. Seq2Seq의 주요 문제점은 고정된 크기의 Latent vector가 긴 입력정보를 충분히 담지 못한다는 것입니다. 즉, 정보의 손실이 발생할 수 있습니다. 이를 해결하기 위해 A.. 2023. 9. 23. 이전 1 다음 728x90 반응형
