seq2seq2 [자연어분석] Seq2Seq에 Attention 활용하기 RNN 혹은 LSTM과 같은 순차적 모델을 활용해, 언어를 번역하는 것은 아래 포스팅해서 해봤다. [자연어 처리] Seq2Seq 로 자연어 번역하기 언어 처리를 위해서는 시계열성이 반영되는 RNN이나 LSTM, GRU등을 사용해왔다. Seq2Seq는 Machine Translation을 위해 구글이 개발한 알고리즘으로 위의 알고리즘을 Encoder와 Decoder로 연결하여 하나의 벡터 magoker.tistory.com 하지만, 단순히 Seq2Seq를 사용하는 것에는 아래의 문제가 존재한다. 입력 Sequence가 매우 길면, 처음에 나온 Token 정보가 희석된다. Context Vector 사이즈가 고정되어 있어, 긴 Sequence 정보를 담기가 어렵다. 모든 Token이 영향을 주게 되므로, 중.. 2021. 11. 30. [자연어 처리] Seq2Seq 로 자연어 번역하기 언어 처리를 위해서는 시계열성이 반영되는 RNN이나 LSTM, GRU등을 사용해왔다. Seq2Seq는 Machine Translation을 위해 구글이 개발한 알고리즘으로 위의 알고리즘을 Encoder와 Decoder로 연결하여 하나의 벡터로 만들어 학습하는 알고리즘이다. 역시 wikidocs.net의 문서가 잘되어 있어 이를 참조했다베꼈다. 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 번역할 문장을 인코딩해서 나온 신경망을 디코더의 입력으로 연결하는 것이다. 'I am a student'의 순서가 나오면 'je suis etudiant'라고 인식하는 것인데, 단어 자체를 분석하여 인식하기보다, 이를 테면 통문장 영어처럼 외워 번역한다고 보면 맞을까? seq2seq은 atte.. 2020. 8. 5. 이전 1 다음
