attention is all you need1 [논문 리뷰] Transformer (Attention Is All You Need) 요약, 코드, 구현 논문을 상세히 번역하고 한단어씩 해석해주는 포스팅은 많다. 나는 논문을 누구나 알아듣도록 쉽고 간결하게 전달하고자 한다. Transformer Attention Is All You Need VASWANI, Ashish, et al. Attention is all you need. Advances in neural information processing systems, 2017, 30. 논문 원문 링크 저자의 의도 CNN과 RNN에서 인코더와 디코더가 널리 사용되는데, 인코더 디코더 로만 구성된 새로운 간단한 아키텍쳐를 만들고자 했다. 특히 RNN에서 길이가 긴 시퀸스는 학습이 잘 안되는 경향이 있었다. 길이가 길어도 학습이 잘 되는 모델을 만들고자 했다. 기존 문제점 1. 기존의 RNN에서 길이가 긴 .. 2023. 3. 14. 이전 1 다음
