Attention is All You Need

https://arxiv.org/pdf/1706.03762.pdf

 

모델 생성 배경 

기존 RNN의 문제점 : Long term dependency, Gradient Vanishing, Gradient Exploding Problem

Seq2Seq 모델의 문제점 : Context Vector의 정보 손실 문제, RNN에 의존적 

 

Transformer는 self-attention mechanism을 통해서 이를 해결함 

 

- Long term dependency이 무엇이고 어떤 이유로 발생하는지, 어느 과정에서 발생하는지, 이에 대한 해결방안은 무엇인지 

- Gradient Vanishing, Exploding 문제도 마찬가지

- Seq2Seq의 Context Vector에 관한 문제 및 전반적인 한계점 파악하고 

- 어떤 점으로 Transformer가 이를 해결하려 했는지  

모델 구조 설명 

 

논문 내용 정리 

 

의문점 

Transformer의 문제점은 무엇일까?

Transformer는 어디에 사용될까?