분야 : 자연어처리 seq2seq 모델은 인코더에서 입력 시퀀스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터 표현으로 압축한다. seq2seq에서는 인코더의 마지막 은닉 상태를 컨텍스트 벡터라고 부른다. 디코더는 이 컨텍스트 벡터를 통해서 출력 시퀀스를 만들어낸다. 어텐션에서 어텐션 값은 종종 인코더의 문맥을 포함하고 있다고 하여, 컨텍스트 벡터(context vector)라고도 불린다. Seq2seq에서와는 다르게, 필요한 정보에만 집중하는 컨텍스트 벡터를 어텐션에서 만들어낸다. 각각의 히든 스테이트에 대한 중요도를 어텐션으로 측정해주어 곱해주기 때문이다.