시퀀스 투 시퀀스 + 어텐션 모델

0. word to word translation

• 번역의 가장 간단한 방법은? 각각의 단어를 번역하는 것
• 문제1) English and Korean has differnet word order
  • I love you →번역 → 난 사랑해 널 (어색)
• 문제2) output always have same word count with input, while it should not!
  • How are you (3 words) → 잘 지내 (2words)

1. RNN

• Context vector: I love you 라는 information을 함축하고 있음

2. Seqence to Seqence

• 문맥 벡터(Context vector) 로부터 번역을 시작
• 가 나올 때까지 번역을 이어감
• 이렇게하면 단어가 세개들어왔는데, 두개만에 끝날 수도 있겠고, 학습과정에서 S V O → S O V 도 가능
• 이런걸 인코더, 디코더 아키텍쳐 또는 시퀀스투스퀀스 모델이라고 함
• Encoder의 역할: 각 단어를 순차적으로 받음으로써 최종적으로 context vector를 만듦
• Decoder의 역할: 문맥 벡터를 받아서 Start 부터 End 까지 받아서 그 안에 있는 단어들의 순서기반 기계번역을 시작
• 문제: 단어의 사이즈가 적을 경우는 문제가 없는데, 단어의 사이즈가 많을 때 문제가 생김
  • 왜냐하면 문맥 벡터가 하나의 고정된 사이즈의 벡터이기 때문
  • 컨텍스트 벡터 사이즈가 충분히 크지 않다면 모든 정보를 함축하기에는 사이즈가 작다
  • 어떻게 해결? attention mechanism 활용

3. 인코더 디코더 , 어텐션 비교

1) 인코더 디코더

• 인코더 디코더 아키텍쳐에서는 인코더에서 나왔던 모든 state들을 활용하지 않고
• 단순히 마지막에 나온 벡터를 context vector라고 불렀고
• 하나의 context vector에서 translation이 이루어짐

2) 어텐션

• (특징1) Encode info into sequence of vectors not in a single context vector
  • 인코더에서 나온 각각의, 모든 Rnn Cell의 state를 활용하자는 것
  • 이 state를 활용하여 dinamic 하게 각각의 state별로 cotext vector를 만들어가지고 번역을 하면, 고정된 사이즈의 context vector를 문제를 해결할 수 있음
  • 더이상 하나의 고정된 사이즈의 context vector가 아님
  • 각각의 state별로 context vector를 새롭게 만드는 것
• (특징2) Chooses a subset of these vectors adaptively while decoding the translation
  • 인코더에 있던 모든 state 들 속에서 우리가 집중해야될 단어들에게만 집중할 수 있는mechanism을 따로 설계할 수 있음

3) I love you 를 난 널사랑해로 번역하는 과정

• FC : 인코더 part에서 나왔던 모든 rnn cell의 state 들을 활용함
• FC(h3) : 최종으로 나왔던 h3도 넣음, 아직 디코더에서 나온 state 값이 없기 때문
• Softmax : 각 인코더에 있던 rnn cell의 state 들의 score들을 생성 ⇒ Attention weight
• cv1(첫번째 context vector) : rnn cell의 각 state * attention weight 들의 합
• cv1을 와 함께 디코더 part의 첫번째 rnn cell에 넣어줌
• ouput : ‘난’
• dh1 생성

• dh1 : 디코더의 state 값 dh1이 FC layer에 들어감 ⇒ FC(dh1)
• cv2: cv1와 다른 context vector
• cv2를 ‘난’ 과 함께 디코더의 두번째 rnn cell에 넣어줌
• output : ‘널’
• dh2 생성

• dh2: 디코더의 state값 dh2를 FC layer에 넣음 ⇒ FC(dh2)
• cv3 생성
• cv3를 ‘널’ 과 함께 디코더의 세번째 rnn cell에 넣어줌
• output: ‘사랑해’
• dh3 생성

• dh3: 디코더의 state값 dh3를 FC layer에 넣음 ⇒ FC(dh3)
• cv4 생성
• ouput :
• 번역 끝

key point

• attention weight는 인코더에서 나온 State에서 어디를 focus해서 볼 것인지 본다

요약

• 시퀀스투시퀀스는 인코더, 디코더 아키텍쳐이다
• 시퀀스투시퀀스는 인코더에서 나왔던 모든 state들을 활용하지 않고, 단순히 마지막에 나온 벡터인 context vector 만을 사용해서 번역을 한다.
• 이러면 단어의 사이즈가 커질 경우, 모든 단어의 정보를 함축하기에는 사이즈가 작다.
• 이를 해결한게 Attention Mechanism이다.
• Attention Mechanism은 각각의 rnn cell의 state별로 context vector를 새롭게 만들어 활용하기 때문에 번역에 각각의 state들을 모두 활용할 수 있다.

References

• https://www.youtube.com/watch?v=WsQLdu2JMgI
• https://arxiv.org/pdf/1409.0473.pdf