Attention Mechanism이란?

1. Sequence-to-sequence(Seq2seq)

• 시퀀스를 다른 시퀀스로! : 어떤 시퀀스를 입력받으면 그 시퀀스를 다른 시퀀스를 변환시키는 모델링
• Encoder: 뭔가를 이해하는 모델
• Decoder: 뭔가를 생성하는 모델
• 인코더가 입력받고 내용을 이해하고 만든 결과를 만든 결과가 Context vector(개발자가 사이즈를 지정)
• 컨텍스트 백터를 입력받아서 디코더가 문장을 생성
• 문제: 입력의 길이가 길어도 고정된 사이즈의 context 벡터를 사용해야함 -> 인코더에 들어가는 내용이 많으면 전부 컨텍스트 벡터에 저장하기 불가
  • 전부 이해한다음에 한번에 컨텍스트 벡터를 만들어내는 것은 비효율적!
  • 그러지말고 한 단어, 토큰을 볼 때마다 컨텍스트 벡터를 만들어서 주면, 디코더가 보고나서 중요한 것만 뽑아서 쓰겠다.
  • 이게 Attention machanism

2. Attention Mechanism

1) Key vector를 생성한다.

각 단어(토큰)을 벡터화한다.

• Key
  • Encoder hidden state
  • 인코더가 각 단어(토큰)마다 이해한 내용

2) Query와 Key를 dot product

디코더가 지금까지 문장을 생성하면서 정리해온 내용인, query를 가져와서 Key와 dot product하여 유사도를 구한다.

• Query
  • Decoder hidden state
  • 디코더가 지금까지 문장을 생성하면서 정리해온 내용
  • 디코더가 특정 단어(토큰)을 번역해야할 시점이라고 가정할 때, 그 전까지 정리해온 내용들을 가져온다고 생각하면됨 (내용정리가 어떻게 될지는 뒤에서 설명)
    
    
    
  • 왜 Query라고 부르는지?
    • 검색할 때, 쿼리를 이용해서 원하는 결과를 찾아냄
    • 디코더도 쿼리를 이용해서 중요한 key들을 찾음
      
      
      
  • 중요한 Key를 찾기 위한 도구
    • query와 key를 doc product 수행 ⇒ 유사도 score
    • 두 벡터가 사이즈가 안맞기 때문에 하나의 벡터를 transpose 해서 doc product 진행
      • [1,vec_size][vec_size1]
    • 계산하면 각 key별로 유사도
    • dot product가 왜 유사도일까?
      • dot product(내적)을 한다는 것은 한 벡터를 다른 벡터에 정사영한 것의 길이를 곱하는 것
      • query 벡터에 Key를 정사영해서 둘의 길이를 곱하는 것
      • 비슷한 방향과 비슷한 크기를 가진 벡터는 내적값이 커지기 때문에 유사도로 사용하는 것이 타당

3) 구한 score에 softmax를 취해서 0~1 사이의 값으로 만든다.

4) 그 다음 Key vector와 곱해서 Value를 만든다

• Value
  • Query와 key 를 이용해서 score를 구한 후, softmax를 취한 값에 다시 Key vector를 곱한 값
  • aliment vector
  • Key별로 하나씩 있어서 이름이 value → python dictionary 와 비슷
  • score의 값이 클수록 key vector의 원래 형태가 더 많이 남아있음
  • ‘나는’ 의 vector ⇒ [1,2,9]
  • score ⇒ 0.2
  • value = [0.2,0.4, 1.8]
  • 만약 score가 0이라면 value vector는 0이 될 것

5) value들을 모두 더해서 context vector를 만든다.

• context vector
  • Value값들을 모두 더하기
  • ‘나는’ ⇒ [1,2,9] x 0.2 = [0.2,0.4, 0.9]
  • ‘오늘’ ⇒ [9,1,1] x 0.8 = [7.2, 0.8, 0.8]
  • 나머지 토큰들은 score가 0이라고 가정한다면 나머지는 [0,0,0]
  • context vector = [7.4,1.2,1.7]
  • context vector에는 score값이 가장 컷던 ‘오늘’ 토큰의 value값의 영향을 받아, 첫번째요소가 가장 큰 값을 가지게 됨

6) Value vector를 디코더에 입력한다.

디코더가 이전스텝까지 정리한 벡터들과 concat한다.

• 어텐션을 이용하는 방법은 많음
• 여기서는 concat으로 설명

결론: 어텐션 메커니즘은 인코더가 단어(토큰) 단위로 정리한 벡터 중에서 디코더가 중요한 벡터를 골라서 쓰는 방법입니다.

3. References

• https://www.youtube.com/watch?v=KQfvEg-fGMw