ML/NLP
Attention Mechanism์ด๋?
1. Sequence-to-sequence(Seq2seq) ์ํ์ค๋ฅผ ๋ค๋ฅธ ์ํ์ค๋ก! : ์ด๋ค ์ํ์ค๋ฅผ ์
๋ ฅ๋ฐ์ผ๋ฉด ๊ทธ ์ํ์ค๋ฅผ ๋ค๋ฅธ ์ํ์ค๋ฅผ ๋ณํ์ํค๋ ๋ชจ๋ธ๋ง Encoder: ๋ญ๊ฐ๋ฅผ ์ดํดํ๋ ๋ชจ๋ธ Decoder: ๋ญ๊ฐ๋ฅผ ์์ฑํ๋ ๋ชจ๋ธ ์ธ์ฝ๋๊ฐ ์
๋ ฅ๋ฐ๊ณ ๋ด์ฉ์ ์ดํดํ๊ณ ๋ง๋ ๊ฒฐ๊ณผ๋ฅผ ๋ง๋ ๊ฒฐ๊ณผ๊ฐ Context vector(๊ฐ๋ฐ์๊ฐ ์ฌ์ด์ฆ๋ฅผ ์ง์ ) ์ปจํ
์คํธ ๋ฐฑํฐ๋ฅผ ์
๋ ฅ๋ฐ์์ ๋์ฝ๋๊ฐ ๋ฌธ์ฅ์ ์์ฑ ๋ฌธ์ : ์
๋ ฅ์ ๊ธธ์ด๊ฐ ๊ธธ์ด๋ ๊ณ ์ ๋ ์ฌ์ด์ฆ์ context ๋ฒกํฐ๋ฅผ ์ฌ์ฉํด์ผํจ -> ์ธ์ฝ๋์ ๋ค์ด๊ฐ๋ ๋ด์ฉ์ด ๋ง์ผ๋ฉด ์ ๋ถ ์ปจํ
์คํธ ๋ฒกํฐ์ ์ ์ฅํ๊ธฐ ๋ถ๊ฐ ์ ๋ถ ์ดํดํ๋ค์์ ํ๋ฒ์ ์ปจํ
์คํธ ๋ฒกํฐ๋ฅผ ๋ง๋ค์ด๋ด๋ ๊ฒ์ ๋นํจ์จ์ ! ๊ทธ๋ฌ์ง๋ง๊ณ ํ ๋จ์ด, ํ ํฐ์ ๋ณผ ๋๋ง๋ค ์ปจํ
์คํธ ๋ฒกํฐ๋ฅผ ๋ง๋ค์ด์ ์ฃผ๋ฉด, ๋์ฝ๋๊ฐ ๋ณด๊ณ ๋์ ์ค์ํ ๊ฒ๋ง ..
