본문 바로가기

inistory

Visits

Today

Yesterday

Recent Posts

Popular Posts

Recent Comments

ML/NLP

트랜스포머 (Attention is all you need)

ML/NLP 트랜스포머 (Attention is all you need) 1. 개요 인코더-디코더 구조를 발전시킨 딥러닝 모델 소개 RNN을 사용하지 않음 독일어, 프랑스어로 번역하는 항목에서 학습속도, 성능 뛰어남 왜 더 빠르게 학습? RNN을 사용하지 않아서 병렬화(Parallelization) → 일을 최대한 한 방에 처리 RNN이 순차적으로 첫번째 입력된 단어부터, 마지막 단어까지 계산하여서 입력된 단어들을 인코딩하는 반면, transformer는 한방에 이과정을 처리 어텐션 메커니즘 고정된 크기의 context vector 를 사용하지 않도록 기존의 인코더-디코더 구조를 발전시킴 하지만 여전히 rnn cell을 순차적으로 계산해서 느림 2. Transformer RNN을 대신할 빠르고 성능좋은 방법을 고민 Attention 만으로도 입력데이터에서의 중요한 정보들을 찾..

시퀀스 투 시퀀스 + 어텐션 모델

ML/NLP 시퀀스 투 시퀀스 + 어텐션 모델 0. word to word translation 번역의 가장 간단한 방법은? 각각의 단어를 번역하는 것 문제1) English and Korean has differnet word order I love you →번역 → 난 사랑해 널 (어색) 문제2) output always have same word count with input, while it should not! How are you (3 words) → 잘 지내 (2words) 1. RNN Context vector: I love you 라는 information을 함축하고 있음 2. Seqence to Seqence 문맥 벡터(Context vector) 로부터 번역을 시작 가 나올 때까지 번역을 이어감 이렇게하면 단어가 세개들어왔는데, ..

Attention Mechanism이란?

ML/NLP Attention Mechanism이란? 1. Sequence-to-sequence(Seq2seq) 시퀀스를 다른 시퀀스로! : 어떤 시퀀스를 입력받으면 그 시퀀스를 다른 시퀀스를 변환시키는 모델링 Encoder: 뭔가를 이해하는 모델 Decoder: 뭔가를 생성하는 모델 인코더가 입력받고 내용을 이해하고 만든 결과를 만든 결과가 Context vector(개발자가 사이즈를 지정) 컨텍스트 백터를 입력받아서 디코더가 문장을 생성 문제: 입력의 길이가 길어도 고정된 사이즈의 context 벡터를 사용해야함 -> 인코더에 들어가는 내용이 많으면 전부 컨텍스트 벡터에 저장하기 불가 전부 이해한다음에 한번에 컨텍스트 벡터를 만들어내는 것은 비효율적! 그러지말고 한 단어, 토큰을 볼 때마다 컨텍스트 벡터를 만들어서 주면, 디코더가 보고나서 중요한 것만 ..

이전 1 다음

티스토리툴바