본문 바로가기

inistory

Visits

Today

Yesterday

Recent Posts

Popular Posts

Recent Comments

ML

트랜스포머 (Attention is all you need)

ML/NLP 트랜스포머 (Attention is all you need) 1. 개요 인코더-디코더 구조를 발전시킨 딥러닝 모델 소개 RNN을 사용하지 않음 독일어, 프랑스어로 번역하는 항목에서 학습속도, 성능 뛰어남 왜 더 빠르게 학습? RNN을 사용하지 않아서 병렬화(Parallelization) → 일을 최대한 한 방에 처리 RNN이 순차적으로 첫번째 입력된 단어부터, 마지막 단어까지 계산하여서 입력된 단어들을 인코딩하는 반면, transformer는 한방에 이과정을 처리 어텐션 메커니즘 고정된 크기의 context vector 를 사용하지 않도록 기존의 인코더-디코더 구조를 발전시킴 하지만 여전히 rnn cell을 순차적으로 계산해서 느림 2. Transformer RNN을 대신할 빠르고 성능좋은 방법을 고민 Attention 만으로도 입력데이터에서의 중요한 정보들을 찾..

시퀀스 투 시퀀스 + 어텐션 모델

ML/NLP 시퀀스 투 시퀀스 + 어텐션 모델 0. word to word translation 번역의 가장 간단한 방법은? 각각의 단어를 번역하는 것 문제1) English and Korean has differnet word order I love you →번역 → 난 사랑해 널 (어색) 문제2) output always have same word count with input, while it should not! How are you (3 words) → 잘 지내 (2words) 1. RNN Context vector: I love you 라는 information을 함축하고 있음 2. Seqence to Seqence 문맥 벡터(Context vector) 로부터 번역을 시작 가 나올 때까지 번역을 이어감 이렇게하면 단어가 세개들어왔는데, ..

Attention Mechanism이란?

ML/NLP Attention Mechanism이란? 1. Sequence-to-sequence(Seq2seq) 시퀀스를 다른 시퀀스로! : 어떤 시퀀스를 입력받으면 그 시퀀스를 다른 시퀀스를 변환시키는 모델링 Encoder: 뭔가를 이해하는 모델 Decoder: 뭔가를 생성하는 모델 인코더가 입력받고 내용을 이해하고 만든 결과를 만든 결과가 Context vector(개발자가 사이즈를 지정) 컨텍스트 백터를 입력받아서 디코더가 문장을 생성 문제: 입력의 길이가 길어도 고정된 사이즈의 context 벡터를 사용해야함 -> 인코더에 들어가는 내용이 많으면 전부 컨텍스트 벡터에 저장하기 불가 전부 이해한다음에 한번에 컨텍스트 벡터를 만들어내는 것은 비효율적! 그러지말고 한 단어, 토큰을 볼 때마다 컨텍스트 벡터를 만들어서 주면, 디코더가 보고나서 중요한 것만 ..

[ICWSM 2019] Thou Shalt Not Hate: Countering Online Hate Speech 리뷰

ML/Papers [ICWSM 2019] Thou Shalt Not Hate: Countering Online Hate Speech 리뷰 증오하지 말라: 온라인 증오심 표현에 반대 이 논문에서 가장 핵심이 되는 단어는 Counterspeech 입니다. Counterspeech는 혐오 스럽거나 해로운 말에 반대하는 직접적인 반응 / 의견 (댓글에 답장이 아님) Abstract -YouTube의 댓글을 사용하여 최초의 음성 대응 데이터 세트를 만들고 출시합니다. -13,924 개의 주석이 달린 주석 -처음으로 counterspeech의 언어 구조를 특징으로하는 측정 연구를 수행했습니다. -YouTube 동영상에서 hatespeech를 자동으로 감지 할 수있는 모델 구축-F1- 점수 : 0.71 - hate speech의 화두 소셜 미디어의 등장은 우리 사회에 몇 가지 변화를 가져왔다. 그러한 주요 이슈 중 하나는 증오심 표현의 확산입니다 이 ..

ML/ML 정보이론 톺아보기 1. 정보이론이란? 추상적인 '정보'라는 개념을 정량화하고 정보의 저장과 통신을 연구하는 분야 2. 사건 x 의 정보량 사건이 일어날 확률 P(x) 에 의해 결정 3. Entropy 엔트로피는 특정 확률 분포를 따르는 사건들의 정보량의 기댓값이다. 이산확률변수 X가 x1,x2,…,xn 중 하나의 값을 가진다고 가정 기대값수식 부분에 확률 대신 정보량을 넣음 예제 1 : 공을 꺼낼 때 엔트로피를 계산해보자 엔트로피 = 무질서 = 불확실성 공의 종류가 다양할 때 엔트로피가 더 높다 예제 2: 공 색깔을 두 가지로 고정, 색 비율을 다르게 했을 때 엔트로피는? 확률변수가 가질 수 있는 가짓수가 같을 떄, 사건의 확률이 균등할수록 엔트로피 값은 증가한다. 동전이 앞면 나올 확률 50%, 뒷면 나올 확률 5..

[회귀모델 성능평가지표] MAE, MSE, RMSE, R2 Score

ML/ML [회귀모델 성능평가지표] MAE, MSE, RMSE, R2 Score 분류 모델의 성능을 평가하기 위해서 주로 Accuracy, Precision, Recall 을 사용합니다. 하지만 회귀모델의 경우 어떻게 성능을 평가할 수 있을까요? 대표적인 회귀 모델(Regression) 의 성능 평가 지표에 대해 알아보겠습니다. 1. MAE (Mean Absolute Error) 회귀모델에서는 얼마나 정확하게 예측을 했는지가 중요합니다. 동일하게 예측하면 가장 좋고, 아닐경우에는 가장 가깝게 예측하는 것이 좋을 것입니다. 따라서 성능평가를 위해서는 실제값과 예측값을 비교해야합니다. 먼저 실제값에서 예측값을 빼야 오차가 됩니다. 각 오차는 음수값을 가지지 않도록 절대값을 취해줍니다. 오차를 모든 예측값에 대해 구해야하므로, 시그마를 취해서 오차들을 모두 더합니다. 오차의 전반적인 분포..

ML/Papers Hate Speech Detection: A Solved Problem? The Challenging Case of Long Tail on Twitter 리뷰 Miss classification 에 대한 원인을 세분화하여 분석한 논문 Abstract our analysis of the language in the typical datasets shows that hate speech lacks unique, discriminative features and therefore is found in the ‘long tail’ in a dataset that is difficult to discover. We then propose Deep Neural Network structures serving as feature extractors that are particularly effective for capturing the semantics of hate sp..

[IEEE 2010] Tracking the flu pandemic by monitoring the social web 리뷰

ML/Papers [IEEE 2010] Tracking the flu pandemic by monitoring the social web 리뷰 [첫번째 식] Mi = maker = 키워드(flu와 관련된) i = 키워드 원소수 = 키워드 갯수 j = 트윗원소수 = 트윗갯수 S(tj) = ﬂu-score of a tweetk Mi(tj) –트윗안에 키워드가 있을 때 1/ 아닐 때 0 시그마 I 키워드 수 만큼 iteration 돌려서 총 flu-score 를 구함 K = 키워드 갯수 [두번째식] 시그마 j 전체 트윗수만큼 N= 트윗의 갯수 [예측방법] least squares linear regression =.최소제곱법 [아이디어] 위 논문에서는 트위터 데이터로 flu-score를 예측하고 실제 flu-rate와 비슷한 추이를 보였다. 트위터로 fear score를 매기고, 사람들이 느끼는 공포감 수치와 실제 발병률인 flu-rate를 비교해보..

이전 1 2 3 4 다음

티스토리툴바