[데이터셋] Hate speech dataset

데이터셋 준비

 

Hatespeech Dataset 을 먼저 다운받아야한다.

Dataset은 이곳을 참고했다.

 

http://hatespeechdata.com/

Hate Speech Datasets

 

사용할 데이터셋 선정

 

영어로되고, 트위터에서 추출한 데이터셋만을 추려보니, 

Hatebase, Kaggle, Wassem & Hovy 등이 있다.

이들 중, Hate speech detection 논문에서 가장 많이 보였던 Wasseem & Hovy 데이터셋을 사용하기로 선택한다.

 

	Class	Size	Origin Source	Language
Hatebase	Hate Offensive Neither	24,000	Twitter	English
Kaggle	Insulting Not insulting	6,000	Twitter	English
Wassem & Hovy	Sexism Racism None	16,000	Twitter	English