[ICWSM 2019] Thou Shalt Not Hate: Countering Online Hate Speech 리뷰

증오하지 말라: 온라인 증오심 표현에 반대

이 논문에서 가장 핵심이 되는 단어는 Counterspeech 입니다.

Counterspeech는 혐오 스럽거나 해로운 말에 반대하는 직접적인 반응 / 의견 (댓글에 답장이 아님)

Abstract

-YouTube의 댓글을 사용하여 최초의 음성 대응 데이터 세트를 만들고 출시합니다.

 -13,924 개의 주석이 달린 주석

-처음으로 counterspeech의 언어 구조를 특징으로하는 측정 연구를 수행했습니다.

-YouTube 동영상에서 hatespeech를 자동으로 감지 할 수있는 모델 구축-F1- 점수 : 0.71

 

<문제제기> - hate speech의 화두

소셜 미디어의 등장은 우리 사회에 몇 가지 변화를 가져왔다.

그러한 주요 이슈 중 하나는 증오심 표현의 확산입니다

이 문제를 해결하기 위해 몇몇 국가에서는 증오심 표현에 대한 법률을 만들었고, Facebook, Twitter 및 YouTube와 같은 조직이 모여 증오심 표현 싸우기로 동의했습니다

<현재 어떻게 hatespeech에 대응하고 있는지>

기관들이 온라인 증오심 표현에 대항하기 위해 사용하는 주요 도구 중 하나는 “메시지 또는 사용자 계정 자체를 차단하거나 일시 중지하는 것” 입니다.

-하지만 이는 , 그다지 효과적이지 않았습니다.

-증오심 표현을 차단하면 사회에 미치는 영향을 줄일 수 있지만 항상 언론의 자유를 침해 할 위험이 있습니다.

따라서, hatespeech 를 해결하는 더욱 더 바람직한 해결책은 더 많은 스피치을 추가하는 것입니다 

<countering hate speech가 hate speech 예방에 효과적인지>

페이스 북은 카운터 스피치가 잠재적으로 더 효과적 일뿐만 아니라 장기적으로 성공할 가능성이 높다고 공개적으로 밝힌 바있다

이러한 방식으로 증오심 표현을 사용하면 몇 가지 장점이 있습니다.

더 빠르고 유연하며 응답 성이 뛰어나

어디서나 어떤 언어로든 극단주의를 다룰 수 있으며

토론을위한 자유롭고 개방 된 공공 공간의 원칙에 대한 장벽을 형성하지 않습니다.

[중개자와 증오심 표현]

우리가 hate message 에 대응할 수 있는 네 가지 방법을 제시한다.

(i)반응하지 않기 : 그 혐오스러운 연설에 응답하지 않음으로써, 우리는 실제로 더 많은 해를 끼치고 있는지도 모른다

(ii)삭제/서스펜션: 혐오 발언의 제거는 혐오 발언의 대응에서 가능한 가장 강력한 선택이다.

(iii): 기관들은 대중에게 혐오 발언과 그 의미, 결과, 그리고 대응 방법에 대해 교육하는데 도움을 줄 수 있다.

(iv)카운터스피치는 자유언론의 규범에 위배되지 않기 때문에 언변을 혐오하기 위한 우선적 치료책으로 간주된다.

[위험한 말에 맞서기 : 대량 학살 예방을 위한 새로운 아이디어]

-차단이 개인적인 규모에서 카운터 역할을 할 수 있지만, 실제로는 지역사회 전체에 해로울 수 있다.

-혐오스러워 보이는 발언을 삭제하는 것은 개인의 언론 자유에 영향을 미칠 수 있다.

-또한 차단으로는 이미 메시지가 야기한 피해로부터 회복할 수 없다.

-따라서 카운터피크는 체질적으로 선호되는 가장 중요한 치료제로 간주될 수 있다

[논쟁의 필요성]

-Counter speech 는 트위터(Wright et al. 2017; Benesch et al. 2016b), 유튜브(Ernst et al. 2017) 및 페이스북(Schieb and Preuss 2016)과 같은 소셜 미디어 사이트에서 연구되었다.

-트위터를 통해 대화를 연구한 결과, 낯선 사람들 사이의 일부 논쟁은 담론의 긍정적인 변화와 심지어 태도 변화로 이어진다는 것을 알게 된다

카운터 스피치에 대한 문헌은 꽤 적습니다 1)

"대규모의 counterspeech를 연구하기 위해서는 전산적 접근이 필요하며, counterspeech의 자동 감지를 수행하는 작업이 필요하다"2)

-처음으로 다양한 학습 알고리즘을 사용하여 counterspeech을 감지

-Counter speech 식별을위한 최초의 데이터 세트 출시

-다양한 유형의 카운터 음성에 대한 다중 레이블 분류

우리는 유대인, 흑인, LGBT의 세 가지 대상 커뮤니티에 중점을 둡니다.

이러한 동영상을 찾기 위해 YouTube에서‘유대인을 싫어합니다’,‘흑인을 싫어합니다’등과 같은 문구를 검색했습니다.

그런 다음이 커뮤니티 중 하나에 대한 증오 행위가 포함 된 동영상 6을 수동으로 선택하십시오.

YouTube 댓글 스크레이퍼 8을 사용하여 선택한 동영상에서 모든 댓글을 수집합니다.

각 코멘트에는 코멘트 텍스트, 사용자 이름, 날짜, 좋아요 수 등의 필드가 있습니다.

서로 다른 유형의 counterspeech를 이해하기 위해 데이터 세트에 두 가지 수준으로 주석을 달았습니다.

첫 번째 수준의 주석 : 첫 번째 수준에서는 혐오 성 발언 동영상에서 의견을 선택하고 주석다는 사람들에게 각 덧글에 동영상의 증오 메시지 / 행동에 대한 카운터 / non-counterspeech로 주석을 달도록 요청합니다.

2 단계 주석 :

우리는 어노 테이터에게 counterspeech 텍스트를 제공하고 그들에게 존재하는 모든 유형의 counterspeech에 레이블을 붙이도록 요청합니다.

표 1 : counterspeech 데이터 세트의 통계.

Counterspeech의 유형별로 각 대상 커뮤니티에 해당하는 숫자가 표시됩니다.

“댓글이 여러 전략을 사용하는 경우”  -> 해당 댓글을 모든 대응하는 분류유형에 포함시킵니다.

따라서 우리는 6,898 개의 코멘트에서 총 9,119 개의 counterspeech을 가지고 있습니다.

그림 1 : 두 가지 유형의 위조 연설이 포함 된 예시 주석 :

소속감/동정((Affilliation)과 공감(Empathy).

이 의견은 인터뷰 대상 (Kirk)이 동성애가 부자연스럽고 해롭고 파괴적이라는 인터뷰 비디오에 대한 답변이었습니다.

Presenting facts to correct misstatements or misperceptions:  In this strategy, the counterspeaker tries to persuade by correcting misstatements.

Pointing out hypocrisy or contradictions:     In this strategy, the counterspeaker points out the hypocrisy or contradiction in the user’s (hate) statements

Warning of offline or online consequences: In this strategy, counterspeaker warns the user of possible consequences of his/her actions.

Affiliation: Affiliation  is  “...establishing,  maintaining,  orrestoring a positive affective relationship with another per-son  or  group  of  persons”

Denouncing hateful or dangerous speech: In this strategy, the counterspeakers denounce the message as being hateful.

Humor and sarcasm: Humor is one of the most powerful tools used by the counterspeakers to combat hate speech.

Positive tone: The counterspeaker uses a wide variety of tones to respond to hate speech.

Hostile language: In this strategy, the counterspeaker uses abusive, hostile, or obscene comments in response to the original hate message.

counterpeech 댓글 중 71%가  하나의 counterpeech 유형에 속하는 것을 볼 수 있습니다

대부분의 카운터 스피커들은 단일 전략을 사용하는 것입니다.

앞서 본 표 1과 같이  서로 다른 집단들은 서로 다른 유형의 카운터 스피치를 끌어드립니다

호스테일은 모든 집단의 주요 유형이며 카운터 스피치의 39%를 차지합니다

그 외에 유태인 집단을 위한 카운드스피커는 포용적인 어조 전략을 더 자주 사용하고

LGBT집단을 위한 카운트 스피커는 유머와 위선이나 모순을 지적하는 전략을 더 자주 사용하는 것을 볼 수 있습니다

댓글이 받은 좋아요 수를 분석합니다

카운터스피치 댓글과 넌카운터스피치 댓글 그룹으로 나누어 맨 앤드 휘트니 유 테스트를 수행하여 두 분포를 비교합니다

맨 휘트니 u 검정은 집단의 표본 수가 비교적 작을 때에 두 집단의 차이를 분석하는 방법입니다.

우선 평균적으로 이 논문의 데이터에서 카운터 스피치 댓글이 받는 좋아요 수는 3.0개이고

논카운트스피치 댓글이 받은 좋아요 수는 1.73개 입니다.

대조적으로 논 카운트스피치 댓글이 좋아요가 적습니다.

또한 댓글의 답글의 수도 조사하였는데

카운터스피치 댓글의 답글은 평균 1.94개 이고 논 카운터스피치 댓글의 답글은 평균 1.50개로 조사되었습니다

차이가 크지는 않지만 카운터 댓글이 더 많은 답글을 받는 것을 확인 할 수 있습니다

YouTube 동영상의 평균 좋아요 및 답글은 일반적으로 적습니다.

유튜브 동영상의 댓글을 분석한 다른 연구에서 유튜브 전체 댓글 중 23.4%가 답글이라는 사실을 발견했습니다

또한 관련 논문에서 가장 많은 답글을 받은 영상을 분석한 결과 뉴스, 정치, 종교 관련 영상들이 가장 많은 답글을 받는 것을  확인했습니다.

일반적인 동영상의 답글보다 2배 높은데 답글 중  45.17%정도 입니다

카운터 스피치 댓글만 고려한다면 답글 밀도는 약 72%로 훨씬 높습니다

논란의 여지가 있는 내용 특성상 이런 논의가 나온 것으로 보입니다.

이 논문에서는 카운터스피치 댓글이 받은 좋아요를 집단의 지지로 봅니다

그림을 보면 각 집단들이 서로 다른 종류의 카운터스피치를 선호하는 것을 볼 수 있습니다

아프리카계미국인(블랙) 집단의 경우, 평균적으로 오프라인 또는 온라인 결과 경고 혐오스럽거나 위험한 연설 거부가

다른 카운트피치 유형보다 더 많은 좋아요를 받았습니다.

이런 카운트스피치 댓글 경우 인종 차별주의를 비판하고 그 사람이 자신의 행동에 대해 어떻게 고소될 수 있는지 말합니다.

유태인 집단의 경우 Affiliation이 가장 승인되는 카운터 스피치입니다.

성소수자 집단의 경우 유머와 위선 또는 모순 지적이 다른 유형보다 평균 적으로 더 많은 선호를 받습니다.

각 유형의 카운터스피치에 사용되는 언어를 이해하기 위한 분석입니다.

이슬람,쥬이시, 피플,무슬림,블랙과 같은 단어들이 모든 유형에 많이 존재합니다.

모든 유형에 공통되는 단어들을 걸러내기 위해 tf_idf 방식을 사용합니다 

Tf-idf란  정보 검색과 텍스트 마이닝에서 이용하는 가중치로,  문서의 핵심어를 뽑을 때 사용할 수 있습니다.

Tf-idf에서 각 값이 의미하는 바를 간단히 설명하면

Tf는 특정 단어가 하나의 데이터 안에서 등장하는 횟수를 의미합니다

그리고 df는 문서 빈도 값으로 특정 단어가 여러 데이터에 자주 등장하는지를 알려주는 지표입니다

이 값에 역수를 취한 것이 idf값입니다

특정 단어가 다른 데이터에 등장하지 않을수록 값이 커진다는 것을 의미합니다.

Tf-idf란 이 두 값을 곱해서 사용하므로 어떤 단어가 해당 문서에 자주 등장하지만 다른 분서에는 많이 없는 단어일수록 높은 값을 가지게 되는 것입니다.

이 논문에서는 먼저 전체 모음을 사용하여 tf-idf 행렬을 생성합니다.

그런 다음 각 유형의 카운터스피치에 대해 행렬을 사용하여 tf-idf 값에 따라 단어 순위를 지정합니다.

 

각 유형의 카운터스피치에 존재하는 상위 200 단어를 표시한 워드 클라우드 입니다.

단어의 크기는 tf-idf 값에 비례합니다.

그림의 제목은 존재하는 단어가 속한 카운트스피치 유형 입니다.

그림 2은 아프리카계 미국인 집단에 사용되는 유형의 카운터스피치에 대한 워드 클라우드입니다.

Sue( 소송)

그림 4는 LGBT집단에서 사용되는 다양한 유형의 카운터스피치에 대한 워드 클라우드 입니다.

Sodomy: 남색이라는 말로 동성애를 지칭하는 표현

Literal :  정확한 , 융통성 없는

Nkjv :New King James Version 성경책

유태인 집단을 위한 카운트스피치의 유형에 따른 워드 클라우드 입니다.

Laureates:연구 주제에 대한 능력으로 인해 매우 높은 명예를 얻은 사람

Conservative: 전통적인 보수적인

Cosmic:질서있는

Filthy: 불결한

이 논문에서는 세가지 분류 작업을 합니다

첫번째 작업은  댓글이 카운터스피치인지 넌카운터스피치인지 예측하는 것입니다.

두번째는 다중 라벨 분류 작업인데 댓글에 존재하는 모든 종류의 카운터스피치를 예측하는 작업입니다.

세번째 작업는 첫번째 작업과 유사하지만

집단을 교차시켜서 세 개의 집단 중 두 집단에서 트레인 데이터를 도출하고 나머지 한 집단에서 테스트 데이터를 도출합니다

분류 전에 데이터를 전처리 합니다

유알엘이나 숫자 부호, 스탑워드와 문장 부호를 제거하고

소문자로 바꾼뒤 토크나이즈하여 하고 분류 파이프 라인의 입력으로 사용합니다

Tf-idf vectors (TF-IDF), bag of words   vectors (BoWV), sentence vectors (SV) 문장 벡터를 사용합니다.

유니버셜형 인코더를 사용하여 문장벡터를 512차원의 백터로 표현 합니다.

다중 분류 모델인 ~~~을 사용하고

신경말 모델 ~~~~~~~를 사용합니다.

이 논문에서는 세가지 분류 작업을 합니다

첫번째 작업은  댓글이 카운터스피치인지 넌카운터스피치인지 예측하는 것입니다.

두번째는 다중 라벨 분류 작업인데 댓글에 존재하는 모든 종류의 카운터스피치를 예측하는 작업입니다.

세번째 작업는 첫번째 작업과 유사하지만

집단을 교차시켜서 세 개의 집단 중 두 집단에서 트레인 데이터를 도출하고 나머지 한 집단에서 테스트 데이터를 도출합니다

첫번째 작업은 주어진 입력 텍스트가 카운터스미치인지 비카운터스피치인지를 예측하기 위한 이진 분류기를 만듭니다.

데이터셋에대해 10-폴드 교차검증을 수행합니다.

교차검증이란

고정된 train set과 test set으로 평가를 하고, 반복적으로 모델을 튜닝하다보면 test set에만 과적합되어버리는 결과가 생기는데

이를 해결하고자 하는 것이 바로 교차 검증(cross validation)입니다

교차 검증의 종류 중 하나인

k-겹 교차 검증 방법은  데이터를 k개의 데이터 폴드로 분할하고,

각 Iteration마다 test set을 다르게 할당하여 총 k개의 '데이터 폴드 세트'를 구성합니다

각 데이터 폴드 세트에 대해서 나온 검증 결과들을 평균내어 최종적인 검증 결과를 도출하는 것이 일반적입니다

표는 교차검증의 평균을 낸 최종적인 검증 결과와 표준 편차을 보여줍니다.

이 논문에서는  정확도와 함께 weighted precision, recall, and F1-score as the evaluation measure 를 평가의 척도로 사용합니다.

표를 보면 SV+TF-IDF+BoWV와 함께 XGBoost를 사용하였을때  71%의 정확도로 최고 성능을 보입니다.

두번째 작업에서는 분류기에 대한 입력이 카운터스피치 댓글이고 출력은 댓글의 카운터스피치 유형인 다중 라벨 분류 모델을 구축합니다.

이 논문에ㅔ서는 다중 라벨 분류자를 정확도, 정밀도, 리콜, F1-점수 및 해밍 손실의 5가지 척도를 사용하여 평가합니다.

다중 라벨 분류를 위해 10겹 교차검증을 수행합니다.

SV+TF-IDF+BoWV를 피쳐 세트에 XGBoost를  모델을 사용했을 때 최고의 성능을 얻었습니다

카디널리티 데이터 세트에서  가장 빈번한 라벨을 예측하는 제너럴 비 모델을 기준으로 사용합니다.

이 논문의 데이터 세트의 경우 가장 빈번한 라벨인 호스테인 만이 관련성이 있는 것으로 예측되었습니

각 카운터스피크 유형에 대해 분류기가 어떻게 수행되는지 이해할 수 있는지 알 수 있는 성능 표 입니다.

러밸별 결과는  분류기는 호스테일과 어필리에이션과 같은 특정 클래스에 대해 좋은 성과를 낼수있지만

워닝 오프/온라인 컨센서스 나 포인팅 아웃 히표크레시 옥 콘트레딕션스와 같은 유형에서는 낮은 성과를 냅니다.

세번째 섹션에서는 두 집단의 트레이닝 데이터 포인트를 그려 제 3 집단에서 추출한 테스트 데이터의 라벨을 예측하는 모델을 구축합니다.

이 작업에서는 주어진 입력 텍스트가 카운터 스피치인지 논카운터스피치인지를 예측하기위한 이진분류기가 사용된다.

카운터스피치분류와 동일 함으로 최상의 성능을 가졌던 모델인 XGBOOST 모델을 사용합니다.

첫 번째 작업에서 얻은 SV+TF-IDF+BoWV).

트레인은 두 집단의데이터 포인트로 구성되며 테스트셋은 세번째 집단이 됩니다.

각 집단이 정확히 한번 테스트에 사용될 때 까지 이 과정을 반복합니다.

이 표는 작업의 결과를 보여줍니다

이 모델들은 다른 집단의 예를 사용하여 트레인 받는 동안에도 비슷한 결과를 냅니다

이것은 모델을 지금까지의 집단이 아닌 집단에 사용 할 때 마다 새로운 주석을 요구하지 않아도 되는 바람직한 기능입니다

온라인 소셜 미디어에서의 헤이트 스피치의 확산이 우려되고 있는 현상황에서 메시지나 계정의 차단과 중단과 같은 현

카운터 스피치는 조직들과 NGO가 지원하는 유망한 선택지로 떠오르고 있습니다.

이 연구의 결론으로는

우선 지금까지는 카운터 스피치 검출에 사용할 수 있는 데이터 셋과 모델이 없었기 때문에 대규모 연구를 수행 할 수 없었습니다

이 논문에서는 첫번째로 유투브에서 혐오적인 영상에 대한 카운터스피크에 대한 데이터 셋을 만들었습니다

또한 카운터 댓글이 넌 카운터 댓글보다 더 많은 좋아요를 받는 것을 발견했습니다

그리고 각각의 집단이 다른 유형의 카운터 스피크를 선호하는것을 발견했습니다

이 논문에서는 다음 몇가지의 연구 방향을 제시합니다

즉각적인 단계로는 유튜브가 아닌 페이스북과 트위터와 같은 다른 소셜 미디어 사이트에 대한 자동 카운터스피치 탐지 모델을 개발하는 것입니다

또 다른 방향은 각각의 집단에 대한 서로 다른 유형의 카운터 스피크의 효과를 연구하는 것입니다.

연계되는 연구 목표는 카운터 스피커들이  혐오 발언을 하는 유저들의 사고 방식을 얼마나 효과적으로 변화시키고 있는 것인지를 조사하는 것입니다.