Detekcja mowy nienawiści (hate speech) jest bardzo trudnym zadaniem w każdym języku. Analiza emocji Sentimenti może pokazać, jak bardzo wydźwięk emocjonalny cyberbullingu różni się od zwykłych negatywnych wypowiedzi.
Mowa nienawiści według Rady Europy
“wszystkie formy ekspresji, które rozpowszechniają, podżegają, wspierają lub usprawiedliwiają nienawiść rasową, religijną, ksenofobię, antysemityzm lub inne formy nienawiści wynikające z nietolerancji, łącznie z nietolerancją wyrażoną za pomocą agresywnego nacjonalizmu i etnocentryzmu, dyskryminacją i wrogością wobec przedstawicieli mniejszości, imigrantów i osób obcego pochodzenia”.
Jak widać, negatywne emocje jeszcze nie oznaczają mowy nienawiści – wypowiedzi mające jej znamiona są agresywne, nawołują do przemocy lub ją usprawiedliwiają.
To nasze pierwsze podejście do tego tematu, postanowiliśmy więc zacząć od dobrych danych – zbioru wzmianek poklasyfikowanych przez ekspertów. Szczęśliwie dla nas, w tegorocznym wyzwaniu Poleval jedno z zadań dotyczyło właśnie detekcji mowy nienawiści. Objęło ono 10041 wzmianek, w tym 851 (jedyne 8%) uznanych za cyberbulling. W tym wpisie nie zajmiemy się wykrywaniem mowy nienawiści, raczej przyjrzymy różnicom w wydźwięku tak oznaczonych wzmianek na tle innych, mniej ofensywnych.
Przy okazji pokażemy model emocji obejmujący z jednej strony klasycznie rozumiany sentyment, z drugiej miarę pobudzenia emocjonalnego określającą, czy dana wzmianka wyraża silne emocje. Miara ta dookreśla wydźwięk tekstu, dzięki czemu możemy odróżnić, na przykład, silnie negatywnie nacechowane wypowiedzi od negatywnych, ale umiarkowanych w swoim wyrazie.
Cyberbulling? Chodzi o emocje
Zastosowanie analizy emocji powinno dać bardzo dobre wyniki w zadaniu odróżniania mowy nienawiści od innych wypowiedzi, pozytywnych lub negatywnych. W końcu nie każde silne zdenerwowanie jest nawoływaniem do przemocy czy wykluczania. Wspomniana wcześniej miara pobudzenia może okazać się w tym zadaniu bardzo przydatna. Wypowiedzi mające znamiona cyberbullingu to w końcu ekstremalne przypadki słownego manifestowania złości i wstrętu. Pisze o tym między innymi cytowana przez nas wcześniej Maria Jarymowicz.
Analizując mowę nienawiści zastosowaliśmy nasz algorytm BiLSTM do klasyfikacji wzmianek. Wskazuje on, czy dany tekst ma pozytywny lub negatywny sentyment oraz czy natężenie emocji jest w nim silne czy słabe. Traktujemy te trzy zmienne jako spójny model emocji.
Dwa analizowane przez nas zbiory komunikatów – zwykłe wypowiedzi i mowa nienawiści – różnią się istotnie (Chi=17,73; p<0,001) udziałem wzmianek o pozytywnym i negatywnym wydźwięku oraz procentem wzmianek o wysokim pobudzeniu emocjonalnym (wykresy poniżej i powyżej). Mowa nienawiści obejmuje więcej wzmianek silnie emocjonalnych i negatywnych, a mniej pozytywnych. Oznacza to, że negatywna wypowiedź o wysokim pobudzeniu z dużym prawdopodobieństwem może zostać zaklasyfikowana jako cyberbulling.
Wykrywanie mowy nienawiści
Analiza sentymentu pokazała różnice pomiędzy dwoma zbiorami wzmianek: zwykłymi i nienawistnymi. To pierwszy krok w kierunku wykrywania mowy nienawiści. Narzędzie dedykowane do wykrywania cyberbullingu musi brać pod uwagę także to, że czasami ostateczny wydźwięk wypowiedzi jest bardzo zależny od kontekstu – ale także od tego, kto się wypowiada (wskazują na to na przykład Waseem i Hovy). Co gorsza, mowa nienawiści może ukrywać się także pod płaszczykiem obiektywizmu i formalnego języka.
Pomiar emocji lub klasyfikowanie wzmianek pod względem pobudzenia może wspomóc pracę administratorów mediów społecznościowych czy forów. Zwłaszcza jeśli będzie stosowana w towarzystwie innych filtrów, w tym wyłapujących przekleństwa i słowa uważane za obraźliwe oraz historię wypowiedzi danego użytkownika. Taka analiza emocji dostrojona dodatkowo do dziedziny czy konkretnej tematyki może stać się sprawnym narzędziem wykrywania cyberbullingu.
Dodatek: analiza emocji
Wyniki analizy emocji nie są tak jednoznaczne jak analizy sentymentu, ale uzupełniają nasze rozumienie cyberbullingu. Wstręt i złość to emocje pojawiające się w definicjach mowy nienawiści. Z kolei nasze wyniki wskazują także na istotność strachu oraz smutku w detekcji tego zjawiska.
