Zaznacz stronę
Cyberprzemoc i negatywne emocje

Cyberprzemoc i negatywne emocje

Kiedy w ubiegłym roku akademickim opowiadałam moim studentom i studentkom o Sentimenti, jeden z nich zapytał: “A jakie jest możliwe najbardziej nieetyczne zastosowanie Sentimenti?“. Pytanie to zaskoczyło mnie, ale też skłoniło do myślenia.

Cyberprzemoc i emocje. A co z mową nienawiści?

Zmartwienie studenta jest całkiem zrozumiałe – technologie automatycznej analizy danych zawsze mogą zostać wykorzystane do niecnych celów. Dlatego zastosowanie wielkich zbiorów danych (“big data“) przedostało się do opinii publicznej dzięki skandalowi związanemu z firmą Cambridge Analytica i innymi przykładami wątpliwych moralnie działań na danych użytkowników.

W tym artykule chciałabym zaproponować myślenie odwrotne: do jakich pozytywnych działań może zostać wykorzystane Sentimenti? W jaki sposób możemy uczynić świat lepszym dzięki automatycznej analizie emocji? Do tej pory mówiliśmy o Sentimenti w kontekście czterech głównych zastosowań:

    1. Analiza i sugestie w zakresie emotywnego pozycjonowania reklam
    2. Monitoring, analiza i kategoryzacja wpisów klientów w mediach społecznościowych i na forach
    3. Monitoring wybranych przez zleceniodawcę aspektów jego działania (marki, kluczowych klientów, odbioru jakości działania zleceniodawcy)
    4. Sentistock jako wsparcie w procesach inwestycyjnych, zarządczych w przedsiębiorstwach (w korelacji do kursów giełdowych lub do uzyskiwanych parametrów ekonomicznych)

Możliwe jest jednak wiele innych aplikacji Sentimenti, a niektóre z nich mogą uczynić życie ludzi znacznie lepszym. Pisaliśmy już na blogu o tym, jak rozpoznawanie emocji w Sentimenti pomaga wykrywać mowę nienawiści.

Analiza emocji pomaga wykrywać niebezpieczne zjawiska

Nasze badania wpisują się w światowe trendy stosowania rozpoznawania emocji w tekście do wykrywania niebezpiecznych zjawisk w internecie. Podczas ostatniej konferencji “ACL Symposium On Applied Computing” grupa badaczy zaprezentowała w artykule “Overwhelmed by Negative Emotions? Maybe You Are Being Cyber-bullied!” ciekawe wyniki analizy tekstu pokazujące, jak automatyczne wykrywanie emocji może pomóc w rozpoznawaniu cyberprzemocy.

Cyberprzemoc (cyberbullying) autorzy definiują jako agresywny i celowy atak na ofiarę, która nie ma środków obrony. Dlatego atak ten powtarza się w czasie a agresorzy wykorzystują do niego cyfrowe formy kontaktu.

Autorzy przygotowali zbiór tysiąca komentarzy z Instagrama, które ręcznie oznaczyli wartościami emocji, sentymentu oraz występowania cyberprzemocy. To pozwoliło im to zaobserwować, że złość i negatywny sentyment silnie korelują z cyberprzemocą, dlatego badacze zbudowali automatyczny klasyfikator wyłapujący z wiadomości te, które prawdopodobnie są cyberprzemocą.

Złość pojawia się znacząco częściej w postach zawierających cyberprzemoc

Złość pojawia się znacząco częściej w postach zawierających cyberprzemoc (Tabela przedrukowana z cytowanego artykułu).

Wyniki badaczy są bardzo wstępne, a trafność klasyfikatora nie jest jeszcze wysoka. Badanie to pokazuje jednak bardzo obiecujący kierunek, dlatego też analiza emocji może uchronić wiele osób przed staniem się ofiarami cyberprzemocy.

 

Cytowane badanie:

Pinar Arslan, Michele Corazza, Elena Cabrio, Serena Villata. Overwhelmed by Negative Emotions? Maybe You Are Being Cyber-bullied! SAC 2019 – The 34th ACM/SIGAPP Symposium On Applied Computing, Apr 2019, Limassol, Cyprus.

Autorką posta jest Barbara Konat, kierowniczka badawcza Sentimenti.

Mowa nienawiści. Co jako językoznawcy możemy o niej powiedzieć?

Mowa nienawiści. Co jako językoznawcy możemy o niej powiedzieć?

Detekcja mowy nienawiści (hate speech) jest bardzo trudnym zadaniem w każdym języku.  Analiza emocji Sentimenti może pokazać, jak bardzo wydźwięk emocjonalny cyberbullingu różni się od zwykłych negatywnych wypowiedzi.

Mowa nienawiści według Rady Europy

“wszystkie formy ekspresji, które rozpowszechniają, podżegają, wspierają lub usprawiedliwiają nienawiść rasową, religijną, ksenofobię, antysemityzm lub inne formy nienawiści wynikające z nietolerancji, łącznie z nietolerancją wyrażoną za pomocą agresywnego nacjonalizmu i etnocentryzmu, dyskryminacją i wrogością wobec przedstawicieli mniejszości, imigrantów i osób obcego pochodzenia”.

Jak widać, negatywne emocje jeszcze nie oznaczają mowy nienawiści – wypowiedzi mające jej znamiona są agresywne, nawołują do przemocy lub ją usprawiedliwiają. 

To nasze pierwsze podejście do tego tematu, postanowiliśmy więc zacząć od dobrych danych – zbioru wzmianek poklasyfikowanych przez ekspertów. Szczęśliwie dla nas, w tegorocznym wyzwaniu Poleval jedno z zadań dotyczyło właśnie detekcji mowy nienawiści. Objęło ono 10041 wzmianek, w tym 851 (jedyne 8%) uznanych za cyberbulling. W tym wpisie nie zajmiemy się wykrywaniem mowy nienawiści, raczej przyjrzymy różnicom w wydźwięku tak oznaczonych wzmianek na tle innych, mniej ofensywnych.

Przy okazji pokażemy model emocji obejmujący z jednej strony klasycznie rozumiany sentyment, z drugiej miarę pobudzenia emocjonalnego określającą, czy dana wzmianka wyraża silne emocje. Miara ta dookreśla wydźwięk tekstu, dzięki czemu możemy odróżnić, na przykład, silnie negatywnie nacechowane wypowiedzi od negatywnych, ale umiarkowanych w swoim wyrazie.

Cyberbulling? Chodzi o emocje

Zastosowanie analizy emocji powinno dać bardzo dobre wyniki w zadaniu odróżniania mowy nienawiści od innych wypowiedzi, pozytywnych lub negatywnych. W końcu nie każde silne zdenerwowanie jest nawoływaniem do przemocy czy wykluczania. Wspomniana wcześniej miara pobudzenia może okazać się w tym zadaniu bardzo przydatna. Wypowiedzi mające znamiona cyberbullingu to w końcu ekstremalne przypadki słownego manifestowania złości i wstrętu. Pisze o tym między innymi cytowana przez nas wcześniej Maria Jarymowicz.

Analizując mowę nienawiści zastosowaliśmy nasz algorytm BiLSTM do klasyfikacji wzmianek. Wskazuje on, czy dany tekst ma pozytywny lub negatywny sentyment oraz czy natężenie emocji jest w nim silne czy słabe. Traktujemy te trzy zmienne jako spójny model emocji. 

Cyberbulling mowa nienawiści hejt

Dwa analizowane przez nas zbiory komunikatów – zwykłe wypowiedzi i mowa nienawiści – różnią się istotnie (Chi=17,73; p<0,001) udziałem wzmianek o pozytywnym i negatywnym wydźwięku oraz procentem wzmianek o wysokim pobudzeniu emocjonalnym (wykresy poniżej i powyżej). Mowa nienawiści obejmuje więcej wzmianek silnie emocjonalnych i negatywnych, a mniej pozytywnych. Oznacza to, że negatywna wypowiedź o wysokim pobudzeniu z dużym prawdopodobieństwem może zostać zaklasyfikowana jako cyberbulling.

mowa nienawiści i hejt w sieci

Wykrywanie mowy nienawiści

Analiza sentymentu pokazała różnice pomiędzy dwoma zbiorami wzmianek: zwykłymi i nienawistnymi. To pierwszy krok w kierunku wykrywania mowy nienawiści. Narzędzie dedykowane do wykrywania cyberbullingu musi brać pod uwagę także to, że czasami ostateczny wydźwięk wypowiedzi jest bardzo zależny od kontekstu – ale także od tego, kto się wypowiada (wskazują na to na przykład Waseem i Hovy). Co gorsza, mowa nienawiści może ukrywać się także pod płaszczykiem obiektywizmu i formalnego języka.

Pomiar emocji lub klasyfikowanie wzmianek pod względem pobudzenia może wspomóc pracę administratorów mediów społecznościowych czy forów. Zwłaszcza jeśli będzie stosowana w towarzystwie innych filtrów, w tym wyłapujących przekleństwa i słowa uważane za obraźliwe oraz historię wypowiedzi danego użytkownika. Taka analiza emocji dostrojona dodatkowo do dziedziny czy konkretnej tematyki może stać się sprawnym narzędziem wykrywania cyberbullingu.

Dodatek: analiza emocji

Wyniki analizy emocji nie są tak jednoznaczne jak analizy sentymentu, ale uzupełniają nasze rozumienie cyberbullingu. Wstręt i złość to emocje pojawiające się w definicjach mowy nienawiści. Z kolei nasze wyniki wskazują także na istotność strachu oraz smutku w detekcji tego zjawiska.

monitoring mediów mowa nienawiści i hejt