utworzone przez Sentimenti Team | cze 27, 2019 | SentiBrand, Styl życia
Czy negatywny sentyment świadczy o porażce marki HBO? Niekoniecznie. Pokazujemy jak poruszać się w gąszczu danych, aby ocenić reakcje widzów na serial wywołujący swoim tematem dużo smutku i wstrętu.
Na początku maja HBO wypuściło miniserial Czarnobyl, który okazał się kolejnym hitem tej platformy, a dla widzów czymś w rodzaju zadośćuczynienia za 8. sezon Gry o tron.
Robiąc analizę sentymentu i emocji wzmianek o Czarnobylu spodziewaliśmy się wielu pozytywnych emocji – miniserial ma bardzo entuzjastyczne opinie. Wiedzieliśmy jednak także, że pojawią się smutek oraz wstręt – pisząc o tej produkcji internauci na pewno wspomną o chorobie popromiennej i jej strasznych skutkach, będą też źli na niekompetencję zarządu elektrowni.
Odcinek po odcinku
Kolejne części serialu ukazywały się co tydzień, i wielu polskich widzów oglądało je właśnie w tym tempie. Jednocześnie stopniowo dołączało do nich wiele nowych osób – więc emocje wyrażane we wzmiankach publikowanych w okolicach premiery drugiego odcinka mogą dotyczyć także pierwszego. Zmiany emocjonalnej temperatury tych rozmów są dla nas wciąż bardzo interesujące.
Powyższy wykres pokazuje wyniki analizy emocji wyrażanych we wzmiankach wrzuconych do sieci w dniu premiery i przez dwa kolejne. Wybraliśmy je, bo to wtedy najwięcej pisano o serialu. Wyniki pokazane wyżej to porównanie każdego odcinka do średniej z 15 interesujących nas dni w sumie.
Jak pokazuje wykres, podczas emisji serialu mieliśmy do czynienia z trendem narastającym w przypadku emocji wstrętu. Czy to niezadowolenie ze scenariusza? Niekoniecznie, zwłaszcza, że nie towarzyszą mu inne negatywne emocje – na przykład złość jest obecna we wzmiankach, ale w niskim natężeniu, nie rośnie też tak gwałtownie jak wstręt.
Wstręt i polityka w słowach
Żeby dowiedzieć się, o czym mówiono, jakim tematom towarzyszył wzrost natężenia wstrętu, sprawdziliśmy, jakie słowa pojawiają się w rozmowach o ostatnim odcinku Czarnobyla istotnie częściej niż w pozostałych badanych przez nas okresach. Zastosowaliśmy metodę znaną z językoznawstwa korpusowego: analizę słów kluczowych (keyword analysis).
Okazuje się, że powodem negatywnych reakcji był nie tyle sam serial, ile polityczne skojarzenia z nim związane. W tych wzmiankach pojawiają się (znacznie częściej niż dotąd) słowa “PiS”, “głosować”, “państwo”. Poza tym sporo mówiono o bezpieczeństwie wspominając o “odzieży ochronnej” czy “rękawiczkach” (i skutkach nienoszenia ich). Bardzo ważna dla tego etapu wspólnego przeżywania Czarnobyla stała się wiedza. Dyskusje po zakończeniu serialu ewidentnie brały na warsztat kwestie świadomości tego, jak niebezpieczne może być promieniowanie oraz (co świadczy o sukcesie przesłania serialu) kłamstwa władz i propaganda, więc kontrolowanie “wiedzy” tak, by była dostępna jedynie dla wybranych.
O czym mówiono wcześniej?
Zaraz po premierze serialu w dyskusjach pojawiło się kilka wyraźnych wątków. Zastanawiano się, czy warto omawiać temat osób “czarnoskórych” lub wręcz “murzynów” – wielkich nieobecnych produkcji, których w 1986 roku w Prypeci zwyczajnie nie było. Pojawiały się także (znacznie częściej niż w kolejnych tygodniach) słowa “reaktor”, “Rosjanin” i “szpieg”. Sporo rozmawiano także o “rowerach” i “rowerzystach”.
Drugi odcinek spowodował wysyp reklam proponujących zakładanie “darmowych kont użytkowników” w celu umiarkowanie legalnego “pobrania” coraz sławniejszej produkcji. Spam jest przekleństwem wielu publicznych dyskusji, w tym wypadku jego pojawienie się świadczy także o finansowym sukcesie produkcji HBO. Sami widzowie omawiali za to postać jasnowidza “Jackowskiego” i jego ostrzeżenia o nadchodzącym “drugim Czarnobylu”.
Odcinki 3. i 4. wywołały rozmowy o “ekologii” i “ekologach”. Bardzo często pojawiało się w nich także słowo “dziecko”. Chodziło tu o losy mieszkańców Prypeci, na przykład Ludmiły, ciężarnej ofiary wybuchu, ale także nasze własne wspomnienia. “Już za dzieciaka” interesowaliśmy się tym tematem, a niektórzy z nas pamiętali swoje zabawy na dworze w maju 1986. Wiele osób wspomniało, że “poleca” cały serial – ale niekoniecznie osobom “wrażliwym”.
Odcinki na tle całego miesiąca
Pisząc nasz przewodnik po analizie emocji wspomnieliśmy, że warto mieć średnią lub szersze tło, do którego porównamy wyniki pomiaru emocji podstawowych. Pozwala nam ono ocenić nie tylko, jakie emocje pojawiają się w analizowanych tekstach, ale także, czy różnią się od tego, co uznamy za przeciętny tekst o charakterystycznej dla danego tematu temperaturze emocjonalnej. Jak wybrać dane do porównania?
Do naszej analizy emocji wybraliśmy jedynie trzy dni rozmów o każdym kolejnym odcinku – a przecież nowe wzmianki pojawiały się codziennie. O Czarnobylu pisano przez cały maj. Wcześniej pokazaliśmy każdy odcinek na tle pozostałych – w wybranych dniach. Żeby sprawdzić, na ile miarodajna może być taka fragmentaryczna analiza skontrolowaliśmy, jak 15 przeanalizowanych przez nas dni wygląda na tle całego miesiąca.
Jak widać w tym zestawieniu, każdy kolejny odcinek otaczały rozmowy o coraz większym natężeniu wstrętu (z wyjątkiem trzeciego), jednak natężenie tej emocji w interesujących nas trzech dniach zawsze było niższe niż w pozostałych. Majowe rozmowy o Czarnobylu, serialu i nie tylko, charakteryzowały się podbitym wstrętem i strachem. Z kolei dni premier i kolejne miały w porównaniu z tym tłem podwyższone natężenie radości, a czasami także zaufania – pochodzących z pochwał produkcji HBO.
Które porównanie jest poprawne?
Odpowiedź na pytanie zadane w tytule tego rozdziału jest prosta: to zależy. Gdy interesuje nas przede wszystkim moment najbardziej intensywnej dyskusji – wówczas lepiej było skupić się w analizie Czarnobyla na dniu premiery odcinka i jednym lub dwóch kolejnych. To wtedy najwięcej pisano, pojawiali się różni rozmówcy i głosy.
Z kolei jeśli zależy nam na odniesieniu momentów natężonej dyskusji do jej całości – kiedy serial nadganiali kolejni widzowie czasem coś pisząc o swoich wrażeniach, warto spojrzeć na całość miesiąca. Podobnie będzie z każdym monitoringiem marki – może nas interesować wysyp wzmianek zaraz po jakimś działaniu firmy, ale także porównanie tego okresu do następującego po nim stopniowego wyciszania się rozmów.
Hejterzy są słyszalni poza intensywną dyskusją?
Nasze wyniki pokazują dość jasno, że o ile reakcje na kolejne odcinki się zmieniały, zawsze były one bardziej pozytywne zaraz po premierze niż podczas całego tygodnia. A przecież mówimy o wzmiankach o tym samym serialu.
Czyżby osoby niezadowolone, skłonne do katastroficznych wizji, dzielące się smutnymi wnioskami były słyszalne dopiero, gdy spada intensywność rozmowy? A może smutne refleksje nachodzą nas dopiero po kilku dniach po obejrzeniu odcinka?
Text mining i emocje
Analiza słów kluczowych pokazała nam opiniotwórczy potencjał produkcji HBO. Komentujący pisali nie tylko o treści serialu, ale o swoich wspomnieniach, a wreszcie aktualnej sytuacji politycznej lub obawach co do jej rozwoju.
Porównanie wyników analizy emocji i słów kluczowych dało nam lepszy wgląd w to, co konkretnie omawiają internauci przy okazji Czarnobyla – a więc skąd biorą się ich emocje. Jednocześnie jedno i drugie jest przykładem analizy tekstu i wydobywania z niego wiedzy, text mining, niezbędnego w epoce big and small data.
utworzone przez Sentimenti Team | cze 13, 2019 | SentiBrand
Marki handlowe na Facebooku niemal każdego dnia promują swoje produkty i ofertę. Po przeanalizowaniu facebookowej komunikacji banków i marek modowych sięgamy po oficjalne konta najbardziej znanych sklepów, spożywczych i nie tylko.
Marki handlowe na Facebooku
Codziennie robimy zakupy w Żabce, Lidlu, Biedronce lub innym markecie. Dekoracje i gadżety do domu kupujemy tam albo w Pepco, które zwykle jest gdzieś niedaleko. Dlatego nasze wrażenia opisujemy w sieci – w tym komentując posty tych marek. Którą z nich obdarzamy najbardziej pozytywnymi emocjami? Czy nasze odczucia zmieniają się, a codzienne sklepy od święta wywołują więcej radości albo złości?
10 marek, posty i komentarze
Przeanalizowaliśmy posty i komentarze z fanpage’ów 10 marek handlowych najintensywniej komunikujących się na Facebooku. Przeprowadziliśmy analizę sentymentu i emocji narzędziami Sentimenti, a wyniki publikujemy w naszym kolejnym raporcie. Pokazujemy w nim między innymi, który market stoi na krawędzi kryzysu, jaki sklep uniknął silniejszej krytyki mimo problemów oraz na ile poszczególne marki różnią się od siebie i ogólnego tła branżowego. Dlatego warto po niego sięgnąć!
Przygotowany raport obrazuje niewielki zakres możliwości Sentimenti. Jeżeli jesteście Państwo zainteresowani szczegółowymi raportami dla Państwa branży, marki, produktu, zapraszamy do kontaktu.
utworzone przez Sentimenti Team | cze 6, 2019 | SentiBrand
Emotywne pozycjonowanie reklam, czyli targetowanie reklam wg emocji od niedawna nabrało nowego wymiaru. Okazało się, że komunikat można oprzeć nie tylko o kontekst, analizę ruchu na stronie, badania demograficzne, płeć i wiek ankietowanych, ale po dane sięgnąć też niemal w głąb ich serc. Jak to możliwe? Wystarczy rozpoznać ich emocje.
Emotywne pozycjonowanie reklam i przykład: New York Times
W 2018 roku „New York Times” przeprowadził badania emocji swoich czytelników. Oparto je o samouczące się algorytmy i połączono z analizą zebranych od czytelników opinii o ich odczuciach po przeczytaniu treści konkretnych artykułów. W wyniku tych badań powstało narzędzie do przewidywania emocji, wskazujące u czytelników m.in. radość, smutek, nadzieję oraz 15 innych emocji.
Nie zasypiając gruszek w popiele, postanowiono zaprząc je do przewidywania emocji, które czytelnicy NYT mogą potencjalnie przeżyć podczas czytania następnych publikacji i jednocześnie przystąpiono od razu do sprzedaży powierzchni reklamowej. Oferowano ją właścicielom produktów o charakterze emocjonalnym zbliżonym do zawartych w danych artykułach emocjach. Możliwości okazały się imponujące: narzędzie pozwoliło zbadać i stworzyć emocjonalną zawartość danego artykułu i lepiej dopasować do niego komunikat marketingowy.
Tak emocjonalnie stargetowana i odpowiednio umieszczona pośród innych treść marketingowa uzyskała nawet do 80% lepsze wyniki, niż klasyczne targetowanie behawioralne (średnio o 40%). Narzędzie umożliwiło nawet separację treści o negatywnym czy niepokojącym nacechowaniu tak, by nie dodawać do nich przekazów reklamowych, które co prawda pasowałyby do treści czy profilu czytelnika – ale zupełnie nie idą w parze z wydźwiękiem tekstu.
Targetowanie emocjami – reklamy emocjonalne: perspektywy
Agorytm można zastosować nie tylko do zawartych w tym serwisie artykułów, ale i wiadomości i publikacji innego typu. Dlatego otworzyło to przed twórcami kampanii całkiem nowe pole do zagospodarowania. Zaowocowało to 50 kampaniami i ponad 30 milionami zebranych odczuć, sentymentów i emocji. Przekazy reklamowe najczęściej lokowano w sąsiedztwie treści rozrywkowych lub dotyczących społecznej odpowiedzialności biznesu.
Co ciekawe, analogiczne badania prowadzone były również w innych redakcjach, w tym w „USA Today” czy „The Daily Beast”. Podstawą analizy były tam frazy (słowa kluczowe) i powiązane z ich znaczeniami emocje oraz próba odpowiedzenia na pytanie, w jakim nastroju są aktualni czytelnicy danego tekstu na podstawie analizy behawioralnej ich działania na stronie serwisu oraz częstości powracania do określonych, nacechowanych emocjonalnie treści. Badania „USA Today” pokazały, że czytelnicy nie ograniczają się wyłącznie do pozytywnych wiadomości, a czytają wszystko. Oznacza to możliwość kierowania do nich przekazu nie tylko w zbliżonym do reszty treści kontekście, ale i gdy czytelnicy są w podobnym do kontekstu treści nastroju. Dlatego taka metoda pozwala skuteczniej tworzyć content do potrzeb lepszej komunikacji marek. Z kolei rozwiązanie „The Daily Beast”, zamiast próbować odgadywać nastroje wskazuje, gdzie na stronie czytelnicy portalu spędzą najwięcej czasu; w tych popularnych miejscach stara się kontekstowo umieścić przekaz marketingowy. Wszystko w oparciu o emocje pozytywne i emocje negatywne w reklamie.
Przyszłość rynku reklamowego?
Opisane działania oparte o analizę danych, algorytmy i sztuczną inteligencję zaczynają być przyszłością rynku reklamowego i public relations. Jak postrzega te nowe rozwiązania rynek zleceniodawców? Wydawałoby się, że dostając tak precyzyjne narzędzia do targetowania odbiorców nie trzeba się już o nic więcej martwić. A jednak opinie są podzielone. Oparcie kampanii wyłącznie na takiej „kupionej emocjonalności” jest według części ekspertów jednowymiarowe, ogranicza i zawęża pole działania, powinno być więc wiązane z innymi metodami komunikacji. Z drugiej strony to doskonałe rozwiązanie dla firm poszukujących bezpiecznych rozwiązań, doprecyzowujących swój przekaz marketingowy i kierujących go do najbardziej zdecydowanych na zakup klientów.
Sentimenti i reklama emocjonalna. Identyfikacja emocji w reklamie on-line
Skoro New York Times uwzględnia na swoich stronach pozycjonowanie reklam emocjami, to rozwiązanie musi działać i być skuteczne. Pod uwagę bierze się pozytywne i negatywne emocje. A czy da się zastosować podobne mechanizmy w języku polskim?
Dotąd nie było to wcale oczywiste. Algorytmy automatycznego przetwarzania naszego języka zostały udoskonalone na tyle, że świetnie sprawdzają się podczas analizy tekstów. Ale co z emocjami w nich wyrażanymi? Nie istniała też dotychczas baza danych o słowach, frazach czy nawet całych tekstach pisanych po polsku. Dlatego stworzył ją dopiero zespół Sentimenti. Baza ta powstawała w trakcie badań, o których opowiadamy na blogu i naukowych konferencjach. Okazało się, że z dobrymi danymi możliwe jest stworzenie efektywnego systemu analizy sentymentu i emocji, a z nim – pozycjonowanie reklam.
Interia Emotions – różne emocje, jeden cel
Obecnie jesteśmy na zbliżonym etapie do tego, w którym był New York Times około rok temu. Dysponujemy aplikacją sprawnie analizującą tekst i zawarte w nim emocje. Rozpoczęliśmy współpracę z portalem Interia – tworzymy emotywną mapę jego serwisów tematycznych. Stąd już tylko krok do uwzględniania wydźwięku artykułu w pozycjonowaniu reklam.
Co bardzo ważne, emotywne pozycjonowanie reklam nie oznacza kolejnych obowiązków dla dziennikarzy. Nie będziemy nikomu mówić, jakie emocje ma wyrażać, bo w praktyce każda z nich stwarza odpowiednie środowisko dla reklam. Tekst ma smutną wymowę? Najlepiej umieścić w nim reklamę o ekologicznym wydźwięku. Wyraża strach? To dobry kontekst na sparowanie artykułu z reklamą ubezpieczeń lub suplementów diety.
Kolejnym krokiem projektu Interia Emotions będzie zbadanie, jak dokładnie emocje w tekście reagują z reklamami. Dlatego kiedy to sprawdzimy, emotywne i skuteczne pozycjonowanie reklam stanie się faktem. Takie narzędzie z pewnością okaże się przydatne. Reklamy pozycjonowane na podstawie treści artykułów (a nie śledzenia aktywności internautów) są dla nich mniej drażniące.
DOWIEDZ SIĘ WIĘCEJ:
utworzone przez Sentimenti Team | cze 5, 2019 | Konferencje, SentiBrand
Emocje a marketing? Komunikacja z klientami i kontrahentami, poszukiwanie nowych odbiorców i rynków zbytu towarów czy usług, polityka public relations, działania w Social Mediach, reklama i ogólnie – budowanie wizerunku firmy – kwestie te wymagają od biznesu zbierania danych oraz podejmowania na ich podstawie przemyślanych decyzji prowadzących do rozwoju organizacji. Dziś, dzięki analizie emocji narzędziami Sentimenti można te wszystkie działania prowadzić skuteczniej.
Emocje w komunikacji marek
Możliwości narzędzi do analizy emocji w tekście wypracowanych w Sentimenti są wciąż sprawdzane i poszerzane przez nasz zespół badawczy. Postanowiliśmy zbadać nimi treści reklamowe. Jest to wymagająca dziedzina. Przekaz reklamowy musi być krótki, przykuwać uwagę, zapadać w pamięć. Nader wszystko ma być sugestywny tak, by wywołać określone postępowanie potencjalnych klientów. Żeby tak się stało, najlepiej jest trafić w ich emocje. Z prowadzonych w tej materii badań wiadomo, że przekaz marketingowy z podbudową emocjonalną jest bardziej skuteczny, zaś z praktyki – że emocje, nawet te negatywne, potrafią nieraz na długo zapewnić marce ekspozycję w mediach i Social Mediach.
Przeanalizowaliśmy treści kilku reklam pod względem ich wydźwięku emocjonalnego i nacechowania 8 podstawowych emocji z modelu Plutchika. Do badania wykorzystaliśmy treści reklamowe odnoszące się do produktów AA Prestige (linia kosmetyków), Plus (telekomunikacja), Citi Handlowy (faktoring zewnętrzny), Renault (model Kangoo Express) oraz Shell (olej Shell Helix).
Analiza potwierdziła wyniki badań – nacechowane pozytywnymi emocjami (radość, zaufanie, oczekiwanie) treści reklamowe lepiej zapadają w pamięć odbiorców i bardziej budzą zaufanie do danej marki. To jednak nie wszystko – pogłębiona analiza emocji w treściach reklamowych wskazała także, że nawet pojedyncze (także funkcyjne!) słowo może być nacechowane kilkoma emocjami jednocześnie.
Wskutek tego więc nie zawsze można uniknąć negatywnego sentymentu w treści reklamy. Zawsze można sprawdzić te treści przy pomocy Sentimenti. Dzięki temu lepiej dopasować zawartość komunikatu oraz formę przekazu marketingowego do grupy docelowej. Sentimenti wskaże bowiem konotację emocjonalną tam, gdzie popularna, dwuwymiarowa analiza sentymentu nie wykazuje nacechowania emocjonalnego. To duża korzyść, gdy ma się do analizy bardziej przekrojowe dane. Co ciekawe, jednak niektóre kampanie reklamowe (szczególnie w marketingu politycznym) oparte są o negatywne lub przynajmniej kontrowersyjne emocje. Dlaczego?
Odbiorca przetwarza je szybciej. Lepiej zapadają w pamięć i wywołują chęć działania: najbardziej złość i prowadzące do niej wstręt, strach i… zaskoczenie. Badania pokazują, że odbiorcy zapamiętają przede wszystkim całą tę negatywną emocjonalną otoczkę, nie zaś markę i reklamowany produkt. O ile oczywiście nie odwrócimy umiejętnie znaku emocji. Do tego potrzebna jednak jest wiedza jakie słowa wywołują jakie emocje. My w Sentimenti taką wiedzę mamy, mamy również algorytmy do oceny emocjonalności w treściach. Możemy się nimi podzielić.
Reklama dźwignią handlu. Targetowanie emotywne już działa
Emocje łatwo się przenoszą. I to nie tylko między ludźmi, ale również, co pokazują badania, między słowami. Na bazie tego spostrzeżenia NYT, USA Today, The Daily Beast i inne amerykańskie redakcje rozpoczęły emocjonalne pozycjonowanie treści reklamowych wokół artykułów o danym przekazie. Budowane we współpracy z redakcjami algorytmy analizują opinie czytelników o artykułach i próbują odpowiedzieć na pytanie, jakie będą ich reakcje w zbliżonych treściach tak, by dopasować do nich potem jak najlepiej umieszczone w sąsiedztwie treści reklamowe.
Rozwiązanie to pozwala na tworzenie i lokowanie contentu bardziej kontekstowo, co przekłada się na większą skuteczność działań marketingowych marki. W Sentimenti rozumiemy potrzeby i wydawców, i reklamodawców w tej dziedzinie. Dlatego rozpoczęliśmy współpracę z Grupą Interia w pionierskim na polskim rynku projekcie InteriaEmotions. Wspólnie działamy nad dopasowywaniem emocjonalnego kontekstu treści reklamowych do treści publikacji. Wszystko po to, by firmy i agencje mogły korzystać z dobrodziejstw tego typu pozycjonowania. Wyniki prac prezentowaliśmy na konferencji IAB w Warszawie.
Dlaczego warto rozpocząć współpracę z Sentimenti? Algorytmy, machine learning i inne nowoczesne technologie coraz aktywniej działają w przestrzeni publicznej. Biznes coraz chętniej sięga po te metody. Człowiek nie jest w stanie szybko przeanalizować potężnej liczby danych. Potrzebuje posiłkować się sztuczną inteligencją, by zrobić to lepiej i bardziej efektywnie. Szczególnie dotyczy to emocji, odbieranych indywidualnie, dlatego trudnych do zobiektywizowania.
W Sentimenti rozumiemy ten kierunek. Dlatego, przy zachowaniu naukowych standardów rozwijamy algorytmy do analizy emocji w treściach różnego typu. Nasze narzędzia okazały się skuteczne podczas analizy emocji w treściach reklam, porównywania ich, wskazywania korelacji, kierunku rozwoju trendów itp. To bardzo duży zakres danych. Pozyskanie i analiza zwykle zajmuje długie miesiące. Wymaga obiektywnego wskaźnika pomiaru emocji. Przecież kilka osób, niezależnie od siebie, może ocenić tekst w podobny lub odmienny sposób. Celem skutecznej analizy emocji jest zrozumienie, jaki jest standard takiej oceny.
Jeżeli jesteście zainteresowani poprawą emocjonalności (a więc i skuteczności i zwiększenia zasięgów) Waszych przekazów reklamowych, chcecie pisać bardziej angażujące posty w medciach społecznościowych, potrzebujecie analizy dotychczasowych działań lub wskazania kierunku ich rozwoju – zapraszamy do kontaktu z Sentimenti!
utworzone przez Sentimenti Team | maj 30, 2019 | Kategoryzacja komentarzy, Okiem badacza
Sposób w jaki ludzie przekazują sobie emocje przez lata nie poddawał się algorytmizacji, czyli opisowi zrozumiałemu dla komputerów. Wydawało się, że maszyny będą sobie radzić doskonale z liczeniem, zapamiętywaniem, może nawet z rezerwowaniem stolików w restauracji czy biletów lotniczych – ale sfera “serca” pozostanie domeną czysto ludzką.
Tak rzeczywiście się działo, kiedy próbowaliśmy wyjaśniać komputerom “krok po kroku” jak rozumieć emocje. Algorytmy regułowe stawały się bezradne przy każdej wieloznaczności czy zmianie struktury wypowiedzi.
Rewolucyjne podejście do analizy emocji. Rola maszyny
Od kilku lat do analizy tekstu wkraczają algorytmy uczenia maszynowego (ang. machine learning), w tym ich najnowsza wersja – sieci neuronowe (ang. neural networks), które uczą się “tak jak małe dziecko”, czyli przez oglądanie przykładów. To zupełnie zmieniło sytuację – teraz, jeśli mamy dobre dane i dobry algorytm, możemy nauczyć komputer prawie wszystkiego.
Zespół SENTIMENTI przygotował publikację naukową dotyczącą tego właśnie tematu, która została zaprezentowana podczas międzynarodowej konferencji Language Technology Conference. Publikacji przewodniczy dr Jan Kocoń z Politechniki Wrocławskiej, a jej tytuł to “Recognition of emotions, valence and arousal in large-scale multi-domain text reviews”. Pełna treść pracy będzie wkrótce dostępna w zbiorze pokonferencyjnym, natomiast tutaj prezentujemy najważniejsze wnioski z naszych badań.
Dr Jan Kocoń prezentuje wyniki badań SENTIMENTI na LTC 2019
Uczenie maszynowe w Sentimenti
Zacznijmy od podstawowych kroków uczenia maszynowego dla analizy emocji w tekście:
- Anotacja – przygotowanie zbioru uczącego i testowego (ang. train and test set).
- Wybór algorytmu uczącego (np. SVM, BiLSTM i in.)
- Dobór zbioru cech (ręczny lub automatyczny)
- Trening i dostrajanie sieci neuronowej.
- Testowanie efektywności otrzymanego modelu (miara F-score lub inna).
Co to znaczy, że sieci neuronowe “działają jak ludzki mózg”? Tak jak niemowlę, sieć zaczyna z pewną gotową do uczenia się strukturą, ale bez żadnej wiedzy. Musi zobaczyć wiele, wiele przykładów, aby “zrozumieć” jak działają różne zjawiska (skala liczebności tych przykładów zaczyna się od dziesiątek lub setek tysięcy). Nauczona sieć potrafi samodzielnie analizować nowe, wcześniej nie widziane przykłady, korzystając z rozpoznanych wcześniej cech.
Jakich informacji potrzebuje sieć neuronowa, aby nauczyć się rozpoznawać emocje? Tak jak dziecko, potrzebuje informacji zwrotnej o tym co jest, a co nie jest prawidłowe. Ten rodzaj uczenia maszynowego nazywamy uczeniem nadzorowanym (ang. supervised machine learning). Dla danych językowych, sieć potrzebuje szeregu anotacji, czyli przykładów o postaci np.:
- przepiękny = szczęście 0,8
- znalezisko = zaskoczenie 0,7
- nieuczciwość = złość 0,4
Najważniejsze są nie maszyny, a dane
Jak jednak zdobyć dziesiątki tysięcy takich przykładów potrzebnych do nauczenia sieci neuronowych? I co zrobić ze słowami, które będą wzbudzały różne emocje u różnych osób? Jeśli słowo “kolejka górska” wzbudza we mnie radość, a w tobie strach, to czyją wersję powinniśmy przekazać naszemu “neuronowemu dziecku”?
Problem dobrej jakości danych do uczenia maszynowego był bolączką wielu poprzednich projektów uczenia maszynowego, dlatego w Sentimenti zaangażowaliśmy zespół doświadczonych psychologów z LOBI PAN i przeprowadziliśmy największe w Polsce badania emocji w słowach. Zapytaliśmy ponad 20 tys. osób o ponad 30tys. słów i 7 tys. tekstów, z których każdy był oceniony ok. 25 -50 razy (więcej szczegółów na naszym blogu link). Mamy dzięki temu najbardziej reprezentatywną informację o 8 emocjach, jakie poszczególne słowa i teksty wzbudzają u Polek i Polaków.
Lepsza automatyczna analiza emocji w tekście
Stworzenie dobrej bazy danych pozwoliło nam przejść do kolejnego kroku, czyli wyboru algorytmu uczenia maszynowego, który najlepiej podoła zadaniu “odgadywania” emocji w tekście. Przetestowaliśmy następujące rozwiązania, które “nakarmiliśmy” naszymi danymi:
- word embeddings i word2vec (czyli metodę przekształcania słów i tekstów na postać matematyczną);
- fastText (jako podstawową metodę, punkt odniesienia);
- BiLSTM (ang. bidirectional long-short-term memory neural network, czyli dwukierunkowe sieci oparte na krótko- i długoterminowej pamięci);
Nasze algorytmy rozpoznawały sentyment trafnie w 89%, natomiast emocje w ok. 80-85% (dla wybranej grupy tekstów). Szczegółowe miary i informacje o dziedzinach, a także wiele pomiętych tutaj szczegółów badania, można znaleźć w naszej publikacji na stronie LTC.
Dzięki temu badaniu mamy dostępne modele, które rozpoznają emocje szybciej niż człowiek – są w stanie przetworzyć w ciągu kilku minut miliony tekstów.
W dziale B+R Sentimenti ciągle pracujemy nad nowymi rozwiązaniami, dlatego już teraz eksperymentujemy z technologiami, które zrewolucjonizowały świat NLP (ang. Natural Language Processing) w 2018 roku, takimi jak BERT i ELMo, ciągle rozwijamy też własne modele i rozwiązania dla lepszego zrozumienia emocji w języku.
Współpraca przy tej notce: dr Barbara Konat, kierowniczka badawcza w SENTIMENTI
