utworzone przez Agnieszka Czoska | sty 4, 2019 | Styl życia
Zima, grudzień, to w naszych szerokościach geograficznych czas natężonego siedzenia na kanapie i oglądania seriali. Postanowiliśmy sprawdzić, jak o tym opowiadamy w sieci i który dystrybutor jest najczęściej wspominany w tych wpisach. Skupiliśmy się na Netflixie, HBO i TVP.
O Netflixie wspomniano w mediach społecznościowych, gazetach czy na forach ponad 2 tysiące razy, podczas gdy nazwy HBO czy TVP pojawiły się mniej niż 900. Wyniki wskazują, że pierwsza platforma jest nie tylko najbardziej popularna, ale także najbardziej rozpoznawalna. Co więcej, jej użytkownicy chętnie używają nazwy Netflix we wpisach, jako hasztagu, ale nie tylko. Jeśli oglądamy coś na TVP, niekoniecznie oznaczymy dostawcę w poście, a gdy na Netflixie – już raczej tak. Netflix jest przykładem bardzo dobrze zbudowanej marki i społeczności wokół niej.
Spójrzmy na sentyment towarzyszący każdej z telewizji.
Żeby łatwiej porównać wyniki wszystkich dystrybutorów, wylosowaliśmy jedynie 900 wpisów o Netflixie. Sprawdziliśmy, czy zgadzają się z wynikami dla całego miesiąca – nie ma różnic, więc nasze losowanie było udane. Wszystkie wpisy zawierają więcej pozytywnego niż negatywnego sentymentu, czego spodziewalibyśmy się po wypowiedziach o rozrywce. HBO i Netflix mają takie same wyniki, podczas gdy TVP generuje nieco więcej negatywnego nastawienia niż konkurencja.
Szukamy różnic – analiza emocji
Zobaczmy teraz, czy krajobraz emocjonalny wypowiedzi o różnych telewizjach wygląda podobnie.
Tym razem Netflix wyprzedza pozostałe stacje pod względem radości, TVP generuje najwięcej złości i wstrętu (przypominamy, że szukaliśmy wpisów jedynie o serialach, więc aspekt informacyjny telewizji publicznej nie powinien mieć wpływu na ich treść). Poza tym otrzymujemy podobny wynik, co poprzednio, HBO i Netflix są do siebie bardzo podobne, TVP nieco od nich odstaje. Co ciekawe, żadna platforma nie jest opisywana z większym zaskoczeniem, ale HBO wywołuje najwięcej oczekiwania. Być może chodzi o kolejny sezon Gry o tron.
Jak widać, dopiero spojrzenie na poszczególne emocje pozwala nam powiedzieć coś o różnicach pomiędzy Netflixem i HBO.
Wszystkie telewizje wydają się być do siebie dość podobne, dlatego na koniec przyjrzymy się jeszcze słowom najczęściej używanym przez piszących o nich. Skupimy się jedynie na tych niosących emocje.
Dodatkowe źródło wiedzy – analiza słów kluczowych
HBO stoi swoimi produkcjami, w tym polskimi – wielką popularność zdobywa przecież Ślepnąc od świateł. Słowa oglądać i obejrzeć wydają się tu dość oczywiste, pojawiają się także przymiotniki duży, znany, dostępny.
Najczęstsze słowa niosące emocje we wpisach o HBO
We wpisach o TVP pojawiają się zupełnie inne słowa. Rządzą sport, nowość i komisarz (oczywiście Alex). Dostrzegamy negatywne wyrazy: zły, dno, nuda, beznadziejny, ale także pozytywne: ciekawy, popularny, hit. Wpisy o tej telewizji różnią się od poprzedniej nie tylko emocjami, ale także zawartością.
Najczęstsze słowa niosące emocje we wpisach o TVP
Na koniec przyjrzyjmy się wypowiedziom o Netflixie. Na tle innych słów wyraźnie wybijają się oglądać (jak w przypadku HBO), a poza tym dobry, wszystek, polski. Wyraźnie dostrzegamy także częste używanie słów fajny, lubić, ulubiony. Nie trafiamy na żaden tytuł, ale polski prawdopodobnie dotyczy serialu 1983.
Najczęstsze słowa niosące emocje we wpisach o Netflixie
Pogłębienie analizy sentymentu o zbadanie zawartości 8 emocji podstawowych pokazuje, jakie negatywne odczucia są częstsze w przypadku najmniej pozytywnie ocenianej telewizji, a także pokazuje różnice między bardzo podobnymi do siebie Netflixem i HBO. Dodatkowe spojrzenie na najczęściej używane we wpisach słowa niosące emocje uwidoczniła różnice jakościowe pomiędzy wypowiedzi o każdym z dystrybutorów. Badaliśmy seriale, ale nawet w tym kontekście dla oglądających TVP najważniejszy okazał się sport, widzowie HBO wspomnieli o kinie, a Netflixa – o bardzo ważnych w promocji tej platformy premierach.
Monitoring emocji w tekstach stwarza wiele możliwości analizy wyników – możemy spojrzeć na sentyment, poszczególne emocje (co zawsze dostarcza dodatkowych informacji), wreszcie na używane w wypowiedziach słowa. Dzięki temu możemy mówić zarówno o podobieństwach, jak i różnicach pomiędzy markami wywołującymi podobne emocje, chociaż opisywanymi nieco innymi wyrażeniami.
utworzone przez Agnieszka Czoska | gru 27, 2018 | SentiBrand
Znany Lekarz – wracamy do tematu! Każdy portal oferujący możliwość stworzenia swojego profesjonalnego profilu, informowania potencjalnych klientów, kim jesteśmy, a do tego dającym im możliwość dodania recenzji czy opinii na temat usługodawców to zaproszenie do komunikacji. Będzie tak na LinkedIn, na facebookowym funpage’e, ale także na tak nie kojarzącejniekojarzącej się z postami stronie jak ZnanyLekarz.pl. To, w jaki sposób otworzymy taką “rozmowę” może zdefiniować jej ton na długo.
Specjaliści pod lupą
Wydaje się dość intuicyjne, że jeśli opis strony na Facebooku będzie radosny, odwiedzającym ją będzie łatwiej odezwać się do nas niż w reakcji na bardzo formalny tekst. Dokładnie tak to działa z każdym postem. Marudzenie wyzwala głosy krytyczne (także wobec samego autora). Pochwały generują bardziej pozytywne odezwy, nawet te wnoszące sprzeciw. Wszystko to prawda, ale wydaje się nieintuicyjne, żeby podobny efekt mogły mieć autoprezentacje zamieszczane przez lekarzy w, jakby nie było, wyszukiwarce specjalistów?
Zaczęliśmy od znalezienia trójki specjalistów z opisami dłuższymi niż kilka zdań. Nie sprawdzaliśmy zawartości tych tekstów, ale okazało się, że chociaż muszą one zawierać sporo formalnego języka i specjalistycznych słów, jest w nich całkiem dużo emocji.
Najwięcej jest w nich radości i zaufania. Trochę wstrętu czy złości (wiążących się z chorobami i dolegliwościami leczonymi przez tych specjalistów).
Na przykład pierwszy z lekarzy jest zawsze powyżej średniej. Chyba że chodzi o smutek, złość lub strach (ale tu powyżej jest tylko specjalista numer dwa). Gdybyśmy mieli mu doradzić, jak poprawić wyniki, polecalibyśmy pozostanie w tych parametrach. Ale popracowanie nad wstrętem wywoływanym przez słowa jak choroba, krew… Jak można się szybko zorientować, uniknąć go można jedynie nie wymieniając zbyt wielu zabiegów czy obszarów specjalizacji. Tak naprawde nie jest to emocja, z którą powinno się specjalnie walczyć akurat w medycznym kontekście.
Lekarz numer trzy mógłby nieco dodać do swojego opisu radości ( pozytywnych sformułowań). Być może popracować nad złością i smutkiem. Przed usuwaniem czy niepotrzebnym przejmowaniem się negatywnymi emocjami naturalnymi w tekstach z danej dziedziny chroni nas wiele. Po pierwsze porównywanie danego opisu do średniej dziedzinowej i po drugie odsianie z wyników tzw. stopwords – słów, które mogą nieść emocje, ale będących w zasadzie przezroczystymi, a na pewno koniecznymi w takich autoprezentacjach. Przykładem takiego wyrażenia jest kliniczny, nieco źle się kojarzące uczestnikom badań nad emocjami w wyrażeniach. Ale niezbędne w portalach medycznych.
Jak mają się wyniki SentiTool pochodzące z analizy autoprezentacji do tych z opinii?
W opiniach (a wybraliśmy po prostu około 10 pierwszych, zwykle pozytywnych) jest mniej negatywnych emocji, chyba że spojrzymy na smutek lub złość. Jeśli przyjrzymy się pierwszemu lekarzowi, pozostaje zawsze w okolicach średniej grupowej, ale wywołuje mniej złości i więcej zaufania niż przeciętnie.
Z kolei lekarz numer trzy jest w dokładnie odwrotnej sytuacji – częściej niż średnia wywołuje złość, a rzadziej zaufanie. Póki co, wyniki nie wyglądają alarmująca. Co gdyby zaufanie obniżyłoby się bardziej? Moglibyśmy ostrzec tego medyka, że powinien popracować nad wywoływaniem poczucia bezpieczeństwa w swoich pacjentach.
Na koniec przyjrzyjmy się już nie słupkom, ale relacjom.
Okazuje się, że im więcej emocji wyraża dany lekarz w swojej autoprezentacji, tym więcej okazują w swoich opiniach jego pacjenci.
Na tym wykresie jest więcej punktów niż 3, bo dobraliśmy większą liczbę profili do przetestowania. Trochę nie mogliśmy uwierzyć, że ta zależność będzie tak widoczna i wprost proporcjonalna. Wyraźny trend widać zwłaszcza po lewej stronie wykresu, a więc tam, gdzie opisy lekarzy są krótsze:
Na koniec sprawdziliśmy, czy ta relacja może utrzymać się, jeśli ograniczymy wyniki do jednej emocji, za to ważnej – zaufania. Trend jest wyraźny, więcej zaufania ze strony lekarza, bardziej wywołująca tę emocję autoprezentacja oznacza także częstsze wyrażanie zaufania w opiniach.
SentiTool, narzędzie do wyławiania emocji z tekstów dowolnego typu, może analizować zmiany w tonie zarówno ogromnych zbiorów tekstów jako element monitoringu wpisów na dany temat w Internecie, ale przyda się także do “małego” social listeningu – sprawdzenia, czy wybijamy się ponad średnią z naszym opisem, czy opinie o nas są przeciętne, lepsze lub gorsze niż o innych. Sprawdzi się więc jako użyteczność pozwalająca skontrolować tekst w trakcie pisania. Ewentualnie ako system wczesnego ostrzegania o niezadowolonych klientach (a w tym przypadku – pacjentach).
Najciekawszy w tym wszystkim jest wciąż wynik naszego badania:
autoprezentacja ma znaczenie, nawet na portalu, który domyślnie wyświetla z niej jedynie kilka słów.
Potencjalni klienci najwyraźniej przeczytają ją. Wyrażone w niej emocje nastroją ich wobec specjalisty, do którego pójdą, i wpłyną na sposób dalszej komunikacji z nim. Ostatecznie, także na opinie wyrażane po zakończonej pracy.
utworzone przez Agnieszka Czoska | gru 24, 2018 | Polityka i społeczeństwo, Styl życia
Last Christmas – na pewno coś poczuliście widząc ten tytuł na naszym blogu. Niektórzy zaczęli się uśmiechać, inni raczej krzywić. A przecież to ten utwór towarzyszy nam w każde święta od 32 lat! I zaraz pokażemy, że
odbijają się w nim wszystkie emocje związane z Bożym Narodzeniem
Przeanalizowaliśmy, jak o niej pisano w polskojęzycznym Internecie od początku grudnia.
Mogłoby się wydawać, że piosenka wywołuje sporo negatywnych emocji, ale jak widać powyżej, mimo popularności akcji “W tym roku nie usłyszę Last Christmas” jeśli już używamy tego tytułu, to prawie dwa razy częściej towarzyszy mu pozytywny sentyment. Jaki?
Najczęściej po prostu radość i zaufanie, nic dziwnego, że zjawisko powtarzające się od ponad ćwierćwiecza napełnia nas poczuciem bezpieczeństwa i wywołuje oczekiwanie. Jeśli chodzi o negatywne emocje, to głównie smutek i złość. O ile smutek może wiązać się z nostalgią, wspominaniem minionych świąt abo wzruszeniem romantyczną historią opowiadaną przez Wham!, złość wydaje się być bezpośrednio związana z tym, że przebój słyszymy wszędzie… Czy na pewno?
Oto fragment chmury słów najsilniej wiążących się z emocją złości w przeanalizowanych przez nas wpisach. Oblężenie, rozgardiasz, nerwy… To chyba jednak reakcje na przedświąteczną lub świąteczną bieganinę.
Przyjrzyjmy się jeszcze chmurze słów niosących radość. Przeuroczy, kojarzyć się, aura… Chyba dotyczą piosenki, ale mogą być też stwierdzeniami dotyczącymi samego Bożego Narodzenia. Widać także, że dyskusja o Last Christmas nie jest zbyt melancholijna, pojawiają się w niej kozak, szał, szalony. Na ilustrację załapały się także kontrowersyjne wyrazy jedynie leciutko pozytywne we fragmencie swojego znaczenia (patrz: przypuszczalnie komplement w prawym górnym rogu).
Pokazaliśmy tu tylko niewielki procent wszystkich słów naładowanych emocjami, w których kontekście został wspomniany tytuł Last Christmas. Piosenka wciąż dobrze się kojarzy, do tego z bardzo konkretnym momentem w roku, co działa także w drugą stronę. Frustrację ze sklepowych kolejek, ale także uśmiech na widok śniegu, kojarzymy z przebojem Wham! I dlatego zaryzykujemy tu stwierdzenie, że
znaleźliśmy małe, kieszonkowe, skompresowane lusterko grudniowych nastrojów.
utworzone przez Agnieszka Czoska | gru 17, 2018 | Badania rynku, Polityka i społeczeństwo, Styl życia
Znany Lekarz to chyba najpopularniejszy serwis z opiniami o doktorach. Zebraliśmy mały, testowy korpus opinii dostępnych na stronie ZnanyLekarz.pl, krytycznych i chwalących wybraną grupę ginekologów. Postawiliśmy na tę specjalność, bo okazało się, że najłatwiej właśnie w niej znaleźć rozczarowanych pacjentów. Uzyskane wyniki są dobrym przybliżeniem tego, co pokazałaby nam analiza większego zbioru tekstów z innych specjalności – sprawdziliśmy to. Kolejny raz okazało się, że analiza SentiTool jest skuteczna już na stosunkowo niewielkim zbiorze wpisów.
Zebraliśmy po pięć krytycznych i chwalących wpisów o wybranych lekarzach. Poklasyfikowaliśmy je zgodnie z podziałem Znanego Lekarza: pięć gwiazdek to pochwała, jedna – krytyka. Następnie wrzuciliśmy teksty w SentiToola otrzymując dwa modele ich zawartości: analizę sentymentu (podział na pozytywne i negatywne sformułowania) i analizę zgodną z modelem Plutchika uwzględniającym osiem emocji podstawowych.
Najpierw przyjrzyjmy się analizie sentymentu.
O ile w pochwalnych opiniach jest wyraźna przewaga pozytywnych emocji, krytyczne wpisy zawierają obie składowe w prawie takich samych proporcjach. Opisując nieudane leczenie lub wizyty pacjenci wyrażają swoje niezadowolenie, ale w “elegancki” sposób (na portalu ZnanyLekarz nie są zwykle anonimowi, konieczność podania nazwiska może ich skłaniać do powstrzymywania się od nazywania swoich odczuć w sposób nieparlamentarny). Często porównują złego lekarza do innego, który był dla nich przyjemniejszy czy skuteczniejszy. Stąd brak przewagi negatywnego sentymentu. Jednocześnie okazuje się, że w analizie sentymentu bardzo krytyczna uwaga (1 na 5 gwiazdek) nie jest łatwa do wykrycia na podstawie ilości negatywnych sformułowań.
Analiza poszczególnych emocji daje nam znacznie więcej informacji.
Krytyczne opinie charakteryzują się sporą proporcją złości, smutku (w tym wypadku wyrażnie odróżnialnego od negatywnego sentymentu), wstrętu i strachu. Negatywne emocje są zawsze obecne także w pochwalnych wpisach, ale spodziewamy się tego ze względu na specyfikę dziedziny – opis choroby i leczenia źle się kojarzy.
Żeby wyraźniej pokazać rozsunięcie emocji w krytycznych i pochwalnych opiniach ze strony ZnanyLekarz.pl przetworzyliśmy dane w nieco inny sposób. Na wykresie radarowym wyraźnie widać, że opinie krytyczne ciążą w kierunku smutku i złości. Pochwalne w kierunku radości i zaufania (obecnego także w tych pierwszych, znowu mamy tu do czynienia ze specyfiką dziedziny).
Porównanie wyników analizy sentymentu i zawartości ośmiu emocji składowych w opiniach o lekarzach pozwala nam wyciągnąć dwa podstawowe wnioski:
- Krytyka angażuje więcej różnorodnych emocji, czego jednak nie widać w analizie sentymentu.
- Chwalenie to dużo pozytywów i bardzo mało negatywów. Do wyłonienia takich wpisów z większego zbioru wystarczy nawet klasyczna analiza.
Znając rozkład emocji nie musimy już wymuszać na pacjencie dodawania gwiazdek do opinii. Sami umiemy ją zaklasyfikować jako pochwałę lub krytykę. Co więcej, wiemy już, że wystarczy monitorować wyrażenia związane ze złością lub smutkiem – jeśli będzie ich coraz więcej, wizerunek danego lekarza niewątpliwie jest w kryzysie. Analiza tego, o czym pisali pacjenci (jak robiliśmy to przy okazji badania recenzji czy wpisów o Tęczowym Piątku) wykazuje, czy problemem jest osobowość lekarza (na przykład jest niemiły, oschły), czy może używany przez niego sprzęt lub zbyt niska skuteczność zabiegów.
Na przykładzie portalu ZnanyLekarz.pl pokazaliśmy wyższą skuteczność analizy pojedynczych emocji w porównaniu z analizą sentymentu. Skupienie się wyłącznie na wnioskach z analizy wydźwięku emocjonalnego może często prowadzić do błędnych konkluzji. Może mieć swoje negatywne konsekwencje biznesowe. I odwrotnie! Wydobycie z tekstu podstawowych emocji i ich interpretacja to potężne narzędzie w rękach działów obsługi klienta, marketingu i sprzedaży.
utworzone przez Agnieszka Czoska | lis 29, 2018 | Okiem badacza
Dr Jan Kocoń jest inżynierem języka naturalnego – to on odpowiada za uczenie maszynowe zamknięte w SentiToolu, naszym narzędziu do analizy emocji w tekście. Koordynuje prace zespołu językoznawczego, integruje poszczególne elementy narzędzia, ściśle współpracuje z zespołem informatycznym.
Kiedy masz komuś pierwszy raz opowiedzieć o Sentimenti i naszych narzędziach, co mówisz najpierw?
Sentimenti jest projektem, w którym zajmujemy się analizą emocji w tekście. W odróżnieniu od rozwiązań konkurencji, w których rozpoznaje się wyłącznie wydźwięk tekstu (pozytywny, neutralny, negatywny), nasze narzędzia są w stanie zrozumieć tekst, przypisać wyrazom w tekście konkretne znaczenia oraz emocje, jakie ludzie odczuwają w związku z tymi znaczeniami. Emocje te stanowią z kolei bazę wiedzy dla mechanizmu uczenia maszynowego, który dokonuje automatycznego rozpoznawania emocji na poziomie zdań oraz całego tekstu.
Co to znaczy, że analizujemy emocje w tekście?
W badaniach prowadzonych w projekcie zaadaptowaliśmy model Plutchika, obejmujący osiem emocji podstawowych: radość, smutek, zaufanie, wstręt, oczekiwanie, strach, zaskoczenie oraz złość. Jesteśmy w stanie oszacować, w jakim stopniu te emocje są wyrażone w tekście.
Skąd wiemy, jakie emocje ludzie czują?
Baza wiedzy, która jest pomocą dla naszego projektu, obejmuje ponad 30000 znaczeń słów, dla których 20000 unikatowych respondentów przypisuje oceny dotyczące wydźwięku oraz emocji. Mówimy tu o “znaczeniach”, a nie “słowach”, bo wyrazy są wieloznaczne, na przykład “ciemny” znaczy co innego w “ciemny błękit” lub “ciemny lud” i tylko w tym drugim przypadku niesie emocje. Każde znaczenie docelowo otrzyma 50 ocen od różnych osób. Dzięki temu wiemy, jakie odczucia wywołują określone znaczenia w tekście. Jednak emocja tekstu nie jest prostą sumą emocji przypisanych do znaczeń występujących w tym tekście…
Co jeszcze sprawia, że narzędzia do analizy emocji w tekście działają?
Z pomocą przychodzą nam dwie rzeczy. Pierwszą z nich jest nasza gigantyczna baza opinii z przyporządkowanym wydźwiękiem, które pochodzą z różnych dziedzin: podróże, medycyna, produkty i wiele innych. Mamy ponad 10 milionów takich tekstów, co stanowi doskonałe źródło informacji o ogólnym odczuciu twórcy tekstu. Jednak aby stwierdzić, jakie emocje dany tekst wywołuje u czytelnika, prowadzimy także własne badania, analogiczne od badań prowadzonych na pojedynczych znaczeniach. Przedmiotem tych badań są tym razem teksty. Osoby ankietowane przypisują im emocje podstawowe, dokładnie tak samo jak znaczeniom słów. Drugi filar naszego narzędzia to kombinacja wielu metod uczenia maszynowego. Eksperci od przetwarzania języka naturalnego dostarczają nam narzędzi do analizy tekstu na poziomie składniowym oraz semantycznym, dodatkowo tworzą reguły analizy znaczeń w kontekście jak: negacja, przypuszczenie, osłabienie lub wzmocnienie wydźwięku itp. Jest to dodatkowa pomoc dla metod automatycznych, na przykład głębokich sieci neuronowych, za pomocą których odbywa się właściwe wnioskowanie na temat emocji w tekście.
Do czego może się według ciebie przydać automatyczna analiz emocji?
Docelowo widzę wiele zastosowań dla naszych narzędzi. Pierwszy obszar obejmuje rynek reklam wyświetlanych w kontekście artykułów internetowych i dopasowywanie ich do emocji, jakie tekst publikacji wzbudza u czytelników. Przykładowo w smutnym tekście mogłaby pojawić się reklama towarzystwa ubezpieczeniowego, a w radosnym – reklama wycieczki. Kolejnym obszarem jest monitoring marki, czyli analizowanie jak klienci firm piszą w Internecie o danej firmie, jej produktach, jakie emocje im przy tym towarzyszą. Kolejne interesujące obszary to sortowanie skarg mailowych od klientów względem emocji w nich zawartych, detekcja konfliktów rodzących się w korespondencji pracowników, wykrywanie kryzysów w mediach społecznościowych, a nawet możliwość diagnozowania chorób psychicznych – potencjał jest naprawdę ogromny.
Co jeszcze planujesz zrobić w Sentimenti?
Póki co, jest gotowy prototyp z prostą analizą tekstu na poziomie znaczeń oraz z analizą wydźwięku z wykorzystaniem naszych wielkich zasobów opinii. Obecnie we Wrocławskim zespole Sentimenti zarządzam budową mechanizmu uczenia maszynowego, w którym możliwe będzie zagregowanie zarówno informacji z bazy wiedzy dotyczącej znaczeń, jak i informacji pochodzących z potoku przetwarzania języka naturalnego. Wciąż spływają nam nowe dane o odczuciach osób czytających teksty, stanowiące nasz zbiór uczący. Im więcej danych, tym lepsza jakość narzędzia.
