grafika: fotolia.pl
Badania są realizowane metodą analizy treści. Najpierw wyszukujemy teksty zawierające dane słowo kluczowe, następnie te teksty czytamy i klasyfikujemy, a zgromadzone w ten sposób dane poddajemy dalszej analizie i wyciągamy wnioski. Metoda jest znana od lat w naukach społecznych. Monitoring internetu to narzędzie, które ułatwiło badania tą metodą – znacznie uprościło i przyspieszyło proces gromadzenia tekstów, analizy (poprzez zastosowanie półautomatycznych rozwiązań, np. do opisywania dat publikacji, autorów czy źródeł), a także prezentowania danych w postaci wykresów i syntetycznych mierników.
Zobacz również
Jednak analiza treści analizie treści nierówna. Po pierwsze, jeśli w branży badań skuteczności działań promocyjnych jakieś pojęcie nazywa się tak samo, niekoniecznie oznacza to samo. Boleśnie przekonał się o tym brytyjski Central Office of Information (COI), wówczas jeszcze funkcjonujący jako odrębna placówka koordynująca działania komunikacyjne brytyjskiego rządu (obecnie jest częścią częścią Government Procurement Service). Placówka w lipcu 2009 r. przeprowadziła ciekawy eksperyment. Instytucja rozesłała brief z załączoną próbką 138 artykułów prasowych do pięciu firm monitorujących media. Organizacja chciała się dowiedzieć, do ilu osób dotarł dany tekst, jaki był koszt dotarcia na 1000 i jaki był wydźwięk tekstu. Efektem było pięć różnych zestawów z wynikami, a wyniki w poszczególnych kategoriach analizy bardzo mocno różniły się między sobą.
Co więcej, każda z firm stosowała różne miary zasięgu, które inaczej się nazywały i różnie były liczone:
Słuchaj podcastu NowyMarketing
To tylko przykład. Podobne można by mnożyć, próbując sprawdzić, co kryje się pod takimi pojęciami, jak zasięg, zaangażowanie czy wpływ. Z reguły każdy z dostawców rozumie je inaczej, mało który umieszcza ich definicje w swoich raportach, a klient rzadko się o to dopytuje.
Po drugie, monitoring monitoringowi nierówny, co widać zwłaszcza na przykładzie internetu. Każda z firm, która monitoruje sieć, ma inną bazę serwisów oraz inną filozofię zbierania danych. Każda inaczej definiuje źródło – to, co w mojej ofercie figuruje jako subdomena dużego serwisu (np. biznes.wp.pl), u konkurenta może być traktowane jako osobny serwis. Na pierwszy rzut oka klientowi wyda się zatem, że firma konkurencyjna monitoruje więcej serwisów niż moja, podczas gdy w rzeczywistości tak wcale nie będzie – możemy mieć w większości przypadków te same dane. Diabeł tkwi w szczegółach. Ponieważ każda z firm używa innego oprogramowania, w żadnej z firm nie dostaniemy identycznego zestawu wyników na te same słowa kluczowe. Teraz już rozumiecie, dlaczego w swoim badaniu COI rozsyłał gotowe zestawy artykułów?
Po trzecie, swoich obowiązków często nie dopełniają też twórcy raportów z social media. W ich analizach brakuje informacji, jakie słowa kluczowe były sprawdzane, skąd pochodziły dane, jak analizowano wydźwięk postów, jakie dokładnie dane analizowano. Efekt jest taki, że klient, który zamówił pierwszą edycję badania w jednej firmie, a drugą – w drugiej – będzie miał kłopot z porównaniem wyników obu analiz.
Na panującym zamieszaniu tracą przede wszystkim zleceniodawcy. Nie są oni w stanie dokonywać porównań ofert czy dowiedzieć się, jak została przeprowadzona dana analiza. Dostrzegły to już różne organizacje branżowe, ale milowy krok dokonał się dopiero za pośrednictwem Międzynarodowego Stowarzyszenia Pomiaru i Oceny Komunikacji (Association for Measurement and Evaluation of Communication, AMEC) – organizacji firm i specjalistów mierzenia komunikacji. AMEC postanowił uporządkować istniejący stan rzeczy jeśli chodzi o analizy z mediów społecznościowych. Wspólnie z innymi międzynarodowymi i amerykańskimi organizacjami branżowymi wypracował dokument, który został oficjalnie ogłoszony podczas konferencji European Measuremet Summit w czerwcu b.r. w Madrycie.
Standardy ogłoszone przez AMEC zawierają:
- Wytyczne, jak powinien wyglądać opis metodologii badania (np. jak powinien być opisany sposób kodowania, serwisy, z których pochodziły dane, itp.);
- Definicja takich pojęć, jak jednostka analizy (item), wzmianka (mention), impresja (impression), zasięg(reach), zaangażowanie (engagement), konwersacje (conversation) oraz wydźwięk (sentiment);
- Propozycje definicji, czym są opinie (opinion), rekomendacje (advocacy), wpływ (influence), rezultatu (impact) i wartości (value);
- Wskazanie różnic pomiędzy badaniami social media a jakościowymi badaniami marketingowymi.
Nie jest to końcowa wersja standardów – propozycje definicji są jeszcze dyskutowane za pośrednictwem strony www.smmstandards.org, gdzie można zgłaszać swoje uwagi. Pełny dokument powinien być gotowy do końca 2013 r.
Warto jednak zapoznać się z nim już teraz i zacząć konsekwentnie stosować uzgodnione już definicje czy chociażby wspomniany wzór opisu metodologicznego. Uczyni to mierzenie efektów skuteczności komunikacji bardziej rzetelnym i jednocześnie bardziej przejrzystym dla zleceniodawców.