Rygor naukowy przynosi jakościową różnicę w pomiarach

Przyczynowość przez zdecydowanie zbyt długi czas była nieuchwytnym, Świętym Graalem pomiarów marketingowych. Nawet mając do dyspozycji najlepsze dostępne narzędzia, marketerzy planowali kampanie i wydatki marketingowe podejmując decyzje w oparciu o – w najlepszym razie – całkiem profesjonalne, ale jednak domysły. Po prostu nie było wiadomo dokładnie, jakie działanie powoduje jaką reakcję i dlaczego. To właśnie się zmienia, wraz z pojawieniem się nowych sposobów pomiaru, opartych o ludzi.

Jedną z podstawowych prawd o świecie jest fakt, że nie wiemy wszystkiego. Musimy pogodzić się z tym, że nie wiemy jak pewne zjawiska działają. Co więcej, musimy też zaakceptować, że są całe obszary, których zasad działania nie tylko nie znamy – po prostu o ich istnieniu nie mamy pojęcia. A kwestią zajmują się naukowcy, od fizyków do psychologów, politycy i biznes. Wszyscy oni muszą zaakceptować, że po prostu nie wiemy, jak pewne rzeczy działają i nie mamy pełnego obrazu sytuacji. Do niedawna tak właśnie było w dziedzinie pomiarów efektywności marketingu online.

Przyczynowość: Święty Graal marketingu online

Ustalenie związków przyczynowo-skutkowych to trudne zadanie. Uzyskanie pewności, że konkretne zdarzenie jest prawdziwą przyczyną kolejnego, to Święty Graal, niedościgniony ideał i skarb poszukiwany przez zajmujących się pomiarami efektywności, bez względu na konkretny temat.

W mediach i marketingu całkowicie zrozumiałe jest poleganie na pomiarach i mierzalnych danych w podejmowaniu decyzji dotyczących wydatków. Niestety, zatomizowany, podzielony na małe cząstki świat wielu platform, wielu urządzeń, wielu systemów operacyjnych, multimediów i multi-wszystkiego, nie ułatwia zadania. Szczególnie, że zachowania konsumentów zmieniają się tak szybko, jak technologie. Ustalenie przyczynowości zachodzącej pomiędzy działaniem marketingowym a rezultatami biznesowymi jest trudniejsze niż kiedykolwiek.

Obecnie istnieją oczywiście metody mierzenia rezultatów działań marketingowych. Są one użyteczne zarówno w kanałach tradycyjnych, jak i nowo powstających. Jednak dla zasady działają one pośrednio – chodzi o tzw. proxy metrics, takie jak dobrze znane CTR czy GRP.

US Open połączył Pierce’a Brosnana z 0:07 na zegarze Rolexa

Nie oferują one jednak bezpośredniego linku przyczynowego, który byłby wystarczająco użyteczny dla biznesu i jego parametrów, takich jak sprzedaż, przychód czy konkretne KPI. Dziś, niestety, marketingowcy traktują konkretne kanały marketingowe oddzielnie, jako odrębne, wielkie silosy danych. Dzieje się tak z powodu braku jednego, uznanego standardu pomiaru, który działałby np. w całym media planie. Rzeczywistość dla klientów jest mało przyjemna: jeśli zaczną oni analizować sytuację i dokopią się do sedna procesu, przekonają się, że tak do końca nie wiedzą za co konkretnie płacą.

Jak w takiej sytuacji można w ogóle myśleć o podejściu całościowym, holistycznym do projektów i kampanii? Jak działać, skoro nie da się porównać efektów w poszczególnych kanałach i dowiedzieć się, jak aktywności marketingowe wpłynęły na biznesowe rezultaty? Te pytania są szczególnie palące w branży mobilnej, gdzie tradycyjne modele pomiarów oparte o pliki cookie, których przecież nie ma w aplikacjach, po prostu nie działają, a śledzenie trendów i zachowań użytkowników pomiędzy aplikacjami i platformami jest trudniejsze.

Mierzenie stopniowych zmian wymaga oparcia o ludzi, nie środki pośrednie

Lift wychodzi naprzeciw tym wyzwaniom i wykorzystuje metody naukowe do zidentyfikowania rezultatów biznesowych, u których źródła są zachowania ludzi wygenerowane przez reklamy. Ale czym jest Lift?

Dobrym sposobem jego zilustrowania jest medycyna. By dowiedzieć się, czy dany lek czy terapia działają, urzędnicy zazwyczaj dzielą (losowo) grupę osób na dwie, po czym członkowie jednej z nich otrzymują lek, lub terapię, a inni placebo, po czym porównuje się rezultaty medyczne u obu grup.

Czas przemyśleć nasze metodologie

Mówiąc językiem naukowym, to podejście nazywane jest RCT (ang. randomized controlled trials). W branży marketingowej, RCT oznacza badania, w których indywidualni odbiorcy losowo przypisywani są do grup kontrolnych (tzn. reklamy mogą pojawić się na ich urządzeniach lub też nie pojawią się nigdy – odpowiednik placebo). RCT uważane są za złoty standard branży pomiarów. Według branży RCT generują standardowe wyniki, które można porównywać ze sobą i które pozwalają analitykom na wyizolowanie związków przyczynowo-skutkowych.

Metodologia Lift oparta jest na następujących kluczowych założeniach. Osoby (odbiorcy) są przez Facebooka losowo przypisywani do grup kontrolno-testowych. Każda z tych grup jest równoważna i porównywalna ze sobą nawzajem. Po uruchomieniu kampanii, grupa testowa poddana jest ekspozycji na konkretne reklamy Druga grupa – przeciwnie. Obserwujemy aktywność w obu grupach i mierzymy stopniowe, niewielkie zmiany lift-u w obu z nich. W przypadku lift-u opartego o osoby, możliwe jest mierzenie realnego wpływu kampanii na zachowania, aktywności użytkowników i rezultaty biznesowe, takie jak:

• sprzedaż online i offline (przychód, zakupy, transakcje, itd.)

• wpływ na markę (znajomość marki, znajomość reklam, itd.)

 

Oczywiście mierzenie wpływu na sprzedaż, zarówno online jak i offline, jest relatywnie proste, jako że sprzedaż umożliwia upload konkretnych, standardowych danych. Jednak mierzenie wpływu kampanii na markę jest już trudniejsze – sygnał jest trudniejszy do oddzielenia od szumu, a dane niełatwe do zebrania. Dlatego by zbadać kondycję marki w obu grupach, zadajemy każdej z nich pytanie kontrolne.

W ustalaniu przyczynowości kluczowe jest zbadanie „wagi” statystycznej. Tu fundamentalna zasada analizy, oznaczająca że rezultat, który wyróżnia się pod względem statystycznym – w przypadku RCT może to być np. duża różnica w reakcji pomiędzy grupą kontrolną a grupą „placebo” – nie jest przypadkowy, a wywołał go bodziec marketingowy (np. reklama).

Oczywiście odpowiedź na pytanie czy statystyczna „waga” rezultatu jest duża, zależy od rozmiaru grupy kontrolnej i testowej (choć nie tylko od niego). Dlatego tak ważne jest, by przy każdej analizie zadać pytanie o wielkość tych grup.

Niestety pomimo upowszechnienia wielu dobrych praktyk, standardów i metod kontrolnych, jakość pomiarów często pozostawia dziś wiele do życzenia i mogłaby zostać przeprowadzona lepiej.

Dlatego zachęcamy wszystkich marketerów i branżę reklamową, by kwestionować i poddawać w wątpliwość naukowe metody pomiarów, by upewnić się że u źródeł decyzji będą tylko poprawne dane o dużej statystycznej „wadze”.

Przykłady lift-u marki

Jak mogłyby wyglądać wyniki pomiarów na Facebooku dokonanych w oparciu o naukowy lift? Oto przykład ,a więcej można znaleźć tutaj.

Facebook był kluczowym elementem globalnej kampanii dla marki AXE, realizowanej od Marca do Maja 2016. Kampania przyniosła imponujące rezultaty:

• 7.4pkt wzrostu świadomości marki

• 5.7pkt wzrostu kojarzenia przekazu

Rezultaty zmierzono metodą Lift. Stwierdzono, że statystycznie wyróżniającą się daną był uplift pomiędzy grupą kontrolną I testową w odniesieniu do  kojarzenia przekazu. Wyniósł on 5.7pkt.

Integracja z innymi metodami pomiarów:

Rekomendujemy by nie tylko kwestionować uznane metody, ale także by eksperymentować z nimi. Niezależnie od tego, czy wykorzystywany są modele ekonometryczne takie jak MMM (marketing mix), atrybucyjne (MTA = multi-touch attribution). Zachęcamy do zmieniania ich parametrów i zabaw z kalibracją narzędzi. Oparcie o lift bazujący na osobach pozwoli zrozumieć, jak konkretne zmiany wpływają na proces pomiaru a tym samum na wartość dla klienta.  

Co to wszystko oznacza dla marketerów?

• Krytyczna ewaluacja narzędzi pomiarowych pozwoli na dobranie najlepszego podejścia i zestawu narzędzi – niezależnie od tego, czy wnioskiem będzie kontynuacja dotychczasowych działań, czy też np. zmiana np. na Lift.

• Metodologia ma znaczenie. Należy zadawać trudne pytania dotyczące pomiarów efektywności, weryfikowania dlaczego konkretne podejście i sposoby działania są wykorzystywane.

• Strategia pomiarów musi być jasno zdefiniowana: każda kampania może zostać zmierzona na wiele sposobów. Zrozumienie, dlaczego konkretna kampania mierzona jest w taki, a nie inny sposób, pomoże w interpretacji wyników pomiarów.

• Mierzenie rezultatów zawsze będzie istotną częścią naszej pracy. „Uzbrojenie” się w wiedzę na temat pomiarów i metod naukowych wykorzystywanych w nich pozwoli aktywnie uczestniczyć nie tylko w dyskusjach o samych pomiarach, ale także w dyskusjach strategicznych, dotyczących wydatków i przekładalności działań marketingowych na rezultaty biznesowe.

Igor Skokan
Regional Measurement Lead – CEE w zespole Facebook Marketing Science