W czasach pozornej obfitości łatwo utonąć w głębokiej wodzie zalewu narzędzi, metod, informacji, coraz większych zbiorów danych, z których często nic nie wynika. Podobnie jest z ogólnodostępnymi raportami, jakie można znaleźć w internecie – jak ocenić, czy są wiarygodne i można na ich podstawie podejmować decyzje? Jak prowadzić własne badania z pożytkiem dla decyzji, które podejmujemy?
Błogosławieństwo i przekleństwo w jednym
Zobacz również
Zapewne każdy z nas ma za sobą gorące dyskusje nad przyniesionym przez kogoś „raportem znalezionym w Internecie”. Mnóstwo dyskusji, emocje, odkrycia – i wielki kac na koniec, gdy w końcu ktoś zwrócił uwagę na drobną czcionkę na końcu raportu, gdzie po przejrzeniu kilkudziesięciu stron tekstu i zmarnowaniu kilku godzin okazuje się, że próba liczyła n=25 osób, z czego połowa zarabia powyżej 10 tys netto. I jest nie tylko celowa, niereprezentatywna, ale wręcz kompletnie bezsensowna.
Łatwość umieszczania treści w internecie zaowocowała wielkim śmietnikiem, w którym trzeba zachować czujność i mieć oczy dookoła głowy, by odróżnić raport zawierający porządnie przygotowane badanie marketingowe od PR-owej zabawki, której jedyną wartością jest wysmakowana grafika. Jak mawiał klasyk, darmowy lunch jest wyłącznie w pułapkach na myszy. Warto zachować ostrożność i szukać drobnego druczku, który powinien znajdować się na końcu każdej publikacji, w której cytowane są badania – i zawierać kluczowe informacje świadczące o jakości cytowanych badań: kto zrealizował badanie? Na czyje zlecenie? W jaki sposób przeprowadzono wywiady? Jakiej populacji dotyczy badanie – czy są to dorośli Polacy czy może wyłącznie mieszkańcy miast z Podlasia?
Tricky online
#PrzeglądTygodnia [30.03-05.04]: marki na prima aprilis, prozwierzęce kampanie, moda kolejny raz spotkała się z kinem![#PrzeglądTygodnia [30.03-05.04]: marki na prima aprilis, prozwierzęce kampanie, moda kolejny raz spotkała się z kinem](https://nowymarketing.pl/wp-content/uploads/2024/04/przeglad-tygodnia-26-05-142x0-c-default.jpg)
Coraz więcej wywiadów prowadzonych jest przez internet. Kłopot polega na tym, że metodologia badań online’owych nie została de facto nigdzie opisania, zweryfikowana, nie przeszła przez krzyżowy ogień pytań naukowców. Nikt nie zweryfikował wątpliwości metodologicznych, które wiążą się z każdym projektem badawczym, w którym korzystamy z nowych technologii. A jest ich całe mnóstwo: czy próby dobierane przez internet są reprezentatywne? Czy online nadaje się do dobierania szerokich prób reprezentatywnych? Czy jakość danych zbieranych przez internet jest wystarczająca do podejmowania decyzji biznesowych? Skąd wiemy, kto dokładnie udziela wywiadów przez internet? Jak kontrolować jakość zbieranego materiału?
Słuchaj podcastu NowyMarketing
Nadal brak niepodważalnych standardów oraz dobrych praktyk. Nadal pojawiają się projekty badawcze, w których sposób zbierania informacji ma się nijak do założeń projektu badawczego i celu badania postawionego na początku.
Na początek: proces badawczy
Projektowanie badania jest procesem. Polega on na podjęciu szeregu decyzji, które wpływają na jakość informacji, która pojawi się jako efekt tego procesu. Każdy z tych elementów – jeśli go dobrze nie przemyślimy – może być źródłem błędów. Jedną z decyzji, które podejmujemy, jest decyzja aby badanie przeprowadzić online – własnymi siłami, lub we współpracy z agencją. Na próbie panelowej, dobranej metodą RTS albo na podstawie własnej bazy danych. Za pomocą narzędzia kwestionariuszowego online, wywiadów indywidualnych prowadzonych w czasie rzeczywistym, albo na przykład narzędzia typu „dedykowane forum dyskusyjne” (np. Focus Board).
Każdy z tych wyborów może być dobry lub zły – w zależności od tego, czy spełnia podstawowe kryterium: dobrze służy celowi badania. To cel jest pierwszym elementem procesu badawczego i to on wyznacza wszystkie kolejne decyzje. To od celu zależy dobór metod, decyzja o sposobie kontaktowania się z potencjalnymi respondentami, o wielkości próby, decyzja o czasie trwania wywiadów, decyzja o tym, czy możemy zdecydować się na badania deklaratywne – czy raczej powinniśmy przeprowadzić badanie polegające na obserwacji lub pomiarze zachowań. A może warto zbadać obie rzeczy – i deklaracje (przestrzeń percepcyjna, świadoma), i zachowania (przestrzeń behawioralna, świadoma lub nie)?
Każdy etapów procesu badawczego – to potencjalne źródło błędów.
ETAPY PROCESU BADAWCZEGO – ELEMENTY, CO DO KTÓRYCH KONIECZNA JEST DECYZJA ODNOŚNIE DEFINICJI, OPREACJONALIZACJI LUB SPOSOBU REALIZACJI
Źródło: opracowanie własne autorki.
Warto zwrócić uwagę, że wskazane w modelu błędy nie mają nic wspólnego z legendarnym „+/-3%”, błędem statystycznym.
Jak zaprojektować badanie, by dało rzetelne odpowiedzi? Czy badania prowadzone online są rzetelne? Kiedy są/nie są? Czy wszystkie badania można prowadzić przez internet? Jakie zalety i wady mają różne narzędzia do prowadzenia wywiadów online? Które projekty można zrobić samodzielnie, a kiedy należy sięgnąć po pomoc agencji badawczej? Czy badania online są tańsze czy droższe od badań prowadzonych za pomocą wywiadów osobistych – w jakich warunkach bywają droższe? Co wpływa na ceny projektów badawczych prowadzonych online? Czy badanie przeprowadzone przez internet będzie wiarygodne dla klientów wewnętrznych? Czym dobór próby przez internet różni się od doboru próby offline – i co to oznacza dla reprezentatywności?
Mała podróż w czasie
Projektowanie badania powszechnie kojarzone jest obecnie z wymyślaniem pytań kwestionariuszowych. Jest to jednak tylko wierzchołek góry lodowej, której podstawą w naszych czasach jest zaangażowanie respondenta, zaproszenie go do współpracy, współudziału, współtworzenia.
W latach 90-tych powszechne było prowadzenie badań za pomocą ankiet papierowych, wywiady prowadzone były przez ankieterów. Nikt się nie przejmował tym, czy respondent się znudzi. Wizyta ankietera w wielu domach była ważnym wydarzeniem, czasem wiązała się nawet z częstowaniem herbatą i ciastem. Wywiad mógł trwać 45 minut, respondent był co prawda zmęczony, ale dzielnie udzielał informacji o swoich preferencjach, robiąc to często pierwszy raz w życiu. Jak podaje Katalog Polskiego Towarzystwa Badań Opinii i Rynku z 1998 roku łączna liczba wywiadów przeprowadzonych metodą wywiadów osobistych prowadzonych w domach respondentów (face to face) wyniosła około 0,5 mln – i była to wtedy najpowszechniejsza metoda realizacji wywiadów.
Najświeższy Rocznik PTBRiO z 2015 podaje, że :
- wywiadów osobistych w domach respondentów zrealizowano 1,4 mln, ale jednocześnie zrealizowano także: 335 tys. wywiadów osobistych typu central location, 1 mln wywiadów w miejscach publicznych (street), oraz
- 2,98 mln wywiadów telefonicznych (CATI), 2,34 mln wywiadów online na próbach panelowych lub za pomocą mailingu, 570 tys. wywiadów online dobranych metodą RTS (real time sampling).
W naszych czasach bycie respondentem jest męczące, żmudne, nudne. Jeśli w ogóle wyrażamy zgodę na rozpoczęcie wywiadu, w pośpiechu odpowiadamy na dziesięć pierwszych pytań a potem staramy się jak najszybciej zakończyć wywiad spiesząc do codziennych obowiązków. Czy w dobie dbania o customer experience ktoś wreszcie zacznie dbać o respondent experience?
Jak wskazał prof. Mirosław Szreder w swojej prezentacji podczas seminarium „Wartość poznawcza reprezentacyjnych badań statystycznych w konfrontacji z badaniami sondażowymi realizowanymi w Polsce”, kluczowym elementem wpływającym na jakość pomiaru jest błąd braku odpowiedzi.
Co ciekawe, badania online są tu w sytuacji bardzo specyficznej: dają mnóstwo ciekawych narzędzi do prowadzenia wywiadów, ale jednocześnie wiążą się z wielką pokusą: skoro możliwe jest dobranie próby kilku tysięcy wywiadów w jedno popołudnie, to dlaczego mamy rozkładać próbę na siedem dni tygodnia? Skoro możemy dobrać próbę o wystarczającej liczebności w godzinę, to dlaczego rozkładać to na kilkadziesiąt godzin? – odpowiedzi na te pytania udziela statystyka, która wyraźnie wykazuje, że jakość pomiaru ma związek z zapewnieniem reprezentatywności. A to oznacza, że próba dobrana w porannych godzinach w poniedziałek ma się nijak do populacji, która korzysta z internetu inaczej w poniedziałki, inaczej w dni weekendowe, inaczej popołudniami. Każda decyzja co do doboru próby ma swoje konsekwencje.
Nie każde badanie musi być prowadzone na próbie dobieranej dwa tygodnie, ale są rodzaje badań – choćby badania popytu – których konsekwencje są na tyle poważne (finansowo), że poświęcenie tygodnia, dwóch tygodni na zbieranie wywiadów wpływa na jakość decyzji inwestycyjnych. Badania online pod tym względem nie różnią się od innych sposobów realizacji wywiadów.
Czy można zrobić badanie w kilka godzin? Można, ale nie zawsze warto.
Źródła:
–Roczniki PTBRiO
–Seminarium „Wartość poznawcza reprezentacyjnych badań statystycznych w konfrontacji z badaniami sondażowymi realizowanymi w Polsce”
Agnieszka Łebkowska
Konsultant z dwudziestoletnim doświadczeniem w badaniach marketingowych, trener. Specjalizuje się w badaniach online oraz badaniach obszaru HR. Członek zarządu Polskiego Towarzystwa Badaczy Rynku i Opinii. Opiekun Bazy Wiedzy PTBRiO.
W ramach Towarzystwa prowadzi szkolenie „Tricky online – jak uniknąć katastrofy w badaniach online”. Więcej o szkoleniu.