MSL pojawiało się w 61 proc. odpowiedzi AI na polskojęzyczne pytania o agencje PR. Jako pierwsza rekomendowana agencja, występowało w 19,3 proc. Dalej kolejność się zmieniała: 24/7 Communication było wymieniane częściej niż Hill+Knowlton Strategies, ale znacznie rzadziej otwierało listę rekomendacji. Badanie Rankfor.AI pokazuje, dlaczego warto sprawdzać nie tylko obecność nazwy, lecz także jej miejsce i kontekst.
Jak przeprowadziliśmy badanie Rankfor.AI
„Szukam agencji PR w Polsce. Kogo polecasz?” – to jedno z 12 pytań zadanych w badaniu. Inne dotyczyły m.in. komunikacji kryzysowej, firm technologicznych i małych przedsiębiorstw. Każde pytanie trafiło do sześciu konfiguracji modeli AI, po 15 razy. Łącznie powstało 1080 odpowiedzi po polsku. Badanie sprawdzało, jakie nazwy AI podsuwa osobie szukającej usług PR.
Każde pytanie powtórzono 15 razy, ponieważ ten sam model może podać inne nazwy lub zmienić ich kolejność przy następnej odpowiedzi. Dzięki powtórzeniom liczymy, jak często pojawia się dana agencja i jak często jest pierwszą rekomendacją. W osobnym badaniu Dice Roll oszacowaliśmy 15 powtórzeń dla pomiaru średniej liczby wymienianych marek.
Pięć konfiguracji działało bez wyszukiwania w sieci, a Sonar korzystał z wyszukiwania. Wyniki są wspólnym zestawieniem tych konfiguracji, nie pomiarem wszystkich dostępnych chatbotów ani kontrolowanym testem wpływu dostępu do internetu. Z polskiej analizy PR wyłączono 24 niejednoznaczne dopasowania nazwy do kontekstu. Rekomendacje i ton wypowiedzi oznaczano automatycznie na podstawie zapisanych odpowiedzi.
MSL najczęściej pojawiało się w odpowiedziach
MSL odnotowano w 659 z 1080 odpowiedzi. W 637 przypadkach, model przedstawiał je jako propozycję dostawcy usług, a w 208 była to pierwsza taka propozycja w tekście. MSL prowadziło zarówno pod względem liczby wzmianek, jak i pierwszych rekomendacji.
Te trzy miary odpowiadają na różne pytania. Wzmianka mówi, czy nazwa w ogóle się pojawiła. Rekomendacja oznacza, że model proponował agencję jako dostawcę usług. Pierwsza rekomendacja wskazuje, która z takich propozycji wystąpiła najwcześniej w odpowiedzi. Sama kolejność nie dowodzi, że model uznał tę agencję za najlepszą.
Poniżej dziesięć nazw z największą liczbą wzmianek w polskojęzycznej części badania. Wszystkie wartości w tabeli odnoszą się do tych samych 1080 odpowiedzi.
Nazwa w odpowiedziach AI Wymieniona Rekomendowana Rekomendowana jako pierwsza MSL 61,0% 59,0% 19,3% 24/7 Communication 43,4% 42,0% 7,8% Hill+Knowlton Strategies 42,1% 36,7% 17,4% Solski Communications 31,9% 30,2% 1,9% Alert Media Communications 31,3% 30,5% 5,6% FleishmanHillard 29,0% 28,7% 0,3% Edelman 28,1% 25,9% 5,3% Havas PR 25,5% 23,8% 0,6% Burson 19,8% 18,6% 0,3% Sarota PR 18,3% 18,3% 2,0%
Źródło: Rankfor.AI, analiza 1080 odpowiedzi AI na polskojęzyczne pytania o agencje PR. Nazwa była liczona najwyżej raz w danej odpowiedzi. Jedna odpowiedź mogła wymieniać i rekomendować wiele agencji, dlatego wartości w tych kolumnach nie sumują się do 100 proc.
Częściej wymieniana nie zawsze znaczy pierwsza
24/7 Communication pojawiło się w 469 odpowiedziach, a Hill+Knowlton Strategies w 455. Różnica w liczbie wzmianek była więc niewielka. Przy pierwszych rekomendacjach kolejność była odwrotna: 84 odpowiedzi dla 24/7 Communication i 188 dla Hill+Knowlton Strategies.
Podobną różnicę widać przy Solski Communications i Alert Media Communications. Pierwsza nazwa miała nieco więcej wzmianek – 344 wobec 338. Druga znacznie częściej była pierwszą rekomendacją: w 61 odpowiedziach, wobec 21 dla Solski Communications.
To opis wyników tej próby. Nie wystarcza to, by uznać którąś agencję za trwale lepiej widoczną w każdym modelu i przy każdym pytaniu. Pokazuje jednak, ile informacji gubimy, gdy wszystkie wzmianki sprowadzamy do jednej liczby.
Co AI mówiło o MSL
Duża liczba wzmianek może oznaczać pochwały, neutralny opis albo krytykę. Dlatego sprawdzono również ton wypowiedzi o poszczególnych nazwach.
W przypadku MSL spośród 659 odpowiedzi, w których pojawiła się ta nazwa, 464 zaklasyfikowano jako pozytywne, 168 jako neutralne, 9 jako negatywne, a 18 jako mieszane. To odpowiednio 70,4 proc., 25,5 proc., 1,4 proc. i 2,7 proc.
Tutaj podstawą procentów jest 659 odpowiedzi z nazwą MSL, a nie całe 1080. Klasyfikacja dotyczy tonu tekstu wygenerowanego przez AI. Nie jest pomiarem opinii klientów ani dowodem jakości usług. Powstała automatycznie i może zawierać błędy, zwłaszcza gdy odpowiedź zestawia kilka firm lub łączy pochwałę z zastrzeżeniem.
Nazwy marek nie tworzą prostej listy niezależnych firm
Przy czytaniu tabeli trzeba też uważać na zmiany nazw i powiązania między markami. W odpowiedziach występowały zarówno Hill+Knowlton Strategies, jak i Burson. To nie daje podstaw, by traktować je jako dwa niezależne biznesy: w 2024 roku połączenie BCW i Hill & Knowlton doprowadziło do powstania Burson, a komunikat grupy opisywał Hill & Knowlton jako markę działającą w jej strukturze.
Tabela zachowuje rozpoznane nazwy występujące w badanych tekstach. Nie przedstawia aktualnej struktury właścicielskiej rynku. Wyników powiązanych marek nie można po prostu dodać – obie nazwy mogły wystąpić w tej samej odpowiedzi.
Co z tego wynika dla agencji i ich klientów
Agencja sprawdzająca swoją obecność w AI powinna przeczytać odpowiedzi, w których się pojawia. Dopiero wtedy zobaczy, czy model proponuje ją do konkretnego zadania, wymienia tylko przy okazji czy opisuje z zastrzeżeniami. Ważne jest też, czy używa właściwej nazwy i aktualnie przedstawia ofertę.
Dla firmy szukającej partnera, lista z AI może być początkiem poszukiwań. Przed wyborem trzeba jednak sprawdzić, czy agencja rzeczywiście świadczy potrzebne usługi i ma odpowiednie doświadczenie. Pierwsze miejsce w wygenerowanej odpowiedzi nie zastępuje takiej weryfikacji.
Źródła
- Raport PR dla Polski
- Burson o połączeniu BCW i Hill & Knowlton oraz strukturze grupy, 4 czerwca 2024 r.
- The Dice Roller Method
