Ranking aplikacji mobilnych w ogniu krytyki, firmy badawcze odpierają zarzuty. „Brak jasnych definicji w badaniach”

Rankingi najpopularniejszych aplikacji przygotowane przez Gemius/PBI oraz firmę Spicy Mobile zostały opublikowane na przestrzeni kilku kolejnych dni w styczniu br.

W zestawieniu Gemiusa na trzech pierwszych miejscach znalazły się aplikacje Google, YouTube oraz Messenger. Natomiast ranking Spicy Mobile/Mobigate otwierały aplikacje OLX, Allegro i Player.

Wyniki niespójne i mylące
Po opublikowaniu obu raportów w środowisku reklamowym i mobilnym pojawiły się krytyczne głosy oceniające te zestawienia. Szczególne kontrowersje budziły wyraźne różnice w zestawie aplikacji występujących na czołowych miejscach rankingów Gemiusa i Spicy Mobile.

Wyrazicielem wątpliwości powstałych w związku z zestawieniami stał się Piotr Biegun, CEO w Whalla Labs i managing director w Cogision, który opublikował na LinkedIn obszerną analizę obu raportów wytykając im błędy i niedociągnięcia.

Pierwszy zarzut wyrażony przez Piotra Bieguna dotyczy metodologii zastosowanych przez obie firmy badawcze i rażących różnic w wynikach będących owocem tych metodologii.

- Każde z tych badań ma inną metodologię, ale jeśli byłyby oparte na rzetelnych danych to wyniki powinny być podobne - zaznacza w swoim tekście Biegun. - Niestety, przedstawione wyniki są ze sobą sprzeczne, w danych widać sporo niezgodności, a co najgorsze, nie są uwzględnione dane z rynku i oficjalnych raportów, co boli jeszcze bardziej.
Gemius raportuje, że w Polsce mamy 20,9 mln użytkowników smartfonów i tabletów. W jego TOP 20 najlepszych aplikacji znalazły się dwie aplikacje lokalne: OLX i Allegro oraz aplikacja Vlingo, która nie jest dostępna do ściągnięcia na Androidzie i iOS od kilku lat.

Z drugiej strony natomiast, Spicy Mobile w swoim raporcie pokazuje, że z Androida w Polsce korzysta około 17,7 mln osób, a dwie największe aplikacje w Polsce to OLX i Allegro. Na pierwszy rzut oka wszystko wygląda w porządku, bo widzimy znane marki, ale jeśli zaczniemy analizować poszczególne dane, to okaże się, że nie można na nich polegać - zaznacza autor wpisu.

W dalszej części Biegun zestawia ze sobą niektóre parametry widoczne w obu badaniach i wskazuje na istotne różnice, które nie mają uzasadnienia na rynku.

Biegun pisze: „Do analizy weźmiemy wejściowe dane:
Gemius/PBI
Liczba internautów mobilnych - 20,9 mln
Liczba użytkowników aplikacji OLX - 3 939 224
Liczba użytkowników aplikacji Allegro - 3 099 179
Spicy Mobile/Mobigate
Liczba użytkowników z systemem Android - 17,7 mln
Liczba użytkowników aplikacji OLX - 2 183 735
Liczba użytkowników aplikacji Allegro - 1 493 106

Zakładając, że dane są poprawne, to 3,2 mln osób (Internauci Gemius/PBI - użytkownicy Android Spicy Mobile/Mobigate) odpowiada za 1 755 489 użytkowników aplikacji OLX oraz 1 606 073 użytkowników aplikacji Allegro.

Oznacza to, że na pozostałych platformach mobilnych (poza Androidem) penetracja obu brandów jest na poziomie ponad 50%, co oznacza, że co druga osoba jest użytkownikiem tych aplikacji oraz, że pozostałe platformy stanowią ponad 40% całego user base.

Jest to mało prawdopodobne, ponieważ wg danych z raportu Jestem Mobi 2015 (ostatnie znalezione przeze mnie dane) struktura udziałowa poszczególnych systemów aplikacji OLX i Allegro wyglądała tak:

Allegro:
iOS: 625 000 - 13,5%
WP: 520 000 - 11,2%
Android: 3 500 000 - 75,3%
OLX:
iOS: 260 997 - 10,5%
Windows Phone: 190 954 - 7,6%
Android: 2 038 442 - 81,9%

Według danych deklaratywnych sprzed dwóch lat, posiadacze sprzętu z systemem Android stanowili około 80% user base obu aplikacji, a w publikowanych rankingach udział ten jest poniżej 60%. Jest to sprzeczne z danymi, które my obserwujemy u naszych klientów lub z tymi, które są pokazywane w oficjalnych raportach i trendach” - wylicza CEO Whalla Labs.

W dalszej części analizy Biegun wytyka każdej z firm badawczych z osobna błędy, jakie jego zdaniem popełniono w ich zestawieniach. W wypadku Gemiusa jest to m.in. umieszczenie w rankingu niedziałającej już aplikacji Vlingo, natomiast w wypadku Spicy Mobile chodzi np. o zaniżone wyniki osiągnięte przez takie aplikacje jak Qpony, jakdojade.pl czy Yanosik.

Podsumowując Biegun wyraża żal z powodu tak wielu nieścisłości w opublikowanych raportach i podkreśla, że branża mobile w Polsce wciąż nie ma rzetelnego badania, na którym mogliby się oprzeć wydawcy, agencje reklamowe i reklamodawcy.

- Trudno uznać, że wyniki przedstawione przez Gemius/PBI oraz Spicy Mobile/Mobigate są w jakikolwiek sposób miarodajne. Jest to o tyle problematyczne, że wyniki publikowane przez Gemius/PBI są “wyrocznią” przy planowaniu kampanii, a umieszcza w niej aplikację, która nie istnieje oficjalnie na rynku od co najmniej 2014 roku – pisze Biegun. - Z drugiej strony trudno też zaufać badaniom od Spicy Mobile/Mobigate, skoro w przypadku jednej z większych aplikacji na polskim rynku (jakdojade.pl) ich badanie odchyliło się raptem o 75%, a raport w żaden sposób nie ujmuje oficjalnych informacji od właścicieli. (...)Niestety w tym momencie wygląda na to, że nie mamy żadnego badania, które potrafi pokazać jaki jest prawdziwy udział poszczególnych graczy na polskim rynku mobile. Zawodzi technologia oraz podejście - dodaje.

Różnice w wynikach to efekt innych metod badawczych

Odpowiadając na krytyczne głosy dotyczące rankingów aplikacji mobilnych z grudnia ub.r. firma Spicy Mobile przesłała do redakcji Wirtualnemedia.pl oświadczenie, w którym Artur Zawadzki, członek zarządu Spicy Mobile wyjaśnia przyczyny różnic w wynikach wytknięte przez Bieguna i środowisko reklamowe.

- Z zainteresowaniem przyjmujemy opinie środowisk branżowych, które pojawiły się w wyniku publikacji ostatniego rankingu, tj. rankingu polskich aplikacji mobilnych za grudzień 2016 r. Liczymy, że rozpoczęta dyskusja będzie przyczynkiem do rozwoju naszej branży, edukacji rynku i wypracowania najlepszych rozwiązań. Jednocześnie z przykrością odbieramy komentarze i publikacje, które w oparciu o błędne założenia podważają wiarygodność naszej pracy - czytamy w komunikacie, w którego dalszej części Artur Zawadzki wyjaśnia genezę powstałych kontrowersji.

„Pragniemy podkreślić, że oba badania będące w ostatnich dniach przedmiotem dyskusji, publikacji i porównań – tj. badanie Mobience oraz badanie Gemius/PBI – są realizowane według różnych metodologii, co w naturalny sposób wpływa na otrzymane wyniki. Badanie Mobience jest pasywnym pomiarem korzystania z aplikacji mobilnych oraz oglądalności stron poprzez urządzenia mobilne – telefony i tablety, który obejmuje użytkowników w wieku 15+ korzystających z urządzeń mobilnych z systemem Android. Zasięg dla danej aplikacji jest liczony tylko wtedy, gdy użytkownik wywoła ją na pierwszy ekran choć raz w miesiącu. Pomiar aktywności użytkowników jest dokonywany automatycznie przez zainstalowany na telefonach program monitorujący, bez konieczności wykonywania aktywnych działań ze strony osoby badanej. Obecnie udział systemu Android w ogóle ruchu www dostarczanego z urządzeń mobilnych wynosi 82% (według Ranking.pl, dane za tydzień 26 grudnia 2016 – 1 stycznia 2017). Dane o strukturze populacji „mobinautów”, czyli internautów korzystających z internetu przez urządzenia mobilne, są dostarczane przez instytut Millward Brown.”

Oświadczenie Spicy Mobile zwraca uwagę na brak na rynku jednolitych wskaźników pozwalających uniknąć dużych różnic w wynikach rankingów różnych firm badawczych.

„W tym miejscu pragniemy zwrócić także uwagę na funkcjonujące w środowisku rozbieżności w definicjach wskaźników, które utrudniają porównywanie ze sobą wyników otrzymanych z różnych źródeł. I tak, w przypadku pomiaru zasięgu aplikacji niezwykle ważne jest czy zasięg jest podawany dla aplikacji zainstalowanych, czy też faktycznie używanych. Jeżeli dla faktycznie używanych, koniecznie jest kolejne rozróżnienie – czy mówimy o aplikacjach wywołanych na pierwszy ekran (jak to przyjęliśmy w badaniu Mobience), czy też o uruchomionych procesach. Kończąc, zwracamy się z prośbą o rozważne analizowanie wyników dotyczących aplikacji mobilnych i porównywanie danych uzyskanych za pomocą tej samej metodologii.”

Swoje stanowisko w sprawie kontrowersji wokół rankingu przedstawia też Gemius/PBI w specjalnym oświadczeniu przygotowanym dla Wirtualnemedia.pl, pod którym podpisali się Sławomir Pliszka, prezes spółki Polskie Badania Internetu, oraz Marcin Pery, członek zarządu Gemiusa. Obaj autorzy odnoszą się szczegółowo do zarzutów formułowanych przez Piotra Bieguna.

„W rankingu Spicy Mobile widzimy, że i tam w czołówce znajdują się YouTube, Facebook i Messenger. Osobną kwestią jest aplikacja Google, którą PBI/Gemius pokazuje w swoim zestawieniu, a Spicy zdecydował się nie pokazywać.
Analizując wyniki badania zawsze powinno się patrzeć na metodologię, gdyż tam są zawarte informacje o ewentualnych ograniczeniach. Tak więc różnice metodologiczne mają prawo prowadzić do pewnych rozbieżności. I zawsze tak jest, spójrzmy chociażby na badania marketingowe, mediowe, czy chociażby statystyki różnych serwerów reklamowych. Tak jest i zawsze będzie. Ważne, aby merytorycznie ocenić wpływ tych różnic, na końcowy efekt. Na przykład o ile w obu badaniach wykorzystywany jest panel internautów na Androidzie, to w  przypadku PBI/Gemius dodatkowo niektórzy wydawcy implementują skrypty pomiarowe na Androidzie i iOS, co pozwala rozszerzyć pomiar.

Gemius i PBI pokazują populację internautów mobilnych na poziomie 20,9 mln RU, Spicy Mobile: 17,7. Nie ma w tym żadnej sprzeczności, dane są, gdyż Gemius pokazuje populację 7+, w tym systemów Android i iOS, a Spicy Mobile15+ tylko systemu Android. Populacja użytkowników mobilnych 15+ w badaniu Gemius/PBI wynosi 19,8 mln. Spicy Mobile szacuje populację użytkowników 15+ systemu iOS na około 2 mln RU, co jest sensowną wartością.

W pierwszym przypadku mówimy o wszystkich użytkownikach smartfonów i tabletów, a w drugim o Androidzie. Po drugie, Spicy Mobile estymuje dane na bazie Net Tracka, zaś Gemius dodatkowo używa autorskich algorytmów na bazie site-centric.

Pomiędzy badaniami Gemius i Spicy Mobile istnieją różnice metodologiczne, które wynikają z trudności interpretacyjnych co jest, a co nie jest uruchomioną aplikacją w systemie Android. Różne wersje systemów operacyjnych Android (wersje 4.x, wersje 5.x i wyższe) dają różne uprawnienia aplikacjom mierzącym aktywność panelistów na smartfonach i przyjęcie mniej lub bardziej rygorystycznej definicji, czy uruchomiony proces na telefonie należy uznać za działającą aplikację (w tym np. na pierwszym ekranie), skutkuje w efekcie różnymi wynikami badania. Jest rzeczą oczywistą i normalną, że definicje te będą się z czasem "ucierać" i rynek wypracuje standardy badawcze również w obszarze mobilnym. Rozmawiamy ze Spicy Mobile, aby uzgodnić wspólne definicje i jednolicie traktować użytkowników różnych systemów operacyjnych. Porównywanie badań deklaratywnych z badaniami panelowymi i wyciąganie na tej podstawie daleko idących wniosków jest nieuprawnione.

Proces Vlingo nie powinien być umieszczony w wynikach badania. Jest to proces działający w ramach systemu Android i nie stanowi oddzielnej aplikacji. Od wyników kolejnej fali badania nie będzie już pokazywany. Nie oznacza to, że umieszczenie go w pierwszej fali wyników oznacza jakiś błąd - proces ten ma rzeczywiście takie wyniki oglądalności, jakie pokazaliśmy, nasza pomyłka polegała na zinterpretowaniu tego procesu (jednego z kilkuset, których wyniki mierzymy i analizujemy) jako samodzielnej aplikacji.

Przygotowując dane musieliśmy sprawdzić kilka tysięcy procesów aplikacji i gdzieś zabrakło czujności i proces Vlingo, jako aplikacja wylądowała na 14 miejscu zestawienia. Dane zostały poprawione i kilka dni temu uaktualnione dla użytkowników aplikacji Gemius Explorer".

W rozmowie z nami Piotr Biegun tylko na jednym przykładzie stara się wykazać, że wyjaśnienia Gemiusa/PBI i Spicy Mobile nie są przekonujące.

- Z informacji potwierdzonych przez Bartosza Burka (Jakdojade.pl) obecnie Gemius nie mierzy 100 proc. ich użytkowników (brak danych z iOS, WP oraz ok. 65 proc. użytkowników wersji androidowej). W badaniu Gemius zabrakło tej informacji, natomiast badania Spicy Mobile w obecnej postaci nie odzwierciedlają w pełni tych informacji – wyjaśnia Biegun. - Jest to szczególnie istotne w tym punkcie: „W tym miejscu pragniemy zwrócić także uwagę na funkcjonujące w środowisku rozbieżności w definicjach wskaźników, które utrudniają porównywanie ze sobą wyników otrzymanych z różnych źródeł. I tak, w przypadku pomiaru zasięgu aplikacji niezwykle ważne jest, czy zasięg jest podawany dla aplikacji zainstalowanych, czy też faktycznie używanych. Jeżeli dla faktycznie używanych, koniecznie jest kolejne rozróżnienie – czy mówimy o aplikacjach wywołanych na pierwszy ekran (jak to przyjęliśmy w badaniu Mobience), czy też o uruchomionych procesach.” Aplikacja Jakdojade.pl w przypadku badania Gemius i Spicy Mobile pokazuje uruchomienia, a nie procesy. Tak więc nie można mówić o różnych wskaźnikach - ucina krótko Biegun.