AI do analizy danych marketingowych: gdzie model językowy się myli

AI do analizy danych marketingowych świetnie się sprawdza, dopóki ma tłumaczyć, a nie liczyć. Wklejasz eksport z panelu reklamowego, a model w 20 sekund pisze zgrabne podsumowanie z rekomendacją „zwiększ budżet”. Problem w tym, że to podsumowanie może stać na błędnym dzieleniu, trzech zamówieniach albo średniej, którą przestawił jeden dobry dzień. Pokazujemy, gdzie model językowy myli się najczęściej i jak podzielić pracę, żeby jego wnioski dało się obronić.

Duży model językowy (LLM, czyli to, co stoi za ChatGPT, Claude czy Gemini) uczył się na tekście. Jest znakomity w tym, co z tekstem związane: streszcza, porządkuje, tłumaczy skróty, zamienia tabelę w trzy zdania dla zarządu. To realna oszczędność czasu i nie ma powodu z niej rezygnować.

Gorzej z arytmetyką. Gdy model nie uruchamia kodu, tylko „pisze” wynik, potrafi podać ROAS 4,2 tam, gdzie z sumy przychodu i wydatku wychodzi 3,1. Brzmi równie pewnie jak wynik poprawny. Nowsze narzędzia potrafią uruchomić kod w tle i wtedy liczą dobrze, ale z odpowiedzi nie zawsze wynika, którą drogą poszły.

Druga pułapka to liczenie wskaźników z wskaźników. Klasyczny błąd: model uśrednia ROAS pięciu kampanii, zamiast podzielić łączny przychód przez łączny wydatek. Przy kampaniach o różnych budżetach te dwie liczby potrafią się różnić dwukrotnie.

Jest też grupa metryk, których w ogóle nie wolno sumować: zasięg i częstotliwość. Zasięg z siedmiu dni dodany dzień po dniu policzy tę samą osobę siedem razy. Widzieliśmy już częstotliwość „46” wyliczoną w ten sposób, gdy prawdziwa wynosiła niecałe 2. Model nie zaprotestuje, bo arytmetycznie wszystko się zgadza.

Najdroższy błąd w analizie reklam to ogłoszenie zwycięzcy na podstawie garstki zdarzeń. ROAS z dwóch zamówień wygląda w tabeli identycznie jak ROAS z trzydziestu. Model językowy widzi dwie kolumny z liczbami i porównuje je wprost.

Z naszej praktyki wynika prosta reguła: liczba zdarzeń ogranicza to, co wolno pochwalić, a nie to, co wolno zganić.

• Świetny wynik z kilku zamówień to szczęście. Nie uzasadnia podwojenia budżetu.
• Wynik wyraźnie poniżej progu (np. koszt pozyskania ponad dwa razy wyższy od celu) jest porażką niezależnie od liczby zdarzeń. Mała próba nie tłumaczy przepalania pieniędzy.
• Za minimum do oceny wyniku przyjmujemy około 10 zdarzeń w oknie oceny, a przy drogim koszyku około 5. Poniżej tego progu zamiast werdyktu wydłużamy okno do 28, a w razie potrzeby do 56 dni.

Model, któremu nie podasz tej reguły, zwykle napisze „kampania B ma najlepszy ROAS, skaluj ją”. Zapytany „z ilu zamówień?”, często przyzna, że z trzech. Dlatego to pytanie zadawaj zawsze ty.

Podobnie z wnioskiem „wynik spadł istotnie”. Słowo „istotnie” ma w statystyce konkretne znaczenie: wykonano test i wyszedł. Porównanie ostatnich 7 dni z poprzednimi 7 to heurystyka, a nie test. Jeden słaby tydzień potrafi wywołać taki „istotny spadek” w każdej kampanii.

Średnia z miesiąca odpowiada na pytanie „ile zarobiliśmy”. Nie odpowiada na pytanie „czy to się powtarza” ani „w którą stronę idziemy”. Model językowy, któremu dasz sumę za 30 dni, z natury zobaczy tylko pierwsze.

W kontach, które prowadzimy, stosujemy prosty test: jeśli wynik okresu jest co najmniej dwa razy lepszy od typowego tygodnia, nie skalujemy. Wynik nie jest fałszywy, ale nie jest powtarzalny. Zwykle stoi za nim jeden dzień, w którym wpadło jedno duże zamówienie.

Weźmy przykład wymyślony od zera. Sklep wydaje 4000 zł miesięcznie na kampanię, która przyniosła 20 000 zł przychodu, czyli ROAS 5. Model pisze: „świetny wynik, zwiększ budżet o 30%”. Rozbijasz miesiąc na tygodnie: 2,1, 2,4, 1,9 i 13,6. Ostatni tydzień zawiera jedno zamówienie hurtowe za 11 000 zł. Typowy tydzień to ROAS około 2,2, a przy takiej marży kampania może być ledwie na zero. Zwiększenie budżetu dołożyłoby pieniędzy do kampanii, która sama w sobie nie zarabia.

Tę samą pułapkę rozbieramy szczegółowo w case study Sprzeczne rekomendacje AI w Meta Ads (otwiera się w nowej karcie): to samo konto, ten sam dzień, a dwie metody analizy dały odwrotne decyzje budżetowe.

Nawet bezbłędnie policzone liczby trzeba jeszcze zinterpretować. Tu model językowy ma tę samą słabość co początkujący analityk: zna benchmarki, nie zna kontekstu. Kilka sytuacji, w których „podręcznikowy” wniosek jest błędny:

• Niski CTR zgłoszony jako problem, gdy ROAS jest w celu. CTR jest metryką pomocniczą. Jeśli sprzedaż się spina, niski CTR nie wymaga naprawy.
• Kampania bez konwersji przy niskim budżecie. To zwykle brak wyjścia z fazy uczenia, a nie zła kreacja.
• Kreacja bez konwersji do wyłączenia. Najpierw sprawdź wyświetlenia. Kreacja, którą system ledwo pokazał, nie została przetestowana.
• Porzucone koszyki w większości sesji z koszykiem. To częsty stan w e-commerce, a nie awaria sklepu.
• Spadek po zmianie budżetu. Kilka dni ponownej nauki jest oczekiwane.
• Spadek w sezonowym dołku, który znasz z poprzednich lat. To nie znalezisko, tylko sprawdzona prognoza.

Hierarchia, której się trzymamy: kontekst klienta (cele, marża, sezonowość) ważniejszy od wiedzy ogólnej, ta ważniejsza od surowego wyniku liczb, a benchmark branżowy na samym końcu. Model bez kontekstu odwraca tę kolejność, bo benchmark to jedyne, co zna. Jeśli nie podasz mu celu ROAS, powinien to powiedzieć wprost, a nie po cichu podstawić średnią z internetu.

Zanim wdrożysz rekomendację modelu, przejdź pięć kroków. Zajmuje to kwadrans i oszczędza pieniędzy.

1. Sprawdź źródło każdej liczby. Weź dwa wskaźniki z odpowiedzi i policz je sam w arkuszu z sum. Jeśli się nie zgadzają, odrzuć całą analizę, a nie tylko te dwie liczby.
2. Zapytaj o próbę. Ile zamówień, leadów, kliknięć stoi za każdym wnioskiem? Poniżej około 10 zdarzeń pochwała jest przedwczesna.
3. Zapytaj o okno. Z jakiego okresu jest wynik? Czy dane kończą się na wczoraj? Ostatni pełny dzień jest wiarygodny, dzisiejszy jeszcze nie.
4. Rozbij na tygodnie. Czy wynik okresu zgadza się z typowym tygodniem? Jeśli różnica jest dwukrotna, szukaj jednego dnia, który robi miesiąc.
5. Zderz z kontekstem. Czy kampania jest w fazie uczenia? Czy był sezon, promocja, zmiana budżetu, awaria piksela? Model tego nie wie, dopóki mu nie powiesz.

Dobry nawyk: poproś model, żeby przy każdym wniosku podał poziom dowodu. „Test statystyczny”, „trend z kilku tygodni”, „porównanie dwóch okien” i „pojedynczy sygnał” to cztery różne rzeczy. Gdy model musi to nazwać, sam zaczyna łagodzić zbyt pewne zdania.

Najlepsze efekty daje rozdzielenie ról. Nie chodzi o to, żeby nie używać AI, tylko żeby nie oddawać mu tego, w czym jest słabe.

W praktyce wygląda to tak: przygotowujesz tabelę z policzonymi już wskaźnikami, liczbą zdarzeń i rozbiciem na tygodnie. Dopiero taką tabelę dajesz modelowi z prośbą: „opisz, co widzisz, wskaż trzy rzeczy do sprawdzenia, nie licz nic od nowa”. Odpowiedź będzie skromniejsza, ale za to prawdziwa.

Więcej o tym, jak składać takie zestawienia co miesiąc, piszemy w tekście o raporcie marketingowym, a skróty z tego artykułu znajdziesz w słowniku skrótów marketingowych.

• Modeli językowych używamy codziennie, tylko do innych zadań niż liczenie.
• Część narzędzi AI liczy dobrze. Część z nich uruchamia kod i daje poprawne sumy. Błędy metody (średnia z wskaźników, wniosek z trzech zamówień) zostają jednak niezależnie od tego, kto liczy.
• Progi z tego tekstu (około 10 zdarzeń, okno 28 dni, iloraz 2) to nasze reguły z praktyki, a nie prawo natury. Przy innym biznesie mogą wymagać korekty.
• Narzędzia zmieniają się co kilka miesięcy. Piszemy według stanu na październik 2026.

Weź ostatnią analizę, którą przygotował Ci model, i przejdź przez pięć kroków weryfikacji. Sprawdź dwie liczby w arkuszu, zapytaj o liczbę zdarzeń za najlepszą kampanią i rozbij jej miesiąc na tygodnie. Jeśli wszystko się zgadza, masz dobre narzędzie. Jeśli nie, wiesz już, czego mu nie oddawać.

Niezależne sprawdzenie, czy wnioski trzymają się liczb, to jedna z pierwszych rzeczy w naszym audycie marketingowym.