Log file analysis dla SEO: jak wyciągnąć wnioski z realnego crawl’u

Log file analysis dla SEO: jak wyciągnąć wnioski z realnego crawl’u

Analiza plików logów to jedyny sposób, by zobaczyć realny crawl Twojej strony. Żadnych domysłów ani symulacji – tylko surowe dane pokazujące, które adresy odwiedza Googlebot, jak często i z jakimi rezultatami. Z logów dowiesz się, gdzie marnowany jest budżet crawlowania – informacje, których nie znajdziesz ani w Search Console, ani w klasycznych narzędziach crawlerowych.

Dlaczego log file analysis to „ground truth” SEO?

Pliki logów serwera to pierwszo-źródłowe dane (first-party data) – zapis tworzony przez serwer w momencie każdego żądania HTTP, bez interpretacji zewnętrznych narzędzi. Dla SEO oznacza dostęp do kompletnego dziennika requestów: URL, timestamp, kod odpowiedzi, user-agent, IP, czas i rozmiar odpowiedzi.

Raport Crawl Stats w Google Search Console pokazuje jedynie wycinek historii crawlowania, ograniczony do 90 dni i określonej liczby wierszy. Logi serwera obejmują znacznie więcej:

• wszystkie boty (Googlebot, Bingbot, Yandex, boty AI),
• żądania zasobów technicznych (CSS, JS, obrazy) konsumujących budżet crawl,
• zachowanie użytkowników i innych systemów – z możliwością filtrowania.

Praktyczna wartość dla SEO

Analiza logów pozwala mierzyć realną efektywność budżetu crawlowania – widzisz, ile requestów trafia na strony nieindeksowalne, błędy, przekierowania czy parametry. Identyfikujesz orphan pages – URL-e crawlowane przez Google, ale nieobecne w linkowaniu wewnętrznym lub sitemapie. Wykrywasz crawl traps (pętle filtrowania, kalendarze, parametry) generujące setki tysięcy zbędnych żądań.

W jednym z case studies Oncrawl analiza ujawniła, że ponad 40% budżetu crawl dużego e-commerce’u pochłaniały strony z filtrami, które nie generowały ani ruchu organicznego, ani konwersji (Oncrawl).

Skąd wziąć logi i na co zwrócić uwagę?

Logi możesz pozyskać z kilku warstw infrastruktury: serwer www (Apache, Nginx, IIS) ze standardowym access.log z katalogów /var/log/, panel hostingowy (cPanel, Plesk) z sekcji „Raw Access Logs”, lub CDN/WAF/load balancer (Cloudflare, AWS CloudFront) – często właśnie edge logi najlepiej pokazują ruch botów.

Krytyczne pola w logach dla SEO

Pole	Zastosowanie SEO
timestamp	badanie częstotliwości crawl i sezonowości
request path / URL	podstawa do analizy crawlowanych adresów
status code	identyfikacja błędów, redirect chains, soft 404
user-agent	rozróżnienie botów i urządzeń
IP address	weryfikacja autentyczności bota
response time	wskazuje problemy wydajnościowe
bytes / response size	wykrywa przerośnięte strony, soft 404

Minimalny okres do analizy: 30 dni – aby zobaczyć sensowne wzorce i częstotliwość crawl. Optymalnie 90 dni – do analizy trendów oraz pełnego przeglądu zmian po wdrożeniach.

Protip: Jeśli masz wpływ na konfigurację serwera, dopilnuj obecności timestamp, status, user-agent, URL, IP, response time i bytes w logach – bez tego wyciągnięcie kluczowych wniosków technicznych będzie niemożliwe.

Jak odróżnić prawdziwy Googlebot od podszywacza?

Sam user-agent typu „Googlebot” nie wystarczy – jest często spoofowany przez inne narzędzia. Oto sprawdzony workflow weryfikacji:

Krok 1: Filtrowanie po user-agent

Wstępnie wyciągnij requesty zawierające w user-agent „Googlebot”, „Bingbot”, „AdsBot-Google”, „Googlebot-Image”.

Krok 2: Weryfikacja po IP (złoty standard)

Pobierz oficjalną listę zakresów IP Googlebot w formacie JSON udostępnianą przez Google. Dopasuj IP-ki z logów do tych zakresów i odrzuć wszystko, co się nie zgadza. Alternatywa: reverse-then-forward DNS – sprawdź, czy hostname kończy się na googlebot.com lub google.com, a następnie czy rozwiązuje się z powrotem na ten sam IP.

Krok 3: Tagowanie

Oznacz każde żądanie kategorią: Googlebot (indexing), Googlebot-Image, AdsBot-Google, Bingbot, inne boty wyszukiwarek, boty AI, niezweryfikowane boty.

Dopiero po takim oczyszczeniu możesz wiarygodnie badać realną częstotliwość crawl i identyfikować strukturalne problemy.

Workflow analizy logów: od raw data do insightów

1. Zbieranie danych – pobierz minimum 30 dni surowych logów ze wszystkich istotnych warstw (serwer www, CDN, WAF, load balancer). Upewnij się, że dane są kompletne i niepróbkowane.
2. Normalizacja i parsowanie – sprowadź logi do jednego formatu tabelarycznego: timestamp, URL, status, user-agent, IP, bytes, response time.
3. Weryfikacja botów – odfiltruj użytkowników i niezweryfikowane boty, pozostawiając tylko prawdziwe crawlery.
4. Segmentacja URL-i – pogrupuj adresy według typów: artykuły, kategorie, produkty, tagi, filtry, parametry, paginacja, landing pages. Taka segmentacja ujawnia, które rodziny adresów konsumują crawling.
5. Budowa raportów – stwórz zestawienia: hits by section over time, status codes by section, top parameter patterns, per-template crawl recency.
6. Cross-referencing z innymi danymi SEO – porównaj listę crawlowanych URL-i z sitemap XML, wynikiem własnego crawla (Screaming Frog, Sitebulb, Ahrefs) oraz danymi o indeksacji (Search Console, API indeksacji).
7. Priorytetyzacja i wdrożenia – zidentyfikuj największe „kieszenie” marnowanego crawl. Zaplanuj działania: blokada w robots.txt, noindex, canonical, ograniczenie generowania URL, lepsze linkowanie wewnętrzne.
8. Re-measurement – po wdrożeniach pobierz nowe logi (po 2–4 tygodniach) i porównaj wzorce crawl.

Protip: Opisany workflow świetnie sprawdza się jako procedura kwartalna: raz na kwartał wykonaj pełny cykl analizy 90 dni logów, a w międzyczasie przeprowadzaj lżejsze, comiesięczne przeglądy pod kątem nowych problemów.

🤖 Prompt AI: Analiza i wnioskowanie z logów serwera

Gotowy prompt do wykorzystania w ChatGPT, Gemini lub Perplexity – przekopiuj, uzupełnij zmienne i otrzymaj gotową analizę! Możesz też skorzystać z naszych autorskich generatorów biznesowych dostępnych w zakładce narzędzia lub kalkulatorów branżowych kalkulatory.

Przeanalizuj dane z logów serwera dla mojego serwisu [TYP_SERWISU, np. e-commerce/blog/SaaS]. 

Skupiono crawl Googlebot na następujących sekcjach: [LISTA_SEKCJI_Z_NAJWIEKSZA_LICZBA_REQUESTOW]. 

Zauważyłem problemy z następującymi statusami HTTP: [LISTA_NAJCZESTSZYCH_BLEDOW, np. 404, 5xx, 3xx].

Na podstawie tych danych zaproponuj:
1) 3 najważniejsze wnioski SEO
2) konkretne działania naprawcze z priorytetami
3) metryki do monitorowania po wdrożeniu zmian

Jakie konkretne wnioski SEO wyciągniesz z realnego crawl’u?

Priorytetyzacja sekcji i typów stron

Logi pokazują, które sekcje serwisu Googlebot uznaje za istotne. Wysoka częstotliwość crawl charakteryzuje strony z dużym ruchem i linkowaniem oraz te z częstymi aktualizacjami (news, blog). Niska częstotliwość dotyczy głębokich podstron i sekcji bez linków wewnętrznych.

Na tej podstawie możesz:

• przeprojektować linkowanie wewnętrzne, wzmacniając kluczowe sekcje,
• skrócić ścieżkę do ważnych podstron (zmniejszyć crawl depth),
• skoncentrować content i linki tam, gdzie Google już chętnie zagląda.

Wykrywanie wasted crawl i crawl traps

Zagregowane logi precyzyjnie wykrywają crawl traps. Ogromne wolumeny requestów trafiają do stron z parametrami (sortowanie, filtrowanie, tracking), nieskończonych kalendarzy czy kombinacji filtrów bez wartości SEO. Powtarzające się żądania kierowane są do redirect chains, stron 404/soft 404 czy zasobów blokowanych w robots.txt.

W case study Picardes analiza 31 mln zdarzeń logów pozwoliła zidentyfikować miejsca, gdzie Googlebot marnuje czas na strony mało istotne biznesowo – co stało się podstawą reorganizacji filtrów i parametrów (Picardes).

Protip: Zawsze zestawiaj dane z logów z danymi z Search Console (Crawl Stats, indeksacja) – różnice między tymi źródłami często dostarczają najcenniejszych insightów (np. URL masowo crawlowany, ale nieindeksowany).

Kluczowe raporty i działania naprawcze

Matryca raportów z logów

Raport: Requesty per sekcja/szablon

Mierzy: natężenie crawl w różnych częściach serwisu

Wykrywa: sekcje prze-crawl’owane vs. ignorowane

Działanie: reorganizacja architektury, linkowania, przeniesienie zasobów

Raport: Status code distribution per sekcja

Mierzy: strukturę kodów odpowiedzi

Wykrywa: skupiska 4xx, 5xx, nadmiarowe 3xx

Działanie: naprawa błędów, skracanie łańcuchów redirectów, stabilizacja serwera

Raport: Crawl recency per URL

Mierzy: ostatnią wizytę bota na stronie

Wykrywa: strony dawno nie crawl’owane

Działanie: wzmacnianie linkowania, aktualizacja contentu, włączenie do sitemap

Raport: Top parameter patterns

Mierzy: częstotliwość odwiedzin URL z parametrami

Wykrywa: crawl traps, duplikaty treści

Działanie: ograniczanie parametrów, canonical, noindex, konfiguracja w GSC

Raport: Porównanie crawlowanych URL z sitemapą

Mierzy: spójność między planem indeksacji a realnym crawl

Wykrywa: ważne strony poza radarem botów, orphan pages

Działanie: aktualizacja sitemap, dodanie linków, usunięcie śmieciowych URL

Połączenie logów z klasycznym crawlem narzędziowym

Realny crawl (logi) mówi, co Google rzeczywiście robi na Twoim serwerze. Crawl narzędziowy (Screaming Frog, Sitebulb, Ahrefs) pokazuje, co jest technicznie możliwe do odwiedzenia przez boty.

Workflow połączenia danych:

• wykonaj pełny crawl serwisu narzędziem,
• wygeneruj listę wszystkich indeksowalnych URL-i (bez noindex, canonical do innych domen),
• porównaj z listą URL-i z logów.

Kluczowe różnice do zbadania:

„Google crawls it but we do not link it” – orphan pages, stare wersje, testowe adresy. „We link it but Google skips it” – słabe sygnały, problemy techniczne, ograniczenia budżetu crawl.

Na tej podstawie możesz priorytetyzować naprawę orphanów (poprzez linkowanie, aktualizacje contentu), odchudzić serwis ze zbędnych adresów technicznych oraz lepiej zarządzać budżetem crawl – przekierowując go z „ciemnych zakamarków” na strony o wartości biznesowej.

Protip: Jeśli dopiero zaczynasz, zacznij od małego wycinka (np. 30 dni logów dla jednej domeny) i prostych pivotów w Excelu. Gdy poczujesz, jakie raporty dają największą wartość, przenieś proces do BigQuery czy DuckDB.

Narzędzia do analizy logów

Dla małych i średnich serwisów

Screaming Frog Log File Analyser – desktopowe narzędzie SEO pozwalające wgrać pliki logów, zweryfikować boty i analizować zachowanie crawlerów (URL, status codes, bandwidth, bot events).

Excel / Google Sheets – pivoty do analizy częstotliwości crawl per URL/sekcja, zliczanie statusów, wykresy trendów w czasie.

Dla dużych serwisów

SQL / BigQuery / DuckDB / Pandas:

• ładowanie milionów wierszy logów,
• agregacje groupby (per URL, per sekcja, per dzień, per status),
• łączenie z innymi tabelami (crawl, sitemap, indeksacja).

Oncrawl, Botify, Ryte – platformy SaaS z modułami log file analysis, szczególnie dla dużych witryn.

Praktyczne use-case’y w polskich warunkach

Duże e-commerce / marketplace’y:

Identyfikacja filtrów generujących setki tysięcy URL-i bez ruchu. Ograniczenie parametrów, wdrożenie canonical/noindex, zmiany w nawigacji fasetowej.

Serwisy contentowe / wydawcy:

Sprawdzenie, które sekcje news/blog są intensywnie crawlowane. Wzmacnianie wewnętrznego linkowania artykułów „evergreen”, rzadziej odwiedzanych przez boty.

SaaS / serwisy z obszerną dokumentacją:

Wykrywanie starych wersji dokumentacji nadal intensywnie crawlowanych. Przekierowania i porządkowanie hierarchii URL-i.

Migracje i redesigny:

Porównanie zachowania botów przed i po migracji (np. domeny, strukturze URL). Wykrywanie utraty crawl na kluczowych sekcjach wynikającej z błędów w redirectach czy utraconych linków.

Log file analysis w strategii odpornego SEO

W kontekście budowania widoczności odpornej na zmiany algorytmów log file analysis staje się ważnym elementem stałego „health checku” serwisu. Zapewnia kontrolę nad technicznym fundamentem – szybko wychwytując błędy 4xx/5xx, problemy z wydajnością czy architekturą.

Pozwala świadomie zarządzać budżetem crawl – nie opierając się tylko na deklaratywnych raportach, lecz na faktycznych requestach. Ułatwia budowanie stabilnej struktury linkowania wewnętrznego opartej na tym, które części serwisu Google realnie odwiedza.

Dla klientów (zwłaszcza z dużymi serwisami) warto proponować:

• cykliczną analizę logów (np. kwartalną) jako element audytu technicznego,
• połączenie log file analysis z GEO, analityką webową i danymi biznesowymi – aby widzieć nie tylko gdzie Googlebot spędza czas, ale też które crawlowane sekcje generują wartość (ruch, konwersje, przychód).