Przeskanuj stronę
AĄBCĆDEĘFGHIJKLŁMNŃOÓPQRSŚTUVWXYZŹŻ
SEO

Budżet indeksowania (Crawl Budget)

Opublikowano: · Aktualizacja:

Crawl budget to liczba adresów URL, które robot wyszukiwarki (np. Googlebot) może i chce odwiedzić w danej witrynie w określonym czasie. Wynika z dwóch czynników: limitu crawl rate (ile żądań serwer zniesie bez degradacji) oraz crawl demand (jak bardzo wyszukiwarka „chce” odświeżać i odkrywać treści witryny).

Dla małych serwisów (do kilku tysięcy adresów) budżet praktycznie nie jest ograniczeniem. Problem zaczyna się w dużych sklepach, portalach i serwisach z fasetową nawigacją, gdzie miliony wariantów URL potrafią pochłonąć budżet, zanim robot dotrze do wartościowych stron.

Co marnuje crawl budget

  • Nieskończone kombinacje parametrów i filtrów (faceted navigation).
  • Duplikaty bez kanonikalizacji i łańcuchy przekierowań.
  • Strony błędów miękkich (soft 404) i niskiej jakości treści.
  • Wolny serwer — wysoki TTFB obniża limit crawl rate.

Jak nim zarządzać

Podstawy to: aktualna sitemapa XML z datami modyfikacji, blokowanie bezwartościowych ścieżek w robots.txt, spójna kanonikalizacja, szybkie odpowiedzi serwera oraz zwracanie 404/410 dla treści trwale usuniętych. Statystyki indeksowania w Google Search Console pokazują, na co faktycznie idzie budżet.

Przykład

Sklep z fasetową nawigacją generuje tysiące wariantów URL z parametrami — bez blokady robot traci budżet na kopie filtrów zamiast na karty produktów.

Adresy pochłaniające budżet
Przykład 
/produkty?kolor=czerwony&rozmiar=42&sort=cena
/produkty?kolor=niebieski&rozmiar=42&sort=cena
/produkty?kolor=zielony&marka=nike&sort=nowosci
… (tysiące kombinacji)
Blokada w robots.txt
Przykład 
User-agent: *
Disallow: /produkty?*
Allow: /produkty/

Źródła i dalsza lektura

Powiązane pojęcia

Sitemapa XML Plik w formacie XML z listą adresów URL witryny i metadanymi (lastmod), który pomaga wyszukiwarkom odkrywać i odświeżać strony. Standard sitemaps.org.Canonical URL Adres wskazany jako główna wersja strony spośród duplikatów (rel="canonical"). Konsoliduje sygnały rankingowe i zapobiega indeksowaniu kopii.Time to First Byte (TTFB) Czas od wysłania żądania do otrzymania pierwszego bajtu odpowiedzi serwera. Fundament szybkiego LCP; dobry wynik orientacyjnie ≤ 800 ms.Dane strukturalne (Structured Data) Ustandaryzowany format opisu treści strony (najczęściej JSON-LD ze słownikiem Schema.org), który pomaga wyszukiwarkom zrozumieć stronę i kwalifikować ją do wyników rozszerzonych.
Wróć do słownika

Sprawdź techniczną jakość swojej strony

Insight analizuje publiczne sygnały SEO, wydajności, dostępności i bezpieczeństwa oraz zamienia znaleziska w uporządkowaną listę działań.

Przeskanuj stronę bezpłatnie Zobacz przykładowy raport
Bez karty kredytowej Raport z datą i źródłami Bez zakładania konta