Co marnuje crawl budget
- Nieskończone kombinacje parametrów i filtrów (faceted navigation).
- Duplikaty bez kanonikalizacji i łańcuchy przekierowań.
- Strony błędów miękkich (soft 404) i niskiej jakości treści.
- Wolny serwer: wysoki TTFB obniża limit crawl rate.
Jak nim zarządzać
Utrzymuj sitemapę, spójne canonicale i szybkie odpowiedzi. Przed blokowaniem filtrów sprawdź, czy nie są potrzebnymi stronami wejścia. GSC Crawl Stats pokazuje agregaty i przykładowe żądania; do pełniejszej analizy adresów użyj logów serwera, po zweryfikowaniu tożsamości Googlebota.
Przykład
Filtry mogą tworzyć duplikaty, ale wybrane kombinacje mogą być użyteczne i indeksowalne. Poniższe adresy wymagają klasyfikacji: nie blokuj automatycznie wszystkich parametrów.
/produkty?kolor=czerwony&rozmiar=42&sort=cena
/produkty?kolor=niebieski&rozmiar=42&sort=cena
/produkty?kolor=zielony&marka=nike&sort=nowosci
… (tysiące kombinacji)1. Zidentyfikuj niepotrzebną kombinację filtrów.
2. Sprawdź, czy nie ma ruchu i użytecznej unikalnej treści.
3. Przetestuj wzorzec na ważnych URL-ach.
4. Nie blokuj crawla, jeśli robot ma odczytać noindex lub canonical.Zwykle nie jest ograniczeniem dla małych serwisów. Najpierw zadbaj o dostępne linkowanie, sitemapę, poprawne statusy HTTP i brak przypadkowego noindex. Zarządzanie crawl budgetem staje się ważniejsze przy dużej liczbie URL-i, filtrach i częstych zmianach.
Utrzymuj sitemapę, spójne canonicale i szybkie odpowiedzi. Przed blokowaniem filtrów sprawdź, czy nie są potrzebnymi stronami wejścia. GSC Crawl Stats pokazuje agregaty i przykładowe żądania; do pełniejszej analizy adresów użyj logów serwera, po zweryfikowaniu tożsamości Googlebota.
Może ograniczyć crawl nieprzydatnych ścieżek, ale nie jest narzędziem do usuwania URL-i z indeksu. Blokowanie nie powinno zastępować poprawnych statusów, kanonikalizacji ani noindex tam, gdzie robot musi odczytać dyrektywę.