Narzędzia CometWeb
Tester robots.txt
Wklej robots.txt, wybierz bota i zobacz, czy reguły pozwalają mu pobrać wybrany adres.
Wklej swój robots.txt
Skopiuj zawartość pliku i podaj adres, który chcesz sprawdzić. Analiza odbywa się lokalnie — plik nie jest nigdzie wysyłany.
Tester robots.txt sprawdza lokalnie w przeglądarce, czy wklejone reguły blokują dany adres dla wybranego bota. Dopasowanie ścieżek działa według specyfikacji Google: wygrywa najdłuższy pasujący wzorzec, a przy remisie Allow. Narzędzie nie pobiera pliku z serwera — analizuje to, co wkleisz.
Dlaczego robots.txt blokuje za dużo?
Najczęstsza pomyłka to prefiks zamiast katalogu. Disallow: /fish blokuje też /fishheads i /fish.html — jeśli chodziło o katalog, potrzebny jest ukośnik na końcu.
Druga to przekonanie, że robots.txt usuwa stronę z indeksu. Nie usuwa. Blokuje pobranie, więc wyszukiwarka nie zobaczy nawet znacznika noindex — adres może dalej figurować w wynikach bez opisu.
Trzecia to blokowanie CSS i JavaScriptu. Bez nich renderowanie strony przez wyszukiwarkę jest niepełne, a ocena układu i dostępności — zafałszowana.
Analiza działa lokalnie w przeglądarce. Narzędzie nie pobiera pliku z serwera i nie sprawdza, czy bot faktycznie przestrzega reguł — pokazuje, co reguły mówią.
Sprawdź adresy, które mają pozostać dostępne
Oprócz blokowanego katalogu przetestuj stronę produktu, kategorię i zasoby potrzebne do renderowania. Powtórz test dla właściwego User-agent. Wynik zależy od reguł przypisanych do wybranego bota i wzorca ścieżki.
Reguły dopasowania
- *Wildcard
- Zastępuje dowolny ciąg znaków. /*.php pasuje do /index.php i /folder/x.php.file.html.
- $Kotwica końca
- Przypina wzorzec do końca ścieżki. /*.php$ pasuje do /a.php, ale już nie do /a.php?x=1.
- LMLongest match
- Decyduje najdłuższy pasujący wzorzec, niezależnie od kolejności w pliku.
- AWAllow wins
- Przy jednakowej długości wzorca wygrywa reguła mniej restrykcyjna, czyli Allow.
Wklej zawartość pliku, podaj pełny adres i wybierz bota. Narzędzie znajdzie grupę User-agent, która dotyczy tego bota, dopasuje wzorce ścieżek i pokaże regułę, która przesądza o wyniku, razem z numerem linii.
Tak. Analiza odbywa się w przeglądarce i wklejona treść nie jest wysyłana do CometWeb. Dlatego narzędzie nie pobiera też pliku z serwera — sprawdza dokładnie to, co wkleisz.
Nie. Blokuje pobranie strony, a nie jej indeksowanie. Zablokowany adres może nadal pojawić się w wynikach bez opisu, jeśli prowadzą do niego linki. Do wykluczenia z indeksu służy meta robots noindex albo nagłówek X-Robots-Tag — ale strona musi być pobieralna, żeby wyszukiwarka je zobaczyła.
Ścieżki w robots.txt są dopasowywane prefiksowo, nie jako całe segmenty. Żeby zablokować sam katalog, dodaj ukośnik na końcu: Disallow: /fish/.
Ta o dłuższym wzorcu. Przy jednakowej długości wygrywa Allow jako mniej restrykcyjna.
Co jeszcze może Ci się przydać
Indeksowalność, metadane i struktura — z priorytetami i raportem dla klienta.