Narzędzia CometWeb
AI visibility checker: gotowość strony na AI
Darmowe sprawdzenie jednej strony pod kątem crawlerów AI · robots.txt dla 14 crawlerów, tekst bez JavaScriptu, dyrektywy i schema
AI visibility checker czyta jedną publiczną stronę tak, jak dostaje ją crawler AI: kod HTML z serwera, robots.txt i dyrektywy indeksowania, z pominięciem JavaScriptu. Sprawdza, czy crawlery wyszukiwarek AI, takie jak OAI-SearchBot, Claude-SearchBot i PerplexityBot, mogą pobrać stronę i ile tekstu zostaje bez JavaScriptu. Sprawdza też, czy noindex albo nosnippet ogranicza cytowanie i jakie dane strukturalne oraz llms.txt ma witryna. Wynik pokazuje gotowość do odczytu. Cytowania w ChatGPT, Perplexity i Google pozostają poza zasięgiem narzędzi z zewnątrz, bo te systemy trzymają takie dane u siebie.
Co poprawić najpierw
Zacznij od robots.txt. Jedno Disallow: / pod niewłaściwym user-agentem ukrywa stronę przed wyszukiwarką AI. Wpuść crawlery wyszukiwarek, na których ci zależy, a o crawlerach do trenowania zdecyduj osobno. Każdą regułę sprawdzisz w naszym testerze robots.txt.
Potem sprawdź tekst bez JavaScriptu. Otwórz źródło strony (Ctrl+U) i wyszukaj zdanie z głównej treści. Jeśli go tam brakuje, crawler, który pomija skrypty, też go przeoczy. Renderowanie po stronie serwera albo prerendering naprawia to dla całej witryny.
Dyrektywy i schema to kolejny krok. Pozostawiony po wersji testowej noindex albo nosnippet to częsty powód, dla którego strony brakuje w wynikach. Dane strukturalne i plik llms.txt pomagają maszynom czytać stronę, ale cytowań nie obiecują.
To wynik dla jednej strony w jednej chwili. Jeśli chcesz sprawdzić wszystkie podstrony i powtarzać kontrolę po każdym wdrożeniu, zobacz gotowość na AI Search w CometWeb Insight.
Sprawdź kilka typów stron
Reguły robots.txt i sposób renderowania często różnią się między szablonami. Sprawdź stronę główną, jeden artykuł albo produkt i stronę kategorii. Jeśli tylko jeden szablon ma mało tekstu w HTML z serwera, poprawka dotyczy tego szablonu, a nie całej witryny.
Google Search Central · AI features and your website ↗Pojęcia w wyniku
- robots.txtRobots Exclusion Protocol (RFC 9309)
- Plik z regułami, które strony może pobierać dany crawler.
- User-agentNazwa crawlera
- Token, pod którym crawler szuka swoich reguł w robots.txt.
- SSRServer-side rendering
- Serwer wysyła gotowy HTML z treścią, bez czekania na JavaScript.
- nosnippetDyrektywa robots
- Wyłącza opis w wynikach, a w Google także użycie w AI Overviews.
- JSON-LDJSON for Linked Data
- Dane strukturalne schema.org zapisane w znaczniku script.
Wpisz adres i kliknij „Sprawdź stronę”. Nasz serwer pobiera stronę, jej robots.txt i /llms.txt, a wynik pokazuje, które crawlery AI mogą ją pobrać, ile tekstu dostają bez JavaScriptu i czy jakaś dyrektywa ogranicza cytowanie. Czy konkretny system AI cytuje twoją stronę, sprawdzisz, zadając mu pytania twoich klientów i patrząc na źródła odpowiedzi.
Do wyszukiwania i odpowiedzi AI: OAI-SearchBot i ChatGPT-User (OpenAI), Claude-SearchBot i Claude-User (Anthropic), PerplexityBot i Perplexity-User (Perplexity), a do klasycznych wyników Googlebot i Bingbot. Crawlery do trenowania, czyli GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot i meta-externalagent, to osobna decyzja o licencjonowaniu treści.
OpenAI opisuje GPTBot (trenowanie) i OAI-SearchBot (wyszukiwanie w ChatGPT) jako niezależne ustawienia, więc możesz zablokować GPTBot i dalej wpuszczać OAI-SearchBot. Ten sam podział mają Anthropic (ClaudeBot i Claude-SearchBot), Google (Google-Extended nie wpływa na wyszukiwarkę Google) i Apple.
Większość crawlerów AI czyta HTML wysłany przez serwer i pomija JavaScript. Jeśli treść pojawia się dopiero po wykonaniu skryptów, jak w wielu aplikacjach SPA, taki crawler dostaje pustą powłokę. Renderowanie na serwerze albo prerendering umieszcza tekst w pierwszej odpowiedzi.
Jest opcjonalny. llms.txt to propozycja społeczności, a Google pisze, że jego funkcje AI nie wymagają osobnych plików tekstowych dla AI ani specjalnych znaczników. Dodanie pliku zajmuje kilka minut, dlatego pokazujemy go jako informację. Nasz generator llms.txt zbuduje go z sitemapy.
Tak. Google podaje, że nosnippet i max-snippet:0 wyłączają też użycie treści jako bezpośredniego źródła dla AI Overviews i AI Mode. Dodatni max-snippet ogranicza długość cytatu, a data-nosnippet wyłącza tylko oznaczone fragmenty.
Dane strukturalne pomagają maszynom zrozumieć, o czym jest strona, ale cytowania i pozycje zależą od dużo więcej niż schema. Google pisze, że jego funkcje AI nie wymagają specjalnych znaczników schema.org. Używaj typów, które pasują do strony, i dbaj o poprawny JSON.
Narzędzie sprawdza gotowość: dostęp, czytelny tekst i dyrektywy. Cytowania zależą od indeksu każdego systemu i od odpowiedzi na konkretne pytanie, a te dane nie są publiczne. Kontrolę całej witryny, powtarzaną po zmianach, opisujemy na stronie gotowości na AI Search w CometWeb Insight.
Co jeszcze może Ci się przydać
Jedna strona to próbka. Moduł SEO w Insight sprawdza dostęp crawlerów AI w robots.txt i resztę sygnałów na całej witrynie, a po wdrożeniu powtarza kontrolę.