AI visibility checker: gotowość strony na AI
Darmowe sprawdzenie jednej strony pod kątem crawlerów AI, robots.txt dla 14 crawlerów, tekst bez JavaScriptu, dyrektywy i schema
- Darmowe
- Bez zakładania konta
AI visibility checker czyta jedną publiczną stronę tak, jak dostaje ją crawler AI: kod HTML z serwera, robots.txt i dyrektywy indeksowania, z pominięciem JavaScriptu. Sprawdza, czy crawlery wyszukiwarek AI, takie jak OAI-SearchBot, Claude-SearchBot i PerplexityBot, mogą pobrać stronę i ile tekstu zostaje bez JavaScriptu. Sprawdza też, czy noindex albo nosnippet ogranicza cytowanie i jakie dane strukturalne oraz llms.txt ma witryna. Wynik pokazuje gotowość do odczytu. To narzędzie nie zbiera odpowiedzi systemów AI ani nie mierzy cytowań. Obserwację wzmianek i linków w wybranej próbce odpowiedzi trzeba prowadzić osobno, z zapisanym pytaniem, systemem i datą.
Co poprawić najpierw
Zacznij od robots.txt. Jedno Disallow: / pod niewłaściwym user-agentem ukrywa stronę przed wyszukiwarką AI. Wpuść crawlery wyszukiwarek, na których ci zależy, a o crawlerach do trenowania zdecyduj osobno. Każdą regułę sprawdzisz w naszym testerze robots.txt.
Potem sprawdź tekst bez JavaScriptu. Otwórz źródło strony (Ctrl+U) i wyszukaj zdanie z głównej treści. Jeśli go tam brakuje, crawler, który pomija skrypty, też go przeoczy. Renderowanie po stronie serwera albo prerendering naprawia to dla całej witryny.
Dyrektywy i schema to kolejny krok. Pozostawiony po wersji testowej noindex albo nosnippet to częsty powód, dla którego strony brakuje w wynikach. Dane strukturalne i plik llms.txt pomagają maszynom czytać stronę, ale cytowań nie obiecują.
To wynik dla jednej strony w jednej chwili. Jeśli chcesz sprawdzić wszystkie podstrony i powtarzać kontrolę po każdym wdrożeniu, zobacz gotowość na AI Search w CometWeb Insight.
Sprawdź kilka typów stron
Reguły robots.txt i sposób renderowania często różnią się między szablonami. Sprawdź stronę główną, jeden artykuł albo produkt i stronę kategorii. Jeśli tylko jeden szablon ma mało tekstu w HTML z serwera, poprawka dotyczy tego szablonu, a nie całej witryny.
Google Search Central, AI features and your websiteJak sprawdzić, czy crawlery AI mogą czytać stronę
Gotowość strony na crawlery AI sprawdzasz w trzech miejscach: w robots.txt, w HTML wysłanym przez serwer i w dyrektywach robots. Pięć kroków pokazuje, w jakiej kolejności to zrobić.
-
Uruchom sprawdzenie dla jednej strony
Wpisz adres strony, na której ci zależy, na przykład stronę oferty. Narzędzie pobierze ją, robots.txt i /llms.txt, a wynik pokaże stan dla każdego crawlera z osobna.
-
Przeczytaj reguły dla każdego tokenu w robots.txt
Crawler szuka grupy ze swoją nazwą bez względu na wielkość liter, a w razie jej braku stosuje grupę
User-agent: *. JednoDisallow: /w grupie ogólnej obejmuje więc każdego bota bez własnej grupy. -
Sprawdź tekst w HTML z serwera
Otwórz źródło strony (Ctrl+U) i wyszukaj zdanie z głównej treści. Jeśli go brakuje, a tekst pojawia się dopiero po uruchomieniu JavaScriptu, crawler, który pomija skrypty, zobaczy pustą stronę.
-
Sprawdź dyrektywy noindex i nosnippet
Szukaj ich w
<meta name="robots">i w nagłówkuX-Robots-Tag. W Googlenosnippetwyłącza też użycie treści jako bezpośredniego źródła dla AI Overviews i AI Mode. -
Zdecyduj osobno o wyszukiwaniu i trenowaniu
OpenAI, Anthropic i Google rozdzielają crawlery wyszukiwania od tych, które zbierają dane do trenowania modeli. Zapisz decyzję dla każdej grupy i ustaw reguły w robots.txt tak, żeby ją odzwierciedlały.
Przykłady reguł robots.txt i dyrektyw dla crawlerów AI
Reguły to przykłady. Zanim je wdrożysz, sprawdź aktualne tokeny w dokumentacji każdej firmy.
User-agent: *
Disallow: /User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /Grupa ogólna z Disallow: / zamyka stronę także przed OAI-SearchBot, Claude-SearchBot i Googlebotem. Nazwane grupy blokują tylko tokeny do trenowania.
<meta name="robots" content="noindex, nosnippet"><meta name="robots" content="max-snippet:-1, max-image-preview:large">Przy max-snippet:-1 Google sam dobiera długość snippetu. Strona bez dyrektyw domyślnie może być indeksowana i cytowana.
Najczęstsze błędy w dostępie crawlerów AI
-
Jedna reguła na wszystkie boty AI
Blokada w grupie
User-agent: *zamyka stronę przed trenowaniem, ale też przed wyszukiwarkami AI i klasycznymi. Boty do trenowania blokujesz w nazwanych grupach. -
Noindex na stronie zablokowanej w robots.txt
Google pisze, że strona z dyrektywą indeksowania nie może być zablokowana w robots.txt, bo robot jej nie pobierze i dyrektywy nie zobaczy. Do usunięcia z wyników potrzebny jest dostęp plus noindex.
-
Treść wstawiana wyłącznie przez JavaScript
Aplikacja SPA bez renderowania na serwerze wysyła pustą powłokę HTML. Crawler pomijający skrypty dostaje wtedy samą powłokę, bez treści do odpowiedzi.
-
Oczekiwanie, że Google-Extended usunie stronę z AI Overviews
Google-Extended nie wpływa na wyszukiwarkę Google. Udział treści w AI Overviews ograniczasz dyrektywami
nosnippet,max-snippet,data-nosnippetalbonoindex. -
Liczenie na robots.txt przy botach uruchamianych przez użytkownika
OpenAI pisze, że przy ChatGPT-User reguły robots.txt mogą nie mieć zastosowania, a Perplexity, że Perplexity-User na ogół je ignoruje. Te boty pobierają stronę na prośbę konkretnej osoby.
Crawlery AI i dyrektywy według dokumentacji
| Wartość | Co oznacza | Źródło |
|---|---|---|
| Niezależne ustawienia | OpenAI opisuje GPTBot (trenowanie) i OAI-SearchBot (wyszukiwanie w ChatGPT) jako niezależne, więc możesz zablokować jeden i wpuścić drugi. | OpenAI, crawlery |
| Około 24 godzin | Tyle według OpenAI trwa, zanim wyszukiwanie w ChatGPT uwzględni zmianę w robots.txt. | OpenAI, crawlery |
| 3 boty | Tyle robotów opisuje Anthropic: ClaudeBot do trenowania, Claude-SearchBot do wyszukiwania i Claude-User do zapytań użytkowników. | Anthropic, crawlery |
| Bez wpływu | Google-Extended nie wpływa na obecność strony w wyszukiwarce Google i nie jest sygnałem rankingowym. | Google, crawlery |
| nosnippet | W Google wyłącza snippet we wszystkich wynikach, także w AI Overviews i AI Mode, i blokuje użycie treści jako ich bezpośredniego źródła. | Google, dyrektywy robots |
| Grudzień 2024 | W tym miesiącu Vercel opisał analizę ruchu w swojej sieci: żaden z głównych crawlerów AI, między innymi GPTBot, ClaudeBot i PerplexityBot, nie renderował JavaScriptu. | Vercel, The rise of the AI crawler |
Źródła sprawdzone:
Pojęcia w wyniku
- robots.txtRobots Exclusion Protocol (RFC 9309)
- Plik z regułami, które strony może pobierać dany crawler.
- User-agentNazwa crawlera
- Token, pod którym crawler szuka swoich reguł w robots.txt.
- SSRServer-side rendering
- Serwer wysyła gotowy HTML z treścią, bez czekania na JavaScript.
- nosnippetDyrektywa robots
- Wyłącza opis w wynikach, a w Google także użycie w AI Overviews.
- JSON-LDJSON for Linked Data
- Dane strukturalne schema.org zapisane w znaczniku script.
Wpisz adres i kliknij „Sprawdź stronę”. Nasz serwer pobiera stronę, jej robots.txt i /llms.txt, a wynik pokazuje, które crawlery AI mogą ją pobrać, ile tekstu dostają bez JavaScriptu i czy jakaś dyrektywa ogranicza cytowanie. Czy konkretny system AI cytuje twoją stronę, sprawdzisz, zadając mu pytania twoich klientów i patrząc na źródła odpowiedzi.
Do wyszukiwania i odpowiedzi AI: OAI-SearchBot i ChatGPT-User (OpenAI), Claude-SearchBot i Claude-User (Anthropic), PerplexityBot i Perplexity-User (Perplexity), a do klasycznych wyników Googlebot i Bingbot. Crawlery do trenowania, czyli GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot i meta-externalagent, to osobna decyzja o licencjonowaniu treści.
OpenAI opisuje GPTBot (trenowanie) i OAI-SearchBot (wyszukiwanie w ChatGPT) jako niezależne ustawienia, więc możesz zablokować GPTBot i dalej wpuszczać OAI-SearchBot. Ten sam podział mają Anthropic (ClaudeBot i Claude-SearchBot), Google (Google-Extended nie wpływa na wyszukiwarkę Google) i Apple.
Większość crawlerów AI czyta HTML wysłany przez serwer i pomija JavaScript. Jeśli treść pojawia się dopiero po wykonaniu skryptów, jak w wielu aplikacjach SPA, taki crawler dostaje pustą powłokę. Renderowanie na serwerze albo prerendering umieszcza tekst w pierwszej odpowiedzi.
Jest opcjonalny. llms.txt to propozycja społeczności, a Google pisze, że jego funkcje AI nie wymagają osobnych plików tekstowych dla AI ani specjalnych znaczników. Dodanie pliku zajmuje kilka minut, dlatego pokazujemy go jako informację. Nasz generator llms.txt zbuduje go z sitemapy.
Tak. Google podaje, że nosnippet i max-snippet:0 wyłączają też użycie treści jako bezpośredniego źródła dla AI Overviews i AI Mode. Dodatni max-snippet ogranicza długość cytatu, a data-nosnippet wyłącza tylko oznaczone fragmenty.
Dane strukturalne pomagają maszynom zrozumieć, o czym jest strona, ale cytowania i pozycje zależą od dużo więcej niż schema. Google pisze, że jego funkcje AI nie wymagają specjalnych znaczników schema.org. Używaj typów, które pasują do strony, i dbaj o poprawny JSON.
Narzędzie sprawdza gotowość: dostęp, czytelny tekst i dyrektywy. Nie zbiera odpowiedzi ChatGPT. Można osobno sprawdzać cytowania i linki w odpowiedziach na wybrane pytania, zapisując system oraz datę. Taka próbka nie daje dostępu do wewnętrznego indeksu ani pełnej historii wszystkich odpowiedzi. Kontrolę całej witryny opisujemy na stronie gotowości na AI Search w CometWeb Insight.
ChatGPT-User i Perplexity-User nie zawsze stosują się do robots.txt, bo pobierają stronę na prośbę użytkownika. OpenAI pisze, że reguły mogą wtedy nie mieć zastosowania, a Perplexity, że Perplexity-User na ogół je ignoruje. Dostęp crawlerów wyszukiwania, OAI-SearchBot i PerplexityBot, obie firmy każą ustawiać w robots.txt.
Google-Extended nie blokuje AI Overviews, bo według Google nie wpływa na wyszukiwarkę. Ten token dotyczy trenowania i ugruntowania odpowiedzi w innych systemach Google, na przykład w Gemini. Udział treści w AI Overviews i AI Mode ograniczasz dyrektywami w wyszukiwarce, takimi jak nosnippet albo max-snippet.
Crawler bez własnej grupy w robots.txt stosuje grupę User-agent: *, co wymaga standard RFC 9309. Nazwę porównuje bez względu na wielkość liter. Jeśli grupy ogólnej też nie ma, crawler może pobierać całą stronę.
Co jeszcze może Ci się przydać
Ten test sprawdza jedną rzecz na jednej stronie
Jedna strona to próbka. Moduł SEO w Insight sprawdza dostęp crawlerów AI w robots.txt i resztę sygnałów na całej witrynie, a po wdrożeniu powtarza kontrolę.