Przejdź do treści
Darmowe narzędzie

AI visibility checker: gotowość strony na AI

Darmowe sprawdzenie jednej strony pod kątem crawlerów AI, robots.txt dla 14 crawlerów, tekst bez JavaScriptu, dyrektywy i schema

  • Darmowe
  • Bez zakładania konta

Adres pobiera nasz serwer, razem z robots.txt i llms.txt tej domeny, więc trafia do naszych logów. Adresy prywatne i lokalne odrzucamy, także po przekierowaniu.

Narzędzie sprawdza dostęp crawlerów AI i czytelność publicznej strony. Nie mierzy cytowań ani pozycji w ChatGPT, Perplexity, Gemini czy AI Overviews. Ocenę gotowości i obserwację wybranych odpowiedzi trzeba rozpatrywać osobno.

AI visibility checker czyta jedną publiczną stronę tak, jak dostaje ją crawler AI: kod HTML z serwera, robots.txt i dyrektywy indeksowania, z pominięciem JavaScriptu. Sprawdza, czy crawlery wyszukiwarek AI, takie jak OAI-SearchBot, Claude-SearchBot i PerplexityBot, mogą pobrać stronę i ile tekstu zostaje bez JavaScriptu. Sprawdza też, czy noindex albo nosnippet ogranicza cytowanie i jakie dane strukturalne oraz llms.txt ma witryna. Wynik pokazuje gotowość do odczytu. To narzędzie nie zbiera odpowiedzi systemów AI ani nie mierzy cytowań. Obserwację wzmianek i linków w wybranej próbce odpowiedzi trzeba prowadzić osobno, z zapisanym pytaniem, systemem i datą.

O narzędziu

Co poprawić najpierw

Zacznij od robots.txt. Jedno Disallow: / pod niewłaściwym user-agentem ukrywa stronę przed wyszukiwarką AI. Wpuść crawlery wyszukiwarek, na których ci zależy, a o crawlerach do trenowania zdecyduj osobno. Każdą regułę sprawdzisz w naszym testerze robots.txt.

Potem sprawdź tekst bez JavaScriptu. Otwórz źródło strony (Ctrl+U) i wyszukaj zdanie z głównej treści. Jeśli go tam brakuje, crawler, który pomija skrypty, też go przeoczy. Renderowanie po stronie serwera albo prerendering naprawia to dla całej witryny.

Dyrektywy i schema to kolejny krok. Pozostawiony po wersji testowej noindex albo nosnippet to częsty powód, dla którego strony brakuje w wynikach. Dane strukturalne i plik llms.txt pomagają maszynom czytać stronę, ale cytowań nie obiecują.

To wynik dla jednej strony w jednej chwili. Jeśli chcesz sprawdzić wszystkie podstrony i powtarzać kontrolę po każdym wdrożeniu, zobacz gotowość na AI Search w CometWeb Insight.

W praktyce

Sprawdź kilka typów stron

Reguły robots.txt i sposób renderowania często różnią się między szablonami. Sprawdź stronę główną, jeden artykuł albo produkt i stronę kategorii. Jeśli tylko jeden szablon ma mało tekstu w HTML z serwera, poprawka dotyczy tego szablonu, a nie całej witryny.

Google Search Central, AI features and your website
Krok po kroku

Jak sprawdzić, czy crawlery AI mogą czytać stronę

Gotowość strony na crawlery AI sprawdzasz w trzech miejscach: w robots.txt, w HTML wysłanym przez serwer i w dyrektywach robots. Pięć kroków pokazuje, w jakiej kolejności to zrobić.

  1. Uruchom sprawdzenie dla jednej strony

    Wpisz adres strony, na której ci zależy, na przykład stronę oferty. Narzędzie pobierze ją, robots.txt i /llms.txt, a wynik pokaże stan dla każdego crawlera z osobna.

  2. Przeczytaj reguły dla każdego tokenu w robots.txt

    Crawler szuka grupy ze swoją nazwą bez względu na wielkość liter, a w razie jej braku stosuje grupę User-agent: *. Jedno Disallow: / w grupie ogólnej obejmuje więc każdego bota bez własnej grupy.

  3. Sprawdź tekst w HTML z serwera

    Otwórz źródło strony (Ctrl+U) i wyszukaj zdanie z głównej treści. Jeśli go brakuje, a tekst pojawia się dopiero po uruchomieniu JavaScriptu, crawler, który pomija skrypty, zobaczy pustą stronę.

  4. Sprawdź dyrektywy noindex i nosnippet

    Szukaj ich w <meta name="robots"> i w nagłówku X-Robots-Tag. W Google nosnippet wyłącza też użycie treści jako bezpośredniego źródła dla AI Overviews i AI Mode.

  5. Zdecyduj osobno o wyszukiwaniu i trenowaniu

    OpenAI, Anthropic i Google rozdzielają crawlery wyszukiwania od tych, które zbierają dane do trenowania modeli. Zapisz decyzję dla każdej grupy i ustaw reguły w robots.txt tak, żeby ją odzwierciedlały.

Przykłady

Przykłady reguł robots.txt i dyrektyw dla crawlerów AI

Reguły to przykłady. Zanim je wdrożysz, sprawdź aktualne tokeny w dokumentacji każdej firmy.

Blokada wszystkich botów zamiast samego trenowania
Przed
User-agent: *
Disallow: /
Po
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Grupa ogólna z Disallow: / zamyka stronę także przed OAI-SearchBot, Claude-SearchBot i Googlebotem. Nazwane grupy blokują tylko tokeny do trenowania.

Nosnippet pozostawiony po wersji testowej
Przed
<meta name="robots" content="noindex, nosnippet">
Po
<meta name="robots" content="max-snippet:-1, max-image-preview:large">

Przy max-snippet:-1 Google sam dobiera długość snippetu. Strona bez dyrektyw domyślnie może być indeksowana i cytowana.

Częste błędy

Najczęstsze błędy w dostępie crawlerów AI

  • Jedna reguła na wszystkie boty AI

    Blokada w grupie User-agent: * zamyka stronę przed trenowaniem, ale też przed wyszukiwarkami AI i klasycznymi. Boty do trenowania blokujesz w nazwanych grupach.

  • Noindex na stronie zablokowanej w robots.txt

    Google pisze, że strona z dyrektywą indeksowania nie może być zablokowana w robots.txt, bo robot jej nie pobierze i dyrektywy nie zobaczy. Do usunięcia z wyników potrzebny jest dostęp plus noindex.

  • Treść wstawiana wyłącznie przez JavaScript

    Aplikacja SPA bez renderowania na serwerze wysyła pustą powłokę HTML. Crawler pomijający skrypty dostaje wtedy samą powłokę, bez treści do odpowiedzi.

  • Oczekiwanie, że Google-Extended usunie stronę z AI Overviews

    Google-Extended nie wpływa na wyszukiwarkę Google. Udział treści w AI Overviews ograniczasz dyrektywami nosnippet, max-snippet, data-nosnippet albo noindex.

  • Liczenie na robots.txt przy botach uruchamianych przez użytkownika

    OpenAI pisze, że przy ChatGPT-User reguły robots.txt mogą nie mieć zastosowania, a Perplexity, że Perplexity-User na ogół je ignoruje. Te boty pobierają stronę na prośbę konkretnej osoby.

Liczby i źródła

Crawlery AI i dyrektywy według dokumentacji

WartośćCo oznaczaŹródło
Niezależne ustawieniaOpenAI opisuje GPTBot (trenowanie) i OAI-SearchBot (wyszukiwanie w ChatGPT) jako niezależne, więc możesz zablokować jeden i wpuścić drugi.OpenAI, crawlery
Około 24 godzinTyle według OpenAI trwa, zanim wyszukiwanie w ChatGPT uwzględni zmianę w robots.txt.OpenAI, crawlery
3 botyTyle robotów opisuje Anthropic: ClaudeBot do trenowania, Claude-SearchBot do wyszukiwania i Claude-User do zapytań użytkowników.Anthropic, crawlery
Bez wpływuGoogle-Extended nie wpływa na obecność strony w wyszukiwarce Google i nie jest sygnałem rankingowym.Google, crawlery
nosnippetW Google wyłącza snippet we wszystkich wynikach, także w AI Overviews i AI Mode, i blokuje użycie treści jako ich bezpośredniego źródła.Google, dyrektywy robots
Grudzień 2024W tym miesiącu Vercel opisał analizę ruchu w swojej sieci: żaden z głównych crawlerów AI, między innymi GPTBot, ClaudeBot i PerplexityBot, nie renderował JavaScriptu.Vercel, The rise of the AI crawler

Źródła sprawdzone:

Słownik

Pojęcia w wyniku

robots.txtRobots Exclusion Protocol (RFC 9309)
Plik z regułami, które strony może pobierać dany crawler.
User-agentNazwa crawlera
Token, pod którym crawler szuka swoich reguł w robots.txt.
SSRServer-side rendering
Serwer wysyła gotowy HTML z treścią, bez czekania na JavaScript.
nosnippetDyrektywa robots
Wyłącza opis w wynikach, a w Google także użycie w AI Overviews.
JSON-LDJSON for Linked Data
Dane strukturalne schema.org zapisane w znaczniku script.
Moduł SEO w Insight

Ten test sprawdza jedną rzecz na jednej stronie

Jedna strona to próbka. Moduł SEO w Insight sprawdza dostęp crawlerów AI w robots.txt i resztę sygnałów na całej witrynie, a po wdrożeniu powtarza kontrolę.