CometWeb-Insight Bot: skanuje tylko na zlecenie.

CometWeb-Insight to skaner audytów stron WWW operowany pod marką CometWeb (Maciej Zmitrukiewicz, Polska, bez zarejestrowanej spółki). Wykonuje pojedyncze, kontekstowe audyty w pięciu wymiarach: performance (Core Web Vitals, syntetyka, polowe), SEO (indeksacja, sitemapa, render), dostępność (WCAG 2.2), bezpieczeństwo (CSP, nagłówki, TLS) i ślad węglowy (SWDM v4).

Skanujemy tylko adresy, które ktoś wskazał. Większość skanów zlecają zalogowani klienci CometWeb Insight dla stron dodanych w panelu: własnych, swoich klientów albo konkurentów, z którymi się porównują. Do tego dochodzą jednorazowe sprawdzenia jednego adresu z darmowych narzędzi na cometweb.io i z darmowego audytu. Przy zwykłym skanie nie weryfikujemy własności domeny, dlatego zawsze respektujemy robots.txt i formularz wstrzymania skanów. Weryfikacji własności (rekord DNS TXT) wymagamy tylko dla trybów opisanych niżej w sekcji „Identyfikacja”.

Standardowe audyty i crawle wysyłają poniższy User-Agent i odpowiadają na reguły robots.txt dla poniższego tokenu. Wyjątki opisujemy pod spodem.

Mozilla/5.0 (compatible; CometWeb-Insight/2.1; +https://cometweb.io/bot)

CometWeb-Insight

• Limity są per host (domena), nie globalnie dla całego internetu. Inne domeny mogą być skanowane równolegle w ramach innych zleceń klientów.
• Crawl-delay respektowany. Jeśli twoje robots.txt zawiera Crawl-delay: N, czekamy N sekund między requestami.
• Brak skanów cyklicznych bez jawnego klienta scheduling. Nie skanujemy bez powodu.
• Adaptacja do błędów. 429 / 503 = natychmiastowy backoff i pauza skanu na 60 minut.

• Start: od URL-i wskazanych przez klienta w Insight (nie od „crawl całego internetu”).
• Linki wewnętrzne: w crawlach pełnych podążamy za linkami do limitu planu (Free 20 · Growth 200 · Studio 500 · Scale 1 000 stron).
• robots.txt i crawl-delay są respektowane; ścieżki Disallow nie są pobierane. Wyłączyć to może tylko klient, który rekordem DNS TXT potwierdził własność domeny, i tylko dla tej domeny.
• Bez logowania: nie przechodzimy za formularzami auth ani paywallem (poza sesją przeglądarki klienta w Lens).
• Harmonogram: skany są on-demand; cykliczne tylko jeśli klient włączy Monitoring / schedule w panelu.

W swoim robots.txt dodaj poniższy fragment. Respektujemy go natychmiast (cache TTL ≤ 1h). Po blokadzie nasz klient zobaczy w panelu komunikat "Site blocked CometWeb-Insight in robots.txt" zamiast analizy.

User-agent: CometWeb-Insight
Disallow: /

Możesz też zablokować konkretne ścieżki:

User-agent: CometWeb-Insight
Disallow: /admin
Disallow: /api/internal

Nie masz dostępu do robots.txt albo chcesz zatrzymać skany od razu? Użyj formularza wstrzymania skanów: 7 dni od razu, 180 dni po potwierdzeniu linkiem z e-maila w twojej domenie.

Jeśli twój WAF blokuje nieznane boty, możesz nas whitelistować po User-Agent, a dla pewności także po adresach IP, które podajemy na żądanie:

• User-Agent contains: CometWeb-Insight/2.1
• Adresy IP: na żądanie pod hello@cometweb.io (reverse DNS naszego serwera nie wskazuje na cometweb.io)

# Expression
(http.user_agent contains "CometWeb-Insight")

# Action
Allow

Aktualne zakresy IP serwerów skanujących publikujemy na żądanie: napisz na hello@cometweb.io. Hostujemy na Hostinger we Frankfurcie (Niemcy, UE).

• robots.txt: respektujemy Allow / Disallow, Crawl-delay i Sitemap; wyjątek to crawl właściciela z potwierdzoną domeną, który sam wyłączył tę opcję.
• RODO: skanujemy publiczny content stron, nie zbieramy danych osobowych z treści. Pełne RoPA + DPIA: cometweb.io/legal/gdpr.
• EU AI Act: klasyfikacja Limited Risk (Art. 50 transparency). Rekomendacje AI są jasno oznaczone w panelu klienta jako "AI generated".
• Pełna dokumentacja: cometweb.io/legal/gdpr.

Jeśli crawler obciąża serwer, robi błędne requesty albo masz inną skargę, napisz na hello@cometweb.io. Zwykle odpowiadamy w ciągu 1–2 dni roboczych. Pilne (błędy 5xx / przeciążenie): temat URGENT crawl + domena.