/ Crawler · informacja publiczna

CometWeb-Insight Bot — tylko na życzenie właściciela.

Skaner audytów stron WWW operowany przez CometWeb (JDG Maciej Zmitrukiewicz, Polska). Skanujemy w pięciu wymiarach: performance, SEO, dostępność, bezpieczeństwo i ślad węglowy — ale tylko strony, które nasi klienci jawnie dodali do swojego panelu.

Jak zablokować → Zgłoś problem

01 /

Kim jesteśmy

CometWeb-Insight to skaner audytów stron WWW operowany przez CometWeb (JDG Maciej Zmitrukiewicz, Polska). Wykonuje pojedyncze, kontekstowe audyty w pięciu wymiarach: performance (Core Web Vitals, syntetyka, polowe), SEO (indeksacja, sitemapa, render), dostępność (WCAG 2.2), bezpieczeństwo (CSP, nagłówki, TLS) i ślad węglowy (SWDM v4).

02 /

Kto inicjuje skan

Skanujemy wyłącznie na życzenie właściciela strony. Każdy skan to authenticated request od zarejestrowanego klienta CometWeb-Insight, który zaakceptował nasze warunki i potwierdził posiadanie tej strony lub upoważnienie do jej skanowania.

Honest operator manifest

Nie robimy automatycznych crawlów rynkowych. Nie indeksujemy stron dla wyszukiwarki. Nie sprzedajemy danych zebranych ze skanów. Nie skanujemy stron, których nasi klienci nie wskazali jawnie w panelu.

03 /

Jak nas zidentyfikować

Wszystkie nasze requesty zawierają poniższy User-Agent oraz token robots.txt.

User-Agent

Mozilla/5.0 (compatible; CometWeb-Insight/1.0; +https://cometweb.io/bot)

robots.txt token

CometWeb-Insight

Anti-impersonation

Inny User-Agent (np. Googlebot) twierdzący że to my — to nie my. Weryfikacja: reverse DNS lookup naszego IP wskaże domenę kontrolowaną przez CometWeb (*.cometweb.io).

04 /

Częstotliwość i intensywność

Pojedynczy skan

1–200 req

w ciągu 1–10 minut

Domyślne opóźnienie

0.5–2s

między requestami

Jednoczesność

max 2

równoległe połączenia / host

Crawl-delay

100%

respekt dla robots.txt

Crawl-delay respektowany. Jeśli twoje robots.txt zawiera Crawl-delay: N, czekamy N sekund między requestami.
Brak skanów cyklicznych bez jawnego klienta scheduling — nie skanujemy bez powodu.
Adaptacja do błędów. 429 / 503 = natychmiastowy backoff i pauza skanu na 60 minut.

05 /

Jak nas zablokować

W swoim robots.txt dodaj poniższy fragment. Respektujemy go natychmiast (cache TTL ≤ 1h). Po blokadzie nasz klient zobaczy w panelu komunikat "Site blocked CometWeb-Insight in robots.txt" zamiast analizy.

robots.txt — całkowita blokada

User-agent: CometWeb-Insight
Disallow: /

Możesz też zablokować konkretne ścieżki:

robots.txt — blokada per ścieżka

User-agent: CometWeb-Insight
Disallow: /admin
Disallow: /api/internal

06 /

Jak nas whitelistować (Cloudflare / WAF)

Jeśli twój WAF blokuje nieznanych botów, możesz nas whitelistować po User-Agent i (opcjonalnie) reverse DNS:

User-Agent contains: CometWeb-Insight/1.0
Reverse DNS: *.cometweb.io (po lookup naszego IP)

Cloudflare — Firewall rule

# Expression
(http.user_agent contains "CometWeb-Insight")

# Action
Allow

Aktualne zakresy IP serwerów skanujących publikujemy na żądanie — napisz na hello@cometweb.io. Hostujemy na Hostinger KM8 (Vilnius, Litwa).

07 /

Compliance

robots.txt — respektujemy w pełni (Allow / Disallow + Crawl-delay + Sitemap).
RODO — skanujemy publiczny content stron, nie zbieramy danych osobowych z treści. Pełne RoPA + DPIA: cometweb.io/compliance.
EU AI Act — klasyfikacja Limited Risk (Art. 50 transparency). Rekomendacje AI są jasno oznaczone w panelu klienta jako "AI generated".
Pełna dokumentacja: cometweb.io/compliance.

08 /

Kontakt

Jeśli mamy problem (over-aggressive crawl, błędny request, jakakolwiek skarga) — napisz. Odpowiadamy w ciągu 24h roboczych.

cometweb.io/compliance

Natychmiastowe zatrzymanie

Możesz też zażądać natychmiastowego zatrzymania wszystkich skanów swojej domeny — zrobimy to per request, bez weryfikacji własności. Lepiej over-block niż under-block.

„Jesteśmy jedynym narzędziem audytu, którego strona /bot mówi 'skanujemy tylko za zgodą'. Honest Operator to nie jest marketing — to sposób, w jaki zbudowaliśmy ten produkt."

CometWeb-Insight v1.0 · operowany przez CometWeb (JDG Maciej Zmitrukiewicz, PL) · ostatnia aktualizacja 2026-06-07