/ Crawler · informacja publiczna

CometWeb-Insight Bot — tylko na życzenie właściciela.

Skaner audytów stron WWW operowany przez markę CometWeb (Maciej Zmitrukiewicz, Polska — bez zarejestrowanej spółki). Skanujemy w pięciu wymiarach: performance, SEO, dostępność, bezpieczeństwo i ślad węglowy — ale tylko strony, które nasi klienci jawnie dodali do swojego panelu.

Jak zablokować → Zgłoś problem

01 /

Kim jesteśmy

CometWeb-Insight to skaner audytów stron WWW operowany pod marką CometWeb (Maciej Zmitrukiewicz, Polska — bez zarejestrowanej spółki). Wykonuje pojedyncze, kontekstowe audyty w pięciu wymiarach: performance (Core Web Vitals, syntetyka, polowe), SEO (indeksacja, sitemapa, render), dostępność (WCAG 2.2), bezpieczeństwo (CSP, nagłówki, TLS) i ślad węglowy (SWDM v4).

02 /

Kto inicjuje skan

Skanujemy wyłącznie na życzenie właściciela strony. Każdy skan to authenticated request od zarejestrowanego klienta CometWeb-Insight, który zaakceptował nasze warunki i potwierdził posiadanie tej strony lub upoważnienie do jej skanowania.

Honest operator manifest

Nie robimy automatycznych crawlów rynkowych. Nie indeksujemy stron dla wyszukiwarki. Nie sprzedajemy danych zebranych ze skanów. Nie skanujemy stron, których nasi klienci nie wskazali jawnie w panelu.

03 /

Jak nas zidentyfikować

Wszystkie nasze requesty zawierają poniższy User-Agent oraz token robots.txt.

User-Agent

Mozilla/5.0 (compatible; CometWeb-Insight/2.1; +https://cometweb.io/bot)

robots.txt token

CometWeb-Insight

Anti-impersonation

Inny User-Agent (np. Googlebot) twierdzący że to my — to nie my. Weryfikacja: reverse DNS lookup naszego IP wskaże domenę kontrolowaną przez CometWeb (*.cometweb.io).

04 /

Częstotliwość i intensywność

Pojedynczy skan

1–200 req

w ciągu 1–10 minut

Domyślne opóźnienie

0.5–2s

między requestami · per host

Jednoczesność

max 2

równoległe połączenia / host (domena)

Crawl-delay

100%

respekt dla robots.txt

Limity są per host (domena), nie globalnie dla całego internetu — inne domeny mogą być skanowane równolegle w ramach innych zleceń klientów.
Crawl-delay respektowany. Jeśli twoje robots.txt zawiera Crawl-delay: N, czekamy N sekund między requestami.
Brak skanów cyklicznych bez jawnego klienta scheduling — nie skanujemy bez powodu.
Adaptacja do błędów. 429 / 503 = natychmiastowy backoff i pauza skanu na 60 minut.

05 /

Zachowanie crawla

Start: od URL-i wskazanych przez klienta w Insight (nie od „crawl całego internetu”).
Linki wewnętrzne: w crawlach pełnych podążamy za linkami do limitu planu (Free 20 · Growth 200 · Studio 500 · Scale 1 000 stron).
robots.txt i crawl-delay są respektowane; ścieżki Disallow nie są pobierane.
Bez logowania: nie przechodzimy za formularzami auth ani paywallem (poza sesją przeglądarki klienta w Lens).
Harmonogram: skany są on-demand; cykliczne tylko jeśli klient włączy Monitoring / schedule w panelu.

06 /

Jak nas zablokować

W swoim robots.txt dodaj poniższy fragment. Respektujemy go natychmiast (cache TTL ≤ 1h). Po blokadzie nasz klient zobaczy w panelu komunikat "Site blocked CometWeb-Insight in robots.txt" zamiast analizy.

robots.txt — całkowita blokada

User-agent: CometWeb-Insight
Disallow: /

Możesz też zablokować konkretne ścieżki:

robots.txt — blokada per ścieżka

User-agent: CometWeb-Insight
Disallow: /admin
Disallow: /api/internal

07 /

Jak nas whitelistować (Cloudflare / WAF)

Jeśli twój WAF blokuje nieznanych botów, możesz nas whitelistować po User-Agent i (opcjonalnie) reverse DNS:

User-Agent contains: CometWeb-Insight/2.1
Reverse DNS: *.cometweb.io (po lookup naszego IP)

Cloudflare — Firewall rule

# Expression
(http.user_agent contains "CometWeb-Insight")

# Action
Allow

Aktualne zakresy IP serwerów skanujących publikujemy na żądanie — napisz na hello@cometweb.io. Hostujemy na Hostinger KM8 (Vilnius, Litwa).

08 /

Compliance

robots.txt — respektujemy w pełni (Allow / Disallow + Crawl-delay + Sitemap).
RODO — skanujemy publiczny content stron, nie zbieramy danych osobowych z treści. Pełne RoPA + DPIA: cometweb.io/legal/gdpr.
EU AI Act — klasyfikacja Limited Risk (Art. 50 transparency). Rekomendacje AI są jasno oznaczone w panelu klienta jako "AI generated".
Pełna dokumentacja: cometweb.io/legal/gdpr.

09 /

Kontakt

Jeśli crawler obciąża serwer, robi błędne requesty albo masz inną skargę — napisz na hello@cometweb.io. Odpowiadamy w dni robocze 09:00–17:00 CET. Pilne (błędy 5xx / przeciążenie): temat URGENT crawl + domena.

cometweb.io/legal/gdpr

Natychmiastowe zatrzymanie

Możesz też zażądać natychmiastowego zatrzymania wszystkich skanów swojej domeny — zrobimy to per request, bez weryfikacji własności. Lepiej over-block niż under-block.

„Niewiele narzędzi audytu w ogóle publikuje stronę /bot. Nasza mówi wprost: 'skanujemy tylko za zgodą'. Honest Operator to nie marketing. To sposób, w jaki zbudowaliśmy ten produkt."

CometWeb-Insight v2.1 · marka CometWeb (Maciej Zmitrukiewicz, PL) · ostatnia aktualizacja 2026-08-05