CometWebSEO / Start strony

Pozostałości po starcie na 100 popularnych stronach głównych

Maciej Zmitrukiewicz · Pakiet badania do artykułu Checklista odbioru strony: co przeoczysz przy starcie

To materiał do artykułu. Losowałem domeny z listy Tranco, czyli 100 000 najpopularniejszych stron, i pierwsze 100, które pokazały stronę główną, sprawdziłem pod kątem pozostałości, które checklista startu powinna złapać: noindex, robots.txt, sitemapa, odpowiedź na brakującą stronę, favicon, tytuł strony głównej, przejście z HTTP na HTTPS, tag canonical i linki do hostów testowych.

Na co patrzyłem

Skrypt szedł po próbie po kolei i zatrzymał się, gdy 100 stron pokazało stronę główną. Żeby to osiągnąć, przeszedł 167 domen. Działało osiem równoległych wątków, więc w chwili zatrzymania 13 kolejnych domen za tym punktem było już zmierzonych; są w surowym pliku z sample_index 1 i nie wchodzą do żadnej liczby. Identyfikatory nadałem wszystkim 180 wierszom, dlatego sięgają site-180. Reszta to CDN-y, serwery API, zaparkowane domeny i strony blokujące boty, więc każda liczba niżej jest ze 100. To ta sama próba co w październiku, wylosowana z tym samym ziarnem, ale tym razem skrypt przedstawiał się jako CometWebResearch/1.0, a nie jako Chrome, więc kilka stron odpowiedziało inaczej albo wcale.

Dla każdej strony skrypt pobrał stronę główną, robots.txt, sitemapę, jeden wymyślony adres w rodzaju /cw-launch-check-3f9a1c/, favicon i wersję http://, każde jednym zapytaniem. Test robots.txt idzie za regułami Google, więc grupa napisana dla Googlebota wygrywa z grupą *. Test linków do testu szuka pełnych adresów do localhost, prywatnych końcówek takich jak .local i subdomen nazwanych staging, dev, test, preview i podobnie. Każde trafienie przeczytałem ręcznie, bo subdomena beta albo demo to często prawdziwy produkt.

Dwa testy dostały drugi przebieg. Pierwszy test sitemapy przyjmował tylko XML, a trzy strony wpisały sitemapę tekstową, którą Google też akceptuje, więc w drugim przebiegu liczą się jako działające. Test favicona puściłem jeszcze raz na każdy link do ikony dla stron, które oblały, i nikt wtedy nie przeszedł. Część tych serwerów odpowiedziała badawczemu user agentowi kodem 403, więc liczba przy faviconie jest trochę zawyżona.

Wyniki dzielę na dwie grupy. Problemy to rzeczy, które checklista startu powinna była złapać. Druga grupa jest do sprawdzenia, ale sama nie jest błędem, bo sitemapę można zgłosić w Search Console bez linijki Sitemap, a Google wybiera adres kanoniczny także bez tagu.

Pakiet nie podaje nazw stron. Każda ma neutralny identyfikator, np. site-042, z adresów zostaje tylko http albo https, www albo bez i to, czy zostają w tym samym serwisie, a tytuły stron głównych widać tylko wtedy, gdy są domyślne.

Problemy

Co liczyłemListopadPaździernik
Strona główna z noindex (meta albo X-Robots-Tag)11
robots.txt blokuje Googlebota na całej stronie11
http:// ładuje się bez przejścia na HTTPS86
Wymyślony adres odpowiedział kodem 2001614
Brak działającego favicona107
Tytuł strony głównej brakujący, pusty albo domyślny33
Sitemapa wpisana w robots.txt się nie ładuje15
Canonical wskazuje inny serwis i nic nie wskazuje, że celowo0nowy test
Canonical na http:// ze strony https0nowy test
Strony z co najmniej jednym problemem31inna reguła

Kolumna październikowa bierze dane z października tam, gdzie był ten sam test. Październikowy przebieg przyjmował tylko sitemapy XML i przedstawiał się jako Chrome, więc jego wiersze o sitemapie są trochę zawyżone, a obie kolumny to testy bliskie, ale nie identyczne. Testy canonical i linków do testu są nowe w listopadzie.

Do sprawdzenia

Co liczyłemListopadPaździernik
Brak robots.txt (odpowiedź inna niż 200)1311
Brak linijki Sitemap w robots.txt3433
Brak sitemapy w robots.txt, /sitemap.xml i /sitemap_index.xml2325
Brak tagu canonical na stronie głównej25nowy test
Canonical wskazuje inny serwis (każdy przeczytałem)3nowy test
Canonical na drugiej wersji www tego samego serwisu3nowy test
Linki do hostów wyglądających na testowe, dev albo lokalne1nowy test
w tym potwierdzone przeze mnie jako środowisko testowe0nowy test

W październiku artykuł liczył siedem testów razem z brakiem linijki Sitemap i co najmniej jeden oblało 46 stron. Ta sama reguła na danych z listopada daje 49. Zmieniłem główną liczbę, bo brak linijki Sitemap nie jest błędem.

Czego te dane nie pokażą

Pliki

Żeby sprawdzić własną listę, zapisz domeny (strony klienta, swoje, listę nowych wdrożeń) jako top-1m.csv, po jednej linii pozycja,domena, a potem uruchom python3 measure.py 100, python3 recheck_sitemap.py, python3 recheck_favicon.py i python3 summarise.py.

Wróć do artykułu