Pozostałości po starcie na 100 popularnych stronach głównych
To materiał do artykułu. Losowałem domeny z listy Tranco, czyli 100 000 najpopularniejszych stron, i pierwsze 100, które pokazały stronę główną, sprawdziłem pod kątem pozostałości, które checklista startu powinna złapać: noindex, robots.txt, sitemapa, odpowiedź na brakującą stronę, favicon, tytuł strony głównej, przejście z HTTP na HTTPS, tag canonical i linki do hostów testowych.
Na co patrzyłem
Skrypt szedł po próbie po kolei i zatrzymał się, gdy 100 stron pokazało stronę główną. Żeby to osiągnąć, przeszedł 167 domen. Działało osiem równoległych wątków, więc w chwili zatrzymania 13 kolejnych domen za tym punktem było już zmierzonych; są w surowym pliku z sample_index 1 i nie wchodzą do żadnej liczby. Identyfikatory nadałem wszystkim 180 wierszom, dlatego sięgają site-180. Reszta to CDN-y, serwery API, zaparkowane domeny i strony blokujące boty, więc każda liczba niżej jest ze 100. To ta sama próba co w październiku, wylosowana z tym samym ziarnem, ale tym razem skrypt przedstawiał się jako CometWebResearch/1.0, a nie jako Chrome, więc kilka stron odpowiedziało inaczej albo wcale.
Dla każdej strony skrypt pobrał stronę główną, robots.txt, sitemapę, jeden wymyślony adres w rodzaju /cw-launch-check-3f9a1c/, favicon i wersję http://, każde jednym zapytaniem. Test robots.txt idzie za regułami Google, więc grupa napisana dla Googlebota wygrywa z grupą *. Test linków do testu szuka pełnych adresów do localhost, prywatnych końcówek takich jak .local i subdomen nazwanych staging, dev, test, preview i podobnie. Każde trafienie przeczytałem ręcznie, bo subdomena beta albo demo to często prawdziwy produkt.
Dwa testy dostały drugi przebieg. Pierwszy test sitemapy przyjmował tylko XML, a trzy strony wpisały sitemapę tekstową, którą Google też akceptuje, więc w drugim przebiegu liczą się jako działające. Test favicona puściłem jeszcze raz na każdy link do ikony dla stron, które oblały, i nikt wtedy nie przeszedł. Część tych serwerów odpowiedziała badawczemu user agentowi kodem 403, więc liczba przy faviconie jest trochę zawyżona.
Wyniki dzielę na dwie grupy. Problemy to rzeczy, które checklista startu powinna była złapać. Druga grupa jest do sprawdzenia, ale sama nie jest błędem, bo sitemapę można zgłosić w Search Console bez linijki Sitemap, a Google wybiera adres kanoniczny także bez tagu.
Pakiet nie podaje nazw stron. Każda ma neutralny identyfikator, np. site-042, z adresów zostaje tylko http albo https, www albo bez i to, czy zostają w tym samym serwisie, a tytuły stron głównych widać tylko wtedy, gdy są domyślne.
Problemy
| Co liczyłem | Listopad | Październik |
|---|---|---|
| Strona główna z noindex (meta albo X-Robots-Tag) | 1 | 1 |
| robots.txt blokuje Googlebota na całej stronie | 1 | 1 |
| http:// ładuje się bez przejścia na HTTPS | 8 | 6 |
| Wymyślony adres odpowiedział kodem 200 | 16 | 14 |
| Brak działającego favicona | 10 | 7 |
| Tytuł strony głównej brakujący, pusty albo domyślny | 3 | 3 |
| Sitemapa wpisana w robots.txt się nie ładuje | 1 | 5 |
| Canonical wskazuje inny serwis i nic nie wskazuje, że celowo | 0 | nowy test |
| Canonical na http:// ze strony https | 0 | nowy test |
| Strony z co najmniej jednym problemem | 31 | inna reguła |
Kolumna październikowa bierze dane z października tam, gdzie był ten sam test. Październikowy przebieg przyjmował tylko sitemapy XML i przedstawiał się jako Chrome, więc jego wiersze o sitemapie są trochę zawyżone, a obie kolumny to testy bliskie, ale nie identyczne. Testy canonical i linków do testu są nowe w listopadzie.
Do sprawdzenia
| Co liczyłem | Listopad | Październik |
|---|---|---|
| Brak robots.txt (odpowiedź inna niż 200) | 13 | 11 |
| Brak linijki Sitemap w robots.txt | 34 | 33 |
| Brak sitemapy w robots.txt, /sitemap.xml i /sitemap_index.xml | 23 | 25 |
| Brak tagu canonical na stronie głównej | 25 | nowy test |
| Canonical wskazuje inny serwis (każdy przeczytałem) | 3 | nowy test |
| Canonical na drugiej wersji www tego samego serwisu | 3 | nowy test |
| Linki do hostów wyglądających na testowe, dev albo lokalne | 1 | nowy test |
| w tym potwierdzone przeze mnie jako środowisko testowe | 0 | nowy test |
W październiku artykuł liczył siedem testów razem z brakiem linijki Sitemap i co najmniej jeden oblało 46 stron. Ta sama reguła na danych z listopada daje 49. Zmieniłem główną liczbę, bo brak linijki Sitemap nie jest błędem.
Czego te dane nie pokażą
- To popularne strony, które działają od jakiegoś czasu, więc pokazują, co przeżywa start, a świeży start to inny moment.
- Pierwsze 100 000 Tranco zawiera wygasłe domeny, na których dziś jest spam. Zostawiłem je, bo ręczne odsiewanie zrobiłoby próbę mniej losową.
- Sprawdzałem tylko strony główne. Inne szablony tej samej strony mogą oblać testy, które strona główna przechodzi.
- Testy tytułu, noindex i canonical czytają HTML z serwera, więc to, co dodaje JavaScript, się nie liczy.
- Mierzyłem raz, z jednego łącza w Polsce. Strona, która akurat na chwilę nie działała, liczy się jako oblana, a uczciwy user agent bywa blokowany częściej niż przeglądarkowy.
Pliki
checklist-en.md: protokół przekazania z artykułu po angielsku, do skopiowaniachecklist-pl.md: ten sam protokół po polskuresults.csv: jeden wiersz na stronę ze wszystkimi testami, z identyfikatorem i bez adresówresults.jsonl.gz: surowe wyniki dla wszystkich 180 domen, które skrypt zmierzył, także tych bez strony i 13 za punktem odcięcia (sample_index1)review.json: moje notatki do każdego linku wyglądającego na testowy, po identyfikatorzesummary.json: liczby użyte w artykulemeasure.py: skrypt pomiarowyrecheck_sitemap.py: drugi przebieg sitemapy, który przyjmuje też sitemapy tekstowerecheck_favicon.py: drugi przebieg favicona, który próbuje każdego linku do ikonysummarise.py: zamienia results.jsonl w summary.json i results.csvoctober/: wcześniejszy przebieg na tej samej próbie, z własnymi skryptami i danymi
Żeby sprawdzić własną listę, zapisz domeny (strony klienta, swoje, listę nowych wdrożeń) jako top-1m.csv, po jednej linii pozycja,domena, a potem uruchom python3 measure.py 100, python3 recheck_sitemap.py, python3 recheck_favicon.py i python3 summarise.py.