CometWebSEO / JavaScript

HTML z serwera a wyrenderowana strona na serwisach na frameworkach JavaScript, zmierzone dwa razy

Maciej Zmitrukiewicz · Pakiet badania do artykułu JavaScript SEO: boty AI mogą widzieć pustą stronę

To materiał do artykułu. Wziąłem popularne serwisy zbudowane na frameworkach JavaScript i porównałem HTML, który wysyła ich serwer, czyli to, co czyta robot bez JavaScriptu, ze stroną, którą Chromium pokazuje po uruchomieniu skryptów. Miesiąc później zrobiłem to jeszcze raz na tych samych stronach głównych, żeby sprawdzić, czy wynik nie był przypadkiem.

Na co patrzyłem

Wylosowałem 1200 domen z listy Tranco, czyli 100 000 najpopularniejszych stron, i każdą stronę główną pobrałem raz przez HTTPS. 714 zwróciło stronę HTML, a 116 z nich miało w HTML-u ślad Next.js, Nuxt, React, Vue, Angulara, SvelteKit albo Gatsby. Pierwsze 100 w losowej kolejności otworzyłem w Chromium bez interfejsu przez Playwright i czekałem, aż ucichnie ruch sieciowy. Strony, przy których przeglądarka dostała test na bota albo prawie pustą stronę, odrzuciłem, więc w pierwszym pomiarze zostało 87.

Miesiąc później pobrałem te same 100 stron głównych jeszcze raz i wyrenderowałem je tym samym skryptem. HTML zwróciło 97, wyrenderowało się 98, a po tych samych wykluczeniach zostało 91. W metodzie zmieniła się jedna rzecz: pierwszy pomiar szedł z user agentem desktopowego Chrome, a powtórka z takim, który przedstawia się jako robot badawczy (CometWebResearch/1.0).

Obie wersje czytał ten sam parser, który zapisywał tytuł, meta description, canonical, pierwszy H1, liczbę unikalnych linków wewnętrznych i ilość tekstu w body. Strona traci ważną treść, gdy w HTML-u z serwera brakuje tytułu, H1, opisu albo canonical, które ma wersja wyrenderowana, albo gdy jest w nim mniej niż połowa wyrenderowanego tekstu lub linków wewnętrznych. Nagłówki H1 okienek cookies pomijam. Pakiet nie podaje nazw stron: każda ma neutralny identyfikator, np. site-0042, taki sam w obu pomiarach, a pozycja w Tranco jest pokazana jako przedział co 10 000.

Wyniki

Co liczyłemPomiar 1 (październik)Pomiar 2 (listopad)
Wzięte / wyrenderowane / porównane100 / 93 / 87100 / 98 / 91
Tracą bez JavaScriptu ważną treść (dowolna reguła niżej)31 z 87 (36%)32 z 91 (35%)
Pusta skorupa: mniej niż 10% wyrenderowanego tekstu w HTML-u z serwera16 z 87 (18%)16 z 91 (18%)
Mniej niż połowa wyrenderowanego tekstu w HTML-u z serwera29 z 87 (33%)30 z 91 (33%)
Mniej niż połowa linków wewnętrznych w HTML-u z serwera20 z 87 (23%)20 z 91 (22%)
H1 dopiero po JavaScripcie10 z 87 (11%)11 z 91 (12%)
Canonical dopiero po JavaScripcie6 z 87 (7%)7 z 91 (8%)
Meta description dopiero po JavaScripcie5 z 87 (6%)4 z 91 (4%)
Tytuł dopiero po JavaScripcie2 z 87 (2%)2 z 91 (2%)
Tytuł zmieniony przez JavaScript8 z 87 (9%)8 z 91 (9%)
Zero linków wewnętrznych w HTML-u z serwera1311

Czy wynik przetrwał miesiąc?

W obu pomiarach porównałem 83 tych samych stron głównych. 80 z nich miało ten sam werdykt co do utraty ważnej treści, a 81 ten sam werdykt co do pustej skorupy. U trzech, które się zmieniły, widać duży skok udziału tekstu w HTML-u z serwera: site-0642 (Next.js): tekst w HTML-u z serwera 102% → 14%; site-1166 (React): tekst w HTML-u z serwera 91% → 9%; site-1188 (Next.js): tekst w HTML-u z serwera 13% → 94%. U dwóch zmieniła się strona wyrenderowana, co wskazuje na zmianę samej strony albo jej ładowania między pomiarami. U trzeciej wyraźnie schudł sam HTML z serwera i tu przyczyną może być inny user agent. Tak czy inaczej sumy prawie się nie ruszyły.

Według frameworka

Framework to pierwszy ślad znaleziony w HTML-u z serwera. Strony na Nuxt mają też ślady Vue i liczę je jako Nuxt. Grupa renderująca w przeglądarce ma tylko 24 stron, więc jej odsetek traktuj jako kierunek. Etykietę odczytuję z HTML-u z serwera pobranego w danym pomiarze, więc strona, która zmieniła HTML między pomiarami albo przeszła między grupą wykluczonych i porównanych, może zmienić framework albo wypaść z wiersza. Dlatego część liczb według frameworka różni się między pomiarami, choć grupa renderująca w przeglądarce ma 24 stron w pierwszym pomiarze i 24 w drugim.

FrameworkStrony (pomiar 1 / 2)Tracą ważną treść (pomiar 1 / 2)Pusta skorupa (pomiar 1 / 2)
Next.js47 / 4917 / 175 / 5
Nuxt12 / 131 / 11 / 1
React13 / 117 / 75 / 5
Vue6 / 73 / 32 / 2
Angular5 / 63 / 43 / 3
SvelteKit2 / 30 / 00 / 0
Gatsby2 / 20 / 00 / 0
Domyślnie renderują na serwerze (Next.js, Nuxt, SvelteKit, Gatsby)63 / 6718 z 63 (29%) / 18 z 67 (27%)6 / 6
Domyślnie renderują w przeglądarce (React, Vue, Angular)24 / 2413 z 24 (54%) / 14 z 24 (58%)10 / 10

Moja własna strona

Tym samym parserem sprawdziłem stronę główną cometweb.io, która stoi na SvelteKit. HTML z serwera ma ten sam tytuł, H1, meta description i canonical co wersja wyrenderowana oraz 54 z 54 linków wewnętrznych. Około 81% wyrenderowanego tekstu jest już w HTML-u z serwera. Porównałem obie wersje i reszta tekstu pochodzi wyłącznie z interaktywnego demo Insight i banera cookies. Liczby są w pliku own-check.json.

Czego te dane nie pokażą

Pliki

Żeby sprawdzić własną listę, zapisz strony do sprawdzenia jako selected.json w tym samym formacie, a potem uruchom python3 refetch.py, node render.mjs i python3 compare.py. Surowego HTML-u cudzych stron tu nie publikuję, więc twój przebieg pobierze świeże kopie.

Wróć do artykułu