Hoe vindt en leest Googlebot je pagina's?
Hij volgt links vanaf pagina's die hij al kent en leest je sitemap. Een site met goede interne links en ongeveer 500 pagina's of minder heeft er misschien niet eens een nodig. De meeste requests komen van Googlebot Smartphone, dus de mobiele versie van een pagina telt.
Elke pagina die 200 (OK) teruggeeft, wacht daarna in een render queue, waar Google JavaScript uitvoert in een actuele versie van Chrome. Dat kan even duren, dus tekst die al in de HTML staat is de veilige keuze.
Hoeveel van een pagina leest Googlebot?
Googlebot leest de eerste 2 MB van elk HTML-bestand, ongecomprimeerd gerekend, en negeert de rest. Elk CSS- en JavaScript-bestand krijgt zijn eigen 2 MB. In de documentatie van Google stond tot februari 2026 nog 15 MB. Daarom staat dat nog steeds op andere pagina's.
Ik heb elke pagina in de sitemaps van mijn eigen vijf sites gemeten, 1.634 in totaal. Geen enkele komt boven de 2 MB uit; meestal zitten ze rond de 50 KB. De grootste is de handleiding voor Chrome trace events op corewebvitals.io: 1,2 MB aan tekst, ongeveer 60% van de limiet. Search Console liet die pagina zien voor "1102952120", een getal dat één keer voorkomt in een codevoorbeeld, zo'n 900 KB verderop in de HTML. Google heeft dus minstens tot daar gelezen.
De handleiding is bewust één pagina, omdat mensen erin zoeken met Ctrl+F. Groeit die richting de 2 MB, dan splits ik de pagina op per hoofdstuk.
Je eigen pagina checken: Chrome DevTools, tabblad Network, herlaad, filter op Doc. Met Big request rows aan toont de cel Size de grootte over het netwerk en daaronder de grootte van de resource: Googlebot telt die tweede.

corewebvitals.io, gemeten op 29 oktober 2026.
Die limiet breekt je op als er megabytes aan inline CSS, JavaScript of base64-afbeeldingen boven de tekst staan.
Hoe vaak komt Googlebot langs, en is crawlbudget jouw probleem?
Googlebot komt zo vaak langs als je server aankan en Google je pagina's de moeite waard vindt. Die combinatie is het crawlbudget, en de gids van Google daarover is geschreven voor sites met een miljoen pagina's, of 10.000 die dagelijks veranderen. Een klantsite van 300 pagina's met een paar kapotte links heeft dat probleem niet. Door trage antwoorden, serverfouten (5xx) en 429 (too many requests) crawlt Google op elke site minder. Op een grote webshop verspillen de eindeloze filter-URL's van crawler traps wel crawls.
Het rapport Crawlstatistieken in Search Console laat de bezoeken zien. Lijkt Googlebot je server te bestoken, controleer dan eerst of het de echte is (laatste onderdeel). Wil je de server even rust geven, geef dan een paar uur, hooguit een dag of twee, een 503 of 429 terug. Duurt dat langer, dan kunnen pagina's uit de index verdwijnen.
Hoe stop of stuur je Googlebot?
Een regel in robots.txt stopt het crawlen en een noindex stopt het indexeren. De klassieke fout is allebei op één pagina: Googlebot haalt de pagina nooit op, ziet de noindex nooit, en de pagina kan alsnog in Google verschijnen als andere pagina's ernaar linken.
Wil je alleen Googlebot aanspreken, noem hem dan in de robots-metatag: <meta name="googlebot" content="noindex">. Regels met Crawl-delay in robots.txt remmen Googlebot niet af, want Google ondersteunt die niet. Controleer robots.txt na elke livegang en migratie. Met één verdwaalde Disallow: / leest Googlebot de hele site niet meer, en wat in Google blijft staan verschijnt zonder beschrijving.
Wat ziet Googlebot op je pagina?
Voor één pagina gebruik je URL-inspectie in Google Search Console: inspecteer de URL, klik op Live-URL testen en daarna op Geteste pagina bekijken. Je krijgt de HTML die Google heeft opgehaald en een screenshot, wat vroeger Fetchen als Google heette.
Voor een hele site crawlt de SEO-audit van MarketingTracer de pagina's die hij vindt. Bij elke pagina die Google mogelijk niet indexeert staat waarom: de statuscode, een noindex, een canonical naar een andere pagina of een regel in robots.txt. Het is onze eigen crawler, dus je controleert nog steeds in Search Console wat Google heeft geïndexeerd. Er is een aparte gids over zelf een site crawlen.
Is die bezoeker echt Googlebot?
Niet altijd. Andere crawlers vervalsen vaak de user-agent van Googlebot. Bij de echte komt een reverse DNS-lookup uit op een naam onder googlebot.com, google.com of googleusercontent.com, en geeft een forward lookup van die naam hetzelfde IP-adres terug. Firewalls die alleen op de user-agent afgaan, kunnen ze niet uit elkaar houden. Veel CDN's hebben een instelling voor geverifieerde bots die deze controle voor je doet.