Crawler

Een crawler is een programma dat webpagina's bezoekt en indexeert. Een crawler wordt ook wel een spider genoemd.Het is belangrijk om jouw pagina zo in te richten dat crawlers gemakkelijk alle pagina's kunnen vinden.

Google crawler

De belangrijkste crawler voor zoekmachine optimalisatie is toch wel de Google crawler. De google crawler heet Googlebot. Googlebot is de meest geavanceerde crawler op dit moment. Googlebot analyseert jouw pagina zoals een echte browser dit zou doen in tegenstelling tot andere crawlers die alleen de broncode van jouw pagina bekijken. Googlebot kijkt dus ook naar de werkelijke positie van jouw content op het scherm en analyseert ook inhoud die wodt toegevoegd of veranderd door JavaScript.

Het crawler budget

Iedere site krijgt van Google een crawl budget. Dat crawl budget geeft aan hoe vaak Googlebot jouw site mag bezoeken. Populaire en kwalitatieve sites krijgen een hoger crawl budget dan andere sites. Door fouten zoals broken links en duplicate content kan Googlebot snel door haar crawlbudget heen gaan. Daarom is technische SEO zo belangrijk voor een website.

Instructies voor crawlers

Het is mogelijk om het gedrag van een crawler te beïnvloeden. In een speciaal bestand, het robots.txt bestand kun je instructies voor een crawler opgeven. Het robots.txt bestand wordt altijd geplaatst aan het begin van de site (de 'root directory'). Zo weet een spider altijd waar het robots.txt bestand staat.
In het robots.txt bestand kun je onder andere opgeven welke pagina's gecrawled en geïndexeerd mogen worden, hoe langer er minimaal tussen verzoeken moet zitten en welke bots wel en geen toegang hebben tot jouw site.

Het online-marketing dashboard voor professionals

Meer dan de helft van de Emerce top-100 digital marketingbureaus gebruikt MarketingTracer.
Geen opzegtermijn, direct online, gratis trial.

Start nu jouw 14-dagen trial
geen installatie nodig
>>