Wat is een crawler trap?
Het is een reeks links die een crawler eindeloos van URL naar URL stuurt, terwijl elke URL dezelfde (of een lege) pagina toont. Elke pagina in de crawler trap linkt naar "nieuwe" adressen die gewoon weer diezelfde pagina zijn: één filter extra, één maand verder, één map dieper, een vers sessie-ID. De crawler weet pas dat het kopieën zijn nadat hij ze heeft opgehaald, dus haalt hij ze op. Sommige crawler traps zijn niet eens eindeloos, alleen enorm, of ze verspillen alleen requests, zoals een redirect die naar zichzelf verwijst.
Enkele sites bouwen ze expres, om scrapers en spambots te vangen die robots.txt negeren. Hoe de crawler van Google zelf pagina's vindt en ophaalt, staat op de pagina over Googlebot.
Zijn crawler traps slecht voor SEO?
Ja, en de omvang van de site bepaalt hoe. Op een grote site vreet een crawler trap crawlbudget. Elke site, groot of klein, krijgt kopieën in de index en in de rapporten, en Google vindt nieuwe pagina's trager.
Crawlbudget, het aantal URL's dat Google van je site wil en kan ophalen, speelt bij een kleine groep. Google noemt ze: "Grote sites (1 miljoen+ unieke pagina's) met content die redelijk vaak verandert (eens per week)", "Middelgrote of grotere sites (10.000+ unieke pagina's) met heel snel veranderende content (dagelijks)" en sites met veel pagina's die Google wel heeft gevonden maar niet geïndexeerd (Google, crawlbudget). Op een kleine klantsite met een kalenderplugin is dat budget zelden het probleem, wat de audittool ook zegt.
Voor alle anderen zijn de gevolgen kleiner en vervelender. De pagina van Google over filters noemt "overcrawling" en "tragere ontdekking": "als het crawlen opgaat aan nutteloze URL's, houden de crawlers minder tijd over voor nieuwe, nuttige URL's" (Google, faceted navigation). En dan zijn er nog de kopieën: duizenden regels onder "Duplicaat zonder door gebruiker geselecteerde canonieke versie" of "Alternatieve pagina met juiste canonieke tag" in Search Console die de pagina's begraven waar het je om gaat. Dat is geen penalty. Bij duplicate content kiest Google welke kopie hij laat zien, en hij kiest niet altijd die van jou.
Een bureau merkt het meestal als eerste in zijn eigen crawltool. Komt er geen eind aan de crawl, dan begint de audit nooit, omdat de echte pagina's in een wachtrij staan achter duizenden filteradressen. Google probeert zulke traps zelf te herkennen, maar dat kan even duren, en die tijd kost het je.
Hoe vind ik een crawler trap?
Crawl de site zelf en vergelijk het aantal URL's met het aantal pagina's dat de site hoort te hebben. Een crawler trap zie je terug als één patroon dat veel meer adressen aanmaakt dan de site aan content heeft.
- Crawl vanaf de homepage met een limiet. SEO Spider van Screaming Frog is gratis tot 500 URL's, en elke audittool volstaat; de handleiding voor een site crawl legt uit hoe. Loopt een kleine site tegen de limiet aan, dan is dat je eerste signaal.
- Vergelijk het aantal met wat de site echt heeft: de sitemap, de producten, de berichten. Een webshop met 3.000 producten waar een crawl op 60.000 URL's uitkomt, heeft 57.000 adressen uit te leggen.
- Sorteer de URL's op lengte en groepeer ze op map en op parameter. De langste laten het patroon zien: mappen die zich herhalen, parameters gestapeld op parameters. Zoek op
?,sessionid,sid=,/calendar/en/search. Eén map of één?sort=die ver boven de rest uitsteekt, is je verdachte. - Kijk in Search Console. Open onder Indexering > Pagina's de grote groepen zoals "Alternatieve pagina met juiste canonieke tag" en "Duplicaat zonder door gebruiker geselecteerde canonieke versie", en bekijk de voorbeeld-URL's. Instellingen > Crawlstatistieken laat zien wat Googlebot echt heeft opgehaald, per respons en "Op doel". Een instelling voor parameters is er niet meer: Google schrapte de tool voor URL-parameters in april 2022, omdat "slechts zo'n 1% van de parameterconfiguraties" erin "nuttig voor het crawlen" was (Google, 28 maart 2022). De Search Console-handleiding legt beide rapporten uit.
- Bekijk op een grote site de serverlogs: de requests van Googlebot per URL-patroon over 30 dagen. Duizenden hits op een patroon zonder klikken: dat is de crawler trap. Een zoekopdracht met
site:laat zien wat geïndexeerd is; een leeg resultaat bewijst dus niets over wat gecrawld wordt.
Met veertig klantsites exporteert niemand veertig crawls met de hand. De SEO-audit in MarketingTracer toont de signalen per site: "Per onderdeel van de site" telt de pagina's in elke eerste map, en op het tabblad Pagina's filter je "Klikken vanaf de homepage" op "4 of meer" of Soort op "Redirect". Er zit geen regel "crawler trap" in. De tool laat zien waar de adressen zich opstapelen, en jij bepaalt of dat een crawler trap is. Wat Googlebot heeft opgehaald ziet hij ook niet: daarvoor heb je Crawlstatistieken en je logs.

Demo-account, voorbeelddata.
Veelvoorkomende crawler traps, en hoe je ze oplost
De meest voorkomende eerst.
Filters en sortering (faceted navigation)
/bikes?color=red&size=56&sort=price
/bikes?sort=price&color=red&size=56
/bikes?color=red&size=56&sort=price&page=2
Elk filter op een winkelpagina is een link, en filters zijn te combineren. Neem één categorie met 4 sorteervolgordes, 6 maten, 8 kleuren en 10 merken, van elk één of geen: dat zijn 5 × 7 × 9 × 11 = 3.465 URL's. Veertig categorieën maken er 138.600, nog voordat iemand de volgorde van de parameters omdraait, wat voor een crawler ook weer een nieuwe URL is (de eerste twee regels hierboven).
In de oude versie van deze pagina stond dat zoekmachines JavaScript-filters toch wel oppikken, en dat is half waar. Google volgt <a>-elementen met een href. Past een filter de pagina alleen met JavaScript aan, of bewaart het zijn state achter een #, dan maakt het voor Google helemaal geen URL aan: fragments hebben "geen invloed op het crawlen (positief of negatief)" (Google, faceted navigation). Je herkent deze crawler trap in een crawl of in de voorbeeld-URL's in Search Console: overal ?color= en &sort=, en één categoriemap met tienduizenden adressen.
De pagina over faceted navigation van Google geeft de fix op volgorde. Bepaal eerst welke filterpagina's het verdienen om te ranken. Mensen zoeken best op "rode racefietsen"; niemand zoekt op "rood, maat 56, gesorteerd op prijs, pagina 3". Blokkeer de rest in robots.txt, of verplaats hun state naar het fragment. Geef daarna een 404 op een combinatie zonder resultaten of die nergens op slaat, en "redirect niet naar een algemene 'niet gevonden'-foutpagina". Deze regels in robots.txt werken, want Google ondersteunt * in paden:
User-agent: *
Disallow: /*?*size=
Disallow: /*?*sort=
Eén correctie op het oude advies om eerst een canonical toe te voegen en daarna de filters te blokkeren. Google haalt een URL die robots.txt blokkeert nooit op, en leest die canonical dus nooit. Kies er één per patroon; de tabel verderop laat zien welke.
Kalenders (de tijdval)
/calendar/2026/11
/calendar/2026/12
...
/calendar/3026/01
Een evenementenplugin of boekingskalender zet op elke maand een link naar "volgende maand", zonder einde. Dit staat op de lijst met oorzaken van Google zelf: "Een dynamisch gegenereerde kalender kan links naar toekomstige en eerdere datums aanmaken" (URL-structuur). Klik tien keer op "volgende" en kijk of het ooit stopt; in een crawl is het een map vol lege maanden.
De netste fix is de plugin-instelling die begrenst hoe ver de kalender vooruitloopt, met een 404 voor maanden buiten dat bereik, of een blokkade op het kalenderpad in robots.txt. Nofollow, wat Google voorstelt voor links naar "dynamisch aangemaakte toekomstige kalenderpagina's", helpt alleen als elke link het heeft.
Relatieve links zonder einde
Op /blog/post/: <a href="blog/post/">
/blog/post/blog/post/
/blog/post/blog/post/blog/post/
Een link zonder slash vooraan wordt gelezen vanaf de map waarin de pagina staat. Op /blog/post/ gaat die link dus één map dieper, naar een pagina met opnieuw dezelfde link. Google waarschuwt dat "een parent-relatieve link op de verkeerde pagina oneindige ruimtes kan veroorzaken" (URL-structuur).
Het wordt pas een crawler trap als de server 200 teruggeeft op die langere adressen, meestal doordat een rewrite-regel de rest van het pad negeert. Geeft hij 404, dan heb je een kapotte link en verder niets. Op corewebvitals.io en op deze site geeft een onbekend dieper pad een 404, dus daar kan het niet doorgroeien. Sorteer je crawl op URL-lengte en de langste adressen laten de herhaling zien. De fix komt van Google zelf: "gebruik root-relatieve URL's in je links (in plaats van parent-relatieve)", dus href="/blog/post/". Dezelfde vergissing zorgde hier ooit voor een kapotte link.
Sessie-ID's in de URL
https://www.example.com/?session=12345abcd
https://www.example.com/shop;jsessionid=12345abcd
Kan een server de sessie niet in een cookie bewaren, dan schrijft hij het sessie-ID in elke link. Een crawler krijgt bij elk bezoek een nieuwe sessie, zodat elke pagina telkens een nieuw adres krijgt. Test het door cookies uit te zetten, op een paar links te klikken en naar de adresbalk te kijken. Google raadt aan om "het gebruik van sessie-ID's in URL's te vermijden en in plaats daarvan cookies te overwegen". In PHP houdt dat in dat session.use_trans_sid uit blijft staan, de standaardinstelling.
Interne zoekresultaten
/search?q=red+bike
/search?q=whatever+anyone+typed
Elke zoekopdracht is een pagina, en "populaire zoekopdrachten" of tagclouds linken ernaar. Spam-zoekopdrachten zijn erger: die zetten woorden op je domein die je zelf nooit zou schrijven. Blokkeer het zoekpad in robots.txt (Disallow: /search). John Mueller van Google zei het in juli 2026 zonder omwegen in Search Off the Record: "gebruik gewoon robots.txt en zeg dat alles in search geblokkeerd is" (aflevering 113, transcript).
Redirect traps
Geen van beide is eindeloos, maar allebei verspillen ze requests.
De redirect naar de homepage. http://www.example.com/page1 redirect naar https://www.example.com/ in plaats van naar /page1. Het kale domein kan hetzelfde doen. Op de pagina van Google over siteverhuizingen staat dat veel oude URL's naar de homepage sturen "kan worden behandeld als een soft 404-fout" (Google, siteverhuizingen), en dan telt het oude adres als verdwenen. Verander op een diepe pagina https:// in http://, of laat www weg, en kijk waar je uitkomt. Herhaal dat na elke serververhuizing of CMS-update; die sluipt er zo weer in. De fix is een redirectregel die het pad behoudt; alle vijf de sites die ik draai hebben er een.
De redirect loop. /page2 redirect naar /page2, of A gaat naar B en weer terug naar A. Je browser zegt "too many redirects". De crawlers van Google volgen "maximaal 10 redirect-hops" (HTTP-statuscodes), en Search Console zet de URL onder "Omleidingsfout". Zelfs lange ketens "hebben een negatief effect op het crawlen", staat op de pagina over crawlbudget. Laat elke redirect, en elke interne link, naar het eindadres verwijzen. In de SEO-audit van MarketingTracer toont "Links naar een redirect" de pagina's die linken naar een adres dat redirect.
JavaScript-apps
Single-page apps kunnen met de History API elke state een eigen URL geven (een filter, een tabblad, een scrollpositie) en links naar al die states renderen. Infinite scroll die de URL aanpast, maakt een pagina per scherm. Voor Google is dat pas een crawler trap als die states verschijnen als links die hij kan crawlen.
Om dit te vinden crawl je twee keer, één keer als kale HTML en één keer met JavaScript-rendering aan (Screaming Frog: Configuration > Spider > Rendering > JavaScript), en vergelijk je de aantallen. Is de tweede veel groter, dan maakt de app de links aan. Link alleen naar de states die een pagina verdienen, gebruik knoppen of het fragment voor de rest, en ondersteun infinite scroll met echte gepagineerde URL's, zoals de handleiding voor paginering van Google laat zien.
Robots.txt, noindex, canonical of nofollow: welke sluit een crawler trap af?
Alleen robots.txt, of de links helemaal niet aanmaken, stopt het crawlen. Noindex en een canonical houden pagina's uit de resultaten terwijl Google ze blijft ophalen, en nofollow is een hint.
| Wat je gebruikt | Stopt het crawlen? | Houdt het uit de resultaten? | Gebruik dit voor |
|---|---|---|---|
| robots.txt Disallow | Ja | Meestal: een geblokkeerde URL kan nog wel zonder zijn content verschijnen | Patronen voor filters, sortering, zoeken en kalenders |
| noindex | Nee, Google haalt de pagina nog steeds op | Ja | Pagina's die mensen nodig hebben en Google niet; trap-URL's die al geïndexeerd zijn |
| Canonical | Minder, na verloop van tijd | Meestal (het is een hint) | Een paar versies van één pagina: sorteervolgordes, trackingparameters |
| nofollow op de links | Een hint, alleen als elke link het heeft | Nee | Als extra, nooit op zichzelf |
| 404 | Steeds minder, na verloop van tijd | Ja | Lege of onzinnige combinaties, maanden voorbij de limiet, dode paden |
Filter-state achter # | Ja, er is geen URL om te crawlen | Ja | Filters die nooit een eigen pagina nodig hebben |
Zitten er al trap-URL's in de index, dan komt eerst noindex en daarna pas de blokkade. Google moet een pagina ophalen om de noindex te zien: "Wil de noindex-regel werken, dan mag de pagina of bron niet worden geblokkeerd door een robots.txt-bestand" (Google, indexering blokkeren). Zet dus eerst de noindex erop, wacht tot de URL's uit de index zijn verdwenen en blokkeer ze daarna. Nog niet geïndexeerd? Blokkeer ze meteen.
Nofollow is een hint sinds Google dat in september 2019 aanpaste, voor het crawlen vanaf 1 maart 2020. Het sluit een crawler trap niet af, en de filterpagina van Google noemt het "over het algemeen minder effectief op de lange termijn".
Elke rij in deze tabel gaat over URL's die iets op de site blijft aanmaken. Zoek dus het filter, de kalender of de link die ze aanmaakt, en pas dat ook aan.
Hoe ziet een filter trap eruit op een echte site?
Een webshop voor bedrukte relatiegeschenken heeft filters en gepagineerde productlijsten. De filters zitten in een formulier, en in 16 maanden kregen de filter- en sorteeradressen 6 vertoningen in de Search Console van de shop.
De crawler trap kwam in plaats daarvan binnen via de paginering van de productlijsten. De categoriepagina's tonen producten met links naar de volgende pagina, en op elke productpagina staat net zo'n lijst met meer producten. Elk van die pagina's is een nieuw adres: het eigen adres van de pagina plus een parameter, en vanaf pagina 2 een paginanummer. Vermenigvuldig dat met elk product en Google had genoeg te vinden. In de 16 maanden tot oktober 2026 doken 6.081 van die lijstadressen op in Search Console, met paginanummers tot 176. Samen hadden ze 203.859 vertoningen en 12 klikken.
Hij kwam ook nog groter terug. De lijstadressen hadden 17.054 vertoningen in december 2025 en minder dan 750 per maand van februari tot en met mei 2026, en daarna 32.396 in juni en 50.440 in augustus. In de afgelopen 90 dagen pakten de adressen met een parameter 140.442 van de 504.096 vertoningen van de shop, 28%, voor 9 klikken. De 6.802 adressen zonder parameter leverden 1.311 klikken op.
De shop probeerde de crawler trap wel af te sluiten. Het robots.txt-bestand blokkeert de parameters, en de lijstpagina's hebben een noindex en een canonical. Toch blijven de adressen die Googlebot in de links vond in de index staan en blijven ze opduiken in de zoekresultaten.
Bij de filters ging het goed: een formulier, geen link. Bij de paginering niet. Robots.txt houdt Google buiten, maar dan ziet hij je noindex ook nooit. Haal de blokkade er dus af totdat de noindex is gelezen, en blokkeer pas daarna opnieuw.