Het crawlbudget is het aantal pagina’s dat een zoekmachine binnen een bepaalde periode bereid is te doorzoeken op een website. Bij kleinere websites is dit zelden een probleem, maar bij grote websites met duizenden pagina’s kan een beperkt crawlbudget ervoor zorgen dat niet alle content tijdig ontdekt of opnieuw doorzocht wordt.
Belang voor SEO
Wanneer een zoekmachine tijd verspilt aan onbelangrijke, dubbele of technisch problematische pagina’s, blijft er minder budget over voor nieuwe of geupdate content. Dit kan ertoe leiden dat belangrijke wijzigingen pas laat zichtbaar worden in de zoekresultaten, wat vooral schadelijk is voor nieuwswebsites of grote webshops met regelmatig wisselend assortiment.
Aanpak
Crawlbudget wordt effectiever benut door onnodige of dubbele URL’s, zoals gefilterde overzichten of verouderde pagina’s, uit te sluiten via robots.txt of canonical tags, en door de interne linkstructuur te optimaliseren zodat belangrijke pagina’s eenvoudig bereikbaar zijn. Analyse van serverlogs geeft concreet inzicht in hoe zoekmachines het crawlbudget daadwerkelijk besteden.