Robots.txt is een tekstbestand in de hoofdmap van een website dat zoekmachines instructies geeft over welke delen van de website wel of niet doorzocht mogen worden. Het is een van de eerste bestanden die een zoekmachine raadpleegt bij het bezoeken van een website.
Belang voor SEO
Met robots.txt kan onnodig doorzoeken van bijvoorbeeld interne zoekresultaten, testomgevingen of admin pagina’s voorkomen worden, waardoor het beschikbare crawlbudget efficienter wordt ingezet op pagina’s die daadwerkelijk waarde toevoegen. Een verkeerd ingestelde robots.txt kan echter per ongeluk belangrijke pagina’s blokkeren, met een direct negatief effect op de vindbaarheid.
Aanpak
Het instellen van robots.txt vraagt zorgvuldigheid: elke regel moet gecontroleerd worden op onbedoelde blokkades, bijvoorbeeld na een migratie of herstructurering van de website. Tools zoals Google Search Console bieden de mogelijkheid om robots.txt te testen en te controleren of belangrijke pagina’s daadwerkelijk toegankelijk blijven voor zoekmachines.