Robots.txt en sitemap check voor betere crawlbaarheid
robots.txt en je XML-sitemap zijn de twee bestanden waarmee je zoekmachines en AI-crawlers vertelt wat ze wel en niet mogen bekijken en welke pagina's er bestaan. Een foutje in robots.txt kan per ongeluk je hele site uit Google houden, terwijl een goede sitemap helpt dat al je belangrijke pagina's snel gevonden en geindexeerd worden. CheckBorg controleert of deze bestanden bestaan, kloppen en elkaar netjes aanwijzen.
Controlepunten
Waarom dit belangrijk is
robots.txt is het eerste bestand dat een crawler opvraagt voordat hij je site bezoekt. Staat daar per ongeluk een regel als Disallow: / in, dan stoppen veel zoekmachines en AI-bots direct, en verdwijnt je site op termijn uit de zoekresultaten. Dat raakt je vindbaarheid en daarmee je bezoekers en omzet, vaak zonder dat je het doorhebt. Een XML-sitemap doet het omgekeerde: hij geeft crawlers een complete lijst van pagina's die je geindexeerd wilt hebben, wat vooral helpt bij grote sites, nieuwe pagina's of slecht onderling gelinkte content. Wanneer robots.txt en sitemap niet op elkaar aansluiten, bijvoorbeeld een sitemap vol URL's die in robots.txt geblokkeerd staan, geef je verwarrende signalen af die je indexering vertragen. Goede afstemming tussen deze twee bestanden zorgt dus dat de juiste pagina's wel en de verkeerde pagina's niet in de zoekresultaten en in AI-antwoorden terechtkomen.
Veelvoorkomende bevindingen
robots.txt is een eenvoudig tekstbestand dat in de hoofdmap van je domein staat, dus op www.voorbeeld.nl/robots.txt. Crawlers van zoekmachines en AI-diensten vragen dit bestand als eerste op om te zien welke delen van je site ze mogen bezoeken. Het bestand werkt met regels per user-agent (de naam van de bot) en daaronder Disallow- en Allow-regels die paden afsluiten of openzetten. Belangrijk om te begrijpen: een Disallow houdt een bot tegen bij het crawlen, maar is geen garantie dat een pagina niet in de index komt en het is zeker geen beveiliging. Wie iets echt wil afschermen, moet dat met inloggen of serverinstellingen doen, niet met robots.txt.
Een XML-sitemap is een gestructureerd bestand dat alle URL's opsomt die je geindexeerd wilt hebben, vaak met extra informatie zoals de datum van laatste wijziging. Zoekmachines gebruiken hem als een soort inhoudsopgave: handig om snel nieuwe of diep verstopte pagina's te vinden. Een sitemap mag maximaal 50.000 URL's en 50 MB (ongecomprimeerd) bevatten; grotere sites splitsen hem op in meerdere sitemaps met een sitemap-indexbestand erboven. De sitemap hoort alleen canonieke, indexeerbare pagina's te bevatten: dus geen redirects, geen 404's, geen pagina's met noindex en geen URL's die in robots.txt geblokkeerd zijn.
De twee bestanden werken het beste samen. In robots.txt neem je onderaan een regel op als Sitemap: https://www.voorbeeld.nl/sitemap.xml, zodat elke crawler je sitemap meteen vindt, ook zonder dat je hem ergens hebt aangemeld. Daarnaast kun je je sitemap nog handmatig indienen via de tools van zoekmachines (zoals Google Search Console), wat ook nuttige terugkoppeling geeft over indexeringsfouten.
Het gaat vaak mis op subtiele manieren. Een klassiek probleem is dat een testomgeving de hele site afschermt met Disallow: / en dat die regel bij livegang per ongeluk meeverhuist, waardoor de echte site onvindbaar wordt. Andere valkuilen zijn een sitemap die naar http verwijst terwijl de site al op https draait, een sitemap die maandenlang niet is bijgewerkt, of een robots.txt die door een serverfout een HTML-foutpagina teruggeeft in plaats van platte tekst. Omdat deze bestanden zelden bezocht worden door mensen, blijven zulke fouten makkelijk lang onopgemerkt.
CheckBorg signaleert dit soort problemen: een ontbrekend bestand, een blokkade van je hele site, een sitemap die niet klopt of niet aansluit op robots.txt, en URL's die nergens heen leiden. Wat CheckBorg niet doet, is de bestanden voor je herschrijven of aanpassen. De daadwerkelijke fix gebeurt in je CMS, op je server of in de hostingomgeving, afhankelijk van waar deze bestanden vandaan komen.
Hoe pak je het aan
Controleer eerst of je hele site niet geblokkeerd is
Open www.jouwdomein.nl/robots.txt in je browser. Staat er Disallow: / onder User-agent: *, dan blokkeer je vrijwel alle crawlers. Verwijder die regel zodra de site live mag; dit is meestal de hoogste prioriteit. Deze wijziging maak je in je CMS-instellingen of in het robots.txt-bestand op de server.
Voeg een correcte sitemap-verwijzing toe
Zet onderaan robots.txt een regel als Sitemap: https://www.jouwdomein.nl/sitemap.xml met de volledige, absolute https-URL. Controleer dat die URL ook echt een geldige sitemap teruggeeft en geen 404 of redirect.
Zorg dat de sitemap alleen indexeerbare pagina's bevat
Haal URL's met noindex, redirects, 404's en in robots.txt geblokkeerde paden uit je sitemap. In de meeste CMS'en en SEO-plugins wordt de sitemap automatisch gegenereerd; pas daar de instellingen aan in plaats van het XML-bestand handmatig te bewerken.
Houd de sitemap actueel
Gebruik bij voorkeur een sitemap die automatisch meegroeit met je content (via je CMS of een plugin), zodat nieuwe pagina's er meteen in komen en verwijderde pagina's eruit verdwijnen. Een handmatige sitemap raakt snel verouderd.
Dien de sitemap in en controleer op fouten
Meld de sitemap aan in de webmaster-tools van zoekmachines (zoals Google Search Console) en kijk daar of er crawl- of indexeringsfouten worden gemeld. Zo zie je of zoekmachines de bestanden ook echt goed kunnen lezen.
Controleer je eigen website
Vul je domein in en ontdek welke checks aandacht nodig hebben.
Veelgestelde vragen
Heb ik per se een robots.txt nodig?
Strikt genomen niet: zonder robots.txt mogen crawlers gewoon alles bezoeken. Maar het is wel verstandig er een te hebben, al was het maar om je sitemap aan te wijzen en om bewust te kiezen wat je wel en niet wilt laten crawlen. Belangrijker dan het hebben ervan is dat er geen verkeerde blokkade in staat.
Houdt Disallow in robots.txt een pagina uit Google?
Niet betrouwbaar. Disallow vraagt crawlers om een pagina niet te bezoeken, maar de URL kan alsnog in de zoekresultaten verschijnen, bijvoorbeeld omdat er ergens naar gelinkt wordt. Wil je een pagina echt buiten de index houden, gebruik dan een noindex-instructie op de pagina zelf, en blokkeer hem juist niet in robots.txt, anders kan de crawler die noindex niet eens lezen.
Is robots.txt een vorm van beveiliging?
Nee. robots.txt is een openbaar bestand dat iedereen kan inzien, en kwaadwillende bots negeren het gewoon. Sterker nog, door iets in robots.txt te benoemen wijs je nieuwsgierige bezoekers er juist op. Echte afscherming regel je met inloggen, wachtwoorden of serverinstellingen.
Wat is het verschil tussen robots.txt en een sitemap?
robots.txt vertelt crawlers wat ze niet mogen bezoeken (de rem), terwijl een sitemap ze een lijst geeft van pagina's die je juist wel geindexeerd wilt hebben (de wegwijzer). Ze vullen elkaar aan: de sitemap hoort alleen pagina's te bevatten die robots.txt ook toelaat.
Mijn sitemap staat vol pagina's, maar ze worden niet allemaal geindexeerd. Hoe kan dat?
Een sitemap is een suggestie, geen garantie. Zoekmachines beslissen zelf wat ze indexeren, op basis van kwaliteit, uniciteit en relevantie van de pagina's. Staan er veel dunne, dubbele of geblokkeerde pagina's in je sitemap, dan ondermijnt dat juist het vertrouwen. Zorg dus voor een schone sitemap met alleen waardevolle, indexeerbare pagina's.
Lost CheckBorg deze problemen automatisch op?
Nee. CheckBorg detecteert en prioriteert problemen met je robots.txt en sitemap, bijvoorbeeld een ontbrekend bestand, een te brede blokkade of een sitemap die niet aansluit. De daadwerkelijke aanpassing doe je (of je bouwer) in je CMS, op de server of in de hostingomgeving, omdat dat de plek is waar deze bestanden gemaakt worden.