llms.txt vs robots.txt: welke AI-bots laat je toe op je site?

robots.txt is een klein tekstbestand in de hoofdmap van je site, en het bestaat al sinds de jaren negentig. Het vertelt crawlers welke delen van je site ze wel en niet mogen ophalen. Geen slot, maar een afspraak: nette bots houden zich eraan, en daar horen ook de AI-crawlers bij.

Je kunt er dus ook AI-bots mee aansturen: GPTBot (OpenAI), PerplexityBot, ClaudeBot, Google-Extended. Wil je dat ChatGPT en Perplexity je content gebruiken, dan moeten die toegang hebben. En juist daar gaat het mis: veel sites blokkeren ze zonder het te weten, via een standaardinstelling van hun CMS of een plugin.

llms.txt is nieuwer, en specifiek voor AI-taalmodellen bedoeld. Waar robots.txt zegt wat een bot mag ophalen, geeft llms.txt AI-systemen een opgeschoonde gids naar je belangrijkste content, een soort inhoudsopgave die helpt je site snel en correct te begrijpen.

Het verschil in een zin: robots.txt regelt toegang, llms.txt biedt begeleiding. Robots.txt is een gevestigde standaard waar de grote AI-bots zich aan houden. llms.txt is nog jong en wordt nog niet overal ondersteund, dus zie het als een vooruitstrevende aanvulling, niet als vervanging.

Voor de meeste mkb-sites: regel eerst robots.txt goed. Dat is wat de grote AI-bots vandaag echt lezen. Zorg dat je de crawlers die je wilt bereiken niet per ongeluk blokkeert, daar zit nu de meeste winst.

Een llms.txt erbij kan geen kwaad en oogt vooruitstrevend, zeker met veel waardevolle content. Maar verwacht er op korte termijn geen wonderen van: de ondersteuning is beperkt. Eerst de basis, dan llms.txt als extra stap.

Wil je weten of jouw site AI-crawlers toelaat en of er al een llms.txt staat? Dat kun je laten controleren. CheckBorg meet in de categorie AI-vindbaarheid onder andere de toegang voor AI-bots en de aanwezigheid van een llms.txt, en vertaalt dat naar gewone taal.