Het robots.txt bestand is een bestand dat je op je webserver plaatst en waarin je aan kunt geven wat de spiders van zoekmachines wel en niet mogen bekijken. Het robots.txt is een simpel tekstbestand.
Inhoudsopgave
Waarom een robots.txt bestand gebruiken?
Het robots.txt bestand is niet verplicht om te gebruiken maar kan in sommige gevallen handig zijn. Bijvoorbeeld als je niet wil dat bepaalde onderdelen van je website geïndexeerd worden. Of als je bepaalde zoekmachines wil weren van je website.
Denk bijvoorbeeld aan de mappen van je CMS of mappen met configuratie bestanden. Het is niet nodig dat deze in Google terug te vinden zijn.
Wat kun je met een robots.txt bestand?
Er zijn verschillende zaken die je met het bestand kunt regelen:
- Aangeven wat de XML sitemap is
- Aangeven welke mappen en bestanden wel en niet gecrawled mogen worden
- Aangeven welke zoekmachine spiders wel of geen toegang hebben
Is een robots.txt verplicht?
Nee, het is niet verplicht om het te gebruiken. Sterker nog het bestand wordt steeds minder gebruikt omdat de waarde van het bestand gedaald is. Zo kan het afschermen van bepaalde mappen er voor zorgen dat de website niet meer optimaal werkt. Waar je vroeger voor WordPress een robots.txt bestand aanmaakte, is dit tegenwoordig niet meer nodig.
Video van Google over het robots.txt bestand
Bekijk onderstaande video van Google over het bestand.
Geef een antwoord