Robots.txt is een bestand dat wordt gebruikt om webrobots, of "bots", te instrueren hoe ze een website moeten crawlen en indexeren. Robots.txt is een eenvoudig tekstbestand dat in de hoofddirectory van een website wordt geplaatst, en wordt gebruikt om de regels voor het crawlen en indexeren van de website mee te delen aan webrobots.
Het bestand Robots.txt is niet verplicht, en het gebruik ervan is vrijwillig. Het is echter een algemeen gebruikte en geaccepteerde conventie, en de meeste webrobots en zoekmachines ondersteunen het.
Het Robots.txt bestand bestaat uit instructies die "directives" worden genoemd, die de regels specificeren voor het crawlen en indexeren van de website. De directives kunnen bepalen welke pagina's of directories op de website moeten worden gecrawld en geïndexeerd en welke pagina's of directories moeten worden uitgesloten. Met het bestand Robots.txt kunnen website-eigenaren en -beheerders gevoelige of privépagina's uitsluiten van crawling en indexering. Zij kunnen ook voorkomen dat webrobots hun website overbelasten met buitensporige verzoeken.