Robots.txt ist eine Datei, mit der Webroboter oder "Bots" angewiesen werden, eine Website zu crawlen und zu indizieren. Robots.txt ist eine einfache Textdatei, die im Stammverzeichnis einer Website platziert wird und dazu dient, Web-Robotern die Crawling- und Indizierungsregeln für die Website mitzuteilen.
Die Datei Robots.txt ist nicht obligatorisch und ihre Verwendung ist freiwillig. Es handelt sich jedoch um eine weit verbreitete und akzeptierte Konvention, die von den meisten Web-Robotern und Suchmaschinen unterstützt wird.
Die Datei Robots.txt besteht aus Anweisungen, so genannten "Direktiven", die die Regeln für das Crawlen und Indizieren der Website festlegen. In den Richtlinien kann festgelegt werden, welche Seiten oder Verzeichnisse der Website gecrawlt und indiziert werden sollen und welche Seiten oder Verzeichnisse ausgeschlossen werden sollen. Mithilfe der Datei Robots.txt können Website-Besitzer und Administratoren sensible oder private Seiten vom Crawlen und Indizieren ausschließen. Sie können auch verhindern, dass Webroboter ihre Website mit übermäßigen Anfragen überlasten.