Robots.txt è un file utilizzato per istruire i robot web, o "bot", su come effettuare il crawling e l'indicizzazione di un sito web. Il file Robots.txt è un semplice file di testo collocato nella directory principale di un sito web e serve a comunicare ai robot web le regole di crawling e indicizzazione del sito.
Il file Robots.txt non è obbligatorio e il suo utilizzo è volontario. Tuttavia, è una convenzione ampiamente utilizzata e accettata e la maggior parte dei robot web e dei motori di ricerca la supportano.
Il file Robots.txt è composto da istruzioni chiamate "direttive", che specificano le regole per il crawling e l'indicizzazione del sito web. Le direttive possono determinare quali pagine o directory del sito web debbano essere carrellate e indicizzate e quali pagine o directory debbano essere escluse. Utilizzando il file Robots.txt, i proprietari e gli amministratori dei siti web possono escludere le pagine sensibili o private dal crawling e dall'indicizzazione. Possono anche evitare che i robot web sovraccarichino il loro sito web con richieste eccessive.