Robots.txt est un fichier utilisé pour indiquer aux robots web, ou "bots", comment explorer et indexer un site web. Robots.txt est un simple fichier texte placé dans le répertoire racine d'un site web, qui sert à communiquer aux robots web les règles d'exploration et d'indexation du site.
Le fichier Robots.txt n'est pas obligatoire et son utilisation est facultative. Toutefois, il s'agit d'une convention largement utilisée et acceptée, et la plupart des robots web et des moteurs de recherche la prennent en charge.
Le fichier Robots.txt se compose d'instructions appelées "directives", qui précisent les règles d'exploration et d'indexation du site web. Les directives peuvent déterminer quelles pages ou quels répertoires du site web doivent être explorés et indexés et quelles pages ou quels répertoires doivent être exclus. Grâce au fichier Robots.txt, les propriétaires et administrateurs de sites web peuvent exclure les pages sensibles ou privées de l'exploration et de l'indexation. Ils peuvent également empêcher les robots web de surcharger leur site web avec des demandes excessives.