Robots.txt es un archivo que se utiliza para indicar a los robots web, o "bots", cómo rastrear e indexar un sitio web. Robots.txt es un archivo de texto simple que se coloca en el directorio raíz de un sitio web y se utiliza para comunicar a los robots web las reglas de rastreo e indexación del sitio web.
El archivo Robots.txt no es obligatorio y su uso es voluntario. Sin embargo, es una convención ampliamente utilizada y aceptada, y la mayoría de los robots web y motores de búsqueda lo admiten.
El archivo Robots.txt consta de instrucciones denominadas "directivas", que especifican las reglas para rastrear e indexar el sitio web. Las directivas pueden determinar qué páginas o directorios del sitio web deben rastrearse e indexarse y qué páginas o directorios deben excluirse. Mediante el archivo Robots.txt, los propietarios y administradores de sitios web pueden excluir páginas sensibles o privadas del rastreo y la indexación. También pueden evitar que los robots web sobrecarguen su sitio web con peticiones excesivas.