Analíticas web Términos clave

¿Qué es robots.txt?

Image of Iron Brands

Publicado el 31 mar. 2023 y editado el 4 may. 2023 por Iron Brands

Este artículo se ha traducido automáticamente. Cambia a la versión en inglés para ver el original.

Robots.txt es un archivo que se utiliza para indicar a los robots web, o "bots", cómo rastrear e indexar un sitio web. Robots.txt es un archivo de texto simple que se coloca en el directorio raíz de un sitio web y se utiliza para comunicar a los robots web las reglas de rastreo e indexación del sitio web.

El archivo Robots.txt no es obligatorio y su uso es voluntario. Sin embargo, es una convención ampliamente utilizada y aceptada, y la mayoría de los robots web y motores de búsqueda lo admiten.

El archivo Robots.txt consta de instrucciones denominadas "directivas", que especifican las reglas para rastrear e indexar el sitio web. Las directivas pueden determinar qué páginas o directorios del sitio web deben rastrearse e indexarse y qué páginas o directorios deben excluirse. Mediante el archivo Robots.txt, los propietarios y administradores de sitios web pueden excluir páginas sensibles o privadas del rastreo y la indexación. También pueden evitar que los robots web sobrecarguen su sitio web con peticiones excesivas.

Importa tus datos de Google Analytics

La versión actual de Google Analytics no estará disponible a partir del 1 de julio. Necesitas migrar. Pruébanos en su lugar

Iniciar prueba de 14 días