Qué revisa
robots.txt es un archivo de texto en la raíz de tu sitio que indica a los rastreadores de los buscadores qué rutas no deben rastrear. La herramienta lee el grupo "User-agent: *", que se aplica a todos los rastreadores. Si ese grupo dice "Disallow: /", todo el sitio queda cerrado al rastreo.
Por qué importa
Esa línea suele ponerse a propósito en un entorno de pruebas y olvidarse al publicar el sitio. Google deja de rastrear: las páginas pueden seguir un tiempo en el índice, pero su contenido deja de actualizarse y las nuevas nunca se añaden. El tráfico cae en silencio durante semanas, no de un día para otro, y por eso se nota tarde.
Cómo corregirlo
- Abre el archivo en el navegador: tusitio.com/robots.txt.
- Elimina la línea "Disallow: /" bajo "User-agent: *", o indica solo las rutas que quieres cerrar (por ejemplo "Disallow: /wp-admin/").
- Revisa el informe de robots.txt de Search Console para ver qué versión obtuvo Google y solicita un nuevo rastreo.