Una manera de controlar qué páginas de tu web pueden ser indexadas o no por los motores de búsqueda es incluyendo un archivo robots.txt en la raíz de tu página web.

Un archivo robots.txt establece restricciones a robots de los buscadores (conocidos como “bots”) que rastrean la web. Estos robots están automatizados, y antes de que las páginas de acceso de un sitio, compruebe si existe un archivo robots.txt que les impida el acceso a ciertas páginas.

Pero, ¿por qué necesitamos un robots.txt para nuestro blog de WordPress? Debido a que todos los blogs de WordPress tienen un contenido que no es necesario para indexar por el motor de búsqueda, por ejemplo, la carpeta wp-admin, que incluye archivos de administración. Otra razón para la creación de robots.txt es para evitar que el motor de búsqueda de alcanzar otros contenidos casi idénticos, ya sabes, todas las web generadas por category.php, archive.php, tags.php…. y a Google no le gusta la duplicación de contenidos, y un archivo robots.txt optimizado aumentará la eficacia SEO de nuestro wordpress.

A continuación un ejemplo de un buen archivo robots.txt para WordPress: