Archivo Robots.txt
Robots.TXT
Lo que hay que saber sobre el archivo Robots.txt
Ejemplo de Robots.txt en Wordpress

¿Dónde está el archivo Robots.txt en Wordpress?

El archivo Robots.txt normalmente reside en la carpeta raíz de su sitio. Necesitará conectarse a su sitio usando un cliente FTP o usando el administrador de archivos cPanel para verlo. Es como cualquier archivo de texto ordinario, y se puede abrir con un editor de texto sin formato como el Bloc de notas.

Si no tiene un archivo robots.txt en el directorio raíz de su sitio, puede crear uno. Todo lo que necesita hacer es crear un nuevo archivo de texto en su computadora y guardarlo como robots.txt. A continuación, simplemente súbalo a la carpeta raíz de su sitio.

 

Archivo Robots.txt para Wordpress

El formato para el archivo robots.txt es realmente bastante simple:

— La primera línea nombra un agente de usuario. El agente de usuario es en realidad el nombre del bot de búsqueda con el que está intentando comunicarse. Por ejemplo, Googlebot o Bingbot. Puede utilizar asterisco * para instruir a todos los bots.

— La siguiente línea sigue con las instrucciones Allow o Disallow para los motores de búsqueda, para saber qué partes desea que indexen y cuáles no desea indexar.

 

Dado que a estructura de un sitio web con Wordpress es común en todas las instalaciones, se puede definir un Robots.txt tipo con las carpetas que los motores de búsqueda no deberían rastrear. Vea un ejemplo de archivo robots.txt para un sitio Wordpress:

User-agent: *

Disallow: /?s=

Disallow: /search

Disallow: /feed

Disallow: /*/feed/

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /*/trackback/$

Disallow: /*/*/feed/$

Disallow: /*/*/feed/rss/$

Disallow: /*/*/trackback/$

Disallow: /*/*/*/feed/$

Disallow: /*/*/*/feed/rss/$

Disallow: /*/*/*/trackback/$

Disallow: /comments/feed

Disallow: /tag/ Disallow: /*/comment-page-1/


Sitemap: http://misitio.com/sitemap.xml

 

Si se fija, no se añaden las páginas de login, el directorio admin o la página de registro en el archivo Robots.txt. Existen plugins, como Wordpress SEO, que le permiten añadir meta tags Nofollow y NoIndex en dichas páginas, asegurando que, en caso de ya haber sido indexadas en algún motor de búsqueda, se borren la próxima vez que sean rastreadas.

 Wordpress SEO Plugin

 



Te puede interesar



© 2017 RobotsTXT.pro Contact & Privacy Contact

eXTReMe Tracker