Archivo Robots.txt
Robots.TXT
Lo que hay que saber sobre el archivo Robots.txt
Meta Robots NoIndex y Follow

Meta tag Robots NoIndex vs archivo Robots.txt

El archivo robots.txt es utilizado por los sitios web para informar a cualquier robot de Internet qué puede rastrear y qué no. Pero una vez ya indexados los contenidos en los motores de búsqueda, no garantiza que éstos sean eliminados.

Por ejemplo, en el robots.txt del sitio taringa.net, podemos ver como bloquea el acceso a la carpeta /rss/ y todos sus archivos, pero si buscamos en Google, podemos ver como hay una página indexada que muestra el texto: No hay disponible una descripción de este resultado debido al archivo robots.txt de este sitio. Google, a pesar de que el archivo robots.txt bloquea el acceso a dicha página, la tiene indexada en su buscador.

 

 

Además, el archivo Robots.txt no permite que la "Autoridad" del sitio fluya entre las páginas bloqueadas, o siga encontrando nuevas páginas que sí puede indexar.

 

¿por qué usar el archivo robots.txt?

La etiqueta Meta Robots soluciona estos problemas. Pero entonces, ¿por qué usar el archivo robots.txt? La metaetiqueta de robots, por ejemplo, no se puede utilizar para archivos no HTML, como imágenes, archivos de texto o documentos PDF. Tampoco se pueden usar para bloquear el rastreo del sitio para un determinado robot.

 

Cómo añadir la etiqueta Meta Robots

Como con la mayoría de las etiquetas, la etiqueta Meta robots utiliza dos atributos: nombre y contenido.

— En el atributo de contenido "CONTENT" se indica uno o más comandos, separados por comas. Los más comunes son "noindex" (no indexar la página) y "nofollow" (no siga los enlaces de la página). Los valores válidos para el atributo "CONTENT" son: "INDEX", "NOINDEX", "FOLLOW", "NOFOLLOW". Se permiten varios valores separados por comas, pero obviamente sólo algunas combinaciones tienen sentido. Si no hay una etiquetade robots, el valor por defecto es "INDEX, FOLLOW".

— El atributo "NAME" debe ser "ROBOTS".

 

Meta Robots alternativa a Robots.txt

Así, para evitar que una determinada página web sea indexada en los buscadores pero que su "Autoridad" siga fluyendo por el sitio, necesitamos añadir la Meta robots con NoIndex y Follow, como en el siguiente ejemplo:

<meta name="robots" content="noindex, follow">

 

Como cualquier etiqueta debe colocarse en la sección HEAD  de una página HTML, y debe ponerlo en cada página en su sitio que desee no indexar, por ejemplo.

 

 



Te puede interesar



© 2017 RobotsTXT.pro Contact & Privacy Contact

eXTReMe Tracker