Archivo Robots.txt
Robots.TXT
Lo que hay que saber sobre el archivo Robots.txt
¿Funciona Robots.txt para desindexar en los buscadores?

Puede que te sorprenda escuchar que un pequeño archivo de texto, conocido como robots.txt, podría ser la caída de su sitio web. Si obtiene el archivo equivocado podría terminar diciendo a los robots de los motores de búsqueda que no rastreen su sitio, lo que significa que sus páginas web no aparecerán en los resultados de búsqueda. Por lo tanto, es importante que comprenda el propósito de un archivo robots.txt y aprenda a comprobar que lo está utilizando correctamente, puede usar Robots.txt Checker para ello, por ejemplo.

 Un archivo robots.txt da instrucciones a los robots web acerca de las páginas que el propietario del sitio web no desea que se "rastreen". Por ejemplo, si no quieres que tus imágenes aparezcan en la lista de Google y de otros motores de búsqueda, las bloquearás utilizando el archivo robots.txt.

 

Entonces, ¿funciona la desindexación con robots.txt?

A veces, puede que no queramos que una carpeta o un archivo sea indexado en los motores de búsqueda (debido a contenido duplicado o por privacidad de datos), para ello, usamos el bloqueo con Disallow. Pero, ¿qué pasa si dichas carpetas o archivos ya estan indexados en los motores de búsqueda? ¿Es posible desindexarlos de Google? Según el analista de Google, John Mueller, teóricamente es así, pero no hay garantías.

Cuando bloqueas una página ya indexada en Google, por ejemplo, éste puede que la mantenga en su índice a pesar de que su contenido esté bloqueado, no siempre es eliminada. Si quieres asegurarte de que Google borre esas páginas del buscador, debes usar la etiqueta "Meta Robots" NoIndex. En ese caso, cuando Google rastree la página y vea "NoIndex", la desindexará la próxima vez que procese esa dirección

En definitiva, Robots.txt te ayudará a que Google u otro buscador no indexe el sitio, pero si éste ya está indexado, usa la etiqueta "Meta Robots" NoIndex para borrarlo.

Los enlaces a las páginas que aparecen en el archivo robots.txt pueden seguir apareciendo en los resultados de búsqueda si están enlazados desde una página que se rastrea.

 

Recuerda que a pesar del uso de los términos "permitir" y "no permitir", el protocolo es puramente consultivo. Y se basa en el cumplimiento del robot web. Es poco probable que los robots web maliciosos honren a robots.txt; Algunos pueden incluso utilizar el robots.txt como una guía para encontrar enlaces no permitidos y ir directamente a ellos.



Te puede interesar



© 2017 RobotsTXT.pro Contact & Privacy Contact

eXTReMe Tracker