Archivo Robots.txt
Robots.TXT
Lo que hay que saber sobre el archivo Robots.txt
¿Qué es Robots.txt y para qué sirve?

Archivo Robots.txt

 

Robots.txt es un archivo de texto (no HTML) que se coloca en un sitio o página, para indicar a los robots de búsqueda qué páginas desea que no visiten. El archivo Robots.txt no es obligatorio para los motores de búsqueda, pero generalmente los motores de búsqueda obedecen lo que se les pide que no hagan y, a veces, este fichero, puede resultar muy útil. 

Es importante aclarar que Robots.txt no es una forma de impedir que los motores de búsqueda rastreen su sitio (es decir, no es un cortafuegos o un tipo de protección con contraseña). El hecho de que coloque un archivo robots.txt es algo así como poner una nota "Por favor, no entrar" en una puerta desbloqueada, por ejemplo, no se puede evitar que los ladrones entren a tu casa, pero una persona sensata no lo haría.



Te puede interesar



© 2017 RobotsTXT.pro Contact & Privacy Contact

eXTReMe Tracker