Es genial cuando los motores de búsqueda visitan con frecuencia su sitio e indexan su contenido, pero a menudo hay casos en que la indexación de partes de su contenido puede penalizarle. Por ejemplo, si tiene dos versiones de una página (una para ver en el navegador y otra para imprimir), preferiría que se excluyera la versión de impresión del rastreo para evitar la detección de contenido duplicado. Si tiene datos sensibles que no desea que el mundo vea, también es preferible que los motores de búsqueda no indexen estas páginas.

Una manera de decirle a los motores de búsqueda cuáles archivos y carpetas en su sitio web debe evitar es con el uso de la meta tag de Robots. Pero como no todos los motores de búsqueda leen meta tags, los robots meta tag simplemente pueden pasar desapercibidos. Una mejor manera de informar a los motores de búsqueda es utilizar un archivo robots.txt.