Robots.txt es un archivo de texto que proporciona instrucciones a los rastreadores de los motores de búsqueda sobre cómo rastrear tu sitio, incluyendo los tipos de páginas a las que acceder o no. Frecuentemente es como el guardián de tu sitio y, normalmente, es lo primero a lo que accede un robot de motor de búsqueda.
Recomendamos tener siempre un archivo de robots en tu sitio. Se pueden crear automáticamente utilizando una utilidad en línea gratuita, un complemento de Wordpress o el proceso de creación de robots.txt de tu CMS.