¿Qué es el fichero robots.txt? - SEO

El fichero robots.txt se conoce como el protocolo de la exclusión de bots o crawlers o protocolo de robots.txt.

Es un método para evitar que ciertos bots que analizan los sitios web u otros robots que rastrean las URL's y el código fuente de un sitio Web, ya sea este público o privado, consuman información innecesaria en el servidor.

Los robots son utilizados por los buscadores para rastrear archivos y extraer información en referencia a que directorios o secciones de una web crawlea o no. Esto beneficiará al posicionamiento web en motores de búsqueda si se hace eficientemente.


Te puede interesar:

Error 404 Not Found

Redirect 301 permanenete

Redirect 302 temporal

Contacto

¿Problemas de indexación y crawleo?


Luis Salazar Jurado

625 636 350
www.seotecnico.com