¿Qué es el fichero robots.txt? - SEO
El fichero robots.txt se conoce como el protocolo de la exclusión de bots o crawlers o protocolo de robots.txt.
Es un método para evitar que ciertos bots que analizan los sitios web u otros robots que rastrean las URL's y el código fuente de un sitio Web, ya sea este público o privado, consuman información innecesaria en el servidor.
Los robots son utilizados por los buscadores para rastrear archivos y extraer información en referencia a que directorios o secciones de una web crawlea o no. Esto beneficiará al posicionamiento web en motores de búsqueda si se hace eficientemente.
Te puede interesar: