¿Qué es Crawling Web?
El Crawleo o rastreo es todo el proceso que un rastreador web o araña web lleva a cabo. Consiste en un programa informático que inspecciona las páginas en Internet de forma automatizada.Screaming Forg es una herramienta para hacer un crawleo o rastreo de una web.
Este rastreo o «crawleo» le sirve a Google para encontrar toda la información posible en Internet. Lo hace con lo que se suele llamar un «robot», «bot» o «araña», que en verdad no es más que un conjunto de servidores muy potentes de Google controlados por una serie de programas informáticos, que son los que deciden qué sitios rastrear y el crawl budget asignado, es decir, la forma y el tiempo que le van a dedicar a ese sitio para rastrearlo.
- Googlebot: el rastreador «general» de Google y con el que entra a las páginas para verlas tal y como se verían con un ordenador de escritorio (lo que suele llamarse desktop).
- Smartphone Googlebot: el rastreador por defecto que usa Google y con el que entra a las páginas para verlas tal y como se verían con un dispositivo móvil (smartphone o tablet)
Te puede interesar: