El día de hoy desmitificaremos el proceso de rastreo, hablaremos de como la búsqueda de Google encuentra y recupera páginas web, en un proceso comúnmente llamado rastreo. Asimismo, explicaremos que es y que hace Googlebot y un poco de por qué los mapas de sitio son algo muy útil para agregar a tu sitio web.
¿Cómo funciona la búsqueda?
Ven y descubre cómo funciona la búsqueda, además de explorar las funciones técnicas básicas que impulsan la búsqueda de Google:
¿ Que es el rastreo?
El rastreo es el proceso de encontrar páginas web nuevas o actualizadas, usando programas automatizados llamados rastreadores y descargándolos para que se puedan buscar.
El primer paso en el proceso de rastreo se llama descubrimiento de URL, antes de que Google pueda mostrar la página web en sus resultados de búsqueda tiene que saber que la página realmente existe.
Google se encarga de buscar constantemente páginas nuevas y actualizadas. Sin embargo, con billones de URL en internet, algunas nunca serán descubiertas. Por lo general, se descubren páginas nuevas cuando Google sigue un vínculo, más precisamente, una URL de una página conocida a una página nueva.
Por ejemplo, desde una página central como “categorías” a una página nueva. Muchas de las URL nuevas que descubre Google pertenecen a otras páginas conocidas que Google ha rastreado anteriormente.
Imagínate un sitio de noticias con páginas de diferentes categorías que luego se vinculan con artículos de noticias individuales. Google puede descubrir la mayoría de los artículos publicados revisando la página “categoría” de vez en cuando y extrayendo las URL que conducen a los artículos.
El rastreo lo suele hacer (como su nombre lo indica) un rastreador, un software que navega por internet, descarga páginas web y extrae vínculos, que posteriormente puede descargar de nuevo.
¿Como funciona el rastreo?
Es muy parecido a un navegador controlado por un bot, en lugar de un humano. El rastreador principal de Google, se llama Googlebot, el cual utiliza algoritmos para determinar que sitios rastrear, con qué frecuencia y cuantas páginas recuperar de cada sitio.
Los algoritmos son procesos o conjuntos de reglas que se combinan para lograr una funcionalidad específica dentro de los programas informáticos. Otra característica que tiene Googlebot es que está programado para no rastrear el sitio de una forma muy rápida, con la finalidad de evitar sobrecargarlo.
La velocidad de rastreo es única para cada sitio y se basa principalmente en la rapidez con la que reacciona el sitio a las solicitudes individuales de Googlebot, en la calidad del contenido en general, y en cualquier posible error del servidor, así como de otras señales.
Adicionalmente, este bot no rastrea todas las URL que descubre, algunas páginas pueden estar en sitios que no cumplan con el umbral de calidad necesario para la indexación.
Es posible que no se permita el rastreo de otras URL, mientras que quizá no se pueda acceder a otras sin iniciar sesión en el sitio. Googlebot solo rastrea URL de acceso público. Si colocan algo detrás de una página de inicio de sesión, el bot no podrá rastrearlo.
Una vez que el rastreador haya encontrado sus URL, el siguiente paso es descargar o, mejor dicho, recuperar y luego renderizar la página alojada en esa URL en particular. El proceso de obtención es simplemente descargar los datos que se sirven desde una determinada URL.
No obstante, la renderización es más interesante; básicamente es lo mismo que hace tu navegador. El servicio de renderización toma la página descargada de una URL, que suele ser una combinación de archivos que contienen HTML, CSS y JavaScript, y la convierte en una representación visual de esa página.
Al hacerlo ejecutará cualquier JavaScript que encuentre usando una versión reciente de Chrome. La renderización es importante porque los sitios web suelen depender de JavaScript para traer contenido a la página y hacerla más animada.
Sin renderización, Google no vería ese contenido y, por supuesto, se perdería toda la animación, los elementos parpadeantes y el texto que se desplaza que pudieran leer. En fin, con este último paso finaliza el proceso de rastreo.
Mapas de sitio como herramientas útiles para el sitio web
Antes de continuar, es fundamental conocer que son los mapas de sitio:
¿Qué son los mapas de sitio?
Los mapas de sitio son una colección de URL de páginas en su sitio y son de gran ayuda si desean que Google lo descubra. El formato más popular es un archivo XML, que les permite proporcionar no solo las URL de sus páginas, sino, también algunos metadatos adicionales sobre ellas.
Los mapas de sitio no son obligatorios en absoluto, pero definitivamente pueden ayudar a Google y a otros motores de búsqueda a encontrar su contenido.
Conclusión
Ahora que ya sabes cómo Google busca y recupera páginas web a través de Googlebot, y si toda esta información te ha parecido interesante, te aconsejamos trabajar de la mano con un proveedor o desarrollador web, para asegurarte de que tu sitio web genere archivos de mapas de sitio automáticamente.
Podrías muy bien dedicarte a agregar manualmente los siete millones de URL a tu mapa del sitio, lo que conllevaría a un trabajo excesivo, así como obtener una fuente innecesaria de errores. Por ello, te recomendamos, hacer que el sistema de gestión de contenidos de tu sitio cree archivos de mapa de sitio por ti.
