Qué es el crawl budget en SEO

31/08/2021
  • Diseccionamos un concepto que es crítico para entender cómo funciona el SEO y cómo interactúan los bots de los buscadores: el crawl budget.

  • Hoy entramos a diseccionar el concepto de crawl budget, un concepto clave dentro del SEO.

    Una vez que tengas claro qué es y cómo funciona, te resultará mucho más sencillo comprender por qué la indexación de un sitio u otro lleva un ritmo diferente, con una frecuencia de rastreo totalmente distinta.

  • ¿Qué es el crawl budget?

  • Antes de explicar cómo afecta a nuestro posicionamiento, deberíamos explicar qué es el crawl budget. En realidad, la traducción literal del inglés resulta bastante ilustrativa: sería algo así como “presupuesto de rastreo”.

    Digamos que los buscadores no nos dedican una atención ilimitada. Se otorga un “presupuesto” en función de la relevancia que el algoritmo determine y de la capacidad que nuestro sitio tenga para ser recorrido sin generar errores.

    Esto último es muy importante: no debemos causar cuellos de botella por culpa de una arquitectura de la información ineficiente.

    Por lo tanto, debemos tener claro que Google solo nos va a dedicar un crawl budget en un lapso de tiempo concreto. Cuando termine ese periodo, se detendrá pasando a otro sitio web hasta la próxima visita.

  • Todas las URLs (páginas, CSS, JavaScript, PDF…) que excedan el rastreo asignado son contenido que se queda sin crawlear. Esto implica que no se indexa todo de manera adecuada. No es ninguna tontería, ¿verdad?

    Recuerda que los bots recorren tu sitio web tal y como lo haría un usuario, pasando de un enlace a otro.

    Por ello, debes tener en cuenta que la manera de estructurar la información sea lógica y que no se generen, por ejemplo, enlaces reflexivos que no aporten nada a la navegación ni, lo que es peor, lo que podríamos llamar “enlaces trampa”, como los que puede generar un calendario ilimitado en el tiempo para reservar citas (un sitio en el que se puede “enganchar” el bot de manera muy sencilla y desistir sin ver lo que debería).

  • ¿Cómo puedo conocer el crawl budget de mi eCommerce?

  • Lo cierto es que Google no suele molestarse en dar detalles de su funcionamiento interno. De hecho, muchas veces no se digna ni a confirmar un update del algoritmo, ni siquiera ha informado jamás de cuál es el peso exacto de cada factor de ranking.

     En el caso del presupuesto de rastreo, tampoco es que nos informe exactamente de si se nos ha otorgado 1 o 10. Pero hay una forma de tener la idea aproximada de cuál es a través de Google Search Console (ya sabes, la consola para centralizar la información de tu sitio web con respecto a Google).

    Damos por sentado que ya tienes la propiedad registrada. Si no es así, deberías hacerlo ya mismo.

    Después tendrás que acceder al informe de estadísticas de rastreo que se encuentra en la ruta Ajustes > Estadísticas de rastreo. Además de una enorme cantidad de información sobre las solicitudes de rastreo desglosadas por: 

    • Tipo de respuesta: páginas que responden con 200 (ok), errores 400 y redirecciones.
    • Tipo de archivo: HTML, JavaScript, Json…
    • Finalidad: aquí podremos saber cuántas de las páginas han sido re-crawleadas y cuántas han sido descubiertas en ese periodo. Interesante para saber si el crawl budget es suficiente para llegar a esos recursos nuevos que has añadido.
    • Tipo de robot: hay dos tipos de crawlers que nos interesan especialmente: el de escritorio y el móvil. Presta especial atención a este último, ya sabes que el SEO ha girado hacia el Mobile First Index.

     Con todo esto tienes bastante información, pero no es lo que mejor te puede orientar en lo referente al crawl budget. Para ello, vamos a fijarnos en el gráfico que aparece en primer término dentro del informe.

  • Aquí puedes ver la cantidad de solicitudes que ha procesado el sistema en los últimos 90 días. En el ejemplo que puedes ver aquí se trata una página pequeña que oscila mucho: va desde las 5 hasta picos de más de 70.

    Para tener un dato un poco más concreto, lo mejor es exportar esos datos y trabajarlos mínimamente en una hoja de cálculo. Simplemente, tienes que obtener la media diaria porque, como ves, no es en absoluto lineal.

    En el caso del ejemplo que estamos comentando son 1.129 que, divididos por los 90 días analizados, nos ofrecen un crawl budget medio de 12,5. Esos son los recursos que se recorren diariamente.

  • Es cierto que, como decíamos, no es algo lineal. Esto se debe a que el algoritmo va evaluando las necesidades de rastreo en función de: 

    • Nivel de la popularidad/relevancia de las páginas (enlaces internos, externos y cantidad de búsquedas para las que rankea).
    • Actualización o freshness: cuanto más a menudo se actualice el contenido de una URL, más proclive será el buscador a la revisión. Esto, indirectamente, también depende del tipo de página.
  • ¿Tienes controlado el crawl budget de tu eCommerce? ¿Crees que lo podrías optimizar? Explícanos cómo lo ves tú.

  • Imágenes | Unsplash, Google Search Console.

Jordi Ordóñez


Jordi Ordóñez es consultor eCommerce y SEO con 16 años de experiencia en proyectos online. Ha asesorado a clientes como Castañer, Textura, Acumbamail, Kartox o Casa Ametller. Escribe en el blog oficial de Prestashop, BrainSINS, Marketing4ecommerce, Fotografía eCommerce, Socialancer, eCommerce-news.es y SEMRush entre otros. Es redactor en el blog de Oleoshop.
comments powered by Disqus

Buscar entradas

Últimas entradas

Este sitio web almacena datos como cookies para habilitar la funcionalidad necesaria del sitio, incluidos análisis y personalización. Puede cambiar su configuración en cualquier momento o aceptar la configuración predeterminada.

política de cookies

Esenciales

Las cookies necesarias ayudan a hacer una página web utilizable activando funciones básicas como la navegación en la página y el acceso a áreas seguras de la página web. La página web no puede funcionar adecuadamente sin estas cookies.


Personalización

Las cookies de personalización permiten a la página web recordar información que cambia la forma en que la página se comporta o el aspecto que tiene, como su idioma preferido o la región en la que usted se encuentra.


Análisis

Las cookies estadísticas ayudan a los propietarios de páginas web a comprender cómo interactúan los visitantes con las páginas web reuniendo y proporcionando información de forma anónima.


Marketing

Las cookies de marketing se utilizan para rastrear a los visitantes en las páginas web. La intención es mostrar anuncios relevantes y atractivos para el usuario individual, y por lo tanto, más valiosos para los editores y terceros anunciantes.