Què és el crawl budget en SEO

31/08/2021
  • Disseccionem un concepte que és crític per entendre com funciona el SEO i com interactuen els bots dels cercadors: el crawl budget

  • Avui disseccionem el concepte de crawl budget, un concepte clau dins del SEO.

    Un cop que tinguis clar què és i com funciona, et resultarà molt més senzill de comprendre per què la indexació d'un lloc o un altre porta un ritme diferent, amb una freqüència de rastreig totalment diferent.

  • Què és el crawl budget?

  • Abans d'explicar com afecta el nostre posicionament, hauríem explicar què és el crawl budget. En realitat, la traducció literal de l'anglès resulta força il·lustrativa: seria una cosa així com ara "pressupost de rastreig".

    Diguem que els cercadors no ens dediquen una atenció il·limitada. Se’ns atorga un "pressupost" en funció de la rellevància que l'algoritme determini i de la capacitat que el nostre site tingui per a ser recorregut sense generar errors.

    Això darrer és molt important: no hem de causar colls d'ampolla per culpa d'una arquitectura de la informació ineficient.

    Per tant, hem de tenir clar que Google només ens dedica un crawl budget en un lapse de temps concret. Quan acabi aquest període, s'aturarà passant a un altre site web fins a la propera visita.

  • Totes les URLs (pàgines, CSS, JavaScript, PDF...) que excedeixin el rastreig assignat són contingut que es queda sense crawlejar. Això implica que no s'indexa tot de manera adequada. No és cap ximpleria, oi?

    Recorda que els bots recorren el teu site web tal com ho faria un usuari, passant d'un enllaç a un altre.

    Per això, has de tenir cura per tal que la manera d'estructurar la informació sigui lògica i que no es generin, per exemple, enllaços reflexius que no aportin res a la navegació ni, el que és pitjor, el que podríem anomenar "enllaços trampa", com els que pot generar un calendari il·limitat en el temps per a reservar cites (un punt on es pot "enganxar" el bot de manera molt senzilla i desistir sense veure el que hauria de veure).

  • Com puc conèixer el crawl budget del meu eCommerce?

  • La veritat és que Google no acostuma a molestar-se a donar detalls del seu funcionament intern. De fet, sovint no es digna ni a confirmar un update de l'algoritme, ni tan sols ha informat mai de quin és el pes exacte de cada factor de ranking

    En el cas del pressupost de rastreig, tampoc és que ens informi exactament de si se'ns ha atorgat 1 o 10. Però hi ha una manera de tenir-ne una idea aproximada a través de Google Search Console (ja saps, la consola per a centralitzar la informació del teu site web pel que fa a Google).

    Assumim que ja tens la propietat registrada. Si no és així, hauries de fer-ho ja mateix.

    Després hauràs d'accedir a l'informe d'estadístiques de rastreig que es troba a la ruta Ajustos > Estadístiques de rastreig. A més d'una enorme quantitat d'informació sobre les sol·licituds de rastreig desglossades per:

    • Tipus de resposta: pàgines que responen amb 200 (ok), errors 400 i redireccions.
    • Tipus d'arxiu: HTML, JavaScript, JSON...
    • Finalitat: aquí podrem saber quantes de les pàgines han estat re-crawlejades i quantes han estat descobertes en aquest període. Interessant per saber si el crawl budget és suficient per arribar a aquests recursos nous que has afegit.
    • Tipus de robot: hi ha dos tipus de crawlers que ens interessen especialment: el d'escriptori i el mòbil. Para atenció especial al darrer, ja saps que el SEO ha virat cap al Mobile First Index.

    Amb tot això ja tens prou informació, però no és el que millor et pot orientar pel que fa al crawl budget. Per a fer-ho, fixem-nos en el gràfic que apareix en primer terme dins de l'informe.

  • Aquí pots veure la quantitat de sol·licituds que ha processat el sistema en els darrers 90 dies. En l'exemple que pots veure aquí es tracta d’una pàgina petita que oscil·la molt: va des de les 5 fins a pics de més de 70.

    Per tenir una dada una mica més concreta, el millor és exportar aquestes dades i treballar-les mínimament en un full de càlcul. Simplement, has d'obtenir la mitjana diària perquè, com veus, no és gens lineal.

    En el cas de l'exemple que comentem són 1.129 que, dividides pels 90 dies analitzats, ens ofereixen un crawl budget mitjà de 12,5. Aquests són els recursos que es recorren diàriament.

  • És cert que, com dèiem, no és una cosa lineal. Això es deu al fet que l'algoritme va avaluant les necessitats de rastreig en funció de:

    • Nivell de la popularitat/rellevància de les pàgines (enllaços interns, externs i quantitat de cerques per a les quals rankeja).
    • Actualització o freshness: com més sovint s'actualitzi el contingut d'una URL, més procliu serà el cercador a la revisió. Això, indirectament, també depèn del tipus de pàgina.
  • Tens controlat el crawl budget del teu eCommerce? Creus que el podries optimitzar? Explica'ns com ho veus tu.

  • Imatges | Unsplash, Google Search Console.

Jordi Ordóñez


Jordi Ordóñez es consultor eCommerce y SEO con 16 años de experiencia en proyectos online. Ha asesorado a clientes como Castañer, Textura, Acumbamail, Kartox o Casa Ametller. Escribe en el blog oficial de Prestashop, BrainSINS, Marketing4ecommerce, Fotografía eCommerce, Socialancer, eCommerce-news.es y SEMRush entre otros. Es redactor en el blog de Oleoshop.

Vols ser el primer en deixar la teva opinió?

Regístrate con nosotros y así podrás crear tus comentarios, contar tus experiencias y participar en nuestro blog.

Buscar

Últimes entrades

Aquest lloc web emmagatzema dades com galetes per habilitar la funcionalitat necessària de el lloc, inclosos anàlisi i personalització. Podeu canviar la seva configuració en qualsevol moment o acceptar els paràmetres per defecte.

política de cookies

Essencials

Les galetes necessàries ajuden a fer una pàgina web utilitzable activant funcions bàsiques com la navegació a la pàgina i l'accés a àrees segures de la pàgina web. La pàgina web no pot funcionar adequadament sense aquestes galetes.


Personalització

Les galetes de personalització permeten a la pàgina web recordar informació que canvia la forma en què la pàgina es comporta o l'aspecte que té, com el seu idioma preferit o la regió en la qual vostè es troba.


Anàlisi

Les galetes estadístiques ajuden als propietaris de pàgines web a comprendre com interactuen els visitants amb les pàgines web reunint i proporcionant informació de forma anònima.


Marketing

Les galetes de màrqueting s'utilitzen per rastrejar als visitants en les pàgines web. La intenció és mostrar anuncis rellevants i atractius per a l'usuari individual, i per tant, més valuosos per als editors i tercers anunciants.