Com tancar pàgines als cercadors

Tancar pàgines als cercadors és una feina essencial a nivell de SEO on page. Consisteix a donar-li als bots de cerca només aquell contingut que volem que s’indexi, és a dir, el contingut rellevant. Per exemple, en una botiga online ens interessaria indexar pàgines amb contingut rellevant com la home, les categories, les fitxes de producte o els posts del nostre blog; entre les pàgines no rellevants, trobaríem els resultats de les cerques internes del site, la pàgina de checkout, el resum del carret, la pàgina de registre, la de login... Essencialment pàgines que no sumen a l'hora de dirigir tràfic orgànic de qualitat a la nostra botiga online.

Hem de pensar en com ens buscarà l'usuari en cercadors i en com accedirà a la nostra web. Segur que no entrarà a través de la pàgina de registre o de checkout: entrarà a través de les pàgines que tinguin rellevància a nivell de catàleg i de negoci. Totes aquelles pàgines que no compleixin un objectiu de negoci, ja sigui a nivell de venda o de captació de tràfic qualitatiu, han de ser tancades als cercadors.

A la llum de tot això, és fàcil arribar a la conclusió que, si tens una botiga online, és important que sàpigues com tancar pàgines als cercadors, o que almenys tinguis una idea general dels conceptes que intervenen en aquest procés. A dia d'avui, pots trobar centenars de posts a Internet sobre com tancar aquestes pàgines que no aporten tràfic, però realment només hi ha una manera 100% efectiva de fer-ho: l’arxiu robots.txt.

I és que, durant anys, s'han fet bastants experiments sobre com tancar a la indexació certes pàgines utilitzant tant l’arxiu robots.txt, com el meta tag robots, com la capçalera X-Robots-Tag. I s'ha arribat a la conclusió que l'únic mètode 100% efectiu és l’arxiu robots.txt.

Les 3 directives que acabem d'esmentar treballen en 3 nivells diferents:

• robots.txt: és un arxiu col·locat a l'arrel del servidor on s'indica què indexar i què no. Serveix per a tot el site (menys per als subdominis).
• Meta tag robots: línia de codi en arxius HTML, només aporta instruccions per a l'esmentat arxiu (per exemple, midocumento.html).
• X-Robots-Tag: similar al meta tag robots, però indica la instrucció sobre si indexar o no la pàgina a la capçalera HTTP (la resposta del servidor a una petició), no dins del codi de la pàgina.

Ja hem conclòs que l'única manera efectiva de tancar pàgines als cercadors és fer-ho des de l'arxiu robots.txt. Des d'allà, podem tancar 3 tipus de nivells d'arxius:

• Una o diverses pàgines
• Directoris
• Paràmetres

En el cas de les pàgines, la directiva a seguir és una cosa semblant a això:

Disallow: /categoria4.html

Aquesta instrucció no permetria als cercadors –triats prèviament a través de la directiva User-agent – indexar la pàgina pertanyent a la categoria4.html. Aquí estaríem tancant a la indexació només aquesta pàgina.

L'ús concret d'aquesta directiva consistiria a no indexar una categoria, o una fitxa de producte, o una pàgina de contingut, pel fet que no ens interessa que sigui visible per als cercadors, per exemple perquè el producte ha deixat d'estar en stock, perquè la categoria no és rellevant o perquè el seu contingut està copiat i volem evitar que ens penalitzin.

En el cas de directoris, la directiva seria semblant a:

Disallow: /micarpeta/

Això tancaria a la indexació del cercador qualsevol arxiu que estigui per sota de la carpeta /micarpeta/, amb la carpeta /micarpeta/ inclosa. Aquesta instrucció s'utilitza per evitar indexar certes informacions com la carpeta d'administració del nostre gestor (per exemple, /admin/) o una carpeta on tinguem PDFs amb informació que no vulguem compartir.

En el cas dels paràmetres, la directiva seria alguna cosa com:

Disallow: /*p=

Això tancaria a la indexació qualsevol URL que contingui els paràmetres inclosos, per exemple, micategoria.html?p=2 (una URL que pot indicar, per exemple, pàgina 2).

Els paràmetres es fan servir per modificar certs continguts en pàgina: ordenació, paginació, idioma, tipus de moneda... I són paràmetres que generen URL duplicades. En el cas de la paginació, si no tanquem la seva indexació, estem enviant als cercadors aquestes URLS:

• micategoria.html
• micategoria.html?p=2
• micategoria.html?p=3
• micategoria.html?p=4
• ...

Com si tinguessin el mateix pes i contingut. A partir de la pàgina 2, tot són duplicats de la primera i això podria derivar en una penalització per contingut duplicat, per aquest motiu és important tancar-les.

I aquestes són les 3 directives que pots utilitzar per tancar pàgines a cercadors des del teu arxiu robots.txt. Val a dir que cal fer servir aquestes directives sempre sota la supervisió d'algú que sàpiga què s'està fent perquè podem estar tancant pàgines essencials a la indexació i/o perdent rànquings de pàgines ja indexades i posicionades. És per això que qualsevol moviment que es faci en aquest arxiu ha de ser fet per un expert en SEO i, posteriorment, testejat a través de Google Search Console amb l'eina "Rastreig> Explorar com Google" que pot trobar-se aquí.

Dit això, l'equip d’Oleoshop us desitja un molt Bon Nadal!

Imatges | Pixabay, Fotolia.