Com crear un fitxer robots.txt?
Com crear un fitxer robots.txt?
Què és? El fitxer robots.txt és un fitxer de text sense format que ha de complir l'estàndard d'exclusió de robots.
Pots crear el fitxer amb el bloc de notes de Windows i desar-lo amb el nom robots.txt
Aquest arxiu consta d'una o diverses regles i cadascuna d'elles bloqueja o permet l'accés d'un determinat rastrejador a una ruta d'arxiu concreta d'un lloc web.
L'arxiu robots.txt s'utilitza per gestionar el trànsit dels rastrejadors al teu lloc.
S'utilitza per evitar que les sol·licituds que rep el teu lloc web el sobrecargin; amb el fitxer robots.txt ben configurat, pots evitar que la velocitat de la teva web o fins i tot del propi Cloud es vegi afectada negativament quan rebis diverses visites d'aquests indexadors alhora.
Què bloquejem? Els crawler, també coneguts com a rastrejador aranya, robot o bot. És un programa que analitza els documents del lloc web. Els motors de cerca utilitzen rastrejadors molt potents que naveguen i analitzen els llocs web creant una base de dades amb la informació recollida.
Quins elements formen el robots.txt? A l'hora de generar l'arxiu robots.txt, has de tenir en compte els comandaments i les regles específiques.
Comandaments User agent: És el comandament que serveix per especificar els robots/aranyes dels motors de cerca que permetem que rastrejin la nostra web.
La sintaxi d'aquest comandament és: User-agent: (nom del robot)
(En cada regla ha d'haver almenys una entrada Disallow o Allow)
Disallow: Indica un directori o una pàgina del domini arrel que no vols que l'user-agent rastreji.
Allow: Indica els directoris o les pàgines del domini arrel que l'user-agent que s'hagi especificat en el grup ha de rastrejar. Serveix per anular la directiva Disallow i permetre que es rastreji un determinat subdirectori o pàgina d'un directori bloquejat.
Una opció és posar un asterisc, això significa que permets rastrejar la web a tots els motors de cerca.
User-agent: (*)
Disallow
El següent comandament és per indicar als motors de cerca que no rastrejin, ni accedeixin ni indexin una part concreta de la web, com per exemple la carpeta wp-admin.
Disallow: /wp-admin/
Allow
Amb el següent comandament indiques el contrari, marques als motors de cerca què és el que poden rastrejar. En aquest exemple només permet un fitxer d'una carpeta específica.
Allow: /wp-admin/admin-ajax.php
Altres elements a tenir en compte.
A l'hora d'afegir elements per al seu bloqueig, hauràs de col·locar la barra inclinada (/) al principi i al final. El codi es pot simplificar. *. L'asterisc serveix per bloquejar una seqüència de caracters. $. El símbol de dòlar s'emplea quan vols bloquejar URLs amb una terminació concreta.
Exemples de comandaments utilitzats en robots.txt.
Excloure tots els robots del servidor:
User-agent: *
Disallow: /
Permetre que tots els robots tinguin accés a escanear-ho tot:
User-agent: *
Disallow:
Excloure només un bot, en aquest cas Badbot:
User-agent: BadBot
Disallow: /
Permetre només un bot, en aquest cas Google:
User-agent: Google
Disallow:
User-agent: *
Disallow: /
Excloure un directori per a tots els bots:
User-agent: *
Disallow: /nom-directori/
Excloure una pàgina en concret:
User-agent: *
Disallow: /url-pagina.html
Bloquejar les imatges de la web:
User-agent: Googlebot-Image
Disallow: /
Bloquejar una imatge només per a un bot:
User-agent: Googlebot-Image
Disallow: /imagen/bloqueada.webp
Excloure un tipus d'arxiu específic:
User-agent: Googlebot
Dissallow: /*.webp$
Excloure URLs amb una terminació determinada:
User-agent: *
Disallow: //pdf$
Aquests són exemples d'ús, utilitza el que s'adapti a les teves necessitats o crea'n un a la teva mida.
Un cop creat el fitxer robots.txt, puja'l mitjançant FTP dins del directori /tudomini/dades/web/