Generador de robots.txt

Crea fitxers robots.txt vàlids per a motors de cerca amb directrius d'indexació i referència a sitemaps.

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

Quant a Generador de robots.txt — Guia detallada

Categoria: DevOps i estàndards 100 % local al navegador

El generador de robots.txt (robots.txt Generator) crea visualment regles del protocol d'exclusió de robots (`robots.txt`) per guiar els rastrejadors web i les aranyes dels motors de cerca. Permet dirigir-se a robots específics (Googlebot, Bingbot, Baiduspider) o a agents d'usuari universals (`User-agent: *`) amb directrius Allow i Disallow.

Configureu intervals de `Crawl-delay` per mitigar pics de trànsit al servidor, declareu camins a mapes del lloc XML i aprofiteu plantilles integrades per a plataformes CMS populars com WordPress i Drupal, exportant fitxers `robots.txt` estandarditzats a l'instant.

#robots #seo #txt #website #generator

Funcions i capacitats clau

  • Configura directrius personalitzades per a rastrejadors de motors de cerca universals (`*`) o específics
  • Entrada visual de patrons de camins Allow i Disallow per protegir directoris administratius privats
  • Paràmetres integrats per al temps de Crawl-delay i declaracions explícites d'URL de Sitemap
  • Valors predefinits per a plataformes web populars amb previsualització en temps real, còpia instantània i descàrrega de fitxers

Com utilitzar-ho

  1. 1

    Seleccioneu el User-agent de destinació (o manteniu el valor per defecte `User-agent: *`).

  2. 2

    Afegiu regles Disallow per a directoris privats (p. ex., `/admin/`, `/api/`) i regles Allow per a camins públics.

  3. 3

    Especifiqueu l'URL del vostre mapa del lloc XML i feu clic a «Descarrega robots.txt» per desar el fitxer a l'arrel del vostre domini.

Casos d’ús habituals

  • → Evitar que els motors de cerca indexin consoles d'administració i URL de consultes de cerca duplicades
  • → Declarar la ubicació oficial del mapa del lloc XML perquè els rastrejadors descobreixin totes les pàgines web noves
  • → Bloquejar completament els dominis de proves (staging) i preproducció dels índexs de cerca orgànica

Eines relacionades

Preguntes freqüents i privadesa

Es pot utilitzar robots.txt com a mecanisme de seguretat per a fitxers privats?

No. El fitxer robots.txt és públicament accessible per a tothom. És només una guia voluntària per a robots web de bona reputació i no aplica cap autenticació ni restricció d'accés.

Com puc bloquejar tots els rastrejadors del meu lloc web de proves?

Indiqueu `User-agent: *` seguit de `Disallow: /` per ordenar als robots respectuosos que no rastregin cap contingut del domini.