onul.works

Robots.txt-generator

Genereer robots.txt-crawlregels met user-agent-richtlijnen, allow/disallow-paden en sitemap-URL's.

⌘ Draait in de browser ◴ Geen data opgeslagen ⌁ Gratis

Conceptbeschrijving

robots.txt menetapkan skop akses crawler

robots.txt ialah fail arahan yang memberi tahu crawler search engine dan AI laman mana yang boleh diakses.

Menggunakan User-agent, Disallow, Allow, dan Sitemap, anda boleh set ruang akses berbeza bagi setiap bot.

Contoh: benarkan semuanya dan set /admin Disallow, atau benarkan bot carian sahaja dan sekat bot AI dalam fail yang sama.

Menyediakan senario

Gabungkan URL sitemap, peraturan allow/deny ikut bot dan sempadan public/private dalam satu fail robots.txt.

Masa kemaskini

Kemas kini robots.txt ketika menambah halaman public, menukar struktur direktori, atau menukar polisi crawling.

Pemeriksaan

robots.txt ialah arahan untuk crawler; bukan pengganti kawalan keselamatan atau jaminan untuk menghapus index.

Arahan noindex, pengesahan login/izin, dan kawalan akses pelayan adalah lapisan berasingan. robots.txt sendiri tidak melindungi path sensitif atau memastikan deindex segera.

robots.txt voorbeeld

Hoe te gebruiken

  1. 1 Kies de globale allow- of disallow-regel.
  2. 2 Selecteer zoekmachine-, regionale en AI-botitems.
  3. 3 Voer de sitemap-URL in en kopieer of download het gegenereerde robots.txt-bestand.

Veelgebruikte toepassingen

  • Allow-regels voor zoekcrawlers
  • Toegangsbeperkingen voor AI-bots
  • robots.txt-bestanden met sitemap-URL's

Veelgestelde vragen

Welke regels kan ik maken?

U kunt een globale allow- of disallow-regel kiezen en daarna User-agent regels voor zoekmachinebots en AI-crawlers met selectievakjes instellen. U kunt ook een sitemap-URL toevoegen.

Kan ik het resultaat opslaan als robots.txt?

Ja. U kunt de gegenereerde inhoud kopiëren of downloaden als robots.txt.

Garandeert robots.txt toegangsblokkering?

Nee. robots.txt is een verzoekregel voor crawlers, geen beveiligde toegangscontrole. Gebruik authenticatie of serverconfiguratie om gevoelige inhoud te beschermen.

Gerelateerde workflow

Robots.txt-generatorDefinieer eerst crawltoegang en sitemaplocaties zodat het publieke oppervlak duidelijk is. → AI-slugGebruik voor nieuwe openbare paginatitels de server-API om Engelse URL-kandidaten te maken en met de regels te controleren. → Hreflang-generatorGa voor crawlbare meertalige pagina's verder met het koppelen van hun alternatieve URL-relaties.