onul.works

Générateur robots.txt

Générez un fichier robots.txt SEO avec directives User-agent, règles allow/disallow et URL de sitemap.

⌘ S’exécute dans le navigateur ◴ Aucune donnée stockée ⌁ Gratuit

Concept

Le robots.txt définit la portée d’accès des crawlers

Le robots.txt indique aux moteurs de recherche et aux bots IA les pages qu’ils peuvent accéder et leur mode de crawl.

Avec User-agent, Disallow, Allow et Sitemap, vous définissez les règles par bot.

Par exemple autoriser tout puis mettre /admin en Disallow, ou autoriser seulement certains bots et exclure l’IA via un même fichier.

Création de scénarios

Rassemblez URL sitemap, règles allow/deny par bot et frontières public/privé dans un seul robots.txt.

Moment de mise à jour

Mettez à jour robots.txt lors de l’ajout de pages publiques, du changement d’arborescence ou d’une politique de crawl.

Point de vigilance

robots.txt n’est qu’une recommandation pour bots et ne remplace ni la sécurité d’accès ni la garantie de dé-indexation.

noindex, authentification (connexion/droits) et contrôle d’accès serveur sont des couches séparées. robots.txt seul ne protège pas les chemins sensibles ni n’assure la suppression immédiate.

Aperçu robots.txt

Mode d’emploi

  1. 1 Choisissez la règle globale allow ou disallow.
  2. 2 Sélectionnez les entrées des moteurs de recherche, robots régionaux et robots IA.
  3. 3 Saisissez l’URL du sitemap, puis copiez ou téléchargez le fichier robots.txt généré.

Cas d’usage courants

  • Règles d’autorisation pour robots de recherche
  • Restrictions d’accès pour robots d’IA
  • Fichiers robots.txt avec URL de sitemap

Questions fréquentes

Quelles règles puis-je créer ?

Vous pouvez choisir une règle globale allow ou disallow, puis configurer les règles User-agent des robots de recherche et des robots d’IA avec des cases à cocher. Vous pouvez aussi ajouter une URL de sitemap.

Puis-je enregistrer le résultat sous robots.txt ?

Oui. Vous pouvez copier le contenu généré ou le télécharger sous forme de fichier robots.txt.

robots.txt garantit-il le blocage des accès ?

Non. robots.txt est une directive destinée aux robots d’exploration, pas un contrôle d’accès de sécurité. Utilisez une authentification ou une configuration serveur pour protéger le contenu sensible.

Flux de travail associé

Générateur robots.txtDéfinissez d’abord l’accès d’exploration et les emplacements de sitemap afin de clarifier la surface publique. → Slug IAPour de nouveaux titres de pages publiques, utilisez l’API serveur afin de créer des propositions d’URL en anglais à vérifier avec les règles. → Générateur HreflangPour les pages multilingues explorables, continuez en associant leurs URL alternatives.