onul.works

Generator Robots.txt

Susun file robots.txt untuk mengarahkan crawler mesin pencari ke area yang boleh atau tidak boleh dirayapi.

⌘ Berjalan di browser ◴ Data tidak disimpan ⌁ Gratis

Penjelasan konsep

robots.txt menentukan cakupan akses crawler

robots.txt adalah file instruksi yang memberi tahu crawler mesin pencari dan AI halaman mana yang dapat diakses.

Dengan User-agent, Disallow, Allow, dan Sitemap, Anda dapat menentukan ruang akses untuk tiap bot.

Contoh: izinkan semua lalu set /admin sebagai Disallow, atau izinkan search bot dan blokir bot AI untuk skenario berbeda dalam satu file.

Menyusun skenario

Satukan URL sitemap, aturan allow/deny per bot, dan batas akses publik/privat pada satu robots.txt sebagai policy.

Waktu penulisan

Perbarui robots.txt saat ada halaman publik baru, perubahan struktur direktori, atau perubahan aturan crawling agar paparan tetap konsisten.

Poin cek

robots.txt hanya merupakan perintah untuk crawler, bukan pengganti kontrol akses atau jaminan deindex.

noindex, otentikasi (login/izin), dan kontrol akses server adalah lapisan terpisah; robots.txt saja tidak bisa melindungi path sensitif atau menghapus index lama.

Hasil robots.txt

Cara menggunakan

  1. 1 Masukkan user-agent dan aturan allow atau disallow.
  2. 2 Tambahkan crawl-delay dan URL sitemap jika diperlukan.
  3. 3 Salin file robots.txt yang dihasilkan lalu uji sebelum dipasang.

Contoh penggunaan umum

  • Buat robots.txt untuk situs baru
  • Blokir folder admin dari crawler
  • Tambahkan sitemap ke robots.txt

Pertanyaan umum

Apakah robots.txt memblokir akses pengguna?

Tidak. Robots.txt hanya memberi instruksi kepada crawler yang mematuhinya dan bukan mekanisme keamanan.

Di mana file robots.txt diletakkan?

Letakkan di root domain, misalnya https://example.com/robots.txt, agar crawler dapat menemukannya.

Apakah Disallow menghapus halaman dari indeks?

Tidak selalu. Untuk kontrol indexing halaman tertentu, gunakan meta robots atau header yang sesuai dan cek perilaku mesin pencari.

Alur kerja terkait

Generator Robots.txtBuat aturan crawling dasar untuk situs terlebih dahulu. → Generator SitemapSiapkan URL sitemap yang akan dicantumkan di robots.txt. → Generator Meta TagGunakan robots meta tag pada halaman individual jika perlu kontrol indexing per halaman.