onul.works

Penjana Robots.txt

Jana peraturan crawling robots.txt dengan arahan User-agent, laluan allow/disallow dan URL sitemap.

⌘ Berjalan dalam pelayar ◴ Data tidak disimpan ⌁ Percuma

Penerangan konsep

robots.txt menentukan skop akses crawler

robots.txt ialah fail arahan untuk crawler (search engine/AI) yang memberitahu laman mana yang boleh dan tidak boleh dilawati.

Menggunakan User-agent, Disallow, Allow, dan Sitemap, anda boleh menetapkan ruang akses mengikut setiap bot.

Contohnya benarkan semua dan tetapkan /admin sebagai Disallow, atau benarkan search bot sahaja serta sekat bot AI dalam satu file.

Menyusun senario

Gabungkan URL sitemap, peraturan allow/deny mengikut bot, dan sempadan akses public/private dalam satu robots.txt untuk polisi crawl.

Masa dikemas kini

Kemas kini robots.txt bila menambah page public, ubah struktur direktori, atau tukar polisi crawling agar pendedahan kandungan kekal stabil.

Pemeriksaan

robots.txt hanyalah arahan bagi crawler, bukan pengganti kawalan keselamatan atau jaminan menghapus index.

Arahan noindex, pengesahan login/izin, dan kawalan akses server adalah lapisan berasingan. robots.txt sendiri tidak melindungi laluan sensitif atau menghapus index secara serta-merta.

Pratonton robots.txt

Cara guna

  1. 1 Pilih peraturan global allow atau disallow.
  2. 2 Pilih entri enjin carian, serantau dan bot AI.
  3. 3 Masukkan URL sitemap, kemudian salin atau muat turun fail robots.txt yang dijana.

Contoh penggunaan umum

  • Peraturan allow untuk crawler carian
  • Sekatan akses bot AI
  • Fail robots.txt dengan URL sitemap

Soalan lazim

Peraturan apa yang boleh saya cipta?

Anda boleh memilih peraturan global allow atau disallow, kemudian mengkonfigurasi peraturan User-agent untuk bot enjin carian dan AI crawler dengan kotak pilihan. Anda juga boleh menambah URL sitemap.

Bolehkah saya menyimpan hasil sebagai robots.txt?

Ya. Anda boleh menyalin kandungan yang dijana atau memuat turunnya sebagai robots.txt.

Adakah robots.txt menjamin sekatan akses?

Tidak. robots.txt ialah peraturan permintaan untuk crawler, bukan kawalan akses keselamatan. Gunakan pengesahan atau konfigurasi pelayan untuk melindungi kandungan sensitif.

Aliran kerja berkaitan

Penjana Robots.txtTentukan akses crawl dan lokasi sitemap dahulu supaya permukaan awam jelas. → AI SlugUntuk tajuk halaman awam baharu, gunakan API pelayan untuk mencipta calon URL bahasa Inggeris yang boleh disemak bersama peraturan. → Penjana HreflangUntuk halaman berbilang bahasa yang boleh dirayapi, teruskan dengan memetakan hubungan URL alternatifnya.