เครื่องมือสร้าง Robots.txt
สร้างกฎการ crawl ของ robots.txt พร้อมคำสั่ง User-agent, allow/disallow paths และ URL ของ sitemap
คำอธิบายแนวคิด
robots.txt กำหนดขอบเขตการเข้าถึงของ crawler
robots.txt คือไฟล์ที่ระบุให้ crawler ของเครื่องมือค้นหาและ AI รู้ว่าควรเข้าถึงหน้าใดและควรทำอย่างไร
กำหนดด้วยคำสั่ง User-agent, Disallow, Allow และ Sitemap สำหรับแต่ละบอทได้
เช่น เปิดเผยทั่วไปก่อน แล้วตั้ง /admin เป็น Disallow หรืออนุญาต search engine เฉพาะและบล็อกบอท AI ในไฟล์เดียว
การจัดทำสตอรี่
รวม URL sitemap การอนุญาต/ปฏิเสธตาม bot และขอบเขต public/private ในไฟล์เดียวเพื่อจัดการนโยบายการ crawl
จังหวะอัปเดต
อัปเดต robots.txt เมื่อเพิ่มหน้า public, เปลี่ยนโครงสร้างโฟลเดอร์ หรือเปลี่ยนนโยบาย crawl เพื่อควบคุมขอบเขตการเผยแพร่
จุดตรวจสอบ
robots.txt คือข้อแนะนำให้ crawler ไม่ใช่การควบคุมความปลอดภัยหรือรับประกันการยกเลิกการ index
คำสั่ง noindex, การยืนยันตัวตน (login/สิทธิ์), และการควบคุมสิทธิ์ฝั่ง server เป็นชั้นที่แยกต่างหาก ไม่สามารถพึ่ง robots.txt อย่างเดียวในการป้องกันเส้นทางสำคัญ
เครื่องมือสร้าง Robots.txt พื้นที่ทำงานของเครื่องมือสร้าง robots.txt
วิธีใช้
- 1 เลือกกฎอนุญาตหรือไม่อนุญาตแบบรวม
- 2 เลือก entry สำหรับเครื่องมือค้นหา บอตภูมิภาค และบอต AI
- 3 กรอก URL ของ sitemap แล้วคัดลอกหรือดาวน์โหลดไฟล์ robots.txt ที่สร้างขึ้น
กรณีใช้งานทั่วไป
- กฎอนุญาต search crawler
- ข้อจำกัดการเข้าถึงของ AI bot
- ไฟล์ robots.txt พร้อม URL sitemap
คำถามที่พบบ่อย
สร้างกฎอะไรได้บ้าง?
คุณเลือกกฎอนุญาตหรือไม่อนุญาตแบบรวม แล้วตั้งค่า User-agent rules สำหรับ search engine bots และ AI crawlers ด้วย checkbox ได้ รวมถึงเพิ่ม URL ของ sitemap
บันทึกผลลัพธ์เป็น robots.txt ได้ไหม?
ได้ คุณคัดลอกเนื้อหาที่สร้างขึ้น หรือดาวน์โหลดเป็นไฟล์ robots.txt ได้
robots.txt รับประกันการบล็อกการเข้าถึงหรือไม่?
ไม่ robots.txt เป็นกฎร้องขอสำหรับ crawler ไม่ใช่ระบบควบคุมความปลอดภัย ควรใช้การยืนยันตัวตนหรือการตั้งค่าเซิร์ฟเวอร์เพื่อปกป้องเนื้อหาที่ละเอียดอ่อน