Trình tạo robots.txt
Tạo robots.txt với quy tắc User-agent, allow/disallow path và URL sitemap cho crawler.
Giải thích khái niệm
robots.txt xác định phạm vi truy cập của crawler
robots.txt là file văn bản chỉ dẫn cho công cụ tìm kiếm và AI biết trang nào được phép hoặc không được crawl.
Sử dụng các chỉ thị User-agent, Disallow, Allow, Sitemap để xác định phạm vi truy cập cho từng bot.
Ví dụ, cho phép chung rồi set /admin là Disallow hoặc cho phép chỉ search engine và chặn bot AI trong một file để quản lý theo kịch bản.
Viết kịch bản
Đặt một file gom URL sitemap, quy tắc cho/chặn theo bot và ranh giới công khai/riêng tư để quản lý chính sách cổng.
Thời điểm chỉnh sửa
Cập nhật robots.txt khi có trang public mới, thay đổi cấu trúc thư mục, hoặc thay đổi phạm vi crawl để giữ phạm vi tiếp xúc nội dung ổn định.
Điểm kiểm tra
robots.txt chỉ là hướng dẫn cho crawler, không thay thế bảo mật truy cập hoặc cơ chế gỡ index.
Nhãn noindex, đăng nhập/ủy quyền và cơ chế kiểm soát máy chủ là các lớp riêng; robots.txt không đủ để chặn đường dẫn nhạy cảm hay xóa index ngay.
Trình tạo robots.txt Khu vực tạo robots.txt
Cách sử dụng
- 1 Chọn quy tắc cho phép hoặc chặn toàn cục.
- 2 Chọn các mục bot tìm kiếm, bot theo khu vực và AI bot.
- 3 Nhập URL sitemap, rồi sao chép hoặc tải tệp robots.txt được tạo.
Trường hợp sử dụng phổ biến
- Quy tắc cho phép search crawler
- Hạn chế truy cập cho AI bot
- Tệp robots.txt có URL sitemap
Câu hỏi thường gặp
Tôi có thể tạo những quy tắc nào?
Bạn có thể chọn quy tắc cho phép hoặc chặn toàn cục, rồi cấu hình User-agent cho bot công cụ tìm kiếm và AI crawler bằng checkbox. Bạn cũng có thể thêm URL sitemap.
Tôi có thể lưu kết quả thành robots.txt không?
Có. Bạn có thể sao chép nội dung được tạo hoặc tải xuống dưới dạng robots.txt.
robots.txt có đảm bảo chặn truy cập không?
Không. robots.txt là quy tắc yêu cầu dành cho crawler, không phải kiểm soát truy cập bảo mật. Hãy dùng xác thực hoặc cấu hình máy chủ để bảo vệ nội dung nhạy cảm.