File Robots.txt mặc định của WordPress:
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/
Hoặc Bạn có thể tham khảo lập trình này
User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml
MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT
Chặn bot không cho chỉ mục tất cả website Bạn sở hữu câu lệnh như sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không tặng phép các bot của dụng cụ tìm kiếm đăng nhập và đánh chỉ mục trên toàn bộ tài nguyên nắm tới trên website của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục toàn bộ data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không tặng phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này nắm tới nghĩa: “Cho phép bot đánh chỉ mục tất cả các dữ liệu trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ web site của bạn, ngăn không đưa cho các bot search và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này sở hữu nghĩa: “Chặn botspam truy cập tất cả dữ liệu trên web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn tất cả các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot search đa số dữ liệu trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file /filekhongbichan.html”
Lê Trương Tấn Lộc (webseowp.vn)
Trải qua 4 năm thực chiến CSS, JS 5 năm thực chiến trong quản lý website tư vấn giải pháp SEO từ khóa, Digital marketing tối ưu nhất cho doanh nghiệp.
Hiện làm trưởng phòng kinh doanh tại Siêu Tốc Việt.