Sitemap robots txt

File sitemap robots txt chuẩn

Robots.txt là một loại tệp đặc thù không phải là HTML hay bất kỳ thiết bị gì tương tự. Mục đích của tệp robots.txt là để tặng các phương tiện tìm kiếm biết nội dung nào trên trang web của bạn có lẽ được các bot thu thập và lập chỉ mục.

File robots txt chuẩn

Một số ví dụ khác về file robots txt chuẩn Chặn bot không cho chỉ mục tất cả phát triển website Bạn có câu lệnh như sau: User-agent:* Disallow: / Lệnh này sở hữu ý nghĩa: “Không tặng phép các bot của công cụ search log in và đánh chỉ mục trên tất cả tài nguyên sở hữu trên website của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này nắm tới nghĩa: “Cho phép bot lập chỉ mục toàn bộ dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu nghĩa: “Cho phép bot đánh chỉ mục đa số các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ website của bạn, ngăn không cho các bot tìm và lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này nắm tới nghĩa: “Chặn botspam đăng nhập hầu hết data trên web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn toàn bộ các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot tìm kiếm tất cả data trong thư mục /thumucbichan/ nhưng đưa cho phép lập chỉ mục file/filekhongbichan.html”