Sitemap robots txt

File sitemap robots txt chuẩn

Robots.txt là một loại tệp đặc biệt không phải là HTML hay bất kỳ vật dụng gì tương tự. Mục đích của tệp robots.txt là để tặng các công cụ tìm kiếm biết content nào trên web của bạn khả năng cao được các bot thu thập và lập chỉ mục.

File robots txt chuẩn

Một số ví dụ khác về file robots txt chuẩn Chặn bot không cho chỉ mục hầu hết phát triển website Bạn sở hữu câu lệnh giống như sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không đưa cho phép các bot của công cụ search đăng nhập và đánh chỉ mục trên đa số tài nguyên nắm tới trên trang web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này nắm tới nghĩa: “Cho phép bot lập chỉ mục tất cả data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không tặng phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu nghĩa: “Cho phép bot đánh chỉ mục đa số các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này nắm tới nghĩa: “Chặn một hình ảnh nào đó từ web site của bạn, ngăn không tặng các bot tìm và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam đăng nhập tất cả dữ liệu trên website của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn tất cả các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này sở hữu nghĩa: “Chặn bot search tất cả dữ liệu trong thư mục /thumucbichan/ nhưng đưa cho phép lập chỉ mục file/filekhongbichan.html”

Sitemap robots txt - Có các hướng dẫn file robots txt chuẩn Wp