Sitemap robots txt

File sitemap robots txt chuẩn

Robots.txt là một loại tệp đặc biệt không phải là HTML hay bất kể đồ vật gì tương tự gần . Mục đích của tệp robots.txt là để đưa cho các công cụ tìm biết nội dung đột nhiên nào trên web của bạn có thể được các bot thu thập và lập chỉ mục.

File robots txt chuẩn

Một số ví dụ khác về file robots txt chuẩn Chặn bot không đưa cho chỉ mục mọi phát triển website Bạn nắm tới câu lệnh như là quá sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không cho phép các bot của phương tiện thường tìm đăng nhập và đánh chỉ mục trên mọi tài nguyên có trên trang web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục hầu hết dữ liệu sớm trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.” Chặn một trang hay đường dẫn đến nội dung bài viết đích nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này nắm tới nghĩa: “Cho phép bot đánh chỉ mục mọi các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu cần nghĩa: “Chặn một hình ảnh nào đó từ web của bạn, ngăn không đưa cho các bot tìm kiếm đã và lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này sở hữu sớm nghĩa: “Chặn botspam đăng nhập mọi dữ liệu chính trên web site của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn hầu hết các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot search mọi dữ liệu không thể trong thư mục /thumucbichan/ nhưng đưa cho phép lập chỉ mục file/filekhongbichan.html”