Sitemap robots txt

File sitemap robots txt chuẩn

Robots.txt là một loại tệp đặc biệt không phải là HTML hay bất kỳ thứ gì gần giống. Mục đích của tệp robots.txt là để tặng các phương tiện tìm biết nội dung nào trên web site của bạn khả năng cao được các bot thu thập và lập chỉ mục.

File robots txt chuẩn

Một số ví dụ khác về file robots txt chuẩn Chặn bot không cho chỉ mục tất cả phát triển website Bạn nắm tới câu lệnh như là sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không cho phép các bot của phương tiện tìm truy cập và đánh chỉ mục trên hầu hết tài nguyên sở hữu trên web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục hầu hết dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không tặng phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục hầu hết các dữ liệu trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ website của bạn, ngăn không cho các bot search và lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam truy cập toàn bộ data trên web site của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn mọi các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot tìm kiếm mọi dữ liệu trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file/filekhongbichan.html”