Sitemap robots txt
File sitemap robots txt chuẩn
Robots.txt là một loại tệp đặc thù không phải là HTML hay bất kể trang bị gì tương tự. Mục đích của tệp robots.txt là để cho các công cụ search biết content nào trên web của bạn thường được các bot thu thập và lập chỉ mục.
File robots txt chuẩn
Một số ví dụ khác về file robots txt chuẩn Chặn bot không cho chỉ mục hầu hết phát triển website Bạn sở hữu câu lệnh như là sau: User-agent:* Disallow: / Lệnh này sở hữu ý nghĩa: “Không cho phép các bot của phương tiện tìm truy cập và đánh chỉ mục trên tất cả tài nguyên có trên web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này nắm tới nghĩa: “Cho phép bot lập chỉ mục đa số data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục đa số các dữ liệu trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ web site của bạn, ngăn không tặng các bot search và lập chỉ mục đưa cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam đăng nhập tất cả dữ liệu trên website của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn tất cả các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này sở hữu nghĩa: “Chặn bot tìm kiếm hầu hết dữ liệu trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file/filekhongbichan.html”
Lê Trương Tấn Lộc (webseowp.vn)
Với hơn 5 năm kinh nghiệm CSS, JS 8 năm kinh nghiệm trong quản lý web site tư vấn giải pháp Seo top, Digital marketing tối ưu nhất cho tập đoàn quốc tế.
Hiện là quản lý kinh doanh tại Siêu Tốc Việt.