Robots.txt là dạng tập tin đặc biệt không phải là HTML hay một loại nào khác. Mục đích của việc có file robots.txt là khai báo cho phương tiện tìm kiếm biết rằng những content nào trên web của bạn được đưa cho phép các bot search và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi sở hữu một công cụ tìm kiếm thông báo web của bạn, điều đầu tiên mà nó tìm kiếm đa số là file Robots.txt . File này sẽ nói với phương tiện tìm những gì cần phải và không nên lập chỉ mục. Nó cũng thường chỉ ra vị trí web site của bạn trên XML Sitemap. Sau đó các công cụ search sẽ gửi “bot”, “robot” hoặc “spider” để thu thập tin tức trang web của bạn theo giống như hướng dẫn cụ thể của file Robots.txt (các phương tiện tìm kiếm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt thường xuyên nằm ở thư mục gốc của bạn, bạn khả năng cao thuận tiện tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn tránh được các lỗi cho web site cùng lúc cho phép mọi các phương tiện tìm kiếm thu thập thông tin về web site của bạn. Ví dụ website bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt