Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc nắm tới file robots.txt là khai báo cho dụng cụ search biết rằng những nội dung nào trên web của bạn được cho phép các bot tìm kiếm và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi có một phương tiện tìm kiếm tin tức trang web của bạn, điều đầu tiên mà nó tìm mọi là file Robots.txt . File này sẽ nói với công cụ search những gì nên và không cần lập chỉ mục. Nó cũng thường chỉ ra vị trí trang web của bạn trên XML Sitemap. Sau đó các công cụ tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông báo web của bạn theo như là hướng dẫn cụ thể của file Robots.txt (các dụng cụ tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt có thể nằm ở thư mục gốc của bạn, bạn thường xuyên thuận tiện tạo một file trống và đặt tên là Robots.txt, điều này giúp cho bạn tránh được các lỗi cho web đồng thời đưa cho phép tất cả các dụng cụ tìm kiếm thu thập thông báo về website của bạn. Ví dụ web site bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
