Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc có file robots.txt là khai báo tặng dụng cụ search biết rằng những content nào trên website của bạn được đưa cho phép các bot tìm kiếm và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi nắm tới một phương tiện search tin tức web của bạn, điều đầu tiên mà nó tìm mọi là file Robots.txt . File này sẽ nói với dụng cụ tìm những gì cần và không tốt nhất nên lập chỉ mục. Nó cũng có thể chỉ ra vị trí web site của bạn trên XML Sitemap. Sau đó các công cụ search sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông tin trang web của bạn theo giống như hướng dẫn cụ thể của file Robots.txt (các công cụ tìm kiếm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt có thể nằm ở thư mục gốc của bạn, bạn có lẽ tiện lợi tạo một file trống và đặt tên là Robots.txt, điều này giúp bạn tránh được các lỗi cho web đồng thời đưa cho phép tất cả các công cụ tìm kiếm thu thập thông tin về web của bạn. Ví dụ web site bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
Lê Trương Tấn Lộc (webseowp.vn)
Với hơn 6 năm kinh nghiệm CSS, JS 5 năm kinh nghiệm trong quản lý website tư vấn giải pháp Seo google, Marketing tối ưu nhất cho doanh nghiệp.
Hiện là giám đốc kinh doanh tại Siêu Tốc Việt.