Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc sở hữu file robots.txt là khai báo cho dụng cụ search biết rằng những nội dung nào trên trang web của bạn được tặng phép các bot tìm kiếm và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi nắm tới một dụng cụ search tin tức trang web của bạn, điều đầu tiên mà nó tìm tất cả là file Robots.txt . File này sẽ nói với phương tiện tìm những gì cần và không tốt nhất nên lập chỉ mục. Nó cũng khả năng cao chỉ ra vị trí trang web của bạn trên XML Sitemap. Sau đó các công cụ tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập tin tức website của bạn theo giống như có các hướng dẫn của file Robots.txt (các dụng cụ tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt thường nằm ở thư mục gốc của bạn, bạn có lẽ thuận tiện tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn tránh được các lỗi tặng trang web cùng lúc đưa cho phép đa số các phương tiện tìm thu thập thông tin về website của bạn. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
