Robots.txt là dạng tập tin đặc thù không phải là HTML hay một loại nào khác. Mục đích của việc nắm tới file robots.txt là khai báo tặng dụng cụ search biết rằng những content nào trên web của bạn được cho phép các bot search và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi nắm tới một dụng cụ search thông tin website của bạn, điều đầu tiên mà nó search đa số là file Robots.txt . File này sẽ nói với phương tiện search những gì nên và không nên lập chỉ mục. Nó cũng thường xuyên chỉ ra vị trí trang web của bạn trên XML Sitemap. Sau đó các phương tiện tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập tin tức web của bạn theo giống như hướng dẫn cụ thể của file Robots.txt (các phương tiện tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt có thể nằm ở thư mục gốc của bạn, bạn có thể tiện dụng tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn giảm thiểu được các lỗi đưa cho website cùng lúc đưa cho phép hầu hết các dụng cụ tìm thu thập thông tin về web site của bạn. Ví dụ website bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
