File robots txt chuẩn
Một số ví dụ khác về file robots txt chuẩn Chặn bot không tặng chỉ mục toàn bộ tăng trưởng web Bạn nắm tới câu lệnh giống như sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không cho phép các bot của phương tiện search đăng nhập và đánh chỉ mục trên đa số tài nguyên nắm tới trên website của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này nắm tới nghĩa: “Cho phép bot lập chỉ mục đa số dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không tặng phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục toàn bộ các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ website của bạn, ngăn không đưa cho các bot tìm kiếm và lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam log in toàn bộ data trên website của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn tất cả các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot tìm kiếm tất cả data trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file/filekhongbichan.html”
