.png){kind=logo}
Robots.txt là một loại tệp đặc thù không phải là HTML hay bất kể thứ gì gần giống. Mục đích của tệp robots.txt là để tặng các công cụ search biết content nào trên website của bạn có lẽ được các bot thu thập và lập chỉ mục.
Sitemap robots txt
Sitemap txt
Mục đích của file Robots.txt là gì? Khi các phương tiện search search tin tức về web của bạn, tệp Robots.txt có thể là nơi đầu tiên họ tìm kiếm. Tệp này tặng các phương tiện tìm biết những gì tốt nhất nên lập chỉ mục và những gì không tốt nhất nên lập chỉ mục. Bạn cũng thường xuyên cung cấp vị trí trang web của mình trong sơ đồ website XML. công cụ search gửi “chương trình”, “rô-bốt” hoặc “trình thu thập dữ liệu” để thu thập dữ liệu trang web của bạn, theo hướng dẫn trong tệp Robots.txt (nếu tệp “rô-bốt” không được gửi, công cụ search sẽ không gửi ). .txt chỉ ra rằng điều này không thể lập chỉ mục). 
Sitemap robot
File Robots.txt nằm ở đâu? Tệp sơ đồ web site robots.txt thường xuyên nằm trong thư mục gốc. Bạn có lẽ dễ dàng tạo một tệp trống và đặt tên là Robots.txt. Điều này sẽ Hỗ trợ bạn hạn chế các lỗi trang web và hoàn tất mọi công việc của mình. phương tiện tìm kiếm craw dữ liệu các trang trang web đẹp. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt File Robots mặc định của wordpress:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
Hoặc Bạn có lẽ tham khảo lập trình này
User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml
File robots txt chuẩn
Một số ví dụ khác về file robots txt chuẩn Chặn bot không tặng chỉ mục mọi lớn mạnh web site Bạn có câu lệnh như là sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không đưa cho phép các bot của phương tiện tìm kiếm truy cập và đánh chỉ mục trên tất cả tài nguyên nắm tới trên web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục hầu hết data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này nắm tới nghĩa: “Cho phép bot đánh chỉ mục tất cả các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này nắm tới nghĩa: “Chặn một hình ảnh nào đó từ web của bạn, ngăn không tặng các bot search và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này sở hữu nghĩa: “Chặn botspam log in tất cả data trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn mọi các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot tìm đa số data trong thư mục /thumucbichan/ nhưng đưa cho phép lập chỉ mục file/filekhongbichan.html”
