Robot txt Là Gì? Cách Tối Ưu Robots.Txt “Hợp Ý” Google

Tạo file Robots.txt trên wordpress giúp quản trị website chủ động hơn trong việc cho phép các bot của công cụ tìm kiếm index một phần nào đó trong website của chính mình. Đây đây bạn đã hiểu robot txt là gì rồi phải không nào.

Sử dụng Robots.txt mang đến nhiều giá trị tích cực cho site. Ảnh: Internet

Vì sao nên sử dụng Robots.txt?

Sử dụng Robots.txt trên wordpress giúp bạn kiểm soát được việc truy cập của các bot đến các khu vực nhất định trên trang. Đồng thời, nó giúp ngăn chặn nội dung trùng lặp xuất hiện trên một website  giữ một số phần của website ở chế độ riêng tư; giữ các trang kết quả tìm kiếm nội bộ không hiển thị SERP, chỉ định vị trí sitemap; ngăn chặn các công cụ tìm kiếm index một số tệp nhất định trên website; ngăn chặn việc máy chủ bị quá tải khi các trình dữ liệu tải nhiều nội dung cùng một lúc.
File robots txt mang giá trị cho website

Cú pháp phổ biến của tệp Robots.txt

User-agent: là tên của các trình thu thập dữ liệu web.

Disallow: sử dụng để thông báo cho các user agent không thu thập các dữ liệu URL cụ thể nào.

Allow (chỉ áp dụng cho Googlebot): thông báo có thể truy cập vào 1 trang hoặc 1 thư mục con mặc dù nó có thể không được phép truy cập.

Crawl-delay: thông báo cho các web crawler phải đợi trước khi tải hoặc thu thập nội dung trang.

Sitemap: cung cấp các vị trí bất kỳ XML sitemap được liên kết với URL.

Nguồn bài xem tại : https://photocross.net/robots-txt-la-gi/