Robot.txt là một dạng text chứa các câu lệnh để điều hướng cho các robot tìm kiếm của các công cụ tìm kiếm được phép và không được phép Index nội dung nào trên website. Robots.txt là một trong những yếu tố quan trọng trong việc tối ưu SEO Blogspot.

File Robot.txt chuẩn nhất cho Blogspot

Vậy cấu trúc file Robot.txt nào là chuẩn nhất cho một trang blog?

Nói chuẩn nhất thì nói chung thôi, chứ thật ra file Robot.txt sẽ tùy vào chủ ý của chủ blog mà cho phép hay không cho phép index những nội dung nào.

Đây là file robot.txt đầy đủ nhất:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: https://blogcuaban/feeds/posts/default?orderby=UPDATED
Sitemap: https://www.tranbadat.com/sitemap.xml
– Dòng Allow:/ tức là cho phép bot có thể index tất cả nội dung trên trang web.
– Disallow: /search , được dùng khi bạn không muốn bot index các labels của blogspot. Tuy nhiên, nếu nội dung tốt và có code chuẩn SEO cho các Label, thì ngại ngùng gì mà chặn index nó chứ. Các bạn hãy thử gõ Naruto Coming trên Google Search sẽ thấy Label này của https://tranbadat.info đang ở top 1 ^_^
– 2 disallow còn lại cũng tương tự, chặn cũng ok, không vấn đề gì.
– Còn lại là 2 dòng sitemap, khai báo sitemap cho bot có thể dễ dàng index nội dung. Thay 2 dòng chữ màu xanh bằng đường dẫn blog của bạn nhé.

Cách thêm nội dung vào file robot.txt:

– Vào trang quản trị của blogspot ở địa chỉ: blogger.com
– Vào Cài đặt (Setiings), chọn phần Tùy chọn tìm kiếm (Search Options), và tiến hành chỉnh sửa file robot.txt nhé.
File Robot.txt chuẩn nhất cho Blogspot
Chúc các bạn có một trang web đẹp và tối ưu SEO cho Google!
Copy vui lòng ghi nguồn bài viết được viết bởi: https://www.tranbadat.com/
File Robot.txt chuẩn nhất cho Blogspot
Đánh giá bài viết

THAM GIA BÌNH LUẬN

Vui lòng nhập bình luận của bạn!
Vui lòng nhập Tên của bạn

15 BÌNH LUẬN

  1. chào bạn ! mình đang để như thế này:
    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Allow: /
    Allow: /search/label/
    Disallow: /search
    Disallow: /*?updated-max=*
    Disallow: *max-results=10
    Disallow: *max-results=7
    Disallow: *archive.html
    Sitemap: http://www.dichvucamera.net/feeds/posts/default?orderby=UPDATED
    trong webmaser tool báo lỗi chấm than màu đỏ: Đã phát hiện sự cố trạng thái nghiêm trọng trong thuộc tính của bạn . Một số trang quan trọng bị chặn bởi robots.txt.
    Như vậy có sao không bạn

  2. Hướng dẫn của bạn rất tuyệt vời. Mình khắc phục được rồi, giờ chờ đợi webmastertool cập nhật xem có giảm bớt trùng lặp mô tả cho search label ko.
    Bạn cho mình hỏi thêm là mình còn bị trùng lặp mô tả và tiêu đề đối với link trên mobile và link trên điện thoại ( html? và html?m=1 ) . Mình đọc trên một số blog nước ngoài khắc phục bằng cách thêm thẻ: 'canonical' dưới thẻ head . ( comment không cho phép ghi đầy đủ thẻ 'canonical' nên mình chỉ ghi tắt là 'canonical')
    Cách làm như vậy có đúng không bạn. Cảm ơn bạn rất nhiều

  3. Không nên chặn index label nha bạn. @-)
    Mình vừa kiểm tra thì bạn đã có canonical, nhưng trường hợp trùng label của bạn là do title và des không có, nó lấy tự động từ title của web. Chính vì thế, cách xử lý của bạn giờ là thay đổi des và title tự động cho các label này, bằng cách:

    Truy cập vào bài viết này, lấy đoạn code bắt đầu từ:

    đến thêm vào trong thẻ head của bạn.
    Trong đó thay các từ cần thiết cho đúng với website của bạn. Code này sẽ giúp các label sẽ thay đổi title và des tương ứng với tên của label đó, nên sẽ tránh được trùng lặp.

  4. chào bạn. Blog của mình để index các label từ năm 2013. Có nhiều label cũng đứng top 10 kết quả tìm kiếm. Nhưng trong webmaster tool báo lỗi trùng lặp nội dung và mô tả của những search/label này rất nhiều làm ảnh hưởng không nhỏ tới từ khóa chính của mình. Theo bạn thì bây giờ mình co nên chặn index search label không.
    Đây là website của mình: http://www.giamsathinhanh.com . Rất mong nhận được lời khuyên của bạn

  5. Giờ không biết phải theo ai luôn mình đang để code
    User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Allow: /
    Disallow: /search
    Disallow: /search?updated-min=
    Disallow: /search?updated-max=
    Disallow: /search/label/*?updated-min=
    Disallow: /search/label/*?updated-max=
    Không biết có đúng không nữa