Cách tối ưu hóa WordPress Robots.txt của bạn cho SEO

Ngô Dũng Hosting, Tin học khác

1. File Robots.txt là gì?

Robots.txt là một tệp văn bản mà chủ sở hữu trang web có thể tạo để cho các bot của công cụ tìm kiếm biết cách thu thập thông tin và lập chỉ mục các trang trên trang web của họ.

Nó thường được lưu trữ trong thư mục gốc còn được gọi là thư mục chính của trang web của bạn. Định dạng cơ bản cho tệp robots.txt trông giống như sau:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Bạn có thể thêm nhiều dòng hướng dẫn để cho phép hoặc không cho phép các URL cụ thể và thêm nhiều sơ đồ trang web. Nếu bạn không cho phép một URL, thì các bot của công cụ tìm kiếm sẽ cho rằng chúng được phép thu thập dữ liệu đó và sẽ không lập chỉ mục cho url đó.

2. Có nhất thiết cần sơ đồ robots.txt cho website không?

Với một người làm seo như mình thì câu trả lời là có. Bạn nhất thiết phải có một file robots.txt để hỗ trợ bot của google index và lập chỉ mục web của bạn nhanh hơn.

3. Tệp Robots.txt chuẩn sẽ trông như thế nào?

Có khá nhiều mẫu và mỗi website đều có một kiểu đặt file robots.txt khác nhau. Nhưng đa số là đặt kiểu này:
User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Còn đối với một số trang web chạy bằng wordpress thì các bạn nên để thế này:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Điều này yêu cầu các bot tìm kiếm lập chỉ mục tất cả các hình ảnh và tệp WordPress. Nó không cho phép các bot tìm kiếm lập chỉ mục các tệp plugin WordPress, khu vực quản trị WordPress, tệp readme WordPress và các liên kết liên kết.

4. Cách tạo tệp Robots.txt trong WordPress?

* Phương pháp 1: Sử dụng plugin Yoast Seo

Xem thêm:  Sửa lỗi không mở được tệp đính kèm được liên kết trong Outlook?
Nếu bạn đang sử dụng plugin Yoast SEO , thì plugin này đi kèm với trình tạo tệp robots.txt. Chỉ cần truy cập trang  SEO » Tool trong quản trị viên WordPress của bạn và nhấp vào liên kết File Editor link.
fileeditortool

Trên trang tiếp theo, trang Yoast SEO sẽ hiển thị tệp robots.txt hiện có của bạn.Nếu bạn không có tệp robots.txt, thì Yoast SEO sẽ tạo tệp robots.txt cho bạn.

createrobotstxt

Theo mặc định, trình tạo tệp robots.txt của Yoast SEO sẽ thêm các quy tắc sau vào tệp robots.txt của bạn:

User-agent: *
Disallow: /

* Phương pháp 2. Chỉnh sửa tệp Robots.txt theo cách thủ công bằng FTPKhi vào bên trong mục lưu trữ trên hosting, bạn sẽ có thể thấy tệp robots.txt trong thư mục gốc của trang web của bạn.

editrobotsfileftp

Nếu bạn không thấy tệp này, thì có thể bạn không có tệp robots.txt. Trong trường hợp đó, bạn có thể tiếp tục và tạo một tệp bằng notepad cũng được.

5. Có những cách nào để kiếm tra một tệp file robots.txt đã đẩy lên thành công hay chưa?

Khi bạn đã tạo tệp robots.txt của mình, bạn nên kiểm tra tệp đó bằng công cụ kiểm tra robots.txt.

Có rất nhiều công cụ kiểm tra robots.txt trên mạng, nhưng chúng tôi khuyên bạn nên sử dụng công cụ bên trong Google Search Console .

robotstxttester

OK như vậy là đã xong – chúc các bạn thành công trong việc tạo và đẩy file robots.txt lên.

0/5 (0 Reviews)