Robots.txt là gì? Hướng dẫn tạo file robots.txt cho website

Việc để công cụ tìm kiếm lãng phí nguồn lực crawl vào những trang không cần thiết trong khi các page quan trọng bị bỏ qua chính là một thách thức lớn với SEOer. Điều này gây khó khăn trong việc kiểm soát quá trình crawl và index, dẫn đến việc nội dung quan trọng có thể không được hiển thị đúng cách. Để xử lý triệt để vấn đề này, file robots.txt chính là công cụ then chốt thiết lập các chỉ mục hướng dẫn cho bot tìm kiếm, không chỉ giúp cải thiện SEO mà còn tăng cường trải nghiệm người dùng. Trong bài viết này, hãy cùng chúng tôi tìm hiểu chi tiết về robots.txt cũng như hướng dẫn tạo file robots.txt chuẩn chỉnh để tối ưu hóa website.
 

 

File robots.txt là gì?

File robots.txt là một tệp văn bản nhỏ nhưng có vai trò quan trọng trong việc quản lý cách các công cụ tìm kiếm tương tác với website của bạn. Được đặt tại thư mục gốc của website, file này chứa các chỉ thị cụ thể hướng dẫn bot của công cụ tìm kiếm như Googlebot, Bingbot hay Yahoo Slurp về việc trang nào trên website được phép hoặc không được phép crawl (quét) và lập chỉ mục. Điều này đặc biệt hữu ích trong việc ngăn chặn bot tìm kiếm truy cập vào các trang không cần thiết hoặc nhạy cảm, từ đó bảo vệ thông tin quan trọng và duy trì bảo mật cho website.

Ví dụ, bạn có thể sử dụng robots.txt để chặn các công cụ tìm kiếm khỏi crawl thư mục chứa tài liệu nội bộ, trang đang trong giai đoạn phát triển hoặc thử nghiệm hoặc trang không có giá trị SEO cao. Điều này giúp giảm tải cho server và tránh việc lãng phí nguồn lực crawl vào những nội dung không cần thiết. Thay vào đó, các công cụ tìm kiếm sẽ tập trung vào việc lập chỉ mục những trang quan trọng, từ đó cải thiện khả năng hiển thị và thứ hạng của những page này trên kết quả tìm kiếm.
 

 

Vai trò của file robots.txt đối với website 

File robots.txt đóng vai trò then chốt trong việc quản lý cách các công cụ tìm kiếm và bot khác tương tác với website của bạn. Nó chỉ dẫn cho các robot biết nơi nào chúng được phép khai thác và nơi nào là cấm địa.

- Ngăn chặn nội dung trùng lặp: Bằng cách chỉ định các URL cụ thể không nên được indexing, bạn có thể tránh được tình trạng "cannibalization" trong SEO.

- Kiểm soát tốc độ crawl: Robots.txt đảm bảo rằng server của bạn không bị quá tải bởi các yêu cầu từ bot. Đây là một công cụ đắc lực để duy trì hiệu suất website ở mức tối ưu.

- Tiết kiệm tài nguyên server: File robots.txt chỉ định bot tập trung vào những phần quan trọng nhất của website bằng cách ngăn chặn các bot truy cập vào các trang chứa thông tin riêng tư, chưa hoàn thiện hoặc không muốn công khai giúp tiết kiệm băng thông và tài nguyên server.
 

 

Cấu trúc cơ bản của một file robots.txt là gì?

File robots.txt trông có vẻ đơn giản nhưng lại chứa đựng sức mạnh to lớn bên trong cấu trúc gọn nhẹ của mình. Hãy cùng khám phá các thành phần chính tạo nên bộ khung của file này.

- User-agent: User-agent xác định robot cụ thể mà các quy tắc sẽ áp dụng. Bạn có thể nghĩ nó như một tấm thẻ nhận dạng cho các bot. Ví dụ, "User-agent: Googlebot" sẽ áp dụng các quy tắc tiếp theo cho bot của Google. Một dấu hoa thị (*) đại diện cho tất cả các bot.

- Disallow: Vai trò của disallow chỉ ra những URL hoặc thư mục mà bạn không muốn robot truy cập  vào các URL hoặc thư mục cụ thể mà bạn chỉ định.

- Allow: Allow cho phép các bot truy cập vào một URL hoặc một phần của website. Chỉ thị này cho phép indexing những URL cụ thể, ngay cả khi chúng nằm trong một thư mục bị cấm rộng hơn. 

- Crawl-delay: Giá trị crawl-delay đặt thời gian mà các bot nên đợi giữa các yêu cầu tới server. Đây chỉ là một gợi ý và không phải mệnh lệnh tuyệt đối; các bot có thể tuân thủ hoặc không tuân thủ dựa trên nhiều yếu tố như tải trên server hoặc ưu tiên khác.

- Sitemap: Bằng cách chỉ định vị trí của bản đồ trang (sitemap) giúp bot tìm thấy và hiểu cấu trúc của website dễ hơn, sitemap là một cách để hướng dẫn bot đến các URL mà bạn muốn chúng lập chỉ mục.

- Các chỉ thị khác (nếu có): Ngoài những chỉ thị phổ biến trên, file robots.txt còn có thể chứa đựng các lệnh đặc biệt khác, tùy thuộc vào nhu cầu cụ thể của từng website. Ví dụ, "noindex" có thể được sử dụng để ngăn indexing một trang cụ thể, trong khi "nofollow" ngăn bot theo dõi các liên kết trên trang đó.

Ví dụ về robots.txt file chuẩn

Một file robots.txt chuẩn có thể đa dạng tùy thuộc vào nhu cầu cụ thể của từng website. Tuy nhiên, dưới đây là một ví dụ điển hình về cấu trúc và nội dung của một file robots.txt chuẩn:
 

 

Trong ví dụ này, chúng ta thấy:

- Quy tắc áp dụng cho tất cả các bot (*).

- Cấm truy cập vào thư mục /admin/ và /private/.

- Cho phép truy cập một file cụ thể trong thư mục private.

- Đặt crawl-delay là 10 giây.

- Quy tắc riêng cho Googlebot.

- Chỉ định vị trí của sitemap.

File này thể hiện sự linh hoạt và khả năng kiểm soát chi tiết mà robots.txt file mang lại. Bạn có thể tùy chỉnh nó để phù hợp với chiến lược SEO và cấu trúc website của mình.

Làm thế nào để kiểm tra xem website đã có file robots.txt chưa?

Việc kiểm tra sự tồn tại của file robots.txt trên website của bạn là một thao tác đơn giản nhưng quan trọng. Dưới đây là 2 phương pháp đơn giản hiệu quả để thực hiện điều này.

1. Truy cập trực tiếp

Cách đơn giản nhất là thêm "/robots.txt" vào sau domain của website. Lưu ý cần đảm bảo nhập chính xác địa chỉ URL bao gồm cả chữ hoa, chữ thường và dấu gạch ngang. File robots.txt thường được viết toàn bộ bằng chữ thường và nên sử dụng trình duyệt ẩn danh (Incognito mode) để tránh ảnh hưởng của cache và các extension.

Chẳng hạn như: "https://www.example.com/robots.txt". Nếu file tồn tại, bạn sẽ thấy nội dung của nó. Ngược lại, bạn sẽ nhận được thông báo lỗi 404.

2. Sử dụng công cụ kiểm tra robots.txt của Google

Google cung cấp một công cụ miễn phí trong Google Search Console để kiểm tra và xác thực file robots.txt của bạn. Công cụ này không chỉ xác nhận sự tồn tại của file mà còn giúp bạn phát hiện lỗi cú pháp. Vì đây là công cụ chính thức của Google, bạn có thể tin tưởng rằng nó phản ánh chính xác cách Googlebot sẽ diễn giải robots.txt file của bạn. Quá trình kiểm tra như sau: 

Bước 1: Đăng nhập vào tài khoản Google Search Console của bạn.

Bước 2: Chọn property (website) mà bạn muốn kiểm tra.

Bước 3: Trong menu bên trái, tìm mục "Crawl" và chọn "robots.txt Tester".

Lưu ý rằng việc không tìm thấy file robots.txt không phải là xấu. Tuy nhiên, đối với hầu hết các website, việc có một file robots.txt được cấu hình đúng cách sẽ mang lại nhiều lợi ích về mặt SEO và quản lý crawl. Nếu bạn phát hiện website của mình chưa có file robots.txt, bạn có thể tạo một file mới và tối ưu hóa cách mà các bot tương tác với website của mình. Hãy nhớ rằng, một file robots.txt hiệu quả có thể góp phần quan trọng trong chiến lược SEO tổng thể của bạn.
 

 

Hướng dẫn tạo file robots.txt cho website nhanh chóng, dễ dàng

Việc tạo file robots.txt không phải là một quá trình phức tạp. Dưới đây là hướng dẫn tạo file robots.txt theo từng bước để giúp bạn thực hiện một cách nhanh chóng và dễ dàng:

Bước 1. Tạo file văn bản mới

Để tạo tệp robots.txt cho website, bạn cần truy cập vào trình soạn thảo văn bản đơn giản như Notepad trên Windows hoặc TextEdit trên Mac để đảm bảo tệp được lưu ở định dạng văn bản thuần túy (plaintext) mà không có thêm định dạng nào. 

Lưu ý: Không sử dụng trình xử lý văn bản (như .docx, .odt) vì chúng thường lưu tệp ở dạng độc quyền và có thể thêm các ký tự đặc biệt vào tệp

Bước 2. Bắt đầu với User-agent 

Nhập lệnh này ở dòng đầu tiên: User-agent: * để chỉ định các quy tắc cho bot hoặc trình thu thập dữ liệu của công cụ tìm kiếm.

User-agent là tên của bot hoặc spider mà bạn muốn áp dụng các quy tắc. Ví dụ, Googlebot là user-agent của Google, Bing Bot là user-agent của Bing.

Bước 3. Thêm các chỉ thị Disallow

Nhấn "return" hai lần để chèn dấu ngắt sau dòng user-agent, sau đó nhập tham số disallow theo sau là thư mục mà bạn không muốn thu thập dữ liệu bằng cách liệt kê các thư mục hoặc trang bạn không muốn bot truy cập.
 

 

- Disallow: /wp/wp-admin/ chặn bot truy cập vào thư mục /wp/wp-admin/, nơi chứa các tệp quản trị.

- Disallow: /*?* chặn các bot truy cập vào bất kỳ URL nào chứa tham số truy vấn (query parameters), thường bắt đầu bằng dấu hỏi ?.

Lưu ý: Có thể thêm nhiều dòng Disallow để kiểm soát việc thu thập dữ liệu trên các phần khác nhau của website.

Bước 4. Thêm các chỉ thị Allow (nếu cần)

Trong trường hợp bạn muốn cho phép bot truy cập vào một số trang hoặc thư mục cụ thể trong thư mục đã bị chặn bởi chỉ thị Disallow, bạn có thể sử dụng chỉ thị Allow.

Nhập lệnh Allow theo sau là đường dẫn đến trang hoặc thư mục mà bạn muốn cho phép truy cập:

Allow: /wp/wp-admin/admin-ajax.php

Bước 5. Thêm Crawl-delay (tùy chọn) 

Nếu bạn muốn kiểm soát tốc độ thu thập dữ liệu của bot, bạn có thể sử dụng chỉ thị Crawl-delay để quy định khoảng thời gian (tính bằng giây) giữa các lần truy cập của bot vào các trang trên website của bạn.

Nhập lệnh Crawl-delay theo sau là số giây bạn muốn áp dụng. Chẳng hạn như: 
 

 

Chỉ thị này yêu cầu bot chờ thêm 10 giây giữa mỗi lần truy cập vào các trang khác nhau trên website của bạn giúp giảm tải cho server. Đây không phải là lệnh chính thức nhưng nó có thể ngăn chặn các trình thu thập dữ liệu web làm quá tải server bằng những requests. 

Lưu ý: Google thì không hỗ trợ Crawl-delay, vì vậy nếu bạn muốn điều chỉnh tốc độ thu thập dữ liệu cần thực hiện qua Google Search Console.

Bước 6. Thêm đường dẫn đến sitemap

Sau khi hoàn tất các lệnh khác, chèn thêm một dòng ngắt dòng, sau đó nhập lệnh sitemap theo sau là URL đầy đủ của sitemap, ví dụ: 

https://www.example.com/sitemap.xml

Mặc dù không bắt buộc về mặt kỹ thuật, liên kết đến sitemap trong file robots.txt là một cách tốt nhất giúp search engine dễ dàng tìm thấy các trang quan trọng trên website của bạn đồng thời hiểu rõ hơn về cấu trúc trang web.

Bước 7. Lưu file robots.txt vào thư mục gốc

Tệp phải được lưu với tên chính xác là "robots.txt" với các yêu cầu bao gồm viết thường, không có khoảng trắng hoặc ký tự khác và phải được đặt ở root directory của website đảm bảo các công cụ tìm kiếm nhận diện tệp đúng cách.

- Windows: Khi lưu file trong Notepad, chọn "All Files" trong phần "Save as type" và đặt tên file là robots.txt.

- Mac: Khi lưu file trong TextEdit, chọn "Format" => "Make Plain Text" và lưu với tên robots.txt.

Sau khi lưu, tải file lên thư mục gốc của website (thường là /public_html/ hoặc /www/).

Lưu ý: Nếu tệp không tồn tại hoặc không được định vị đúng, các chỉ thị sẽ không có hiệu lực.

Cách submit và xác nhận tính hợp lệ cho file robots.txt

Để đảm bảo rằng file robots.txt của bạn hoạt động đúng và được các công cụ tìm kiếm chấp nhận, bạn cần thực hiện các bước sau để submit và xác nhận tính hợp lệ.

1. Hướng dẫn cách submit file robots.txt

Để công cụ tìm kiếm nhận diện và tuân theo chỉ thị trong file robots.txt, bạn cần thực hiện việc submit file này qua các công cụ quản trị web chính.

Bước 1. Tải file lên website

Sử dụng một ứng dụng FTP/SFTP như FileZilla để tải file robots.txt lên thư mục gốc của website (thường là /public_html/ hoặc /www/).

Truy cập vào bảng điều khiển hosting của bạn (cPanel, Plesk) và sử dụng công cụ quản lý tệp để tải file lên thư mục gốc của website.

Bước 2. Xác nhận file

Bằng cách truy cập các Tools kiểm tra robot.txt (Google Search Console, Bing Webmaster Tools) để xác nhận rằng file robots.txt đã được tải lên chính xác và không có lỗi nào.

2. Xác nhận tính hợp lệ cho file robots.txt

Để đảm bảo file robots.txt hoạt động chính xác và không gặp lỗi, bạn cần kiểm tra tính hợp lệ của nó bằng các công cụ xác thực.

Bước 1. Truy cập vào công cụ kiểm tra 

Sử dụng công cụ kiểm tra robots.txt của Google Search Console hoặc Bing Webmaster Tools. Dán URL của file robots.txt vào công cụ và kiểm tra xem có bất kỳ lỗi nào được phát hiện không.

Bước 2. Kiểm tra URL 

Đảm bảo rằng file robots.txt có thể truy cập công khai qua URL, ví dụ: https://www.example.com/robots.txt.

Mở URL này trên trình duyệt và xác minh rằng file hiển thị đúng nội dung sau:

- Các đường dẫn đến file robots.txt chính xác và không bị lỗi.

- Các quy tắc trong file robots.txt được viết chính xác và không có lỗi cú pháp.

- File robots.txt có quyền truy cập công khai và không bị chặn bởi các cài đặt bảo mật trên server.
 

 

Những quy tắc quan trọng cần lưu ý khi tạo và sử dụng robots.txt 

Hiểu và áp dụng đúng những lưu ý, bạn có thể sử dụng file robots.txt hiệu quả hơn, tối ưu hóa việc lập chỉ mục website của mình và hơn hết tránh những sai lầm ảnh hưởng đến hiệu suất SEO.

1. Cẩn thận khi chặn nội dung

File robots.txt cho phép bạn chỉ định những phần của website mà bạn không muốn các công cụ tìm kiếm truy cập. Tuy nhiên, hãy cẩn thận để không vô tình chặn những nội dung quan trọng. Nếu bạn chặn một trang hoặc thư mục, Google sẽ không thể đọc và hiển thị nó trong kết quả tìm kiếm. Vì vậy, hãy chắc chắn rằng bạn chỉ chặn những phần thực sự cần thiết.

Các trang bị chặn bởi robots.txt không thể truyền "giá trị liên kết" (còn gọi là link juice) đến các trang khác. Giá trị liên kết là một yếu tố quan trọng trong SEO giúp nâng cao thứ hạng của các trang trong kết quả tìm kiếm. Nếu bạn chặn những trang quan trọng, bạn có thể vô tình làm giảm hiệu quả SEO của website.

2. Không an toàn cho dữ liệu nhạy cảm

Bạn không nên sử dụng robots.txt để bảo vệ thông tin nhạy cảm như dữ liệu cá nhân hoặc tài liệu mật bởi file này không phải là một phương pháp bảo mật đáng tin cậy. Thay vào đó, nên sử dụng các phương pháp bảo mật khác như đặt mật khẩu hoặc sử dụng thẻ meta ‘noindex’ để ngăn công cụ tìm kiếm hiển thị những thông tin này. Điều này giúp đảm bảo rằng thông tin nhạy cảm không chỉ bị ẩn khỏi công cụ tìm kiếm mà còn được bảo vệ khỏi các truy cập trái phép.

3. Nhiều loại bot khác nhau

Việc nhận diện và phân loại bot khác nhau giúp bạn tối ưu hóa việc quản lý truy cập cho các công cụ tìm kiếm. Bằng cách tạo các quy tắc riêng cho từng loại bot như Google Bot và Googlebot-Image, bạn có thể kiểm soát chính xác hơn việc các bot này truy cập vào những phần khác nhau của website. Điều này giúp bạn tối ưu hóa các tài nguyên của website và cải thiện hiệu suất SEO cho từng loại nội dung.
 

 

Một số câu hỏi thường gặp về file robots.txt

File robots.txt là một công cụ quan trọng giúp webmaster kiểm soát cách các công cụ tìm kiếm truy cập và lập chỉ mục cho website. Tuy nhiên, việc sử dụng nó đúng cách đôi khi gây nhầm lẫn, dưới đây là phần giải đáp một số thắc mắc phổ biến về robots.txt

1. Robots.txt có thể cài đặt trên website WordPress không? 

Có, bạn có thể dễ dàng tạo và cài đặt file robots.txt trên WordPress. Có nhiều cách để thực hiện cài đặt robots.txt, bạn có thể tạo file thủ công và tải lên qua FTP hoặc sử dụng các plugin SEO như Yoast SEO, All in One SEO Pack. Ngoài ra, bạn có thể chỉnh sửa trực tiếp ngay trong giao diện của quản trị viên WordPress nếu host của bạn hỗ trợ. Các phương pháp này giúp bạn tùy chỉnh robots.txt mà không cần kiến thức kỹ thuật sâu.

2. File robots.txt thường nằm ở đâu trên website?

File robots.txt luôn được đặt ở thư mục gốc của domain, đây là vị trí tiêu chuẩn mà tất cả các công cụ tìm kiếm đều biết để tìm kiếm file này.

Ví dụ, nếu địa chỉ website của bạn là https://www.example.com, thì file robots.txt sẽ được đặt ngay tại thư mục gốc của website, với đường dẫn đầy đủ là https://www.example.com/robots.txt.

3. Tại sao Google vẫn index một trang mặc dù đã chặn nó bằng robots.txt?

Google có thể vẫn index một trang bị chặn bởi robots.txt nếu có các liên kết từ những trang khác trỏ đến nó. Robots.txt chỉ ngăn Google crawl (quét) trang, không ngăn việc index. Nếu Google tìm thấy liên kết đến trang đó từ các nguồn khác, nó có thể vẫn index trang dựa trên thông tin có sẵn. Để ngăn index hoàn toàn, bạn nên sử dụng thẻ meta noindex hoặc trả về mã HTTP 404 hoặc 410.

4. Sử dụng robots.txt file có những hạn chế nào?

Robots.txt cũng có một số nhược điểm như sau:

- Không thể dùng file này để ẩn thông tin nhạy cảm.

- Không kiểm soát hoàn toàn việc index vì robotstxt chỉ ngăn crawl, không ngăn index.

- Có thể ảnh hưởng đến SEO nếu sử dụng không đúng cách.

- Không phải tất cả các bot đều tuân thủ quy tắc trong robots.txt.

- Có thể gây nhầm lẫn nếu cấu hình phức tạp.

5. Mất bao lâu để các thay đổi trong robots.txt ảnh hưởng đến kết quả tìm kiếm?

Thời gian để các thay đổi trong robots.txt có hiệu lực đối với kết quả tìm kiếm có thể khác nhau. Thông thường, Google sẽ kiểm tra file robots.txt mỗi khi nó crawl website của bạn. Tuy nhiên, có thể mất từ vài ngày đến vài tuần để thấy tác động đầy đủ, tùy thuộc vào tần suất Google crawl site và quy mô của những thay đổi. Bạn có thể đẩy nhanh quá trình này bằng cách yêu cầu Google crawl lại URL của bạn thông qua Google Search Console.
 

 

Tóm lại, file robots.txt đóng vai trò quan trọng trong việc quản lý cách những công cụ tìm kiếm tương tác với website của bạn. Khi được sử dụng đúng cách, nó có thể giúp tối ưu hóa quá trình crawl và bảo vệ nội dung nhạy cảm. Tuy nhiên, việc tạo và quản lý file robots.txt đòi hỏi sự cẩn trọng và hiểu biết nhất định. Một file robots.txt được cấu hình không đúng có thể vô tình ngăn chặn nội dung quan trọng khỏi kết quả tìm kiếm hoặc tạo ra các vấn đề khác. Do đó, việc tuân theo các hướng dẫn tạo file robots.txt chuẩn được Phương Nam Vina gợi ý trong bài viết và thường xuyên kiểm tra điều rất cần thiết trong chiến lược SEO tổng thể.