Crawl Budget (ngân sách thu thập dữ liệu) là gì?
Crawl budget đơn giản là tần suất mà trình thu thập thông tin của các công cụ tìm kiếm đi qua các trang trong website của bạn. Tần suất đó được cân bằng để Googlebot không làm quá tải máy chủ của bạn. Nhưng vẫn mong muốn thu thập thông tin nhiều nhất có thể.
Tối ưu hóa crawl budget là một loạt các bước mà bạn có thể thực hiện, để tăng tốc độ mà các bot của công cụ tìm kiếm truy cập vào các trang của bạn. Các bot càng truy cập thường xuyên, nó càng nhanh chóng được đưa vào chỉ mục các trang đã được cập nhật. Do đó, các nỗ lực tối ưu hóa của bạn sẽ mất ít thời gian hơn để lưu giữ và bắt đầu ảnh hưởng đến thứ hạng của bạn.
Ví dụ: Googlebot thường truy cập trang web của tôi khoảng 1.000 lần mỗi tháng, tôi có thể nói rằng 1K là ngân sách thu thập dữ liệu hàng tháng của tôi cho Google.
Xem thêm: Lập chỉ mục là gì? 7 Cách tăng tốc độ lập chỉ mục trang!
Tại sao bạn lại cần Crawl budget?
Về mặt logic, bất kỳ trang web nào cũng muốn Google khám phá càng nhiều trang quan trọng của website càng tốt. Bạn cũng muốn nó nhanh chóng tìm thấy nội dung mới trên trang web của bạn. Đó là khi bạn càn quan tâm tới Ngân sách thu thập dữ liệu.
Cụ thể, Ngân sách thu thập dữ liệu của bạn càng lớn (và bạn càng quản lý ngân sách thông minh hơn) thì quá trình index này diễn ra càng nhanh và ngược lại.
Vậy xác định Crawl budget của bạn như thế nào?
Bạn có thể tìm thông tin về ngân sách thu thập dữ liệu trang web của mình trong Google Search Console và Bing Webmaster Tools . Dữ liệu thu thập thông tin bạn sẽ nhận được trong các công cụ này chưa cụ thể nhưng cũng đã giúp ta biết được số lượng trang được thu thập dữ liệu mỗi ngày.
Ví dụ: bạn cần xác định ngân sách thu thập dữ liệu Google. Đăng nhập vào tài khoản Search Console của bạn và đi đến Các công cụ báo cáo cũ -> Số liệu thống kê thu thập dữ liệu. Tại đây, bạn sẽ thấy số trang trung bình của trang được thu thập thông tin mỗi ngày.
Làm thế nào để tối ưu hóa Crawl budget cho SEO
Google đã nhận định rằng Crawl budget là những yếu tố “không phải là yếu tố xếp hạng” nên các SEOer thường sẽ bỏ qua một cách dễ dàng. Tuy nhiên, chúng tôi không hoàn toàn đồng ý với quan điểm này.
Đối với một trang web lớn gồm hàng triệu triệu trang, việc quản lý crawl budget là rất hợp lý. Nhưng nếu bạn có một website khiêm tốn, thì bạn không cần phải lo lắng quá nhiều về crawl budget.
Những phương pháp tối ưu dưới đây sẽ phù hợp hơn với các website có số lựong trang lớn (>1 triệu trang) hoặc trung bình (>10 nghìn trang). Phù hợp với các trang tin tức, các sàn thương lại điện tử có dữ liệu lớn và cập nhật, thay đổi thường xuyên.
#1. Cho phép thu thập thông tin các trang quan trọng của bạn trong Robots.Txt
Việc quản lý robots.txt có thể được thực hiện bằng tay hoặc sử dụng công cụ kiểm tra trang web. Chỉ cần thêm tệp robots.txt vào công cụ bạn chọn. Nó sẽ cho phép hoặc chặn thu thập thông tin bất kỳ trang nào trong miền của bạn. Sau đó, bạn chỉ cần tải lên một tài liệu đã chỉnh sửa.
Các ứng cử viên tốt nhất để chặn là các trang có nội dung trùng lặp, nhiều khu vực "đang hoàn thiện" trên trang web, các URL được tạo động, v.v.
(Robo.txt chặn Google bot index trang)
Rõ ràng là ai cũng có thể làm được điều đó bằng tay. Nhưng từ kinh nghiệm của bản thân, chúng tôi biết rằng với một trang web thực sự lớn, cần hiệu chỉnh thường xuyên, việc sử dụng công cụ sẽ trợ giúp bạn dễ dàng hơn nhiều.
#2. Chú ý đến các chuỗi chuyển hướng
Đây là một cách tiếp cận thông thường đối với tình trạng của một trang web. Tốt nhất là bạn nên tránh một chuỗi chuyển hướng đài đến trang web của mình. Nếu có một số lượng vô lý 301 và 302 chuyển hướng liên tiếp trên trang web của bạn. Các bot tìm kiếm sẽ dừng theo dõi các chuyển hướng tại một số điểm và trang đích có thể không được thu thập thông tin.
Mỗi URL được chuyển hướng là một sự phí phạm “đơn vị” ngân sách thu thập dữ liệu của bạn. Hãy chắc chắn rằng bạn sử dụng chuyển hướng không hơn hai lần liên tục và chỉ khi thực sự cần thiết.
#3. Quản lý tham số URL.
Các hệ thống quản lý nội dung phổ biến tạo ra rất nhiều URL động mà trên thực tiễn dẫn đến một và cùng một trang. Theo mặc định, các bot công cụ kiếm tìm sẽ coi các URL đây là các trang riêng biệt; do đó, bạn cũng đều có thể vừa lãng phí ngân sách thu thập dữ liệu của mình và, có khả năng, bị dính lỗi spam hoặc sao chép nội dung.
Việc cho Google biết về các thông số URL này sẽ giúp đôi bên cùng có lợi, tiết kiệm crawl budget của bạn, cũng như tránh gây lo ngại về các nội dung trùng lặp. Vì vậy, hãy chắc chắn thêm chúng vào tài khoản Google Search Console, trong Thu thập thông tin -> Thông số URL.
#4. Tìm và sửa lỗi HTTP status.
Về mặt kỹ thuật, các lỗi trang 404 và 410 gây suy giảm crawl budget của bạn. Và nếu điều đó chưa đủ tệ, chúng còn làm ảnh hưởng đến trải nghiệm người dùng của bạn! Đây chính là lý do tại sao việc sửa tất cả các mã trạng thái 4xx và 5xx thực sự là một đôi bên cùng có lợi.
Trong trường hợp này, việc sử dụng một công cụ để kiểm tra trang web là rất cần thiết. SE Ranking và Screaming Frog là một vài công cụ tuyệt vời mà các chuyên gia SEO sử dụng để kiểm tra trang web.
#5. Cập nhật sitemap
Một lần nữa, đôi bên cùng có lợi khi bạn chăm sóc sơ đồ trang XML. Các bot sẽ có thời gian hiểu rõ hơn, nhiều hơn về các liên kết nội bộ dẫn đến. Chỉ sử dụng các URL chuẩn cho sơ đồ trang web của bạn. Ngoài ra, đảm bảo rằng nó tương ứng với phiên bản robots.txt được tải lên mới nhất.
Nếu bạn điều hành một trang web lớn có nhiều phần phụ, sẽ rất hữu ích khi tạo một sơ đồ trang web riêng cho từng phần phụ. Điều này sẽ giúp quản lý lược đồ trang web của bạn đơn giản hơn và sẽ cho phép bạn mau chóng phát hiện nhiều khu vực của trang web nơi xảy ra sự cố thu thập dữ liệu.
(Những trang web đồ sộ nên có sitemap của từng phần riêng)
Ví dụ: bạn có thể lập một sơ đồ trang web cho bảng thảo luận, một sơ đồ trang web khác cho blog và thêm một lược đồ trang web để bao gồm các trang web chính. Đối với các trang web thương mại điện tử, nên tạo sơ đồ trang web riêng cho những danh mục mặt hàng lớn.
Hãy chắc chắn rằng mọi thứ trong sơ đồ trang web có thể được tìm thấy bởi các con nhện của Google nhé.
#6. Chú ý thẻ Hreflang
Để phân tích các trang được local hóa, trình thu thập thông tin sử dụng thẻ hreflang. Và bạn nên nói với Google về các trang được local hóa của bạn càng rõ ràng càng tốt.
Trước hết, sử dụng
trong tiêu đề trang của bạn. Trong đó “lang_code” là mã cho một ngôn ngữ được hỗ trợ.
Và bạn nên sử dụng phần tử cho bất kỳ URL nhất định nào. Bằng cách đó, bạn có thể trỏ đến các phiên bản được local hóa của một trang.
#7. Sử dụng RSS.
Từ những gì tôi quan sát được, nguồn cấp dữ liệu RSS là một trong số trang được truy cập hàng đầu bởi Google bot. Nếu một phần nhất định trên trang web của bạn thường được cập nhật (blog, trang mặt hàng nổi bật, phần mới đến), hãy đáp ứng tạo nguồn cấp RSS cho những nội dung đó và gửi nó đến Trình cấp dữ liệu của Google. Hãy nhớ giữ các nguồn cấp RSS không bị chặn lập chỉ mục hoặc các trang 404.
Kết luận
Nếu bạn đang tự hỏi, liệu tối ưu hóa crawl budget có quan trọng đối với trang web của bạn hay không. Thì câu trả lời rõ ràng là có. Crawl budget đã, đang và có thể sẽ là một điều quan trọng cần ghi nhớ đối với mọi chuyên gia SEO. Hy vọng rằng những mẹo này sẽ giúp bạn tối ưu hóa crawl budget của bạn và cải thiện hiệu suất SEO.
Trên đây là tất cả những kiến thức về crawl budget. Được tổng hợp từ kinh nghiệm của GHD Media và từ nhiều nguồn khác nhau với mong muốn đem đến cho bạn những kiến thức hữu ích nhất. Qua bài viết này chúng tôi hy vọng rằng bạn sẽ có cái nhìn tổng quan hơn crawl budget trong SEO cũng như tầm quan trọng của nó trong công việc của bạn.
Đừng quên chia sẻ bài viết hữu ích này cho mọi người nhé!
![[Updated] Tối Ưu SEO Onpage 2023 - Cẩm Nang SEO 2023 cho các Marketers](https://ghdmedia.com/uploads/2020/08/SEO-Onpage.jpg)
