Crawl Budget: Untuk Siapa Ini Relevan dan Apa yang Benar-Benar Membantu

Situs Anda Mungkin Tidak Perlu Memikirkan Ini

Google menyebutkan secara spesifik situs mana yang perlu mengurus crawl budget, dan sebagian besar situs tidak termasuk.

Tiga kelompok yang disebutkan:

1. Situs besar dengan lebih dari 1 juta halaman unik, yang isinya berubah dalam hitungan minggu.
2. Situs menengah ke atas dengan lebih dari 10 ribu halaman, yang isinya berubah dalam hitungan hari.
3. Situs dengan banyak URL berstatus “Ditemukan — saat ini tidak diindeks” di Search Console.

Kalau situs Anda punya dua ratus halaman dan menerbitkan artikel seminggu sekali, waktu Anda jauh lebih berharga dipakai di tempat lain. Halaman ini ditulis untuk yang memang masuk salah satu dari tiga kelompok itu.

Dua Hal yang Menentukannya

Crawl budget bukan satu angka, melainkan hasil dari dua hal yang bekerja bersamaan:

• Batas kapasitas perayapan — berapa banyak koneksi yang bersedia dipakai Google tanpa membebani server Anda. Angkanya menyesuaikan diri: server yang cepat dan stabil membuatnya naik, server yang lambat atau sering gagal membuatnya turun.
• Permintaan perayapan — seberapa besar kebutuhan Google mengunjungi halaman Anda, ditentukan oleh ukuran situs, frekuensi pembaruan, mutu halaman, dan relevansinya dibanding situs lain.

Perbedaan ini penting untuk mendiagnosis. Kalau masalahnya di kapasitas, yang diperbaiki server. Kalau masalahnya di permintaan, yang diperbaiki mutu dan relevansi isinya — dan itu pekerjaan yang sama sekali berbeda.

Dasar prosesnya tetap crawling; crawl budget hanya menjadi pertimbangan ketika jumlah URL dan frekuensi perubahan sudah cukup besar.

Penyebab Pemborosan yang Paling Umum

• Ruang URL tak terbatas dari kombinasi filter, pengurutan, dan parameter. Ini penyebab terbesar di toko online.
• Halaman kembar yang isinya nyaris sama di banyak alamat berbeda.
• Soft 404 — halaman yang menampilkan pesan “tidak ditemukan” tapi mengembalikan kode 200.
• Rantai pengalihan bertingkat, yang memakan beberapa kunjungan untuk satu halaman tujuan.
• Halaman bermutu rendah dalam jumlah besar, yang menurunkan minat perayapan pada situs secara keseluruhan.
• Server lambat, yang langsung menurunkan batas kapasitas.

Rantai pengalihan dan soft 404 sebaiknya dipetakan lewat audit redirect, supaya pembersihannya tidak hanya berdasarkan dugaan.

Yang Membantu Menurut Google

1. Satukan halaman kembar, supaya kunjungan perayap tidak terpakai untuk isi yang sama berkali-kali.
2. Blokir URL yang tidak penting lewat robots.txt — terutama ruang URL hasil penyaringan.
3. Kembalikan kode 404 atau 410 untuk halaman yang sudah dihapus, bukan mengalihkannya ke beranda.
4. Hilangkan soft 404.
5. Jaga sitemap tetap mutakhir, dan sertakan tanggal perubahan yang akurat.
6. Hindari rantai pengalihan.
7. Percepat waktu muat halaman, karena ini langsung menaikkan berapa banyak yang sempat dirayapi.
8. Dukung caching lewat HTTP 304, supaya halaman yang tidak berubah tidak perlu diunduh ulang.

Robots.txt dapat dipakai untuk membatasi ruang URL yang memang tidak penting, tetapi bukan untuk memindahkan kapasitas sementara ke halaman lain.

Yang Tidak Membantu

Bagian ini yang paling sering keliru dijalankan, dan Google menyebutkannya secara khusus:

• Memakai noindex untuk menghemat crawl budget. Halaman bertag noindex tetap harus dirayapi supaya tagnya terbaca — jadi ia justru memakai kunjungan, bukan menghematnya.
• Memblokir sementara lewat robots.txt untuk memindahkan kapasitas ke halaman lain. Robots.txt memblokir secara permanen; ia bukan alat pengatur sementara.
• Berharap kapasitas yang dibebaskan langsung berpindah ke halaman lain. Perpindahan itu hanya terjadi kalau batas kapasitasnya memang sudah tercapai.

Tiga hal ini sering muncul di daftar audit yang beredar, dan mengerjakannya menghabiskan waktu tanpa hasil.

Cara Memeriksanya

1. Buka laporan statistik perayapan di Search Console — berapa permintaan per hari, waktu respons rata-rata, dan sebaran kode statusnya.
2. Perhatikan sebaran kode status. Porsi besar 301, 404, atau 5xx berarti banyak kunjungan yang tidak menghasilkan halaman baru.
3. Perhatikan waktu respons. Kalau naik sementara jumlah permintaan turun, batas kapasitasnya sedang tertekan.
4. Bandingkan jumlah halaman yang ada dengan yang terindeks. Selisih besar menunjuk masalah penemuan atau mutu.
5. Periksa catatan server untuk melihat halaman mana yang sebenarnya paling banyak dirayapi. Sering kali jawabannya mengejutkan.

Pertanyaan Umum Seputar Crawl Budget

Bagaimana tahu situs saya kena masalah crawl budget?

Tanda paling jelas: banyak halaman berstatus “Ditemukan — saat ini tidak diindeks” sementara halaman-halaman itu memang layak ada di indeks.

Apakah menambah kecepatan situs menaikkan crawl budget?

Menaikkan batas kapasitasnya, ya — server yang merespons lebih cepat memungkinkan lebih banyak halaman dirayapi dalam waktu yang sama. Yang tidak berubah otomatis adalah permintaan perayapannya.

Apakah situs kecil perlu mengurus ini?

Tidak. Untuk situs di bawah beberapa ribu halaman, hampir semua masalah pengindeksan berasal dari penemuan atau mutu isi, bukan dari kapasitas perayapan.