- Crawling adalah proses perayap menemukan alamat halaman lalu mengunduh isinya — tahap pertama sebelum halaman bisa muncul di pencarian.
- Dirayapi tidak sama dengan diindeks. Halaman bisa dirayapi lalu tetap tidak dimasukkan ke indeks.
- Tautan adalah jalan utama penemuan. Halaman yang tidak ditaut dari mana pun sangat sulit ditemukan.
- Penyebab tersering halaman tidak dirayapi: diblokir robots.txt, tidak punya tautan masuk, atau server yang lambat dan sering gagal.
- Yang memantau ini Search Console, lewat laporan statistik perayapan dan pemeriksaan URL.
Apa Itu Crawling
Crawling adalah proses perangkat lunak mesin pencari menemukan alamat halaman web, lalu mengunduh isinya untuk diproses lebih lanjut.
Perangkat lunaknya disebut perayap — pada Google namanya Googlebot. Ia bekerja terus-menerus, berpindah dari satu halaman ke halaman lain lewat tautan, dan mengunduh apa yang ditemukannya.
Yang perlu dipisahkan sejak awal: crawling bukan indexing. Crawling hanya berarti halaman itu ditemukan dan diunduh. Apakah isinya lalu disimpan dan dianggap layak muncul di pencarian — itu keputusan di tahap berikutnya, dan halaman yang sudah dirayapi tetap bisa tidak diindeks.
Tahap setelahnya dibahas di indexing, termasuk alasan halaman yang sudah dirayapi belum tentu masuk hasil pencarian.
Bagaimana Perayap Menemukan Halaman
- Mengikuti tautan dari halaman yang sudah dikenalnya. Ini jalur utama, dan alasan tautan internal punya peran yang jauh lebih besar daripada yang biasa diasumsikan.
- Membaca sitemap yang disediakan pemilik situs.
- Menerima pengiriman langsung lewat Search Console atau protokol seperti IndexNow.
- Mengunjungi ulang halaman yang sudah dikenal, dengan frekuensi yang ditentukan sendiri berdasarkan seberapa sering isinya berubah.
Jalur pertama yang paling menentukan. Halaman yang tidak ditaut dari mana pun di situs Anda sendiri — sering disebut halaman yatim — praktis hanya bisa ditemukan lewat sitemap, dan itu jalur yang jauh lebih lemah.
Sitemap website tetap berguna sebagai jalur tambahan, terutama untuk memastikan halaman baru dan yang tautan masuknya sedikit tetap terdaftar.
Apa yang Menghambat Crawling
- Diblokir di robots.txt. Penyebab paling sering, dan sering tidak disengaja — aturan yang ditulis untuk satu folder ikut menutup yang lain.
- Tidak ada tautan masuk dari mana pun di situs.
- Server lambat atau sering gagal. Google mengurangi kecepatan perayapan kalau situsnya terlihat kewalahan, dan itu menurunkan jumlah halaman yang sempat dirayapi.
- Rantai pengalihan yang bertingkat, yang memakan kunjungan tanpa menghasilkan halaman baru.
- Halaman yang hanya bisa dicapai lewat kotak pencarian di dalam situs. Perayap tidak mengisi kotak pencarian.
- Navigasi yang sepenuhnya bergantung pada JavaScript tanpa tautan biasa di HTML.
- Ruang URL tak terbatas dari kombinasi filter dan parameter, yang menghabiskan kunjungan pada halaman yang nyaris identik.
Untuk situs yang ukurannya besar, pemborosan semacam ini berkembang menjadi masalah crawl budget, bukan sekadar satu halaman yang terlambat dirayapi.
Perbedaan dengan Web Scraping
Keduanya sama-sama mengunduh halaman secara otomatis, tapi tujuannya berbeda dan perlakuannya juga:
- Crawling dilakukan mesin pencari untuk menemukan dan memahami halaman, mematuhi robots.txt, dan mengatur kecepatannya agar tidak membebani situs.
- Scraping dilakukan untuk mengambil data tertentu dari halaman. Tidak semuanya mematuhi robots.txt, dan sebagian mengabaikan batas kecepatan.
Pembedaan ini berguna saat memeriksa catatan server: lonjakan permintaan belum tentu dari mesin pencari.
Cara Memeriksa Apakah Halaman Dirayapi
- Buka laporan statistik perayapan di Search Console untuk melihat berapa banyak permintaan yang diterima situs, waktu responsnya, dan kode status yang dikembalikan.
- Pakai pemeriksaan URL untuk satu halaman — ia menunjukkan kapan terakhir dirayapi dan apa yang dilihat Google.
- Periksa catatan server kalau tersedia. Ini satu-satunya sumber yang menunjukkan kunjungan perayap secara utuh, termasuk halaman yang tidak dilaporkan di tempat lain.
- Rayapi situs sendiri dengan crawler untuk menemukan halaman yatim dan rantai pengalihan.
Cara Memudahkan Perayapan
- Tautkan halaman penting dari dalam situs sendiri, dan pastikan tidak ada yang butuh lebih dari tiga klik dari beranda.
- Sediakan sitemap yang mutakhir dan hanya berisi halaman yang memang ingin diindeks.
- Pakai tautan HTML biasa untuk navigasi, bukan hanya elemen yang dijalankan skrip.
- Perbaiki kecepatan dan kestabilan server, karena keduanya langsung memengaruhi berapa banyak yang sempat dirayapi.
- Bersihkan rantai pengalihan menjadi satu langkah.
- Batasi URL hasil penyaringan yang melahirkan kombinasi tak terbatas.
Pertanyaan Umum Seputar Crawling
Berapa lama halaman baru dirayapi?
Beberapa jam sampai beberapa minggu, tergantung seberapa sering situs itu dikunjungi perayap. Situs yang rutin memperbarui isinya dirayapi jauh lebih sering.
Apakah halaman yang sudah dirayapi pasti muncul di pencarian?
Tidak. Dirayapi hanya berarti ditemukan dan diunduh. Keputusan memasukkannya ke indeks terjadi di tahap berikutnya.
Apakah memblokir halaman di robots.txt membuatnya hilang dari pencarian?
Tidak. Google menyatakan halaman yang diblokir robots.txt masih bisa terindeks kalau ditaut dari situs lain. Untuk benar-benar menahannya, yang dipakai adalah tag noindex.