Robots.txt: Fungsinya, Batasannya, dan Cara Mengatur AI Crawler

Apa Itu Robots.txt

Robots.txt adalah berkas teks di akar domain yang memberi tahu perayap alamat mana yang boleh diakses di situs Anda.

Google menyatakan fungsinya terutama untuk menghindari situs kebanjiran permintaan — bukan sebagai cara menyembunyikan halaman dari hasil pencarian. Perbedaan itu yang paling sering salah dipahami, dan akibatnya mahal.

Letaknya selalu di https://situsanda.com/robots.txt. Berkas di tempat lain tidak akan dibaca.

Robots.txt berada di tahap crawling: ia menentukan apakah perayap bisa mengambil halaman, bukan apakah halaman tersebut layak disimpan dalam indeks.

Batasan yang Paling Sering Disalahpahami

Halaman yang diblokir robots.txt masih bisa muncul di hasil pencarian. Google menyatakan ini secara langsung: halaman yang dilarang di robots.txt tetap bisa terindeks kalau ditaut dari situs lain — alamatnya, dan kadang teks tautan yang menunjuk ke sana, tetap bisa tampil.

Yang terjadi justru lebih buruk daripada tidak memblokir sama sekali: Google tahu halaman itu ada, tapi tidak boleh membacanya, sehingga tidak bisa melihat tag noindex yang mungkin Anda pasang di dalamnya.

Kalau tujuannya benar-benar menahan halaman dari hasil pencarian, Google menyebutkan tiga cara:

1. Tag noindex di meta robots atau di header respons — dan halamannya harus boleh dirayapi supaya tagnya terbaca.
2. Perlindungan kata sandi di tingkat server.
3. Menghapus halamannya sama sekali.

Catatan lain: robots.txt bersifat anjuran. Tidak semua perayap mematuhinya.

Direktif yang Berlaku

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*?filter=
Sitemap: https://situsanda.com/sitemap.xml

• User-agent — menentukan aturan berikutnya berlaku untuk perayap mana. Tanda bintang berarti semua.
• Disallow — jalur yang tidak boleh diakses.
• Allow — pengecualian di dalam jalur yang diblokir.
• Sitemap — alamat sitemap. Boleh lebih dari satu baris.

Baris ini mengarahkan perayap ke sitemap XML, yang membantu penemuan halaman tanpa menggantikan tautan internal.

Aturan yang lebih spesifik menang atas yang lebih umum, terlepas dari urutannya. Dan blok User-agent yang cocok dengan nama perayap tertentu membuat perayap itu mengabaikan seluruh blok umum — sumber kesalahan yang sering terjadi saat menambahkan aturan khusus.

Mengatur AI Crawler

Perayap yang mengumpulkan data untuk model bahasa memakai nama tersendiri, dan bisa diatur terpisah dari perayap pencarian.

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

Beberapa hal yang perlu dipahami sebelum memutuskan:

• Google-Extended tidak memengaruhi peringkat di Google Search. Ia mengatur pemakaian isi situs untuk melatih model, bukan perayapan untuk pencarian.
• Memblokir perayap AI bisa mengurangi kemunculan Anda di jawaban yang disusun mesin generatif — dan bagi sebagian situs, itu saluran yang justru sedang tumbuh.
• Tidak semua perayap AI mematuhi robots.txt, jadi ini bukan perlindungan yang bisa diandalkan.
• Keputusannya berbeda per jenis situs. Penerbit yang isinya adalah produknya punya pertimbangan berbeda dari bisnis jasa yang justru ingin disebut.

Kesalahan yang Sering Terjadi

• Disallow: / tertinggal dari masa pengembangan. Satu baris ini menutup seluruh situs, dan ini penyebab paling mahal di daftar mana pun.
• Memblokir berkas CSS dan JavaScript yang dibutuhkan untuk merender halaman, sehingga Google melihat halaman yang rusak.
• Memakai robots.txt untuk menyembunyikan halaman sensitif. Berkasnya publik — siapa pun bisa membacanya, dan daftar itu justru jadi petunjuk.
• Menambah blok User-agent khusus tanpa menyadari perayap itu jadi mengabaikan aturan umum.
• Memblokir halaman yang sudah bertag noindex, sehingga tagnya tidak pernah terbaca dan halamannya tetap bertahan di indeks.

Cara Memeriksanya

1. Buka situsanda.com/robots.txt langsung di peramban. Ini pemeriksaan pertama, dan sering langsung menemukan masalah.
2. Pakai laporan robots.txt di Search Console untuk melihat versi yang benar-benar dibaca Google dan kapan terakhir diambil.
3. Uji satu alamat lewat pemeriksaan URL untuk memastikan tidak terblokir tanpa disengaja.
4. Periksa ulang setiap kali pindah platform atau ganti tema, karena berkas ini sering dihasilkan otomatis dan tertimpa.

Pertanyaan Umum Seputar Robots.txt

Apakah setiap situs wajib punya robots.txt?

Tidak wajib. Situs tanpa berkas ini tetap dirayapi seluruhnya. Ia berguna kalau ada bagian yang memang tidak perlu dirayapi, atau untuk mencantumkan alamat sitemap.

Apakah memblokir halaman menghemat crawl budget?

Untuk situs besar bisa membantu, tapi Google mencatat bahwa robots.txt memblokir secara permanen — bukan cara memindahkan kapasitas perayapan sementara. Untuk situs kecil, ini bukan hal yang perlu dipikirkan.

Bagaimana kalau ingin halaman tidak muncul di pencarian?

Pakai tag noindex, dan biarkan halamannya boleh dirayapi. Memblokirnya di robots.txt justru membuat tag itu tidak pernah terbaca.

Alasannya ada di proses indexing: Google hanya bisa mematuhi noindex setelah halaman berhasil diakses dan dianalisis.