Skip to main content

Generator Robots.txt — Template WordPress, WooCommerce, Shopify, Astro, Next.js + Block AI Crawlers

Generate file robots.txt valid dengan 6 preset platform (WordPress, WooCommerce, Shopify, Astro, Next.js, Custom) + toggle 1-klik block AI crawlers (GPTBot, ClaudeBot, Perplexity, 11 user-agent total). Penjelasan Bahasa Indonesia tiap rule. 100% di browser.

Semua proses 100% di browser Anda. File tidak pernah di-upload ke server kami.

Platform preset (pilih platform website Anda)
Auto-include jadi baris Sitemap: di akhir file — best practice supaya crawler langsung tahu lokasi sitemap
Rules Disallow (11)
Uncheck untuk skip rule
Rules Allow (1)
Custom rules
Belum ada custom rule — tambah pakai tombol di atas kalau perlu
Jeda antar request crawl. Google ignore directive ini — atur lewat Search Console kalau buat Google. Bing/Yandex respect.
🛒

Toko online (WooCommerce/Shopify)

Block halaman cart, checkout, account, dan filter parameter yang bikin duplicate content di index Google.

📰

Publisher & content site

Block AI crawlers supaya artikel Anda nggak dipakai training LLM kompetitor — tetap crawlable di Google untuk SEO.

🚀

Static site (Astro/Next.js)

Template minimalis — block API routes + admin kalau pakai CMS integration, selain itu biarkan semua crawlable.

// tool lain yang relevan

Lanjutkan optimasi dengan tool ini

Setelah selesai di sini, tool-tool berikut sering dipakai bareng untuk hasil SEO yang lebih lengkap.

Generator Hreflang

Kalau website multibahasa, tambah hreflang tag untuk target SEO ID + EN.

Sitemap XML Generator

Generate sitemap.xml yang dirujuk di robots.txt dari list URL Anda.

Generator Schema Markup

Setup schema markup JSON-LD untuk rich result di halaman yang diizinkan crawler.

// pertanyaan umum

FAQ tentang tool ini

Di mana harus upload file robots.txt supaya terbaca Google?
robots.txt WAJIB di root domain — contohnya https://domain-anda.com/robots.txt (bukan di subfolder /blog/robots.txt atau /public/robots.txt). Setelah upload, test buka URL tersebut di browser — kalau isinya muncul, Google akan baca. Untuk verifikasi resmi, pakai robots.txt Tester di Google Search Console.

Apakah Disallow: /admin/ beneran memproteksi halaman admin dari hacker?
TIDAK. robots.txt itu directive untuk crawler yang SOPAN (Googlebot, Bingbot) — hacker dan bot jahat akan mengabaikannya, bahkan kadang robots.txt malah jadi PETA untuk nyari path sensitif. Proteksi beneran harus lewat authentication (login wajib), rate-limiting, dan .htaccess / firewall rules. robots.txt cuma buat SEO (nggak ke-index di search), bukan keamanan.

Apa bedanya Disallow vs noindex meta tag?
Disallow di robots.txt = larang crawler MENG-CRAWL halaman (tapi URL-nya masih bisa muncul di SERP kalau ada backlink). noindex meta tag = larang Google meng-INDEX halaman (halaman tetap di-crawl dulu biar Google baca tag noindex-nya). Kalau mau HILANG TOTAL dari SERP: pakai noindex, jangan Disallow. Kalau Disallow halaman yang sudah ter-index, halaman tetap nongol di SERP tapi tanpa snippet — justru lebih jelek.

Kapan saya harus block AI crawlers (GPTBot, ClaudeBot, dll)?
Block AI crawlers cocok kalau: (1) konten Anda adalah competitive moat / unique research yang nggak mau dipakai training LLM kompetitor, (2) Anda publisher yang khawatir konten dipakai generate AI content tanpa attribution, (3) bisnis model Anda jual data/konten premium. JANGAN block kalau: Anda mau konten Anda ter-cite di ChatGPT/Claude/Perplexity (butuh tetap crawlable). Toggle ini tidak affect Googlebot — SERP tetap normal. Google-Extended cuma stop training Bard/Gemini, tidak stop Google index.

Kenapa Crawl-delay tidak berfungsi di Google?
Google secara resmi ignore directive Crawl-delay — mereka atur crawl rate lewat algoritma internal berdasarkan server health. Kalau crawl rate Google bikin server overload, atur lewat Google Search Console → Settings → Crawl rate. Crawl-delay masih respect oleh Bingbot, Yandexbot, dan kebanyakan crawler lain (dalam detik). Di tool ini, kalau Anda set Crawl-delay untuk User-agent yang include Googlebot, akan muncul warning sebagai reminder.

Butuh bantuan SEO menyeluruh?

Tools ini gratis untuk siapa saja. Kalau Anda butuh strategi SEO yang terukur dan result-driven untuk bisnis, tim Roofel siap bantu.

Konsultasi SEO Profesional →