Bayangkan sebuah blog kuliner di Yogyakarta—dikelola seorang ibu rumah tangga yang rajin menulis resep rendang versi keluarganya sejak 2017. Suatu hari, ia membuka Google Search Console dan melihat lalu lintas bot dari nama-nama seperti 'GPTBot', 'CCBot', atau 'anthropic-ai' naik tiga kali lipat dalam sebulan. Ia tak tahu apa artinya—hingga suatu pagi, anaknya menunjukkan bahwa resep rendang itu muncul utuh di antara output chatbot asing tanpa atribusi.
Siapa yang Kini Pegang Tombol 'Stop' untuk Data Web?
Cloudflare baru saja meluncurkan fitur baru: kemampuan memblokir secara granular semua bot web crawler yang diketahui melayani perusahaan AI. Fitur ini tidak hanya daftar hitam—melainkan integrasi langsung ke robots.txt dan sistem manajemen firewall Cloudflare, sehingga pemilik situs bisa memilih apakah akan mengizinkan, membatasi, atau sepenuhnya menolak akses bot seperti 'Google-Extended', 'Diffbot', atau 'PerplexityBot'. Tidak perlu kode khusus; cukup centang opsi di dashboard.
Dilansir Engadget, langkah ini merupakan respons langsung terhadap tekanan hukum dan etis global—terutama setelah gugatan kolektif penulis AS terhadap OpenAI dan Microsoft pada 2023, serta putusan pengadilan Prancis yang mewajibkan transparansi penggunaan konten jurnalistik oleh model bahasa. Cloudflare tidak lagi berperan netral sebagai 'jalan tol digital'; ia kini menyediakan jalur keluar bagi pemilik konten kecil yang selama ini tak punya daya tawar.
Baca juga: Mosseri Klaim Tak Tahu Data Keselamatan Remaja Dibatasi
Apa yang Hilang dari Daftar Bot yang Diblokir?
daftar bot yang didukung Cloudflare belum mencakup semua aktor utama. Misalnya, bot resmi dari Alibaba Cloud ('TongyiBot') dan Baidu ('Baiduspider-AI') belum masuk dalam database resmi Cloudflare per April 2024. Begitu pula bot dari perusahaan lokal Indonesia seperti Tokopedia atau Gojek—yang sedang mengembangkan model bahasa internal—tidak termasuk dalam kategori otomatis yang diblokir. Artinya, fitur ini lebih bersifat 'proteksi terhadap AI global', bukan perlindungan menyeluruh terhadap eksploitasi data lokal.
Cloudflare tetap membiarkan bot pencari konvensional seperti Googlebot dan Bingbot beroperasi normal. Ini menegaskan prioritasnya: bukan membatasi indeksasi mesin pencari, tapi juga memisahkan fungsi 'menemukan konten' dari 'mengambil konten untuk pelatihan model'. Perbedaan teknis ini penting—karena bot pencari hanya mengambil metadata dan cuplikan kecil, sementara bot pelatihan AI sering mengunduh seluruh halaman, termasuk komentar pembaca, caption gambar, dan struktur HTML lengkap.
Baca juga: Komposter Dapur AI: Uji Coba 2 Tahun dan Realitas di Rumah Jakarta
Bagi pengembang startup AI di Bandung atau Surabaya, kebijakan ini memaksa perubahan strategi. Mereka tidak bisa lagi mengandalkan crawling massal dari domain.id tanpa izin eksplisit. Sejumlah developer mengaku mulai beralih ke kerja sama langsung dengan media lokal—seperti menggandeng portal berita Jawa Timur untuk lisensi data berbasis API, bukan scraping. Ini memang lebih mahal, tapi mengurangi risiko tuntutan hukum dan meningkatkan kualitas data pelatihan.
Di Indonesia, dampaknya nyata namun belum terukur secara luas. Menurut catatan Asosiasi Penyedia Layanan Internet (APJII), jumlah situs lokal yang menggunakan Cloudflare mencapai 42% dari total website berbasis CMS—terutama UMKM dan media daring skala menengah. Namun, tingkat adopsi fitur baru ini masih rendah: kurang dari 7% dari pengguna Cloudflare di Tanah Air yang telah mengaktifkan filter bot AI, berdasarkan survei internal yang dilakukan oleh Komunitas DevOps Indonesia pada Maret 2024. Alasannya sederhana: banyak pemilik situs belum tahu fitur ini ada, apalagi cara menggunakannya.
Rangkuman dampak langsung dari kebijakan Cloudflare ini jelas: pertama, pemilik situs kecil—mulai dari blogger hingga redaksi lokal—kini punya kendali teknis nyata atas penggunaan kontennya oleh model bahasa global. Kedua, perusahaan AI dalam negeri harus membangun infrastruktur akuisisi data yang lebih etis dan kolaboratif, bukan bergantung pada crawling otomatis. Ketiga, regulasi seperti UU Perlindungan Data Pribadi (UU No. 27/2022) kini punya pendukung teknis konkret; bukan hanya norma abstrak. Dan keempat, praktik 'copy-paste digital' tanpa izin mulai kehilangan landasan teknisnya.