Cloudflare lagi mengubah cara website menghadapi AI crawler. Kalau sebelumnya kita cenderung berpikir “allow bot” atau “block bot”, sekarang policy bisa dibedakan berdasarkan tujuan traffic-nya. Buat website yang tetap mau ditemukan lewat search tapi lebih ketat soal AI training, update ini cukup penting.
Cloudflare membagi tiga use case AI yang bisa dikontrol lebih jelas: Search untuk crawler yang membantu konten muncul di hasil pencarian, Agent untuk agent yang membuka halaman atas permintaan user, dan Training untuk crawler yang mengambil konten buat training atau fine-tuning model. Jadi, satu website nggak harus memakai keputusan yang sama untuk semua jenis traffic AI.
Untuk domain baru yang onboarding ke Cloudflare, kategori Training dan Agent diblokir secara default pada halaman yang menampilkan iklan, sedangkan Search tetap diizinkan. Ini penting buat publisher karena policy bot sekarang makin dekat dengan kebutuhan monetisasi dan discoverability, bukan cuma urusan security.
Masalahnya, ada crawler yang punya lebih dari satu fungsi. Cloudflare juga mengubah cara memperlakukan multi-purpose crawler: keputusan mengikuti seluruh behavior yang terdeteksi, dan policy yang paling restrictive bisa menang. Jadi kalau kita asal block Training, kita perlu cek apakah crawler yang sama juga dipakai untuk Search supaya indexing nggak kena efek samping.
Disallow lebih dekat ke pernyataan preference—misalnya lewat robots.txt atau mekanisme serupa. Block adalah enforcement di edge: request benar-benar dihentikan. Buat engineer, perbedaannya sederhana: kalau cuma bilang “tolong jangan dipakai untuk training”, itu belum tentu sama dengan benar-benar memblokir request.
Jangan berhenti di dashboard. Cek robots.txt aktual, lihat traffic bot, pantau search indexing, dan kalau punya logging yang cukup, bandingkan request crawler sebelum dan sesudah perubahan. Kalau discoverability turun setelah policy baru aktif, review dulu klasifikasi dan behavior bot sebelum menyalahkan search engine.
Mulai dari kebutuhan website: apakah harus tetap searchable, apakah agent boleh baca konten, dan apakah training boleh. Setelah itu baru tentukan policy per kategori, lalu verifikasi efeknya dari sisi traffic dan indexing.
Search -> Allow
Agent -> Review kebutuhan
Training -> Disallow atau Block
Setelah perubahan:
1. Cek robots.txt
2. Cek bot traffic
3. Cek indexing
4. Review false positiveBot management sekarang makin mirip policy berbasis intent. Pertanyaannya bukan cuma “ini bot atau bukan?”, tapi “bot ini datang buat apa?”. Itu berarti monitoring, logging, dan rule design harus ikut berkembang. Kalau semua automation dipukul rata, risiko false positive dan impact ke business bisa lebih besar.
Update ini bukan alasan buat langsung block semua AI traffic. Website dokumentasi, tutorial, atau publisher tetap punya kebutuhan discovery. Yang lebih masuk akal adalah pisahkan use case-nya, pilih policy sesuai tujuan, lalu ukur efeknya.