Cloudflare Googlebot 403: Country Block Çözümü

Cloudflare Googlebot 403 hatasıyla karşılaştığımda önce basit bir erişim problemi sandım. Güvenlik kurallarının SEO botlarını yanlışlıkla engellemesi, Cloudflare kullanan sistemlerde en çok gözden kaçan sorunların başında gelir.

Benim yaşadığım olay da tam olarak buydu: Site Cloudflare arkasında, sadece Türkiye erişimine açık. Google Search Console'da bir anda "403 Forbidden" hataları düşmeye başladı.

---

Sistem Yapısı (Problem Öncesi Durum)

Mimari standarttı:

• DNS Cloudflare üzerinden yönetiliyor
• Origin IP gizli
• Sadece TR IP erişimine izin var
• Known Bots (cf.client.bot) bypass açık

Kural mantığı kabaca şöyleydi:

IF Country != TR -> Block
AND Known Bots = true -> Skip

İlk bakışta doğru görünen bu yapı, pratikte Googlebot için problem yaratıyordu.

---

Problem: Cloudflare Googlebot 403 ve Search Console Uyarıları

Bir süre sonra Search Console'da şu hatalar görünmeye başladı:

• Crawled – Currently Not Indexed
• Access denied (403)
• Fetch failed

İlk refleks genelde şudur: "Google botları neden engellensin ki?" Ama Cloudflare tarafında durum her zaman bu kadar basit değil.

---

İlk Yanılgı: Known Bots Her Şeyi Çözmez

Cloudflare Known Bots sistemi güçlüdür ama %100 anlık değildir.

Googlebot'un bazı yeni IP'leri henüz doğrulanmamış olabilir, Cloudflare bot listesine geç düşebilir ya da reverse DNS doğrulaması gecikebilir.

Sonuç: Googlebot geliyor ama Cloudflare onu "normal trafik" sanıp block kuralına sokuyor.

---

Asıl Problem: Geo Blocking + Bot Detection Çakışması

Kural şu şekilde olduğu için problem oluşuyordu:

Country != TR -> Block

Googlebot çoğu zaman Avrupa ve ABD IP'lerinden, dağıtık yapıda crawl yapar. Cloudflare perspektifinden bakıldığında Googlebot = TR dışı trafik. Sistem Googlebot'u normal kullanıcı sanıp engelliyor.

---

Yanlış Çözüm: User-Agent Whitelist Neden Güvensizdir

User-Agent contains Googlebot -> Allow

Bu yaklaşım tehlikelidir: User-Agent spoof edilebilir. Saldırgan "Googlebot" yazarsa bypass olur. Benzer nedenlerle sadece cf.client.bot = true kuralına güvenmek de yeterli değildir.

Reverse proxy güvenliği için daha fazlası: Reverse Proxy ve Origin IP Sızıntıları

---

Cloudflare Googlebot 403 Çözümü: ASN Bazlı Doğrulama

Google'ın resmi ağı AS15169 (Google LLC)'dir. Bu network'ten gelen tüm trafik Google'a aittir.

ALLOW IF ip.geoip.asnum == 15169

ASN bazlı doğrulamanın avantajı:

• User-Agent'a bağlı değildir — spoof edilemez
• Network seviyesinde doğrulama yapar
• Cloudflare Verified Bot altyapısıyla uyumlu çalışır

---

Production Kural Yapısı

Gerçek dünyada kullanılan mantık:

IF (Country != TR)
AND (NOT cf.client.bot)
AND (ip.geoip.asnum != 15169)
THEN Block

Bu yapı: Türkiye dışı kullanıcıları bloklar, Cloudflare Googlebot 403 sorununu ortadan kaldırır, spoof edilmiş UA'yı etkisiz kılar.

Nginx trafik yönetimi için: Nginx Rate Limiting ile Layer 7 DDoS Koruması

---

Debug Sürecinde Öğrenilen Ders

Güvenlik kuralları yazarken "insan" değil "sistem davranışı" düşünülmeli. Googlebot kullanıcı gibi davranmaz, farklı IP'ler kullanır, dağıtık çalışır ve her zaman "Known Bot" olarak görünmeyebilir.

---

Sonuç

Bu incident sonrası:

• User-Agent bazlı whitelist tamamen kaldırıldı
• ASN (AS15169) bazlı doğrulama eklendi
• Cloudflare bot detection'a güven artırıldı
• Geo blocking daha kontrollü hale getirildi

Cloudflare Googlebot 403 problemi genelde yanlış kural kombinasyonundan kaynaklanır. Çözüm: User-Agent değil ASN, cf.client.bot ile hibrit yaklaşım.

Linux sunucu güvenliği için: Linux Sunucu Güvenliği İçin 10 Kritik Ayar