Botları, Örümcekleri, Arama Motorlarını Tespit Etmek

Arama motorları sitenizi indexlemek için arada sırada yada siteye göre sık sık olabilir. Gelip sitelerimizi kaydedeler. Gördükleri her linki takip ederler. Bir işim dolayısıyla arama motorlarını yok saymam gerekiyordu. Durmadan gelip giderek site verilerini karıştırmaya başladılar. Bende aşağıdaki botları tespit edebilen bir kod buldum. Kendime göre düzenleyip kullandım.

Kod fonksiyon ve kullanımından ibaret. Gayet basit inceleyin.

function detectBot($USER_AGENT) {
    $crawlers_agents = strtolower('Bloglines subscriber|Dumbot|Sosoimagespider|QihooBot|FAST-WebCrawler|Superdownloads Spiderman|LinkWalker|msnbot|ASPSeek|WebAlta Crawler|Lycos|FeedFetcher-Google|Yahoo|YoudaoBot|AdsBot-Google|Googlebot|Scooter|Gigabot|Charlotte|eStyle|AcioRobot|GeonaBot|msnbot-media|Baidu|CocoCrawler|Google|Charlotte t|Yahoo! Slurp China|Sogou web spider|YodaoBot|MSRBOT|AbachoBOT|Sogou head spider|AltaVista|IDBot|Sosospider|Yahoo! Slurp|Java VM|DotBot|LiteFinder|Yeti|Rambler|Scrubby|Baiduspider|accoona');
    $crawlers = explode("|", $crawlers_agents);
    if(is_array($crawlers)) {
        foreach($crawlers as $crawler) {
            if (strpos(strtolower($USER_AGENT), trim($crawler)) !== false) {
                return true;
            }
        }
    }
    return false;
}
 
//Fonksiyonun Kullanımı:
if(detectBot($_SERVER['HTTP_USER_AGENT'])) {
    // sen botsun
} else {
    // tamam bot değilsin
}

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir