TR
Hemen başlayın

Sözlük

Kazıma ve otomasyon

Web tarayıcı robotu

İçerik keşfetmek ve çekmek için sayfadan sayfaya bağlantıları izleyen program; büyük ölçekli kazımanın altındaki gezinme motoru.

Bir tarayıcı (crawler) keşfeder; bir kazıyıcı çıkarır. Crawler bazı başlangıç URL'lerinden başlar ve bulduğu bağlantıları sayfadan sayfaya izleyerek bir sitenin veya web'in bir diliminin haritasını çıkarır. Kazıma, getirdiği sayfalarla yaptığınız şeydir. İkisi genellikle birlikte çalışır, kelimelerin bulanıklaşmasının nedeni budur; bir sonraki adımda nereye gidileceğine karar veren kısım özellikle crawler'dır.

Herhangi bir ölçekte taramak, kazımayla aynı duvara çarpar: tek bir adresten hızla gelen çok sayıda istek kısıtlanır veya engellenir. Binlerce bağlantıyı izleyen bir crawler'ın bu istekleri bir havuza yayması gerekir; aksi hâlde ilk yoğun alan adında kendini boğar.

İyi davranan crawler'lar bir sitenin onlar için yayımladığı kurallara da uyar; bu bir nezaket olduğu kadar pratik bir meseledir: onları görmezden gelmek bir adresin işaretlenmesine yol açan davranışlardan biridir.

Taramadaki zor problemler neyin getirileceğine karar vermek ve ne zaman durulacağını bilmektir; sayfaları getirmek kolay kısımdır. Gördüğü her bağlantıyı izleyen saf bir crawler aynı içeriğe farklı URL'ler üzerinden tekrar tekrar uğrar; gelecekteki her tarih için yeni bir sayfa üreten takvimler gibi sonsuz alanlara dalar; tek bir listeyi binlerce neredeyse aynı URL'ye çoğaltan filtre ve sıralama parametrelerini izler ve dışarı giden bağlantılarla siteden tamamen uzaklaşır.

Bu yüzden önemli olan mekanizma kayıt tutmaktır. Parametreleri yeniden sıralanmış bir URL'nin aynı sayfa olarak tanınması için zaten görülmüş olanın normalleştirilmiş bir kaydı. Hangi alan adlarının ve yolların kapsam içinde olduğuna dair açık kurallar. Bir derinlik sınırı. Ve nezaket: tek bir ana bilgisayara yapılan istekler arasında bir gecikme ve ona aynı anda kaç istek yapacağınıza bir üst sınır, çünkü tek bir alan adını döven bir crawler, niyeti ne olursa olsun bir saldırıdan ayırt edilemez.

Bal küpleri, crawler'ların düştüğü özel tuzaktır ve bir crawler'ı iyi yapan titizliği tam olarak istismar eder. CSS ile gizlenmiş bir bağlantı veya robots.txt'de izin verilmeyen bir yol hiçbir insanın talep etmeyeceği bir şeydir; bu yüzden onu talep eden her şey kendini ele vermiş olur. Bulduğunuz her bağlantıyı izlemek tam olarak gözetlenen davranıştır; sayfayı işleyip yalnızca gerçekten erişilebilir olanı izlemenin, ham işaretlemeyi ayrıştırıp içindeki her şeyi izlemekten daha iyi olmasının nedeni budur.

Kazıyıcıdan farkını net tutmaya değer, çünkü neyi optimize ettiğinizi değiştirir. Bir crawler'ın işi kapsamdır: çoğaltmadan veya döngüye girmeden her şeyi bulmak. Bir kazıyıcının işi çıkarmadır: düzenler değiştikçe alanları bir sayfadan güvenilir şekilde almak. Çoğu proje ikisine de ihtiyaç duyar ve ikisi tamamen farklı şekillerde başarısız olur.

Sık sorulan sorular

Crawler ile kazıyıcı arasındaki fark nedir?

Crawler keşfeder, kazıyıcı çıkarır. Crawler bağlantıları izleyerek ve zaten gördüklerini yöneterek bir sonraki hangi URL'lerin getirileceğine karar verir; kazıyıcı getirilen her şeyden istediğiniz alanları çeker. Çoğu proje ikisini birlikte çalıştırır ve farklı şekillerde başarısız olurlar: crawler'lar döngüye girerek veya kapsamı kaçırarak, kazıyıcılar bir düzen değiştiğinde.

Crawler'ımın döngüye takılmasını nasıl önlerim?

URL'leri kaydetmeden önce normalleştirin; böylece yeniden sıralanmış sorgu parametreleri veya sondaki eğik çizgiler yeni sayfa gibi okunmaz ve her adayı zaten gördüklerinizle karşılaştırın. Bir derinlik sınırı ve hangi alan adlarının ve yolların kapsam içinde olduğuna dair açık kurallar ekleyin. Sınırlı içerikten sınırsız geçerli URL üreten takvimler ve çok yönlü filtreler gibi sonsuz alanlara dikkat edin.

Bir crawler ne kadar hızlı gitmeli?

Gidebileceğinden daha yavaş. Aynı ana bilgisayara yapılan istekler arasında gecikme koyun ve alan adı başına eşzamanlılığı sınırlayın, çünkü tek bir siteyi doyuran bir crawler niyetiniz ne olursa olsun bir saldırıdan ayırt edilemez. robots.txt bir tarama gecikmesi belirtiyorsa ona uyun. Yükü tek bir ana bilgisayarı tüketmek yerine birçoğuna yaymak hem genel olarak daha hızlıdır hem de engellenme olasılığı çok daha düşüktür.

Kibar davrandığı hâlde crawler'ım neden engellendi?

Tempodaki nezaket sizi bir bal küpüne takılmaktan korumaz. İşaretlemedeki her bağlantıyı, CSS ile gizlenmiş veya robots.txt'de izin verilmemiş olanlar dahil izlemek, otomasyonu ele veren davranışın ta kendisidir; istek hızının bununla ilgisi yoktu. HTML'nin içerdiği her şey yerine işlenmiş bir sayfada gerçekten erişilebilir olanı izleyin.

Geri dön: sözlüğün tamamı.

HProxy.

Tanımlar sizi ancak bir yere kadar götürür. Çalıştır ve gerçek hedefler.

Konut proxy'leri GB başına 0,23 $ itibarıyla, kullandıkça ödeyin, bakiyenin süresi asla dolmaz.

HProxy