TR
Hemen başlayın

Web kazıma için proxy'ler. Engellenmemek için tasarlandı.

Kazıma her şeyden önce tek bir nedenle başarısız olur: tek bir adresten çok fazla istek. Dönen konut IP'leri yükü yayar, böylece bir tarama tek bir ziyaretçi yerine birçok ziyaretçi gibi görünür ve engellenmek yerine tamamlanır.

Hemen başlayınRehberi okuyun

Uygun olanlar

Uygun 3 ürün, en iyisi önce

KonutWeb kazıma için önerilen

200'den fazla ülkede gerçek cihaz IP'leri

  • Dönen veya sabit oturumlar
  • Premium'da eyalet, şehir ve ISP hedefleme
  • GB başına ödeyin, bakiyenin süresi asla dolmaz
  • HTTP ve SOCKS5

Başlangıç

0,23 $/ GB

Hemen başlayın

Web Kazıyıcılar

Tek REST çağrısıyla yapılandırılmış JSON

  • Proxy'ler, yeniden denemeler ve ayrıştırma halledilir
  • Engellenen veya hata veren çağrılar faturalandırılmaz
  • Bakiyenizden çağrı başına ödeyin
  • Abonelik yok, aylık minimum yok

Başlangıç

1,49 $/ 1.000 çağrı

Hemen başlayın

Veri merkezi

IPv4 ve IPv6

  • Süre boyunca size ayrılmış
  • Sınırsız bant genişliği
  • 1 Gbps'ye kadar port hızı
  • HTTP, HTTPS ve SOCKS5

Başlangıç

0,10 $/ IP

Hemen başlayın
Konut proxy'leri
Kazımanın iş atı: sitelerin saydığı sınırların altında her tek adresi tutan, GB başına faturalandırılan, gerçek ev IP'lerinden oluşan dönen bir havuz.
Kazıyıcı API
Elinizi sürmeden seçenek: içeri bir URL, dışarı temiz veri; proxy rotasyonu, yeniden denemeler ve engel aşma halledilir, böylece bot karşıtı silahlanma yarışını tamamen atlarsınız.
Veri merkezi proxy'leri
Ağa göre tarama yapmayan siteler, kendi hizmetinizin yük testi veya hiç umursamayan kaynakların kazınması için ucuz ve hızlı seçim.

Neredeyse her engel IP başına isteklere dayanır

Bir kazıyıcının karşılaştığı engeller, hız sınırları, CAPTCHA'lar, ani yasaklar, büyük çoğunlukla tek bir adresin çok hızlı çok fazla istek yapmasına verilen yanıtlardır. Siteler IP başına sayar, bu yüzden çözüm yapısaldır: istekleri bir havuza yayarak herhangi bir tek adresin yaptığı istekleri azaltın.

Dönen bir konut proxy'sinin yaptığı budur. Aynı toplam hacim binlerce gerçek ev IP'sine dağıtıldığında hiçbiri bir savunmayı tetikleyen eşiği aşmaz ve eskiden birkaç bin istekte ölen tarama sonuna kadar çalışır.

Proxy'yi hedefe göre seçin

Doğru proxy neyi kazıdığınıza bağlıdır. Veri merkezi aralıklarını tarayan bir site konut gerektirir; yalnızca hız sınırı koyan bir site daha ucuz veri merkezi IP'leriyle idare edebilir; ciddi bir bot karşıtı yığının arkasındaki bir site ise çoğu zaman doğrudan mücadele etmek yerine kazıyıcı API'sine bırakılsa daha iyidir.

Dürüst kural, hedefe dayanan en ucuz seçenekle başlamak ve yalnızca dayanmadığında yükseltmektir; hiç ihtiyaç duymayan bir kaynak için konuta ödeme yapmanın anlamı yoktur. Ücretsiz proxy listesi, taahhütte bulunmadan önce ilk bir yoklama için oradadır.

Web kazıma için proxy nasıl kurulur

  1. 1

    Havuzu hedefe göre seçin

    Ağa göre tarama yapmayan siteler için veri merkezi, yapanlar için konut ve ağır bir bot karşıtı duvarın arkasındaki hedefler için kazıyıcı API'si. Önce küçük bir örnekte daha ucuz seçeneği deneyin.

  2. 2

    Her çalışan için bir satır oluşturun

    Kontrol panelinde veya API üzerinden bir ülke ve kaç satıra ihtiyacınız olduğunu seçin. 10 sayısı on çalışana on satır verir ve dönen bir satırdaki her istek farklı bir adresten çıkar.

  3. 3

    Satırı kazıyıcınıza koyun

    Her satır aynı giriş bilgileriyle HTTP ve SOCKS5 üzerinden çalışır. Aşağıdaki kurulum rehberleri satırın Python requests, Scrapy, Playwright, Puppeteer ve Selenium'da nereye gittiğini gösterir.

  4. 4

    Taramadan önce tek bir isteği kontrol edin

    Satır üzerinden proxy kontrol aracına veya IP sorgulamaya tek bir istek gönderin. Çıkış seçtiğiniz ülkede olmalı ve kendi adresiniz olmamalıdır.

  5. 5

    Bir adresi yalnızca sitenin ihtiyaç duyduğu yerde tutun

    Bir giriş veya çok sayfalı bir akış için stickyMinutes ekleyin, böylece tek bir adres tüm oturuma hizmet eder; Premium'da 1.440 dakikaya kadar. Diğer her şey döner; bu da her adresi sitelerin saydığı sınırların altında tutar.

Web kazıma: neler ters gider ve çözümü

HTTP 429, çok fazla istek
Tek bir adres çok fazla istek gönderiyor. İşi daha fazla satıra yayın, her çalışanı yavaşlatın veya her istekte rotasyon yapın.
Her sayfada bir CAPTCHA
Ağ veya istemci kazıyıcıyı ele veriyor. Veri merkezinden konuta geçin, gerçek bir tarayıcının gönderdiği başlıkları gönderin veya o hedefi kazıyıcı API'sine bırakın.
Sayfa başka bir ülkenin fiyatlarını veya dilini gösteriyor
Çıkış ülkesi yanlış veya bir çerez önceki bir ziyareti hatırlıyor. Ülkeyi satırda ayarlayın ve her oturumu eski çerezler olmadan başlatın.
İstekler zaman aşımına uğruyor
Konut çıkışları gerçek ev bağlantılarıdır ve bazıları yavaştır. Bir zaman aşımı belirleyin, isteği yeni bir satırda tekrar deneyin ve tek bir satıra çok sayıda paralel istek yüklemeyin.
Tarama bir saat çalışıyor, sonra başarısız oluyor
Site örüntüyü öğrendi. İsteklerin sırasını ve zamanlamasını değiştirin ve taramayı daha fazla adrese yayın.

Kurulum rehberleri ve araçlar

FAQ

Web kazıma soru, yanıtlarıyla

Web kazıma için en iyi proxy türü hangisidir?

Savunmalı siteler için dönen konut, savunmasız siteler için veri merkezi ve proxy'leri hiç yönetmek istemediğinizde kazıyıcı API'si. Kararı hedef verir: ucuzdan başlayın ve yalnızca bir kaynak ucuz seçeneği engellediğinde yükseltin.

Kazıma yaparken neden sürekli engelleniyorum?

Neredeyse her zaman tek bir IP'den çok fazla istek geldiği için. Siteler adres başına sayar, bu yüzden hacim çeken tek bir proxy hız sınırına veya CAPTCHA'ya takılır. Taramayı dönen bir havuza yaymak yapısal çözümdür.

Web kazıma için kaç proxy'ye ihtiyacım var?

Konutta adres yerine trafik satın alırsınız: tek bir plan çalışanlarınızın ihtiyaç duyduğu kadar satır oluşturur ve dönen bir satırdaki her istek farklı bir adresten çıkabilir. Veri merkezi adres başına satılır, bu yüzden orada aynı anda çalıştırdığınız kadar adres satın alırsınız.

Konut proxy'leri her istekte dönüyor mu?

Evet, bir satırdan stickyMinutes ile adresini tutmasını istemediğiniz sürece. Bu, girişler ve çok sayfalı akışlar için ayardır; düz sayfa çekme işlemi rotasyonla yapılmalıdır.

Proxy'lerle kazıma ne kadara mal olur?

Konut, trafik gigabaytı başına faturalandırılır; bu yüzden maliyet ne kadar çektiğinizi izler ve bakiyenin süresi asla dolmaz. Yalnızca ihtiyacınız olanı çekmek, ayrıştırmayacağınız görselleri atlamak maliyeti düşük tutar. Güncel GB başına ücret için fiyatlandırma sayfasına bakın.

Proxy'lerle kazıma yasal mı?

Bir proxy, bir isteğin nereden geldiğini değiştirir; neyi toplamanıza izin verildiği aynı kalır. Neyi, ne sıklıkla kazıdığınız ve kişisel verilerle ne yaptığınız, sitenin koşulları ve faaliyet gösterdiğiniz yerin yasaları çerçevesinde sizin sorumluluğunuzdadır.

İlgili: Yapay zekâ ile kazıma, Yapay zekâ ajanları.

Bu sayfadaki terimlerin açıklaması

Bu işin dayandığı terimler, sade bir dille tanımlanmış.

Sözlüğün tamamına göz atın: proxy'ler, ağ ve kazıma alanındaki her terim için.

HProxy.

Yukarıdaki her şey çalışır durumda. canlı bir IP ile başlayın.

Hemen başlayınÖnce Web kazıma rehberini okuyun

Konut proxy'leri GB başına 0,23 $ itibarıyla, kullandıkça ödeyin, bakiyenin süresi asla dolmaz.

HProxy