TR
Hemen başlayın

Entegrasyonlar · Otomasyon ve kazıma

HProxy'yi Scrapy ile kullanın.

Her Scrapy isteğini bir HProxy konut çıkışı üzerinden gönderin.
Hemen başlayınRehberin tamamını okuyun
  • 3 adım
  • Çalışan kod
  • HTTP ve SOCKS5
  • Proxy URL'sinde giriş bilgileri

Neden proxy

Scrapy ile neden proxy kullanılır

Scrapy, kendi zamanlayıcısı, ardışık düzenleri ve ara katmanlarıyla hacimli tarama için yapılmış, Python'un kazımaya özel çerçevesidir.

Scrapy en iyi çok sayıda eşzamanlı istek çalıştırırken işler ve IP başına hız sınırını en hızlı tetikleyen de tam olarak budur. Arkasındaki dönen bir havuz, yüksek eşzamanlılık ayarının tüm taramayı engellettirmesini önler.

Setup

HProxy kurulumu: Scrapy

  1. 1

    Proxy'yi her istekte meta sözlüğü üzerinden veya genel olarak bir indirici ara katmanında ayarlayın.

  2. 2

    Giriş bilgilerinizi proxy URL'sine, host ve portu kontrol panelinden alarak koyun.

  3. 3

    CONCURRENT_REQUESTS'i ancak havuz yükü taşıdığında artırın.

Bilmeye değer

Bütün bir proje için proxy'yi istek başına ayarlamak yerine özel bir HttpProxyMiddleware'de ayarlayın.

Burada gösterilen host, port ve giriş bilgileri biçimi gösterir; tam değerleriniz kontrol paneli içinde, kopyalamaya hazır.

Scrapy, HProxy ile

# in your spider
def start_requests(self):
    yield scrapy.Request(
        "https://ipinfo.io/json",
        meta={"proxy": "http://user-country-us:[email protected]:8080"},
    )

Scrapy soru

Sık sorulan sorular

Bir Scrapy projesinde proxy nereye konmalı?

Hızlı bir iş için istek başına ayarlamak uygundur; bütün bir proje için doğru yer HttpProxyMiddleware tabanlı özel bir ara katmandır. Merkezi olarak ayarlamak, her spider'ın onu devralması ve uç noktayı oluşturduğunuz her istekte tek tek değiştirmek yerine tek bir dosyada değiştirmeniz demektir.

Scrapy'de proxy'leri nasıl döndürürüm?

Bir ağ geçidi proxy'si ile buna gerek yoktur: havuz, değişmeyen tek bir uç noktanın arkasında istek başına farklı bir çıkış atar. Tek tek adreslerden oluşan bir listeyi kendiniz yönetiyorsanız, istek başına birini atayan bir ara katman olağan yaklaşımdır; ancak aynı sonuç için daha fazla hareketli parça demektir.

Scrapy eşzamanlılığı proxy sınırlarıyla nasıl etkileşir?

Doğrudan etkiler ve bilinçli olarak ayarlamaya değer. Scrapy'nin eşzamanlı istek ayarları aynı anda ne kadar trafik gönderdiğinize karar verir ve çok az adres üzerinden yüksek eşzamanlılık göndermek, adres başına hız sınırlamasını sıralı çalıştırmaktan daha hızlı tetikler. Eşzamanlılık ve havuz büyüklüğü birlikte değişmelidir.

Scrapy'de robots.txt'ye yine de uymalı mıyım?

Scrapy ona varsayılan olarak uyar ve bu varsayılanı korumaya değer. İzin verilmeyen yollar, meşru hiçbir şeyin istemediği yollardır; bu yüzden dosyayı yok saymak, kötü bir uygulama olmasının yanı sıra bir adresin işaretlenmesinin en güvenilir yollarından biridir.

Siz hazır olduğunuzda biz hazırız.

Kontrol paneliniz on saniye uzağınızda. Satış görüşmesi yok, abonelik yok, minimum yok.