Entegrasyonlar · Otomasyon ve kazıma
HProxy'yi Scrapling ile kullanın.
- 5 adım
- Çalışan kod
- HTTP ve SOCKS5
- Proxy URL'sinde giriş bilgileri
Neden proxy
Scrapling ile neden proxy kullanılır
Scrapling, tek pakette iki fetcher sunan bir Python kazıma çerçevesidir: bir tarayıcının TLS parmak iziyle düz HTTP ve Cloudflare sınamalarını çözen gizli bir tarayıcı. 0.4 sürümünden beri kendi spider çerçevesini de içerir. 0.5 sürümü eski Playwright fetcher'ı DynamicFetcher'ı kaldırdı, bu yüzden 0.4 için yazılmış ve onu içe aktaran kodun StealthyFetcher'a geçmesi gerekir.
Scrapling bir isteğin nasıl göründüğünü değiştirir, geldiği adres ise sizin adresiniz olarak kalır. Siteler istekleri adres başına sayar, bu yüzden tek bir IP'den yapılan bir tarama, parmak izi ne kadar iyi olursa olsun birkaç yüz sayfadan sonra durur. Dönen bir konut havuzu her isteğe veya her oturuma kendi adresini verir.
Setup
HProxy kurulumu: Scrapling
- 1
Fetcher'ları kurun: pip install "scrapling[fetchers]", ardından tarayıcılar için bir kez scrapling install çalıştırın.
- 2
Proxy host'unuzu, portunuzu ve giriş bilgilerinizi HProxy kontrol panelinden kopyalayın.
- 3
Pass proxy= to a fetcher or a session. The HTTP fetcher also takes proxy_auth=(user, pass), which keeps the password out of the logs.
- 4
For several lines, build a ProxyRotator from the list and pass it as proxy_rotator= to the session.
- 5
Gerçek bir çalıştırmadan önce oturum üzerinden bir IP yankı sayfasını bir kez çekin ve adresi doğrulayın.
Bilmeye değer
Tarayıcı fetcher'ları yalnızca http, https, socks4 ve socks5 kabul eder ve giriş bilgili SOCKS5 tarayıcıda başarısız olur. Orada aynı proxy'nin HTTP satırını kullanın.
Burada gösterilen host, port ve giriş bilgileri biçimi gösterir; tam değerleriniz kontrol paneli içinde, kopyalamaya hazır.
Scrapling, HProxy ile
from scrapling.fetchers import Fetcher, StealthyFetcher
# HTTP fetcher: the login stays out of the proxy URL
page = Fetcher.get(
"https://ipinfo.io/json",
proxy="http://example.hproxy.com:8080",
proxy_auth=("user-country-us", "pass"),
)
print(page.json())
# Stealth browser: same proxy, as a URL with the login inside
page = StealthyFetcher.fetch(
"https://ipinfo.io/json",
proxy="http://user-country-us:[email protected]:8080",
block_webrtc=True,
)Scrapling soru
Sık sorulan sorular
Scrapling'de proxy'leri nasıl döndürürüm?
With a rotating gateway you do not need to: one unchanged endpoint hands out a different exit per request. For a list of fixed lines, create ProxyRotator([...]) from scrapling.fetchers and pass it as proxy_rotator= to a session. It cycles in order and accepts a custom strategy function. A session takes proxy_rotator= or proxy=, never both.
Scrapling oturumum proxy'yi neden yok sayıyor?
From version 0.4 to 0.4.8, FetcherSession(proxy=...) was silently ignored and requests left from the real IP. The fix shipped in 0.4.9. Update Scrapling, then fetch an IP echo page through the session to confirm the address it shows.
Proxy parolam Scrapling'in tarayıcı fetcher'ında neden başarısız oluyor?
0.5.1 sürümünden önce tarayıcı fetcher'ları bir proxy URL'sindeki giriş bilgilerini tarayıcıya hâlâ yüzde kodlu olarak veriyordu. p%40ss olarak yazılmış bir parola proxy'ye p%40ss olarak ulaşıyor ve proxy 407 yanıtı veriyordu. 0.5.1 sürümü bunu çözer. Eski bir sürümde proxy'yi server, username ve password içeren bir sözlük olarak verin; bu, giriş bilgilerini yazıldığı gibi alır.
Scrapling SOCKS5 proxy'lerini destekler mi?
HTTP fetcher'ı destekler. Tarayıcı fetcher'ları socks5:// satırını yalnızca giriş bilgisi olmadan kabul eder, çünkü alttaki tarayıcı SOCKS5 kimlik doğrulamasını reddeder; socks5h:// satırını ise Invalid proxy string hatasıyla reddederler. Kullanıcı adı ve parola ile aynı proxy'nin HTTP satırını kullanın.
Bir giriş akışı için proxy'yi hangi fetcher taşımalı?
Bir oturum, sabit bir satırla. StealthySession istekler boyunca tek bir tarayıcıyı açık tutar ve bir giriş ancak adres tüm süre boyunca aynı kalırsa ayakta kalır. Dönen bir satır, hiçbir durumun aktarılmadığı Fetcher ile sayfa sayfa okumalara uyar.
Scrapling'in tarayıcı fetcher'larında konut trafiğini nasıl düşük tutarım?
Turn on disable_resources=True and block_ads=True. A browser loads images, fonts and trackers that a scraper never reads, and residential traffic is billed per gigabyte. Both options are off by default.
Diğer entegrasyonlar
Daha fazla kurulum rehberi
Siz hazır olduğunuzda biz hazırız.
Kontrol paneliniz on saniye uzağınızda. Satış görüşmesi yok, abonelik yok, minimum yok.


