TR
Hemen başlayın

Sözlük

Kazıma ve otomasyon

Kullanıcı aracısı

Bir istemcinin tarayıcısını ve işletim sistemini tanıtmak için gönderdiği metin; bir sitenin IP'nizle karşılaştırdığı en basit işaretlerden biri.

User agent, istemcinizin ne olduğunu belirttiği ve her istekle gönderilen bir metin satırıdır. Bir tarayıcınınki, bir işleme motorunu, bir platformu ve yalnızca sitelerin onyıllardır onları koklaması nedeniyle var olan birkaç uyumluluk belirtecini adlandıran uzun, karmaşık bir metindir. Bir betik kütüphanesininki genellikle kısa ve dürüsttür; python-requests veya curl ve ardından bir sürüm numarası gibi.

Siteler onu çoğu zaman tamamen sıradan nedenlerle okur: bir mobil düzen seçmek, eski bir tarayıcıyı uyarmak, istemcinin desteklediği bir biçimi sunmak. Proxy tespiti için bir sinyal haline gelmesi tesadüftür, çünkü otomatik istemciler varsayılan olarak kendilerini onda duyurur ve pek çoğu bunu değiştirmeyi hiç düşünmez. Dokunulmamış bir kütüphane varsayılanıyla web kazıma yapan herkes kendini isteğin ilk satırında tanıtıyordur.

Aynı zamanda tüm istekteki taklit edilmesi en kolay tek şeydir; kendi başına hiçbir şey kanıtlamamasının nedeni tam olarak budur. Herhangi bir istemci herhangi bir metni gönderebilir ve her site bunu bilir. Ciddi hiç kimse inandırıcı bir user agent'ı gerçek bir tarayıcının kanıtı olarak görmez; bu yüzden birini ayarlamak bir başlangıç şartıdır.

Bir savunmacı için değeri bir tutarlılık kontrolü olmasıdır ve gerçekten önemli olan kısım budur. Windows üzerinde Chrome olduğunu iddia etmek sizi çok başka şeye bağlar: eşleşen bir TLS parmak izi, eşleşen bir istemci ipuçları seti, inandırıcı bir ekran boyutu, gerçek bir Chrome'un gönderdiği başlık SIRASI ve tarayıcı parmak izinin alttaki makine hakkında okuduğu her şey. Bunlardan herhangi biriyle çelişin, metin siteye sizi yakalayacağı belirli bir çelişki vermiş olur.

Başlık sırası ayrıca anılmayı hak eder, çünkü rutin olarak gözden kaçar. Gerçek tarayıcılar başlıkları tutarlı, karakteristik bir sırayla gönderir; HTTP kütüphaneleri ise kodun onları eklediği sırayla gönderir. Hiçbir tarayıcının üretmediği bir sırayla gelen kusursuz bir user agent metni, tespit edilmesi hiçbir maliyet getirmeyen bir çelişkidir.

Bu da pratik tavsiyeyi olağan tavsiyeden daha dar yapar. Gerçekçi, güncel bir user agent ayarlayın, çünkü varsayılan bir kütüphane metni bedava bir ipucudur. Onu istek başına rastgele döndürmeyin; bu yaygın bir içgüdüdür ve aktif olarak kötüdür: gerçek ziyaretçiler sayfa yüklemeleri arasında tarayıcı değiştirmez ve istemci kimliği sürekli değişen bir oturum, hiç değişmeyenden daha dikkat çekicidir. Oturum başına inandırıcı bir kimlik seçin ve onu koruyun.

Sık sorulan sorular

User agent'ları döndürmeli miyim?

İstek başına değil ve birçok tavsiyenin yanlış gittiği yer burasıdır. Gerçek bir ziyaretçi sayfa yüklemeleri arasında tarayıcı değiştirmez; bu yüzden user agent'ı sürekli değişen bir oturum, yerinde kalandan daha şüphelidir. Oturum başına veya kimlik başına inandırıcı, güncel bir metin seçin ve onu o oturumun ömrü boyunca koruyun.

User agent'ı değiştirmek tespit edilmemi durdurur mu?

Hayır. Bariz bir ipucunu, varsayılan kütüphane metnini ortadan kaldırır, o kadar. Tespit sistemleri iddianın TLS parmak izinizle, başlık sıranızla, istemci ipuçlarınızla ve davranışınızla tutarlı olup olmadığını kontrol eder ve bir Python el sıkışması üzerindeki bir tarayıcı user agent'ı bir çelişkidir. Gereklidir ve yeterli olmaktan çok uzaktır.

Web kazıma için en iyi user agent hangisidir?

Sunduğunuz diğer her şeyle eşleşen güncel, yaygın bir tane. Sihirli bir metin yoktur ve eski veya alışılmadık bir tanesini kopyalamak işe yaramamaktan da kötüdür, çünkü nadirlik kendi başına tanımlayıcıdır. Yaygın kullanılan güncel bir tarayıcı sürümü seçin, ardından isteğinizin geri kalanının ondan gelmiş olmasının inandırıcı olduğundan emin olun.

Değiştirirsem bir site gerçek user agent'ımı görebilir mi?

Yalnızca gönderdiğinizi alır, bu yüzden göremez. Yapabileceği şey, gönderdiğinizin bağlantı hakkındaki diğer her şeyle uyuşmadığını fark etmektir: TLS el sıkışması o tarayıcı yerine bir kütüphaneye aittir, başlık sırası yanlıştır, istemci ipuçları eksiktir veya bildirilen ekran boyutu inandırıcı sayılmaz. Gönderdiğinizin doğru olmadığını bilmek için gerçek metninize ihtiyacı yoktur.

Geri dön: sözlüğün tamamı.

HProxy.

Tanımlar sizi ancak bir yere kadar götürür. Çalıştır ve gerçek hedefler.

Konut proxy'leri GB başına 0,23 $ itibarıyla, kullandıkça ödeyin, bakiyenin süresi asla dolmaz.

HProxy