API kazıma
Bir sayfanın HTML'sini ayrıştırmak yerine kullandığı JSON uç noktalarını çağırarak veri toplamak; böyle bir uç nokta varsa genellikle en hızlı, en ucuz ve en güvenilir yol.
API kazıma, sayfanın kendisinin kullandığı kaynağa gitmek demektir. Çoğu modern site verisini HTML'ye gömmez; bir kabuk gönderir ve ardından asıl içeriği arka planda JSON uç noktalarından getirir. Bu uç noktalar sitenin kendi ön yüzüne hizmet etmek için vardır ve vakaların büyük çoğunluğunda onları doğrudan çağırabilir, ayrıştırmanız gerekecek işlenmiş bir sayfa yerine yapılandırılmış veri alabilirsiniz. Böyle biri mevcut olduğunda neredeyse her zaman doğru yanıttır.
Avantajlar bu sözlükteki diğer her şey boyunca birikir. İşlemeyi atlarsınız; yani headless tarayıcı ve maliyeti yoktur. Ayrıştırmayı atlarsınız, çünkü JSON zaten yapılandırılmıştır; yani düzen değişikliklerine karşı sürdürülecek seçiciler yoktur. Resimleri, yazı tiplerini ve betikleri çekmediğiniz için baytların küçük bir kısmını aktarırsınız; bu da gigabayt başına faturalandırmada doğrudan bir tasarruftur. Ve veri genellikle sayfanın gösterdiğinden daha temiz ve eksiksizdir, çünkü uç nokta çoğu zaman ön yüzün göstermemeyi seçtiği alanları döndürür.
Onları bulmak şansa bağlı olmayan, tekrarlanabilir bir beceridir. Tarayıcının ağ sekmesini açın, JSON döndüren isteklere filtreleyin ve istediğiniz veri göründükçe, yüklemede, kaydırmada, bir filtreye tıklamada, hangilerinin tetiklendiğini izleyin. Sayfalama ve parametreler bu isteklerde görünür; böylece sitenin ne istediğini okuyarak ikinci sayfayı, belirli bir kategoriyi veya bir tarih aralığını nasıl isteyeceğinizi öğrenirsiniz. Ağ sekmesinde geçen o yarım saat çoğu zaman tüm projedeki en değerli iştir.
Dürüst uyarılar onun sihir olmasını engeller. Bu uç noktalar belgelenmemiştir ve dahili oldukları için haber verilmeden değişebilir; bu yüzden her kazıma gibi izlenmeleri gerekir. Çoğu zaman kendi kimlik doğrulamalarını taşırlar: sayfanın ürettiği belirteçler veya imzalı parametreler; bunların bazen yeniden üretilmesi gerekir ve ara sıra zor kısım budur. Diğer her yüzey gibi hız sınırına tabidirler ve savunulurlar; bu yüzden proxy'ler ve tempo hâlâ geçerlidir. Ve bir sitenin veriyi ayrı bir uç nokta olmadan gerçekten sunucu tarafında HTML'ye işlediği yerde API kazıma basitçe uygulanamaz ve yol ayrıştırmadır. Ama bir uç nokta oradaysa önce HTML'ye uzanmak, kolay bir işin zor sürümünü yapmaktır.
Sık sorulan sorular
Bir sitenin gizli API'sini nasıl bulurum?
Tarayıcının ağ sekmesini açın, JSON döndüren isteklere filtreleyin ve istediğiniz veri göründükçe, yüklemede, kaydırmada, bir filtre tıklamasında, hangilerinin tetiklendiğini izleyin. Bu istekler uç noktayı, parametrelerini ve sayfalamasını ortaya çıkarır; böylece onu doğrudan çağırabilirsiniz. Tekrarlanabilir bir beceridir ve aldığı yarım saat çoğu zaman projenin geri kalanının tamamını kurtarır.
Bir API'yi kazımak HTML kazımaktan daha mı iyi?
Bir uç nokta varsa neredeyse her zaman. İşlemeyi ve ayrıştırmayı atlarsınız, çok daha az bayt aktarırsınız ve çoğu zaman sayfanın gösterdiğinden daha temiz ve eksiksiz, düzen değişikliklerinde bozulmadığı için de daha kararlı yapılandırılmış veri alırsınız. İstisnalar, veriyi ayrı bir uç nokta olmadan HTML'ye işleyen sitelerdir; orada tek yol ayrıştırmadır.
API kazıma için yine de proxy'lere ihtiyacım var mı?
Evet. Bir sitenin dahili uç noktaları diğer her yüzey gibi hız sınırına tabidir ve savunulur, aynı şekilde adresinize bağlıdır; bu yüzden HTML'de kullanacağınız havuz, döndürme ve tempo değişmeden geçerlidir. Değişen, her isteğin maliyeti ve güvenilirliğidir; hedef onları yine sayar ve eler.
Geri dön: sözlüğün tamamı.

