爬蟲動態代理IP常見問答解疑作者:數據無憂 時間:2020-09-18 13:24:53 |
1. 爬蟲(動態)代理IP是什么意思?
爬蟲(動態)代理IP,是專為爬蟲設計的代理IP,IP更換比較頻繁,IP量比較大,響應速度快,能夠輕松解決爬蟲封IP的狀況。 2. 我怎么獲取爬蟲(動態)代理IP? 動態代理IP是通過API接口(就是一個URL)形式提供的,用戶可以在程序中調用API接口或者用瀏覽器訪問API接口,獲取不同的IP。 3. API接口有什么限制嗎? 第一點,API接口規定1秒鐘最多請求10次(兩次請求間隔100毫秒以上,否則HTTP返回狀態碼為429),并不是每次請求都會返回新的IP,接口每隔5秒會返回新IP。所以你在5秒內重復調用接口,返回的都是一樣的IP。詳細描述 第二點,API接口最多允許5個不同的外網IP調用,如果超過5個調用IP,那么接口會返回:每個訂單號最多支持5個不同IP調用,10分鐘后自動解除本限制!如果出現該提示,請檢查是否存在以下原因: 1) 設置了代理IP,然后用代理IP請求接口 2) 出口IP是動態變化的,是否使用了撥號服務器 3) 是否把單號泄露給了他人 如果單號泄露,可以到用戶中心-IP白名單中啟用白名單功能并添加自己的IP,啟用后只有白名單IP才能調用接口。 4. 爬蟲(動態)代理IP對請求并發次數有限制嗎? 每個IP在可用時間內最多請求60次; 超過限制次數,會返回內容: <html lang="zh-CN"> <head> <meta charset="UTF-8"> <title>too many request</title> </head> <body>IP超過最大請求量,詳情參考 <a href="http://www.aooseo.com">www.aooseo.com</a> </body> </html> 用戶可根據返回的title來判斷是否超過限制。 5. 我想在程序中使用多線程,可以嗎? 可以的,具體請參考多線程使用動態代理IP代碼方案 6. 怎么測試爬蟲(動態)代理IP的可用性? 程序開發人員可以寫代碼測試IP可用性,如果您不懂開發,可以下載網站的軟件進行測試。注意不支持手動復制IP到瀏覽器進行測試,也不支持第三方測試方案。 7. 是否需要綁定白名單? 爬蟲動態代理IP需要綁定白名單才能使用,如未綁定會提示如下信息:
<html lang="zh-CN"> <head> <meta charset="UTF-8"> <title>whitelist auth fail</title> </head> <body>白名單校驗失敗,請登錄用戶中心綁定白名單 <a href="http://www.aooseo.com">www.aooseo.com</a> </body> </html>
無憂代理IP(www.aooseo.com)原創文章,轉載請注明出處。 |