1. <rp id="c4hsd"></rp>
          1. <button id="c4hsd"><acronym id="c4hsd"><input id="c4hsd"></input></acronym></button>
          2. <tbody id="c4hsd"></tbody>

            <dd id="c4hsd"><pre id="c4hsd"></pre></dd>

              1. <th id="c4hsd"></th>
              2. <s id="c4hsd"><object id="c4hsd"></object></s>

                    [ 登錄 ] - [ 注冊 ] | 代碼示例DEMO | IP測試視頻 |

                    Python爬蟲用了高匿名代理ip,爬快了為什么還是會封掉本機ip?

                    作者:數據無憂   時間:2020-09-18 13:24:53

                    網友一回答
                    第一,是不是爬得太快。不要想一天就干掉一個站。
                    第二,修改你的請求頭
                    第三,你不要用免費代理,或掃描代理。用一些高質量代理吧,爬蟲建議使用無憂代理IP提供的動態代理。

                    知乎網友回答(https://www.zhihu.com/question/42139379/answer/136271008
                    1.代理可能并不高匿。你可以使爬蟲訪問您的IP地址,來檢測代理是否生效。
                    2.服務器可能通過請求頭中的X-Real-IP、X-Forwarded-For等信息來獲取真實ip??梢栽诎l起請求時偽造這些值。
                    下面是我用于投票的一部分代碼(nodejs):
                    function postRequest(url,data,callback,charset='utf8',cookie){
                    var proxy = getProxy('https');
                    console.log("Posting through proxy @ "+proxy)
                    SA.post(url)
                    .proxy(proxy)
                    .set("Cookie",cookie)
                    .set('User-Agent',randomUA())
                    .set('X-Forwarded-For',randomIP())
                    .set('X-Real-IP',randomIP())
                    .set('Content-Type','application/x-www-form-urlencoded')
                    .send(data)
                    .timeout(5000)
                    .end(function(err,res){
                    if (typeof(res)!="undefined"){
                    callback(res);
                    }else{
                    console.log("Conect failed, try next proxy ");
                    postRequest(url,data,callback,null,cookie)
                    }
                    });
                    }




                    無憂代理IP(www.aooseo.com)原創文章,轉載請注明出處。

                    電話:4007-745-096
                    QQ:
                    周一至周日8:30-18:00 技術部電話熱線
                    久久夜色精品国产噜噜亚洲AV_老妇女性较大毛片_888亚洲欧美国产va在线播放_超碰人人透人人爽人人看