1.报文头信息：
User-Agent Accept-Language 防盗链 上referer
随机生成不同的User-Agent构造报头
2.加抓取等待时间
每抓取一页都让它随机休息几秒，加入此句代码后，每个时间段都能爬取大量股票数据了。
3.带cookie数据
4.需要登录的网站
登陆的网站 申请大量的账号，然后再爬入，此处涉及模拟登陆、验证码识别
本文共 231 字，大约阅读时间需要 1 分钟。
1.报文头信息：
User-Agent Accept-Language 防盗链 上referer
随机生成不同的User-Agent构造报头
2.加抓取等待时间
每抓取一页都让它随机休息几秒，加入此句代码后，每个时间段都能爬取大量股票数据了。
3.带cookie数据
4.需要登录的网站
登陆的网站 申请大量的账号，然后再爬入，此处涉及模拟登陆、验证码识别
转载于:https://www.cnblogs.com/mmbbflyer/p/5943042.html