86科技网
您的当前位置:首页Python爬虫返回403错误解决方法

Python爬虫返回403错误解决方法

来源:86科技网


问题

抓取数据时,通常调试信息是:

DEBUG: Crawled (200) <GET http://www.gxlcms.com/> (referer: None)

如果出现

DEBUG: Crawled (403) <GET http://www.gxlcms.com/> (referer: None)

表示网站采用了防爬技术anti-web-crawling technique(Amazon所用),比较简单即会检查用户代理(User Agent)信息。

解决方法

在请求头部构造一个User Agent,如下所示:

def start_requests(self): 
 yield Request("http://www.gxlcms.com/", 
 headers={'User-Agent': "your agent string"})
显示全文