scrapy模拟登录时遇到的问题?

我想在header头里面写入登录过网站的cookie来登录,但是并没有成功,之前用resquest同样的方法可以成功。
代码如下:
set.py文件
DEFAULT_REQUEST_HEADERS = {

'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding':'gzip, deflate, sdch',
'Accept-Language':'zh-CN,zh;q=0.8',
'Connection':'keep-alive',
'Cookie':'Hm_lvt_e51f41cefdaee205c99f313a1a7143f2=1461116813,1461133678; ASP.NET_SessionId=q5yh3idnl0pb2ijp5h1ch1f5; uid=cBGY8Q3hgElpN1EQ4mPc9mUWNsTtV2ssiPmMpo6Up%2bw%3d; Hm_lvt_295557bac3c4981f18b013f806da26d0=1461133694,1461203500,1461203542,1461204316; Hm_lpvt_295557bac3c4981f18b013f806da26d0=1461204316; Hm_lvt_6c133eb952c54689e874fb077a11c65a=1461133694,1461203500,1461203542,1461204316; Hm_lpvt_6c133eb952c54689e874fb077a11c65a=1461204316',
'Host':'www.5118.com',
'Referer':'http://www.5118.com/seo/baidurank/www.rong360.com',
'Upgrade-Insecure-Requests':'1',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2652.2 Safari/537.36'

}
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2652.2 Safari/537.36'

之后,我看scrapy输出的内容,发现

Overridden settings: {'NEWSPIDER_MODULE': 'comboo.spiders', 'SPIDER_MODULES': ['comboo.spiders'], 'USER_AGENT': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2652.2 Safari/537.36', 'BOT_NAME': 'comboo'}
这里并没有写入header头

我不明白怎么回事,应该怎么调试,有什么解决方法?

这个问题百度和google过,网站上大多数先获得cookie在发送cookie,和我的问题不太相关。

阅读 2.7k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进