有什么好方法在本地电脑采集发布到django搭建的网站呢?

我在自己电脑上用scrapy搭建了一个爬虫,采集的内容想要发布到国外VPS,网站用django搭建的,django受csrf保护,本地post给django行不通。直接在vps上写爬虫,国外访问国内速度慢,流量消耗也大,内存cpu还不够用(我的内存512M,1核CPU),前辈们都是用哪种比较稳定的方式解决的?

采集和发布都是无人值守的,采集到数据就要立刻添加到vps的数据库,不是本地采集到数据然后导入mysql哦。

阅读 4.5k
2 个回答

把csrf关了

  1. 本地上采集,导入到vps上的临时表中

  2. insert into yourTable (xxx) select (xxx) from tempTable

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进