scrapy常见问题汇总

  • 多个pipeline管道文件存在时,后面的pipeline获取不到item:
    • 前面的pipeline中process_item方法在最后需要return item。 否则item被丢弃则后续的pipeline无法获取到item
  • 调用scrapyd时报错:sqlite3.OperationalError: attempt to write a readonly database
    • 没有权限,需要增加权限:项目根目录的文件夹dbs,修改其权限和所有者即可。
      • chmod -R 755 dbs
      • chown -R username:usergroup dbs

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注