settings

[findsomeoneyys]

• 一些配置文件的路径
• 爬取规则设置
• 数据库的设定
• 避免被禁止(ban)
  • 使用user agent池，轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆)
  • 禁止cookies(参考 COOKIES_ENABLED)，有些站点会使用cookies来发现爬虫的轨迹。
  • 设置下载延迟(2或更高)。DOWNLOAD_DELAY
  • 使用IP池