当前学科:网络爬虫与信息提取
  • 题目: 未知类型
    一个可行的自动更换代理的爬虫系统,应该下列哪些功能?()

      A.有一个小爬虫ProxySpider去各大代理网站爬取免费代理并验证,将可以使用的代理IP保存到数据库中

      B.在发现某个请求已经被设置过代理后,什么也不做,直接返回

      C.在ProxyMiddlerware的process_request中,每次从数据库里面随机选择一条代理IP地址使用

      D.周期性验证数据库中的无效代理,及时将其删除

    答案: <查看本题扣1积分>

    查看答案

    答案不对?请尝试站内搜索