当前学科:百度SEM中级认证考试
  • 题目: 单选
    Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。在www.domain.com中,如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容,Robots文件应如何设置?()

      A . "User-agent:*Disallow:/A"
      B . "User-agent:Allow:/A"
      C . "User-agent:Disallow:/"
      D . "User-agent:*Allow:/&quot

    答案: <查看本题扣1积分>

    查看答案

    答案不对?请尝试站内搜索