单选题

下列哪能禁止搜索引擎抓取网站内容?()

A使用robots文件定义

B使用404页面

C使用301重定向

D使用sltemap地图

正确答案

来源:www.examk.com

答案解析

相似试题
  • Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。在www.domain.com中,如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容,Robots文件应如何设置?()

    单选题查看答案

  • 正确使用网站地图,不仅能满足便捷访问用户的需求,而且能促进搜索引擎对网站进行良好的抓取。下列对于网站地图的说法,理解错误的是()

    单选题查看答案

  • 网站内部链接是网站搜索引擎优化的重要部分,好的内链有利于搜索引擎抓取更多的网页。下列关于栏目页面的内部链接描述错误的是()

    多选题查看答案

  • 网站内部链接是网站搜索引擎优化的重要部分,好的内链有利于搜索引擎抓取更多的网页。下列关于频道页面的内部链接描述错误的是()

    多选题查看答案

  • 以下哪种网站体系问题不利于搜索引擎蜘蛛抓取网站()

    多选题查看答案

  • 在robots.txt文件中设置了禁止所有搜索抓取,下列正确选项是?()

    单选题查看答案

  • 如何建立符合搜索抓取习惯的网站?()

    多选题查看答案

  • 以下哪个标签是禁止搜索引擎抓取?()

    单选题查看答案

  • 网站的逻辑结构是用户访问网站时的层层深入和相互关联,同时好的逻辑结构有利于搜索引擎抓取更多的页面,以下关于网站逻辑结构的描述正确的是:()

    多选题查看答案