Robots文件中，以下哪个指令为禁止抓取某些内容？（）

在robots.txt文件中设置了禁止所有搜索抓取，下列正确选项是？（）

单选题查看答案

Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）

单选题查看答案

关于robots文件下面说法正确的是（）。

单选题查看答案

以下meta robots标签中哪一项是告诉搜索引擎不要使用开放目录中的标题和说明？（）

单选题查看答案

robots.txt不支持的代码为（）。

单选题查看答案

robots.txt支持的代码为（）。

多选题查看答案

robots.txt不支持的代码为（）

单选题查看答案

以下哪个标签是禁止搜索引擎抓取？（）

单选题查看答案

以下哪个不是日志文件技术的优点（）

单选题查看答案