下列选项中，关于Robots协议说法错误的是（）。
A.通常情况下网站的Robots协议体现在robots.txt文件
B.Robots协议能够从根本上阻止网络爬虫
C.Robots协议没有统一的写作规范
D.爬虫程序应遵守Robots协议
正确答案：AB
下列选项中，关于Robots协议说法错误的是（）。
5次阅读