Robots排除协议，它是网站管理者表达是否希望爬虫自动获取网站信息意愿的方法。

猜你喜欢

• 在网络爬虫的爬行策略中，应用最为基础的是（）。
• （），又称主题网络爬虫，是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫。
• （）的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。
• 深层网络爬虫的基于网页结构分析的表单填写法一般将网页表单表示成（），从中提取表单各字段值。
• 增量式爬虫中的（）指的是：爬虫以相同的频率访问所有网页，不考虑网页的改变频率。