小的网站将没有爬虫访问。

猜你喜欢

• Robots排除协议，它是网站管理者表达是否希望爬虫自动获取网站信息意愿的方法。
• 在网络爬虫的爬行策略中，应用最为基础的是（）。
• （），又称主题网络爬虫，是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫。
• （）的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。
• 深层网络爬虫的基于网页结构分析的表单填写法一般将网页表单表示成（），从中提取表单各字段值。