谷歌蜘蛛:谷歌蜘蛛属于比较活跃的网站扫描工具,其间隔;天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛最大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。
其用法如下Mozilla/.0(compatible;Googlebot/;.’;+
谷歌蜘蛛:谷歌蜘蛛属于比较活跃的网站扫描工具,其间隔;天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛最大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。
其用法如下Mozilla/.0(compatible;Googlebot/;.’;+