蜘蛛捕捉模块在Ipbrother2.0就已经投入使用,在新版的ipbrother 3中,加入了更多的算法来扩展蜘蛛捕捉功能。

蜘蛛捕捉主要针对百度蜘蛛。

通过百度官方公布的确定百度蜘蛛来源的方法,ipbrother对每个来访ip调用NSlookup 命令,来逆向反查ip来源,以便准确锁定引擎蜘蛛。

锁定蜘蛛后,会引导蜘蛛在本服务器爬行。

引导蜘蛛至权重云其他节点服务器爬行。

百度2016升级了蜘蛛算法,由以往的蜘蛛单纯爬取网页入库改为蜘蛛拥有一定判定网页质量的权限。由此,ipbrother会透过蜘蛛跨服务器节点快速刷新权重。

results matching ""

    No results matching ""