说起网站新站引搜索蜘蛛,我第一时间想到了搜外滴滴友链之前上线的一个服务产品,那就是蜘蛛池。原来就是把你的外链,放到他们的友链交换页面下方,让蜘蛛来捉取。因为友链交换页面数量比较多,所以这个功能一上线,就有站长来尝鲜了。很多人效果不好,我发表一下个人看法。
我前段时间在zblog应用中心,下载了一款外站调用文章数据的插件。我的用处就是,将我的主站,吸引点蜘蛛过去新站捉取一下。同程序使用api调用,发现非常卡,具体原因还没有找到。
我发现搜索蜘蛛捉取网站链接的一个特点,那就是,旧的链接不捉取?
这里又分两种情况了,第一,是收录后的文章,蜘蛛比较喜欢捉取内容,看看你是否更新了啥,然后及时更新索引,让排名发生变化。第二,捉取过的链接,还不收录,想要着多提交一下文章链接让蜘蛛捉取一遍。我发现不太行。
因为我后面觉得插件调用太卡了,然后尝试了一下,把新站的目录链接,放到了自己老站所有内页底部去。发现过去了一天的时间,一点蜘蛛也没引到。我猜测搜索蜘蛛运行原理就是,先捉取一个页面,然后从源代码之中收集链接,再搜索“捉取库”里面,这个链接是否被捉取过,如果是,那就不再捉取,如果不是,那就捉取。避免浪费资源处理!
为什么这么肯定老链接不会被多次自然捉取?这里所说的自然让蜘蛛来,是说啥动作都没有做,不提交,也会有蜘蛛来捉取。因为插件使用后,我试过发布新文章,同步到老站页面的时候,搜索蜘蛛对于新的链接不到5分钟,就来捉取了。我更加证实了,如果不提交链接的情况下,一般搜索蜘蛛是不会对于之前捉取过的链接重新捉取一次的。