偶尔去百度论坛那边看看，版主们发布的一些蜘蛛网站捉取流程以及日常需要做的优化。大部分站长都在想，为什么自己的文章收录不稳定，排名不好，是主题模块问题还是域名是否备案？相信大家看了以下的内容，能有好的理解，作出网站调整，避免踩坑。
url不要使用中文，虽然能被识别，但是要知道你的链接如果带有中文的话，等你复制出去在百度那边搜索，其实原来的2个文字已经代表了30多个字符。这个大家可以试一下，建议小于100字符，偏长url不占优势，如果标签带有中文字那么问题不大，如果是url是带有标题中文字，那么字符一定会超过捉取蜘蛛捉取的上限。
无效参数这个我比较好理解了，也深有体会，最近提到过，之前网站被攻击时候，使用过恰啦cdn防御、宝塔防火墙。就会给我文章链接生成了一系列的带有？的参数，其实这里面内容都是相同的，在蜘蛛捉取多个相同内容的时候，不同url导致重复捉取，浪费站点权益。就会造成收录不稳定的情况。
现在在robots.txt文件里面新增了禁止捉取带有？的链接。但现在这个主题，好像有被蜘蛛捉取旧主题的习惯，我首页本来没有page（翻页）页面的，但是蜘蛛还是捉取了这类链接，可能是跟分类页捉取的习惯应用到全站去了，所以有时候做下载站也不是很好。以后选择主题要多方面考虑这个问题。
资源提交当然不是越多越好，收录核心永远是内容质量，大量提交低质和泛滥资源会导致算法识别为低质，带来惩罚性打压。我觉得内容质量不一定要文章字数很多，真正对搜索用户有帮助的内容就可以了。我这段时间就是，收录好了，原因就是有好几篇文章，都能带来搜索流量，能真正帮助到搜索用户，那么蜘蛛也会对你好，提高收录率。
关于那个速度问题，具体大家可以参考百度搜索资源后台，定时观察捉取异常的链接，我之前就是使用了某个cdn加速导致网站部分地区打开慢，后面发现后，就没出现蜘蛛捉取异常的问题了。还有就是服务器宽带不是很高的情况下，不要把文件上传到服务器上供访客下载。
捉取频次的高低我一直觉得跟收录没关系的，只要是你的内容被收录后，而且这个内容对搜索用户有帮助（经常有人搜索进来），那么蜘蛛对于这个链接的捉取频次就会提升，仅此而已。上图也告诉了大家，捉取目的就是捉取没有被蜘蛛发现的页面，第二种就是捉取旧页面，看是否内容有更新。所以很多时候蜘蛛捉取旧页面只是单纯为了看是否更新内容，而并非捉取你内页里面的新链接。
听到这里有点伤心，以前一直以为在内页新增一个模块为“最新发表”的文章，就能让蜘蛛趁早发现曝光捉取率。发现并非想的那样！
一般备案的新站，都有一个扶持期的，大概是1-2个月，但是我看到别人趁着这个阶段，去填充低质内容，是错误的操作。理解就是，一开始给你流量，但是你犯错了，还是为把你惩罚。我能给你的，也能把你拥有的收回去。让百度知道你这个新站点，去百度站长资源后台提交一下链接和icp备案。
每个站点蜘蛛的抓取配会不会有调整？大约多久会调整一次？有没有固定时间？
对于新资源的抓取和站点的质量相关，对于旧资源的抓取和站点更新频率相关。计算出来你的站点，质量有变化，新资源抓取的频率就会发生变化。发现你的网站规模有变化，我们抓取频次会有变化。站点有很大的变动或改版，被识别出来，更新频率也会有相应变化。
而整体上这些计算的，不是一个特别高的频次。大概会到一个周级的变化，才能体现出来。注：这块说的四种可能会调整，更新变化频率是周级的。
网站降权是否能恢复？
网站降权恢复的前提是要针对网站的内容进行全面的自查整改，按照搜索资源平台发布的算法规范自查整改之后，要把相应的违规页面提交死链，线上进行删除之后搜索会对站点评评估。站点的内容都没有违规会进行恢复。
新站点是否有考核期？
没有一个严格的称为考核期这么一个东西，新站点会有一定一个周期，来进行流量的倾斜，让新站在我们系统里转起来，这个周期大概是月级别的。假设新站已经给你倾斜一到两个月。发现你的价值还是不够高，可能我们就不会去特别高的处理。但是我们依旧会去抓，当发现站点质量有明显提升或优质规模有提升，也会相应去提升站点抓取频次。注：这块是画重点，已备案，新站扶持期并非固定。