现在使用很多cdn加速都有一个访问控制，可以限制某些地区不能访问网站，我是把全部国外ip给屏蔽了，只留下了国内地区可以访问。那么谷歌搜索是国外的一个搜索引擎，而且大家先入为主，是不是蜘蛛ip也属于国外的？其实下载一个蜘蛛统计插件，就可以看到，其实谷歌蜘蛛捉取并非来自国外ip。
可以查看到谷歌捉取的网站文章链接，ip地址是属于北京市谷歌云。谷歌云就是一个国外的服务器供应商，aws亚马逊，有些站长喜欢去国外买服务器搭建网站，那么买了后，当然是可以支持国内地区访问了，所以谷歌蜘蛛能捉取到国内的网站也是正常的。
所以有时候网站出现崩溃，是被蜘蛛捉取次数多而且比较频繁的时候，屏蔽国外地区ip并不能杜绝这种情况发生，只能查询ip段，然后在宝塔面板里面设置进行ip屏蔽。