谷歌工具抓取错误:Robots.txt无法下载

最近网站在谷歌工具(Google Webmaster)里的抓取数据非常不正常,而且从10月份来就一直会收到来自谷歌抓取错误的email。于是这一周来都在研究问题的所在,错误类似下图:

google-crawl-error

经过许久的检查和网络资料研究或是说一些偏方(参考以下动作)

以上动作最终都没有直接改变无法抓取的问题也没有没有找到一个绝对的解决方案。但在过程中发现,这是一个全球性的问题,之前怀疑的各类问题在经过各种测试貌似都不是。唯一的问题那就是谷歌的问题了,随后找到了谷歌Matt对于这个问题的解释:他也承认应该是他们的问题(原链接):

google-crawl-error-matt-ans

相信不少站长手上一些网站可能会遇到同样的问题,或许你换了一个主机后好了或又是认为买了付费版DNSpod就好了,但很有可能在某个时间点又会间歇性发作。我建议大家不要乱动网站,或是换主机,这对于大家的网站稳定性和排名都不利,不如有心的等待。

我再更新一下最新的状态,就如同我上面说的,它就是一会儿好,一会而坏,大家只要留意webmaster收录变化就可以了:

返回到咨道一问 | | 作者:爆老师 Boson 发表于 10/12/2013

『欢迎大家在下方参与(谷歌工具抓取错误:Robots.txt无法下载)评论和分享』


在线咨询