robots.txt写错一行，整站收录都可能出问题

robots.txt是网站根目录下一个小小的文本文件，专门告诉搜索引擎哪些页面能爬、哪些不要爬。它小到很多做了多年网站的人都不知道它的存在，但一旦写错，后果可以很严重：有客户上线大改版后流量持续下滑，查了半个月，最后发现是新加的robots文件里误写了一句全站禁止抓取。一行配置，让几个月的优化成果归零。建议把这篇文章收藏起来，每次改版后照着核对一遍，两分钟就能避免一次大事故。

首先知道它管什么、不管什么。它管的是搜索引擎蜘蛛的抓取行为，Disallow一行写一个路径，表示不许爬；写User-agent加星号，代表对所有蜘蛛生效。但它只是君子协定，真正保密的内容得靠密码和权限，别指望robots能防盗。反过来，后台地址、测试目录这些不想被收进搜索结果的地方，倒是要在robots里明确屏蔽，免得被收录了丢人还泄密。郑州网站建设的交付流程里，robots属于上线自查清单的固定一项，客户可以直接要求查看。

其次是几个常见的错误写法。最致命的是Disallow后面直接跟斜杠，等于全站封杀；路径大小写写错，规则不生效，想屏蔽的页面照样被抓；还有人在Disallow里写了中文路径没做编码，蜘蛛读不懂，等于白写。改版或换程序时特别容易出事，旧目录没了、新结构上线，robots忘了跟着改，结果该放开的没放开，该屏蔽的旧页面反而全放开了。每次大改动之后，都把robots翻出来过一遍。核对全程花不了十分钟，习惯养成后基本不会再栽在这里。

最后说说怎么自查。浏览器直接打开你网站的域名加斜杠robots.txt，能访问、内容看得懂，第一步就算过关；再用搜索资源平台里的抓取诊断工具测一下，看蜘蛛眼里你的站是什么状态。配合站点地图一起用，允许抓的写进地图，禁止抓的写进robots，两张清单互相对照，基本不会漏。河南网站建设交付验收时，让建站方把robots文件内容打印在交接文档里，写清楚每一行的用途。网站建设团队按规范来的，这个文件从来不是随手写的。