全网营销网站资深运营商

让您拥有企业自己的营销型网站,线上推广宣传事半功倍

13071068976

首页 >> 新闻资讯 >>优化知识 >> robots.txt 里要不要拦住 AI 爬虫
详细内容

robots.txt 里要不要拦住 AI 爬虫

今年不少站长在后台看到一种奇怪的访问记录:来得特别勤,抓得特别深,一个上午把几千篇文章全读一遍,来源标记是各种 AI 公司的爬虫。这些爬虫抓走内容,拿去训练模型或者做问答,你的文章成了别人的答案,流量却一点没回来。于是有人开始纠结,要不要在 robots.txt 里把它们拦住。这件事没有标准答案,得看你靠什么吃饭:内容本身就是产品,还是内容只是给人看的门面。做网站建设时我们一般会把这个判断交给客户,但会给出判断依据。

首先要弄清楚拦的是谁。主流 AI 公司的爬虫都有自己的名字,在 robots.txt 里写上对应的 User-agent 加 Disallow,就能把它们挡在门外。写完记得用工具验证一下,别把规则写错,一不小心把正常搜索引擎也挡了,那损失比被爬走几篇文章大得多。另外要明白,robots 是君子协定,守规矩的爬虫会看,不守的照抓不误,它只能挡住一部分。写规则的时候把路径写对,斜杠多一个少一个都不生效,这类错误排查起来最费时间。

其次是算清楚收益和代价。靠内容卖服务的,比如做咨询、做培训,文章被引用其实是曝光,客户顺着答案找到你,这种反而该放开。靠内容本身变现的,比如付费报告、独家数据,那就该拦,还得配合登录、限流这些手段。多数企业站属于前者,产品页的技术文章被引用,是好事。真被整站搬走的,那不是爬虫的问题,是有人直接抄,得走投诉和取证这条路。还有一个折中的办法:放开搜索类爬虫,只挡训练类爬虫,两边的诉求各照顾一半。规则可以按目录来写,只保护核心栏目,其他内容照常公开。

最后是别把精力全放在防爬虫上。站点的根本还是内容和转化,文章写得有干货、产品页说得清楚,谁抓走都替代不了。做郑州网站建设和河南网站建设的客户里,问这个问题的越来越多,我们的建议通常是:robots 里留一条规则表明态度,剩下的时间拿去写内容。规则写在文件里,一年看一次就够,别天天盯着访问日志生闷气,那点时间够写三篇文章了。真被抄了也别急着怪机器,先看清楚是同行还是平台,处理路径完全不一样。

7x24

在线售后支持

10年互联网服务经验

0
+
0

全国300余家服务机构

0

与70000余家企业客户携手

+
+
公司主营业务:全网营销型网站建设、品牌型网站建设、高端型网站建设、外贸型网站建设、营销型网站建设、网站优化、开发类网站、企业网络营销、搜索引擎推广、微信小程序、企业邮箱、短视频运营等。

Copyright @ 2023. All rights reserved.河南网晟信息技术有限公司 版权所有. 豫ICP备2023001205号  网站地图 免责声明

服务热线

13071068976

河南网晟信息技术有限公司

地址:郑州市高新区升龙商业广场B座25楼

seo seo