很多时候，您会发现网站会引用了一个名为robots.txt的文件，您可以使用该文件来实现搜索引擎索引和爬行方面的不同目标，告知搜索引擎是否应抓取您的网页。
robots.txt是什么？
我们都知道txt后缀的文件是纯文本文档，robots是机器人的意思，所以顾名思义，robots.txt文件也就是给搜索引擎蜘蛛这个机器人看 的纯文本文件。robots.txt是搜索引擎公认遵循的一个规范文 档，它告诉Google、百度等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止收录的。 搜索引擎蜘蛛 spider（Googlebot/Baiduspider）来访问你的网站页面的时候，首先会查看你的网站根目录下是否有robots.txt文件，如果有则按照里面设置的规则权限对你网站页面进行抓取和索引。
robots.txt的作用：
我们了解了什么是robots.txt，那它有什么作用，总体来说，robots.txt文件至少有下面两方面的作用：
1、通过设置屏蔽搜索引擎访问不必要被收录的网站页面，可以大大减少因spider抓取页面所占用的网站带宽，小网站不明显，大型网站就很明显了。
2、设置robots.txt可以指定google或百度不去索引哪些网址，比如我们通过url重写将动态网址静态化为永久固定链接之后，就可以通过robots.txt设置权限，阻止Google或百度等搜索引擎索引那些动态网址，从而大大减少了网站重复页面，对SEO优化起到了很明显的作用。
robots.txt文件写法举例说明：
禁止Google/百度等所有搜索引擎访问整个网站 | User-agent: *
Disallow: / |
允许所有的搜索引擎spider访问整个网站(Disallow:可以用Allow: /替代) | User-agent: *
Disallow: |
禁止Baiduspider访问您的网站，Google等其他搜索引擎不阻止 | User-agent: Baiduspider
Disallow: / |
只允许Google spider： Googlebot访问您的网站，禁止百度等其他搜索引擎 | User-agent: Googlebot
Disallow:
User-agent: *
Disallow: / |
禁止搜索引擎蜘蛛spider访问指定目录
(spider不访问这几个目录。每个目录要分开声明，不能合在一起) | User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /~jjjj/ |
禁止搜索引擎spider访问指定目录，但允许访问该指定目录的某个子目录 | User-agent: *
Allow: /admin/far
Disallow: /admin/ |
使用通配符星号"*"设置禁止访问的url
(禁止所有搜索引擎抓取/cgi-bin/目录下的所有以".html"格式的网页(包含子目录)) | User-agent: *
Disallow: /cgi-bin/*.html |
使用美元符号"$"设置禁止访问某一后缀的文件
(只允许访问以".html"格式的网页文件。) | User-agent: *
Allow: .html$
Disallow: / |
阻止google、百度等所有搜索引擎访问网站中所有带有?的动态网址页面 | User-agent: *
Disallow: /*?* |
阻止Google spider：Googlebot访问网站上某种格式的图片
(禁止访问.jpg 格式的图片) | User-agent: Googlebot
Disallow: .jpg$ |
只允许Google spider：Googlebot抓取网页和.gif格式图片
(Googlebot只能抓取gif格式的图片和网页，其他格式的图片被禁止；
其他搜索引擎未设置) | User-agent: Googlebot
Allow: .gif$
Disallow: .jpg$
....... |
只禁止Google spider：Googlebot抓取.jpg格式图片
(其他搜索引擎和其他格式图片没有禁止) | User-agent: Googlebot
Disallow: .jpg$ |
重复强调一下并请注意，您的网站上没有robots.txt文件不会以任何方式损害您的网站。但是作为网站管理者必须知道网站使用robots.txt文件对搜索引擎来说是友好的，因为它允许网站与搜索引擎蜘蛛通信并给他们一些指示。进而有利于蜘蛛爬虫抓取和收录，希望河南网站建设公司小编分享对大家有帮助，感谢浏览！
