robots.txt

上海seo达闻SEO案例网站，基础教学，SEO术语。robots.txt是搜索引擎与站长签订的君子协议，如果我们的网站不想被搜索引擎收录， 就可以通过robots.txt来告诉它。作为一名网站SEO专员，我们应该尽最大的可能来优化我们的搜索结果。所以，一些无关紧要的页面都需要通过robot.txt来封杀。

robots.txt使用说明

下面是VeryCMS里的robots.txt文件： 

User-agent: *

Disallow: /admin/ 后台管理文件

Disallow: /require/ 程序文件

Disallow: /attachment/ 附件

Disallow: /images/ 图片

Disallow: /data/ 数据库文件

Disallow: /template/ 模板文件

Disallow: /css/ 样式表文件

Disallow: /lang/ 编码文件

其中User-agent是表述搜索引擎的类型，如果使用*号，则表示对所有搜索引擎，此外Disallow是禁止蜘蛛爬行该文件夹，如果我们网站的某个栏目不希望被他收录，就要使用disallow+文件夹名。

一些误区

很多SEO人员不太善于使用robots.txt，他们认为robots.txt会减少网站的收录量，这是一件很遗憾的事情。网站的收录量固然不容忽视，但是我们更应该看重的是网站在搜索引擎上的搜索结果。如果我们网站的搜索结果很差，那么带来的流量势必会很糟糕，而做SEO的目的是带来高质量的流量，如果都是一些垃圾流量，是不可能产生转化的。所以，我们鼓励大家把没有必要的页面全部屏蔽掉，比如注册页面，登入页面等。与其说SEO的目的是带来更多的流量，不如说是减少垃圾流量，提高部分流量的转化。