什么是robots.txt文件?

搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录，我们可以通过设置robots.txt文件告知搜索引擎机器人。

如果网站上没有禁止搜索引擎收录的内容，则不用设置robots.txt文件，或设置为空。

从SEO的角度，robots.txt文件是一定要设置的，原因：

1.网站上经常存在这种情况：不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。
2.网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
3.一些没有关键词的页面，比如本站的这个页面http://qd218.com/search.html，屏蔽掉更好。
4.一般情况下，站内的搜索结果页面屏蔽掉更好。

本文作者来自天津求谛互动，转载请注明出处：求谛互动（http://qd218.com）
选择天津网站建设公司-求谛互动，优质服务，绝对不容错过 ！
1. 优秀的网络资源，稳定的网站和速度保证
（配送双线独立ip空间，国际A级BGP机房，99.5% 的主机在线时间）
2. 7年天津网站建设经验，优秀的技术和设计水平，更放心
3. 全程省心服务，不必担心自己不懂网络，更省心。
------------------------------------------------------------------------------------------
我们的与众不同之处：
免费网络营销顾问：我们为您提供免费的网络营销顾问服务，您需要了解关于如何开展网络营销，电子商务，网站设计等的事宜，欢迎随时联系我们。

seo友好的网站管理系统：除了优质的网站空间，网站管理系统，和网站设计外，我们的网站管理系统更是seo友好的，包括：自定义栏目名，Google Sitemap自动生成，静态页面生成等等，让您的网站。

免费网络营销培训：如何更好的投放网络广告，如何提高网络广告的投资回报，如何发帖子，
如何优化网站，我们有丰富的经验开放给您！祝君成功！
联系我们：022-66351726

天津网站建设本站关键词：天津网站建设  天津网站制作  天津网站设计  网站建设  天津网站建设公司