robots.txt是什么？

有没有想过，如果我们某个站点不让百度和google收录，那怎么办？

搜索引擎已经和我们达成一个约定，如果我们按约定那样做了，它们就不要收录。

这个写约定的的文件命名为:robots.txt。

robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。

关于robots.txt一般站长需要注意以下几点：

1.如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。
2.必须命名为：robots.txt，都是小写，robot后面加"s"。
3.robots.txt必须放置在一个站点的根目录下。如：通过http://qd218.com/robots.txt 可以成功访问到，则说明本站的放置正确。
4.一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。
5.观察这个页面并修改为自己的：http://qd218.com/robots.txt 
6.有几个禁止，就得有几个Disallow函数，并分行描述。
7.至少要有一个Disallow函数，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: /  （注：只是差一个斜杆）。
补充说明：

User-agent: *  星号说明允许所有搜索引擎收录

Disallow: /search.html   说明 http://qd218.com/search.html 这个页面禁止搜索引擎抓取。

Disallow: /index.php?   说明类似这样的页面http://qd218.com/index.php?search=好&action=search&searchcategory=% 禁止搜索引擎抓取。

本文作者来自天津求谛互动，转载请注明出处：求谛互动（http://qd218.com）
选择天津网站建设公司-求谛互动，优质服务，绝对不容错过 ！
1. 优秀的网络资源，稳定的网站和速度保证
（配送双线独立ip空间，国际A级BGP机房，99.5% 的主机在线时间）
2. 7年天津网站建设经验，优秀的技术和设计水平，更放心
3. 全程省心服务，不必担心自己不懂网络，更省心。
------------------------------------------------------------------------------------------
我们的与众不同之处：
免费网络营销顾问：我们为您提供免费的网络营销顾问服务，您需要了解关于如何开展网络营销，电子商务，网站设计等的事宜，欢迎随时联系我们。

seo友好的网站管理系统：除了优质的网站空间，网站管理系统，和网站设计外，我们的网站管理系统更是seo友好的，包括：自定义栏目名，Google Sitemap自动生成，静态页面生成等等，让您的网站。

免费网络营销培训：如何更好的投放网络广告，如何提高网络广告的投资回报，如何发帖子，
如何优化网站，我们有丰富的经验开放给您！祝君成功！
联系我们：022-66351726

天津网站建设本站关键词：天津网站建设  天津网站制作  天津网站设计  网站建设  天津网站建设公司