什么是robots.txt文件？
蚌埠住了！ 嘿嘿，你知道我们的网站怎么告诉搜索引擎哪些页面可yikan，哪些页面要保密吗？这就靠一个叫Zuorobots.txt的小东西！它就像网站的门卫，告诉小蜘蛛哪些地方可yi进，哪些地方要躲开。
哎呀，这个门卫啊，hen重要呢！它不仅Neng保护我们的隐私页面 比如说后台啊，用户信息啊，还Neng让我们的网站kan起来geng漂亮，不被乱七八糟的页面给破坏了。
robots.txt文件里的指令有哪些呢？
| 指令 | 作用 |
|---|---|
| Disallow | 不让蜘蛛爬这个页面 |
| Allow | 允许蜘蛛爬这个页面 |
| User-agent | 指定这个指令是对哪个蜘蛛生效 |
| Crawl-delay | 告诉蜘蛛不要太老是来访问 |
怎么用这些指令呢？
先说说你得在网站根目录下放个robots.txt文件，ran后写上这些指令。比如说你不想让蜘蛛爬你的首页，就可yi在文件里写上“Disallow: /”，我始终觉得...。
有了robots.txt文件就平安了吗？
哎呀，别太高兴了虽然有了这个文件，但也不代表万无一失。有些坏心的蜘蛛可Neng还是会想来捣乱， 一句话。 suo以你还得有其他的保护措施，比如设置密码huo者加密啥的。
一下啦！
这个robots.txt文件就像个门卫，保护我们的网站不被乱来的蜘蛛打扰。 我怀疑... 用好它，可yi让我们的网站geng平安，排名也geng靠前哦！
