什么是robots.txt的？
robots.txt是一个文本文件，可用于限制网络机器人访问您的网站的方法只有在您批准。
这robots.txt文件是否阻止谷歌的Imagebot从整个网站：
用户代理： Googlebot会图像 不允许： /
欲了解更多信息关于robots.txt ，阅读漫游器排除标准 。
检查的语法您的robots.txt
一些基于网络的工具，可将撷取robots.txt文件从您的网站上，并检查它的语法错误。
坏机器人
有些网络机器人将使用了大量的带宽和系统资源，而很少或根本没有返回的实际利益的网站所有者。
为方便起见，我们在一个清单中列出了一些坏机器人 robots.txt中的格式。
 |
书签什么是robots.txt的？
