什么是robots？robots就是网站跟搜索引擎蜘蛛间的协议，用简单直接的txt格式告诉对应的蜘蛛被允许的权限，这个文件是我们自己建站的小伙伴经常要使用的。当搜索蜘蛛访问一个网站时，它会首先检查该站点…