关于robots协议 作用：只是告诉搜索引擎，哪些目录能抓，哪些目录不能抓，哪些页面可以抓取，或者直接不允许蜘蛛抓取! robots协议的本质是网站和搜索引擎爬虫的沟通方式。 robots这是一个协议，...