还有就是在user-agent:后边不屑固定蜘蛛名称跟的如果是“”表示是针对所有蜘蛛的。禁止某个目录被搜索引擎蜘蛛抓取,设置代码如下:User-agent:Disallow: 目录注意,这里如果是阻止抓取某目录的话目录名字一定要注意“”,不带“”表示的是阻止访问这个目录页面和目录下的页面,而带上“”则表示进阻止目录下的内容页面,这两点要分清楚。如果是想屏蔽多个目录就需要采用User-agent:Disallow: 目录Disallow: 目录这样的形式,不能采用 目录目录 这样的形式。如果是阻止...
查看详情 →