一般情况下，网也如果设置了访问权限，搜索引擎蜘蛛是不会来抓取的，因为搜索引擎蜘蛛对网页的抓取，是通过网页与网页之间的链接来实现的，而搜索引擎蜘蛛的访问权限和普通用户是一样的。所以，普通用户没有权限来访问的内容，搜索引擎蜘蛛也是没有权限来访问的。

　　但是，还是有些网页有访问权限可还是会被搜索引擎收录，这是为什么呢?

　　首先我们要知道，网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，虽然有些网页在你的网站里可能有访问权限，但是，如果别人的网站上有指向这些页面的链接，那么，这些页面还是会被搜索引擎收录的。

　　另外，还有其他的原因：

　　1、有可能是该网页在搜索引擎蜘蛛来抓取的时候是没有访问权限的，但抓取之后，我们才设置了访问权限;

　　2、虽然该内容有权限限制，但是由于网站有一些安全漏洞，导致用户可以通过某些特殊路径来直接访问。而这些路径被公布到互联网上，就会被搜索引擎蜘蛛来抓取好收录。

　　当然，如果你实在是不希望这些内容被收录的话，一方面可以通过robots协议来加以限制，另一方面也可以通过反馈中心反馈给搜索引擎来解决。

　　此外，卢涛给出一点SEO优化技巧：可以针对搜索引擎蜘蛛返回404 ，已避免被搜索引擎收录。