设有访问权限的网页还会被搜索引擎收录吗?-网络营销师卢涛
网络营销师卢涛

设有访问权限的网页还会被搜索引擎收录吗?

  一般情况下,网也如果设置了访问权限,搜索引擎蜘蛛是不会来抓取的,因为搜索引擎蜘蛛对网页的抓取,是通过网页与网页之间的链接来实现的,而搜索引擎蜘蛛的访问权限和普通用户是一样的。所以,普通用户没有权限来访问的内容,搜索引擎蜘蛛也是没有权限来访问的。

  但是,还是有些网页有访问权限可还是会被搜索引擎收录,这是为什么呢?

  首先我们要知道,网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,虽然有些网页在你的网站里可能有访问权限,但是,如果别人的网站上有指向这些页面的链接,那么,这些页面还是会被搜索引擎收录的。

  另外,还有其他的原因:

  1、有可能是该网页在搜索引擎蜘蛛来抓取的时候是没有访问权限的,但抓取之后,我们才设置了访问权限;

  2、虽然该内容有权限限制,但是由于网站有一些安全漏洞,导致用户可以通过某些特殊路径来直接访问。而这些路径被公布到互联网上,就会被搜索引擎蜘蛛来抓取好收录。

  当然,如果你实在是不希望这些内容被收录的话,一方面可以通过robots协议来加以限制,另一方面也可以通过反馈中心反馈给搜索引擎来解决。

  此外,卢涛给出一点SEO优化技巧:可以针对搜索引擎蜘蛛返回404 ,已避免被搜索引擎收录。

http://mip.i3geek.com
码字很辛苦,转载请注明来自网络营销师卢涛《设有访问权限的网页还会被搜索引擎收录吗?》

评论