培进科技LOGO
51-Site 关于51-SITE 联系51-SITE 网站地图 蜘蛛地图
首页 > 常见问题 >

如何避免搜索引擎蜘蛛陷阱

作者:Mack   更新:2019-10-10 22:42 转载抄袭请注明本站链接,一经发现,追究全部法律责任。
在一些网站上有些网站开发人员设计的网站对搜索引擎都不太友好,相当不利于搜索引擎的蜘蛛抓取,这样的行为称之为蜘蛛陷阱,那么有哪些常见的蜘蛛陷阱呢?主要有以下几个方面:
1.网页加入FLASH动画效果,FLASH跟JS一样,搜索引擎也是没有办法抓取的,而且有些网站把导航和网站链接都做在FLASH上面,结果搜索引擎抓取的就是一个空白网站,没有链接也无法抓取其它页面。
SEO优化
2.网页上来来回回各种跳转,网站除了301跳转以外,其它像js,meta跳转尽量少做,因为黑帽SEO经常会用这种方面来欺骗用户并引导用户到其它网站或网页。

3.Frame框架结构,这个Frame框架现在基本用的人少了,所以这个陷阱暂时可以忽略了,不过现在还有些网站的API调用是FRAME框架的结构,但最好少用。

4.动态URL链接地址,即是网站链接中带有?号之类的都是动态链接,这些动态链接搜索引擎抓取是没有问题的,但是不利于搜索引擎抓取,而且由于有很多动态页面只是后面的参数不一样,网页内容大致是一样的,所以还会导致许多重复的页面。

5.JS的特效,这个很好理解,比如有很多网站为了比较炫酷的视觉效果,而加了许多JS特效,但是搜索引擎的蜘蛛过来抓取,是不会管什么特效,也不会等什么先后顺序,如果文字开始没有展现出来,那么蜘蛛也无法看到,或你的网页内容都是JS代码中,百度也是无法抓取的。


6.强制用户记往COOKIES,cookies是有些网站为了能跟踪网站用户来源或记住用户的登录信息而强制用户使用cookies,如果有的用户为了个人隐私,把cookies关了,那么用户就无法打开网页,不显示不正常,那么搜索引擎的蜘蛛也是没有办法访问的。

7.要求用户填写信息或登录才能看到内容,有些网站为了获得更多客户资源或想要更多的用户注册才能看到会员的信息,但是搜索引擎的蜘蛛是不会自动注册填写信息,所以搜索引擎也是没有办法抓取网页内容的。

8.Session ID即是一个用户来访问网站的会话ID,这个跟cookies差不多,但是还有点区别,这个会话ID主要是跟踪用户到访哪些页面,那么蜘蛛每来访问网站也会带一个sessionID,那么每天都会有不同的ID,URL不一样,但是网页内容是一样的,就很容易会被蜘蛛认为是重复页面。这对网站是相当不利的。

网站分析、预估、报价(企业客户)
加微信与我们沟通吧
微信:13637419311
手机:13637419311
培进科技专注于SEO外包优化服务,用SEO技术助企业扩大规模并降低成本
转载抄袭请注明本站链接,一经发现,追究全部法律责任。

如何获取流量与咨询增长?立即与我们沟通吧

立即咨询
请您留言

51-SITE(上海)科技有限公司

感谢留言 我们会尽快与您联系 关闭 发送