建站优化
巧用robots避免蜘蛛黑洞-百度站长平台资讯
发布日期:2017-09-19 09:33

  对于搜索引擎(Engine)来说,蜘蛛黑洞特指网站通过极低的成本(Cost)制造出大量参数(parameter)过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。
  比如很多网站都有筛选功能,通过筛选功能产生(born)的网页经常(jīng cháng)会被搜索引擎大量抓取,而这其中很大一部分检索价值(value)不高,如“500-1000之间价格的租房”,首先网站包括现实中上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯(xí guàn)。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况(qíng kuàng)呢?
  我们以北京某团购网站为例,看看该网站是如何利用(lì yòng)robots巧妙避免这种蜘蛛黑洞的
  对于普通的筛选结果页,该网站选择(xuǎn zé)使用静态链接,如http://bj.XXXXX.com/category/zizhucan/weigongcun
  同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数(parameter)的动态链接,而且即使是同一种排序条件如都是按销量(xiāo liàng)降序排列,生成的参数也都是不同的。如http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index/poi.0.0.i1afqhek
  http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index/poi.0.0.i1afqi5c
  对于该团购网来说,只让搜索引擎(Engine)(Search Engine)抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供(provide)给搜索引擎。
  robots.txt的文件用法中有这样一条规则Disallow: /*?* ,即禁止搜索引擎(Search Engine)访问网站中所有的动态(dòng tài)页面。青岛网络公司为青岛企业提供网站建设,网站推广,网站改版,门户网站,电商网站,移动网站,营销型网站建设和岳阳地区百度推广,400电话,百度官网,百度网盟,百度信息流等相关企业综合互联网营销公司。制定于岳阳市场,服务岳阳中小型企业的转型和互联网服务的支持。青岛做网站当一个新网站上线后,第一是没有权重二没有收录三没有流量,也就是说什么都没有,那么我们必须让我们的网站快速获得流量提高权重。最为可靠的就是先录制一套视频教程发布到视频网站上去,一般发布了视频就会很多的人去看,这样就会很快带动网站流量,权重马上就提高了。青岛网站建设发现多数的企业网站都出现了相同的问题,网站设计和搜索引擎优化不能有效地结合起来,要么是网站设计师不懂得搜索引擎优化,把网站设计得很漂亮,而忽略了网站最基本的优化,不能被搜索引擎读懂,得不到好的排名,要么是网站制作人员审美能力很差,只懂得程序,会推广却不懂设计,永凡棋牌APP下载一打开就是满目文本,导航也是文本,甚至没有一张图片,感觉到制作人真的是横了心要跟搜索引擎上的关键词竞争者火拼。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供(provide)了更友好的网站结构,避免了黑洞的形成。
永凡棋牌手机版app下载 江苏11选5 江苏11选5开奖记录 江苏11选5开奖结果 金湖棋牌 江苏11选5 永凡棋牌app 江苏11选5走势图 江苏11选5 江苏11选5开奖结果


永凡棋牌手机版app下载 江苏11选5 江苏11选5开奖记录 江苏11选5开奖结果 金湖棋牌 江苏11选5 永凡棋牌app 江苏11选5走势图 江苏11选5 江苏11选5开奖结果