建站优化
利用百度蜘蛛referer找到报错页面入口
发布日期:2017-07-14 09:30

  大家应该都知道已经全站https并取消referer关键(解释:比喻事物的重要组成部分)词显示了,那么“蜘蛛(baiduspider)referer”又是什么?有什么妙用吗?艺龙SEO负责人刘明发现通过( tōng guò)蜘蛛referer可以快速(kuài sù)定位部分站内url的报错xx或者5xx原因。随后社区版主飞鹰正义也对文章做了补充修正,现推荐给各位同学们。
  什么是蜘蛛(baiduspider)的referer
  蜘蛛的referer,是指当蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,而去除的是用户发起的。如果蜘蛛抓取永凡棋牌APP下载的logo,会发起这样的请求
  上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。青岛网络公司为青岛企业提供网站建设,网站推广,网站改版,门户网站,电商网站,移动网站,营销型网站建设和岳阳地区百度推广,400电话,百度官网,百度网盟,百度信息流等相关企业综合互联网营销公司。制定于岳阳市场,服务岳阳中小型企业的转型和互联网服务的支持。而大家在服务器访问(fǎng wèn)日志中也应该能看到相应的记录。目前发现只有当抓取一个网页的同时,又抓取了网页中的im
  G、js和css才会带上referer字段。青岛做网站当一个新网站上线后,第一是没有权重二没有收录三没有流量,也就是说什么都没有,那么我们必须让我们的网站快速获得流量提高权重。最为可靠的就是先录制一套视频教程发布到视频网站上去,一般发布了视频就会很多的人去看,这样就会很快带动网站流量,权重马上就提高了。这部分额外(extra)的抓取量,应该不会占用分配的抓取配额,属于(shǔ yú)“买1送1”。
  对于站长的意义
  如果你发现有一批URL仅限于img,js,css报错xx或者5xx,但是一直找不到入口在哪,也就是说你不明白蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。
  举个例子
  比如我们的SEO日志分析系统中可以看到,符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报0。青岛网站建设就建站公司而言,很多企业的需求往往具有模糊性,对此建站公司要从专业性的角度为企业提供完善的策划方案,而且这些方案必须要做到图文并茂,同时通过图片来模拟相关的设计以及后台功能展现情况,让企业对此有着明确的认识和了解,然后确定最终的需求,然后再进行网站设计和建设,就会做到事半功倍,否则无论是企业还是建站公司都是双输。
  从发现问题(wèn tí)至今过了1个月,查遍整个网站(website)我也没找到入口。今天偶然仔细查了一下日志,想起了蜘蛛的referer,马上就能定位(dìng wèi)问题了。这些0的URL来自于一套没人维护(Maintain)也没人关注的页面往往是这样。收录流量都不错。由于最近公司图片系统更新,图片的URL全部更改了,但这套页面并没有跟着更新。
  如果站点没有记录referer怎么办
  iis请在这里勾选“cs(Referer)”
  apache请参考:
  apache log配置“Combined Log Format”章节
  apache log配置的官方链接
  Nginx请参考
  nginx log配置(deploy)
  nginx log配置的官方(authority)链接
  结束语
  · 很多SEO问题并不是立即致命的,所以没有及时解决。流量就像蚂蚁啃大象一样一点一点啃掉了。
  · 系统(system)性的知识(zhī shí)积累还是会在关键时刻发挥作用(zuò yòng)的。
  
江苏11选5走势图 江苏11选5 江苏11选5开奖结果 江苏11选5走势图 江苏11选5走势图 永凡棋牌 江苏11选5走势图 江苏11选5开奖结果 金湖棋牌 江苏11选5


江苏11选5走势图 江苏11选5 江苏11选5开奖结果 江苏11选5走势图 江苏11选5走势图 永凡棋牌 江苏11选5走势图 江苏11选5开奖结果 金湖棋牌 江苏11选5