网站蜘蛛日志怎么分析,每天查看蜘蛛日志有什么作用?

作者: 弘晟SEO 发布时间:2018-04-23 10:24:54 文章来源:弘晟网络 浏览浏览:55

      每天查看网站的蜘蛛日志是非常有必要的,但是有很多站长往往却忽略了这一项重要的日常工作,不知道看蜘蛛日志应该分析哪些数据,甚至不清楚用什么工具去查看。只有从蜘蛛日志发现问题,才能有目标性的去改进调整。之前的文章中,我们提到过《怎么才能让蜘蛛更快的抓取网站文章》,那么怎么查看搜索引擎对网站的爬行记录,可能有些朋友还不了解,下面来介绍一下。

网站蜘蛛日志怎么分析

      首先,要从你的服务里面把网站的蜘蛛日志下载下来,里面包括了用户访问和蜘蛛访问。日志文件在服务器里面,用ftp软件登录到服务器下载就可以了。注意:不同的服务器位置不一样,通常logs的文件夹就在里面。日志文件每天会更新,有些按周更新看服务器设置问题。拿到日志文件之后,需要用工具把文件拆分开来,方便分析。工具有很多,弘晟SEO顾问习惯使用光年数据分析工具,很老的工具了。用这个工具可以拆分出百度蜘蛛,和其他蜘蛛,按照不同时间段等等,按照不同纬度来拆分数据,从而做出判断。

      工具怎么使用我们下次说,我们就谈一下通过搜索引擎蜘蛛数据,我们可以解决什么问题。做SEO优化相信大家的目的都是一致的,就是流量!流量!流量!搜索引擎流量的前提是排名,排名的前提是收录,收录的前提是抓取。通过蜘蛛爬行日志,我们可以知道网站内容有多少被抓取过,有哪些内容是没有被抓取的,文章的抓取率是多少,抓取过的内容收录率多少。从数据反馈网站最根本的问题,比如内容没有被抓取,我们需要多提交链接或者做一下外链解决抓取的问题;内容抓取率低,可以从网站布局和蜘蛛入口方面想办法;抓取了但不收录,可以从文章质量入手。

每天查看蜘蛛日志有什么作用?

      下面我们来看看搜索引擎蜘蛛日志帮我们解决了什么问题。网站上线3个月搜狗还没收录,笔者拿到他网站的日志,查看搜狗的蜘蛛之后,终于知道搜狗为什么不收录,因为抓取的都是不存在的页面,都是404,唯一一个200还是爬虫协议。后来了解到这个网站经过改版重新上线的,以前一堆老链接还在搜狗的爬行库里面,笔者只是让他做了一个动作。就是robots里面把蜘蛛爬行的404目录给屏蔽掉。把不存在的目录屏蔽掉后,在搜狗站长工具后台提交首页链接,第二天蜘蛛开始正常爬取。如果没有看蜘蛛数据,那么就不知道是什么问题,看到一直不收录可能以为是文章质量问题,事实上根本就没有抓取何来收录?

      我们可以在蜘蛛的日志文件发现很多问题,然后针对问题来解决问题,而不是盲目判断做一些无谓工。另外从蜘蛛数据长期监控趋势,再结合网站的操作,可以发现操作会对SEO有什么影响,好的加大力度,不好的改进。

常见的状态码

      200-服务器成功返回页面

      301-永久移动,请求的网页已被永久的移动到新位置

      404-请求的网页不存在,网页不存在

      500-服务器遇到错误,无法完成请求

      503-服务器都不可用,目前无法使用服务器(由于超载或许进行停机维护)

      ==》》

      1xx:收到收到请求继续处理

      2xx:操作成功,分析、接受

      3xx:完成此请求,必须进一步处理请求

      4xx:包含一个错误

      ==》》

通过日志可以看到蜘蛛哪些数据?

      ①蜘蛛类型

      ②蜘蛛IP权重

      ③访问时间段

      ④访问次数

      ⑤停留时间

      ⑥爬取量

通过Spider爬取数据可以分析到哪些?

      1.Spider对整个网站的爬取频率

      2.Spider对重要页面的爬取情况

      3.Spider对网站内容的爬取分布情况

      4.Spider对应对各类型网页的爬取情况

      5.Spider对网站请求状态码情况

了解更多SEO优化请点击》》庆阳网站优化
本文为本站原创文章,转载请注明【本文转自弘晟SEO网站建设
本文链接 
http://www.bixseo.com/seojishu/246.html

 

服务支持

我们珍惜您每一次在线询盘,有问必答,用专业的态度,贴心的服务。

让您真正感受到我们的与众不同!

合作流程

合作流程

网站制作流程从提出需求到网站制作报价,再到网页制作,每一步都是规范和专业的。

常见问题

常见问题

提供什么是网站定制?你们的报价如何?等网站建设常见问题。

常见问题

售后保障

网站制作不难,难的是一如既往的热情服务及技术支持。我们知道:做网站就是做服务,就是做售后。