天企网络：日志分析是SEO操作中非常重要的一步[亲测有效]

欢迎大家来到IT世界,在知识的湖畔探索吧!

日志分析是我们这些 SEO 从业人员的最基础的必备能力;通过日志的分析我希望能够了解以下信息内容：

　　1、该网站目前百度的蜘蛛，是否还来爬行;

　　2、如果来爬，那么每天爬了多少页面;200 状态的有多少?非 200 状态的页面有多少?

　　3、百度蜘蛛爬的页面都是那些页面?是一些我想展示给客户的网页，还是一些不相关的页面，比如列表页等;

　　因为每个日子都有 100M 左右;想要对里面的记录进行分析,需要借助一定的工具;市面有的一些工具多多少少,不能满足自己的一些特定需求;所以根据一个开源的工具，结合自己的需求设计一个自认为比较顺手的日志分析程序是很多高端技术的独家手段。

借助日志分析工具针对各种情况的分析,可以总结出以下问题:

　　(1)日志中有大量的 404 页面需要检查,分析,处理

　　(2)有大量的模拟地址进行恶意访问的 IP 地址;

　　(3)200 状态下,有大量的我不希望爬行和索引的网页

　　(4)除 200 状态外,还有很多 301,403 等状态的爬行记录;

　　这些问题需要处理,处理的目的是希望能够给百度蜘蛛一个优良的环境;也就是我们通常说的降噪音;保证百度蜘蛛爬行的效率，从而提升整体网站优化的实际效果。