网站日志

通过分析网站的日志文件，了解搜索引擎抓取网站的动态

    网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以.log结尾文件。通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面，是否访问成功。

　　对于专业从事搜索引擎优化工作者而言，网站日志可以记录各搜索引擎蜘蛛机器人爬行网站的详细情况，例如：哪个IP的百度蜘蛛机器人在哪天访问了网站多少次，访问了哪些页面，以及访问页面时返回的HTTP状态码。

　　百度的蜘蛛程序名称是baiduspider，Google的机器人程序名称是Google-Googlebot等等，我们在网站日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。

　　再者，必须能看懂常见的http状态码，最常见的HTTP状  态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)，500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，这些状态码是我们必须能看懂的，服务器状态码的值是我们和蜘蛛交流的信号。知道了这些基本信息以后我们就可以根据网站日志进  行分析了，一般来说我们只看百度和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。网站日志中出现大量的谷歌蜘蛛和百度蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。

　　下面说下分析日志的时机，那么在什么情况下我们要去分析日志文件呢?

　　首先，新网站刚建立的时候，这个时候也是站长朋友最急切的时候，我们一般都会焦急的等待搜索引擎收录网站内容，经常会做的事情就是去百度或者Google用命令site:下网站域名看看是否被收录，这个时候，其实我们没必要频繁的查询网站是否被收录，要想知道搜索引擎是否关顾我们的网站。我们就可以借助网站日志文件来查看，怎么看?看网站日志是否有搜索引擎的蜘蛛来网站抓取过，看返回的状态码是200还是其他，如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。一般抓取成功后被搜索引擎放出来的时间也会晚点，一般谷歌机器人放出来的比较快，最快可秒杀，但是百度反应就慢了，最快也要一周左右，不过11月份百度算法调整后，放出来的速度还是很快的。

　　其次，当网站收录异常时我们要把正常收录的日志和异常的  日志进行对比分析，找出问题所在，这样可以解决网站收录问题，也是对完整优化大有裨益的。

　　第三，网站被搜索引擎K掉后，我们必须要观察网站日志文件  来亡羊补牢，一般这种情况下，日志文件里只有很少的几个蜘蛛爬行了首页和robots，我们要找出被K的原因并改正，再提交给搜索引擎，接下来就可以通过观察日志来看蜘蛛是否正常来临，慢慢过一段时间，如果蜘蛛数量增加或者经常来临并且返回200状态吗，那么恭喜你，你的网站又活了，如果半年都没反应，那么建议放弃该域名重新再战了。

    很多站长朋友不懂得如何利用网站日志文件，遇到网站收录问题就去提  问别人，而不好好自检，这是作为站长的悲哀。而且网上的很多软文都提到要做好日志文件的分析，但是那只是软文而已，说不定写文章的作者都没有去看日志文件。说到底，还是希望站长朋友一定不要忽略了网站日志文件，合理的利用好网站日志文件是一个站长必备的技能。
再者说，看懂网站日志文件并不需要你有多么高深的编码知识，其实只要  看得懂html代码和几个返回的状态码就可以了，一定不能懒，或者抱着侥幸心理去对待你的网站，这种心理会导致你输得很惨。如果你是一个小站长，如果你以前没有意识到网站日志文件的重要性，那么从看到我写的这篇文章开始要好好对待你的网站日志了。

通过网站日志查看搜索引擎的抓取情况

    百度用于抓取网页的程序叫做baiduspider - 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛baiduspider的活跃性:抓取频率,返回的http状态码。查看日志的方式:通过ftp,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。日志内容如下:61.135.168.22 - - [11/jan/2009:04:02:45 +0800] "get /bbs/thread-7303-1-1.html http/1.1" 200 8450 "-" "baiduspider+(+http://www.baidu.com/search/spider.htm)"分析:get /bbs/thread-7303-1-1.html代表,抓取/bbs/thread-7303-1-1.html 这个页面。200代表成功抓取。8450代表抓取了8450个字节。如果你的日志里格式不是如此,则代表日志格式设置不同。

    很多日志里可以看到 200 0 0和200 064 则都代表正常抓取。抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。让蜘蛛经常光临文章需要经常更新蜘蛛就和一个人一样,想要吸引它,必须要有最新鲜的内容。如果都是一些老旧的内容,谁还会还看呢?每天或者数天一篇新的原创文章能够很好地勾引蜘蛛,同时也能够让更多的访客来你的网站上留下足迹。页面简洁,保证打开速度一个干净、简洁的页面能够比一个满是广告、无用信息的页面更页面更能够吸引用户,这对于蜘蛛也是。越少的需要抓取的内容,越快的打开速度,能够保证蜘蛛的高效率抓取,蜘蛛来访的频率也会越高。 

    内部链接结构良好,无死链和大量重复链蜘蛛的爬行除了抓取页面,还通过页面上的链接进行“行走”。如果正好步入了一个死链,正如同步入深渊一般,蜘蛛可能需要一段时间之后才能继续抓取。同样的,如果有大量的重复链接,一直爬到这个页面上去,蜘蛛就会认为这个页面没有太大的意义,甚至会停止爬行。为蜘蛛指路——建设网站地图网站地图就好比是一个指向标,唯有清晰明了的指向标才能指引蜘蛛的去向。方便快捷的道路也会勾引来更多的蜘蛛。每个页面都有完整的meta标签拥有完整的meta标签可以更快地告诉蜘蛛这个页面里有什么,提高蜘蛛的抓取效率。这主要包括keywords(关键词)和description(描述),如果想让meta更完美,可以加上generator(作者)、robots(蜘蛛)、copyright(版权)等等。确保服务器能够正常运作,避免宕机在建网站之前,就要考虑好选择一个稳定的服务器,宁可多花点钱,也不要贪小便宜。稳定的运作能够使蜘蛛更好地进行抓取并不中断,还能容纳下更多勾引来的蜘蛛。确保服务器返回信息正常千万不要限制服务器返回信息,这对于蜘蛛来说很重要。一旦无法获取到正确的返回信息,蜘蛛将会迷失方向。监测蜘蛛的爬行可以利用日志知道蜘蛛正在抓取哪些页面,知己知彼,方能根据蜘蛛的喜好对页面进行调整,以勾引来更多的蜘蛛。

    利用google管理员工具查看爬行速度可以利用google专门为站长提供的管理员工具对蜘蛛的爬行速度进行查看,合理分配资源,以达到更高的抓取速度和勾引更多的蜘蛛。增加网站的外链这一条和第三点相类似,因为蜘蛛的通过链接爬行。别的网站上也有蜘蛛,就可以想办法将蜘蛛勾引过来,这办法就是在网站上发外链。参考资料互联网>

从网站的日志文件看百度等搜索引擎访问网站的真相

    平时对网站优化都非常注重网站的数据，比如收录、快照和排名。尤其对于大型网站，很多都存在收录不理想的问题，这个时候就不能仅仅看表面的数据判断出现这种问题的原因，而是应该深入一层，通过网站日志，查看搜索引擎蜘蛛对网站访问的具体情况来找到一些答案。我平时分析网站的时候，也非常注重从日志查看问题，一般都能找到问题的根源。今天与大家分享一下自己的方法和思路，希望多交流。

　　查看搜索引擎蜘蛛爬行总次数

　　一个网站的收录首先要搜索引擎蜘蛛来到网站爬去才能够实现。通过查看日志能够清楚的看到每天蜘蛛访问网站的总次数有多少，从而大致的判断网站的权重如何。一个高权重的网站，蜘蛛来访的次数相对是较多的，相反，一个低权重的网站，即使有非常庞大规模的内容，蜘蛛来访的次数依旧有限。爬行次数有限，分配的时间和深度也就有限，所以收录也就受到了限制。所以我们的重点就是多提供百度来访我们网站的入口，只有入口多了，访问次数才能得到提升。

　　查看所有被爬行目录的整体情况

　　通过日志查看所有被爬行目录的整体情况，能让我们知道搜索引擎爬行最多的目录是哪些，是否是我们想要提供给用户的目录。一般可以非常清楚的看到排名前十位的目录，如果这些目录并不是我们重点提供给用户内容的目录，那么就需要做出调整，说明当前的一些目录被多度爬行了，而真正有价值的目录没有被搜索引擎过度重视，要及时发现并找到原因。

　　查看爬行榜前十名的页面情况

　　除了查看蜘蛛总访问次数以及爬行目录的整体情况，剩下一个非常重要的就是查看爬行总页面的情况。我平时分析网站的时候，时常会看到，被蜘蛛爬行前几名的页面都是一些无关紧要的页面，比如B2C购物车链接页面、比如联系我们页面、一些主题中CSS文件，这些页面和文件对排名和收录本来没有实际的帮助，但现实情况是蜘蛛爬行的最多，所以就会造成浪费，毕竟蜘蛛来访一个网站的总时间和总爬行次数是一定的，总抓取深度也是一定的，如果时间都浪费在了这些页面上，那么对于重点的内页收录就会受到影响。因此通过日志发现之后，就需要在robots.txt中屏蔽掉，或者在页面meta中屏蔽掉。

　　查看平均爬行一次的抓取深度

　　通过日志查看平均一次的抓取深度能有效的了解到网站内部结构的不足。比如百度蜘蛛在某天访问网站总共818次，抓取量是978，那么平均每次抓取的页面数就为1.2页。其实这个数据也是普遍存在的现象，很多网站都存在这样的现象。这充分说明了网站的内部链接做的不足，或者网站结构存在问题，或者是内容出现了高度重复现象，导致蜘蛛来到网站，要么没有什么新发现，要么被结构所阻止，爬行不到新的页面。毕竟，蜘蛛平均在我们网站存在的整体时间是有限的，在这个有限的时间内，如果我们自己设置了障碍，那么蜘蛛就会走掉，是非常可惜的事情。

　　通过以上几点的说明，就能看到搜索引擎对我们网站访问的整体情况，了解了这些情况，在下一步的优化过程中就非常具有针对性。如果不通过日志，那么很多问题就只能看到表面现象，就会出现猜测是的结论，可能对网站起不到对症下药的作用。希望这篇文章能让更多的站长受益。