如果说，你的卡盟快照不更新、快照后退甚至是卡盟被降权，你铁定去查看卡盟有没有定期更新原创，以及去看卡盟的哪些友情链接出问题了，其实，在百度搜索引擎上，快照后退、不更新都是正常的，而这并非是你卡盟和你卡盟有交换链接的卡盟出问题了，这只是百度给卡盟的快照滞留或者是没放出来，你要做的就是每天的定时更新原创和发布外链。那么怎么去判断，你的卡盟出现这些情况不是自己的问题?这就要看你有没有每天观察卡盟日志：
爬虫数据记录表
卡盟日志的分析永远是最全的也是最准的，通过卡盟日志我们可以知道搜索引擎蜘蛛在我们卡盟的爬行情况以及停留时间，以及查询卡盟内容是否被收录知道卡盟那些地方在蜘蛛访问时出现了错误信息!好，了解了观察日志的好处，我想大家可能更想知道的是怎么去做日志分析，那么现在泰州优化给大家讲讲如何去做卡盟日志的分析：要做卡盟日志分析首先得先获得卡盟日志，我想肯定有很多人在自己的卡盟根目录中找不到自己的卡盟日志，那是因为你没有在主机后台开启获取卡盟日志的功能，只要在主机后台开启获取卡盟日志，那么第二天就能在卡盟根目录下一个名称为log的文件夹中找到卡盟日志。找到卡盟日志以后，把它下载到本地，因为日志中都是记录的蜘蛛的爬行状态，这个我们看可能看不懂，我们要借助一个工具(光年日志分析工具，直接百度搜索可以下载到!)这个工具可以帮我们快速分析卡盟日志，直接把结论展现给我们，我们要做的就是建立一个EXCEL表格记录这些数据，这些数据要长期坚持记录，这样，我们才能够分析出蜘蛛长期在我们的卡盟的爬行趋势从而知道我们卡盟的发展方向!
数据永远是最直接、最有说服力的，做优化要注重数据的分析，这个应该是作为一个优化er最基本的技能了。关于记录日志表格应该包括的内容有抓取量、抓取次数、爬行时间、不重复抓取量、单个爬虫的平均爬取量、单个爬虫的平均爬取时间、爬虫爬取所遇到的404页面的次数!每天花点时间记录下来这些数据才能知道你卡盟的发展情况，而不是空洞的感觉怎么样，做为优化应该学会用数据说话，因为往往数据比想象更有说服力!
|
发表于 2014-3-19 09:43:29