blackli

再到经典区发一遍，增加精华几率


花了半个下午+半个晚上写的，希望能给个精华，就奔着精华来的
上次木木发了一个用iis日志获取蜘蛛记录，但是对于一般的虚拟主机用户，自己是无法操作iis的，IDC提供的日志文件常常不会有Baiduspider标记，这个程序就是用于分析iis日志文件（网上虽然有一些程序，但不知道怎么回事总是测试不成功 ），该程序可以获取访问ip总数、搜索引擎抓取数量估计等信息。
程序功能虽然简单，但是感觉比较实用。存在的问题源码里面写了，有兴趣的朋友可以继续研究，欢迎交流讨论。
程序用的是php语言，asp空间就不要测试了。
程序后的界面是这样的

1. <?php
   
2. /*******************************************************
   
3. *功能:iis日志分析,分析出访问IP总数,搜索引擎抓取次数
   
4. *说明:
   
5. *       将日志文件放在网站根目录,并改名为log.log。
   
6. *演示:http://www.zhanzhangpu.com/tools/iislog/
   
7. *       http://www.zhanzhangpu.com/tools/iislog/demo.gif
   
8. *作者:blackli,来自落伍者
   
9. *问题:搜索引擎蜘蛛地址不准确，尤其是google蜘蛛地址，国内流行的地址列
   
10. *       表存在相当大的误差,能力有限,不能够解决这个问题。有兴趣的可以参考
    
11. *       下面的网址.
    
12. *参考:http://www.seonewthing.com/googleBotCheck.aspx
    
13. *       http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html
    
14. *******************************************************/
    
15. 
    
16.         //打开日志文件
    
17.         $DOCUMENT_ROOT = $_SERVER['DOCUMENT_ROOT'];
    
18.         $fp = fopen("$DOCUMENT_ROOT/log.log",'rb');
    
19.         if ( !$fp )
    
20.         {
    
21.                 echo '打开文件失败';
    
22.                 exit;
    
23.         }
    
24. 
    
25.         //分析每行日志
    
26.         $num_ip = 0;    //访问IP总数
    
27.         $ip = array();    //IP数据数组,其中ip[$i][0]为IP地址、ip[$i][1]为该地址出现次数
    
28.         while ( !feof($fp) )
    
29.         {
    
30.                 $line = fgets($fp,1001);
    
31.                 if ( substr($line,0,1) == '#' )
    
32.                 {
    
33.                         //获取日志生成时间
    
34.                         if ( substr($line,0,5) == '#Date' )
    
35.                         {
    
36.                                 $date_info = explode(' ',$line);
    
37.                                 //echo '日志生成时间:'.$date_info[1].'  '.$date_info[2].'</br>';
    
38.                         }
    
39.                 }
    
40.                 else
    
41.                 {
    
42.                         //获取访问IP
    
43.                         if ( $line == '' ) continue;
    
44.                         $ip_info = explode(' ',$line);
    
45. 
    
46.                         for ( $j = $num_ip-1, $having_ip = false; $j >= 0 ; $j -- )
    
47.                         {
    
48.                                 if ( $ip[$j][0] == $ip_info[6] )
    
49.                                 {
    
50.                                         $having_ip = true;
    
51.                                         $ip[$j][1] ++ ;
    
52.                                         break;
    
53.                                 }
    
54.                         }
    
55.                         if ( $having_ip == false )
    
56.                         {
    
57.                                 $ip[$num_ip][0] = $ip_info[6];
    
58.                                 $ip[$num_ip][1] = 1;
    
59.                                 $num_ip ++;
    
60.                         }
    
61.                 }
    
62.         }
    
63. 
    
64.         //获取搜索引擎蜘蛛访问次数
    
65.         //baidu、google蜘蛛地址列表
    
66.         $baiduSpider = array('220.181','159.226','202.108','61.135.');
    
67.         $googleBot = array('74.125.','209.85.','66.102.','64.233.','64.249','209.85.');
    
68. 
    
69.         $num_Spider = $num_googleBot = 0;
    
70.         for ( $i = 0; $i < $num_ip ; $i++ )
    
71.         {
    
72.                 //计算百度蜘蛛访问次数
    
73.                 for ( $j = 0 ; $j < 4 ; $j ++ )
    
74.                 {
    
75. 
    
76.                         if ( substr($ip[$i][0],0,7) == $baiduSpider[$j] )
    
77.                         {
    
78.                                 $num_Spider += $ip[$i][1];
    
79.                                 continue;
    
80.                         }
    
81.                 }
    
82.                 //计算google蜘蛛访问次数
    
83.                 for ( $j = 0 ; $j < 6 ; $j ++ )
    
84.                 {
    
85.                         if ( substr($ip[$i][0],0,7) == $googleBot[$j] )
    
86.                         {
    
87.                                 $num_googleBot += $ip[$i][1];
    
88.                                 continue;
    
89.                         }
    
90.                 }
    
91.         }
    
92. 
    
93.         //echo '百度蜘蛛请求'.$num_Spider.'次<br/>';
    
94.         //echo 'google蜘蛛请求'.$num_googleBot.'次<br/>';
    
95.         fclose($fp);
    
96. ?>
    
97. <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    
98. <html xmlns="http://www.w3.org/1999/xhtml">
    
99. <head>
    
100. <title>iis日志分析-Powered by ZhanZhangPu</title>
     
101. <style type="text/css">
     
102. #main{
     
103.         width:800px;
     
104.         margin:0 auto;
     
105.         border:1px solid #EEE;
     
106. }
     
107. #main div{
     
108.         background:#EEE;
     
109.         border:2px solid #FBFBFB;
     
110.         line-height:25px;
     
111.         font-size:15px;
     
112.         padding:15px;
     
113. }
     
114. </style>
     
115. </head>
     
116. <body>
     
117. <div id="main">
     
118.         <h2>日志生成时间<?php echo $date_info[1].'  '.$date_info[2]; ?></h2>
     
119.         <div>
     
120.                 共有<?php echo $num_ip; ?>IP的请求.<br/>
     
121.                 百度蜘蛛请求<?php echo $num_Spider; ?>次.<br/>
     
122.                 google蜘蛛请求<?php echo $num_googleBot; ?>次.
     
123.         </div>
     
124.         <div>
     
125.                 IP地址列表:<br/>
     
126.                 <?php
     
127.                         for ( $i = 0 ; $i < $num_ip ; $i ++ )
     
128.                         {
     
129.                                 echo $ip[$i][0].'     '.$ip[$i][1].'次.<br/>';
     
130.                         }
     
131.                 ?>
     
132.         </div>
     
133.         <div>Powered by <a href="http://www.zhanzhangpu.com">站长铺</a>&trade;</div>
     
134. </div>
     
135. </body>
     
136. </html>

复制代码

这个压缩包里面有源程序和一个测试文件，欢迎试用，才疏学浅，有问题欢迎提出来

wskyak

顶顶楼主

guo_ke

很实用 很强大

6688

是个好东西呀收下

阿牧

Fatal error: Maximum execution time of 30 seconds exceeded in D:\wwwroot\uch\upload\iis.php on line 49

52829095

关注，帮顶

51socks

这个要顶

格格男

很强大。。

blackli

Fatal error: Maximum execution time of 30 seconds exceeded in D:\wwwroot\uch\upload\iis.php on line 49
阿牧 发表于 2009-4-23 12:49

这个可能是日志文件过大，运行超时
不好意思，程序效率有问题
目前只能改配置文件，修改php.ini中max_execution_time = 180试一试，建议将日志文件下载到自己的电脑中分析

阿牧

读取了个28M的。