百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[交流] 记录各搜索蜘蛛爬行记录php代码 [复制链接]
查看:413 | 回复:1

41

主题

1225

帖子

284

积分

落伍者(一心一意)

Rank: 1

贡献
850
鲜花
2
注册时间
2006-6-22

落伍者

发表于 2013-1-13 17:30:42 | |阅读模式 来自 中国湖北十堰
可以记录Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录
代码如下:

01        <?php
02         //http://www.tongqiong.com
03        function get_naps_bot()
04        {
05        $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
06          
07        if (strpos($useragent, 'googlebot') !== false){
08        return 'Google';
09        }
10          
11        if (strpos($useragent, 'baiduspider') !== false){
12        return 'Baidu';
13        }
14        if (strpos($useragent, 'msnbot') !== false){
15        return 'Bing';
16        }
17          
18        if (strpos($useragent, 'slurp') !== false){
19        return 'Yahoo';
20        }
21          
22        if (strpos($useragent, 'sosospider') !== false){
23        return 'Soso';
24        }
25          
26        if (strpos($useragent, 'sogou spider') !== false){
27        return 'Sogou';
28        }
29          
30        if (strpos($useragent, 'yodaobot') !== false){
31        return 'Yodao';
32        }
33        return false;
34        }
35          
36        function nowtime(){
37        $date=date("Y-m-d.G:i:s");
38        return $date;
39        }
40          
41        $searchbot = get_naps_bot();
42          
43        if ($searchbot) {
44        $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
45        $url=$_SERVER['HTTP_REFERER'];
46        $file="www.tongqiong.com.txt";
47        $time=nowtime();
48        $data=fopen($file,"a");
49        fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
50        fclose($data);
51        }
52        //http://www.tongqiong.com
53        ?>

43

主题

241

帖子

51

积分

落伍者(一心一意)

Rank: 1

贡献
2
鲜花
0
注册时间
2011-1-1

QQ绑定

发表于 2013-1-13 17:41:49 | 来自 中国湖北孝感
支持了!只可惜我网站是asp的!
论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-5-20 00:00 , Processed in 0.097841 second(s), 36 queries , Gzip On.

返回顶部