百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[Unix/Linux] 某大流量在线电影网站CPU经常性100%,用kangle得以解决【内附详细操作】 [复制链接]
查看:2130 | 回复:8

1602

主题

5085

帖子

8万

积分

落伍者(五谷丰登)

Rank: 8Rank: 8

贡献
733
鲜花
15
注册时间
2010-11-5

落伍PHP落伍手机绑定

发表于 2013-1-28 15:50:19 | |阅读模式 来自 中国江西南昌
本帖最后由 weizy82 于 2013-1-28 15:53 编辑

1.背景介绍
某大流量在线电影网站(为了隐私,这里隐去名字和域名),随着访问量的上涨,之前使用IIS,其cpu经常性的100%,长期90%以上。网站访问打开奇慢,严重影响用户体验,业务发展碰到瓶颈。
相关信息:
alexa世界排名,三个月平均48000. 连接信息30秒内高锋5000.
windows 2008操作系统。
cpu Xeon L5320 1.86 双cpu,每cpu4核心,总共8核心cpu
内存: 8G
2.强制缓存
该用户听朋友说kangle不错,购买一个kangle商业版(3.0.2)。测试性使用kangle,技术人员帮他做常规技术支持。做强制缓存,配置如下:
  1.   <response action='allow' >
  2.                 <table name='BEGIN'>
  3.                         <chain  action='continue' >
  4.                            <!--此规则是压缩网页-->
  5.                                 <acl_header header='content-type' regex='1'><![CDATA[text/ht*]]></acl_header>
  6.                                 <mark_response_flag   flagvalue='gzip,'></mark_response_flag>
  7.                         </chain>
  8.                         <chain  action='default' >
  9.                             <!--强制缓存 1800秒-->
  10.                                 <mark_cache_control   max_age='1800' static='1'></mark_cache_control>
  11.                         </chain>
  12.              </table>
  13.    </response>
复制代码
发现cpu无法降下来。
3.移除随机参数
经过我们的分析,进入kangle web控制平台http://ip:3311/,点连接信息,发现连接内有大量的如下的url:
  1. /plugins/rating/config.xml?0.8560413579778041(此为随机数)
  2. /public/js/looking.js?_=1354929049203(此为随机数)
复制代码
分析原因:其url中使用了随机数,严重影响缓存命中率。强制缓存基本无效。

换用kangle v3.1.4。
kangle 3.1中新增remove_param可以移除url中的一些参数。应对这种情况。
在请求控制(request)中的BEGIN表中增加一条规则链.如下配置:代码 [url=]复制[/url] - [url=]运行[/url]
<request action='vhs'>             <table name='BEGIN'>                        <chain  action='continue'  name='移除随机,提高缓存命中'>                                <mark_remove_param  params='((0\.)|(rand)|(_))' raw='0' nc='1'></mark_remove_param>                        </chain>            </table> </request>
重起kangle后,cpu终于下来了。强制缓存有效。
4.优化搜索
经测试两天,用户满意,正式迁移到kangle后,发现cpu还是很高,90%以上。其中mysql占到90%以上。整站都无法打开。
点连接信息,发现有大量的如下类型连接:代码 [url=]复制[/url] - [url=]运行[/url]
/?keyword=关键词
与用户沟通,知道是其网站的搜索电影服务。经查用户的php代码,得知搜索是使用mysql的like算法,非常消耗资源。
我们建议,把搜索服务独立一个虚拟主机,使用一个单独的域名,这样我们对搜索的虚拟主机设置一个单独的工作者。
对独立的这个虚拟主机仅设置2个工作者。其cpu终于降下来,到10%左右。搜索也正常。
分析原因是搜索消耗cpu,就像堵车,谁都想走,结果谁都走不了。把它设置为最大工作数为2,搜索就会排队,效果反而更好。不堵了,效率更高。
5.缓存命中统计
使用kangle商业版的缓存命中统计,进web管理界面http://ip:3311/ 修改相应的虚拟主机,勾上流量统计模块。就会有缓存命中统计功能了。
主站缓存命中率在95%,搜索缓存命中率在91%。
cpu维持一个较低的水平(10%),用户非常满意,惊叹kangle的效果。

6.案例启示:
1.用好kangle的强制缓存,会收到奇效。
2.使用remove_param模块,移除一些随机参数,提高缓存命中率。
3.对于一些消耗资源的服务,可以独立一个虚拟主机,使用独立工作者,使其不影响到其它服务。
4.工作数不是越多越好,也不是越少越好,适合的才是最好。

评分

参与人数 1积分 +1 鲜花 +1 收起 理由
rhl88 + 1 + 1 感谢分享!向楼主学习。

查看全部评分

41

主题

1225

帖子

284

积分

落伍者(一心一意)

Rank: 1

贡献
850
鲜花
2
注册时间
2006-6-22

落伍者

发表于 2013-1-28 16:36:39 | 来自 中国湖北十堰
使用remove_param模块,移除一些随机参数,提高缓存命中率。

1602

主题

5085

帖子

8万

积分

落伍者(五谷丰登)

Rank: 8Rank: 8

贡献
733
鲜花
15
注册时间
2010-11-5

落伍PHP落伍手机绑定

 楼主| 发表于 2013-1-28 18:05:13 | 来自 中国江西南昌
syewcom 发表于 2013-1-28 16:36
使用remove_param模块,移除一些随机参数,提高缓存命中率。

欢迎来做用 kangle web服务器软件!

109

主题

4051

帖子

4万

积分

落伍者(四季发财)

Rank: 4

贡献
-58
鲜花
0
注册时间
2012-5-31

落伍手机绑定

发表于 2013-1-30 16:04:30 | 来自 中国江西南昌
介绍得很详细!
Easypanel是免费的、跨平台的、数据自动备份、开全能空间、防CC 的虚拟主机控制面板!

223

主题

850

帖子

1132

积分

落伍者(两全齐美)

Rank: 2

贡献
835
鲜花
4
注册时间
2005-10-16

QQ绑定落伍手机绑定

发表于 2013-1-31 01:46:20 | 来自 中国广东深圳
这个软件不错

1602

主题

5085

帖子

8万

积分

落伍者(五谷丰登)

Rank: 8Rank: 8

贡献
733
鲜花
15
注册时间
2010-11-5

落伍PHP落伍手机绑定

 楼主| 发表于 2013-1-31 10:30:55 | 来自 中国江西南昌
itolqtbl 发表于 2013-1-31 01:46
这个软件不错

欢迎来使用

7

主题

169

帖子

34

积分

落伍者(一心一意)

Rank: 1

贡献
57
鲜花
0
注册时间
2009-1-25
发表于 2013-2-6 16:50:37 | 来自 中国广东深圳
好深奥啊

26

主题

176

帖子

110

积分

落伍者(一心一意)

Rank: 1

贡献
1396
鲜花
0
注册时间
2012-11-24
发表于 2013-2-16 17:11:50 | 来自 中国广东东莞
这个分享得不错
高防服务器-www.ruixunidc.net

1602

主题

5085

帖子

8万

积分

落伍者(五谷丰登)

Rank: 8Rank: 8

贡献
733
鲜花
15
注册时间
2010-11-5

落伍PHP落伍手机绑定

 楼主| 发表于 2013-2-18 17:07:12 | 来自 中国江西南昌
锐讯01 发表于 2013-2-16 17:11
这个分享得不错

有需要来用kangle web服务器软件!
论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-6-1 08:22 , Processed in 0.140168 second(s), 41 queries , Gzip On.

返回顶部