weizy82 发表于 2012-12-8 14:22:20

某大流量在线电影网站迁移到kangle案例【内附详细操作】

本帖最后由 weizy82 于 2012-12-8 14:24 编辑

1.背景介绍
       某大流量在线电影网站(为了隐私，这里隐去名字和域名)，随着访问量的上涨，之前使用IIS,其cpu经常性的100%,长期90%以上。网站访问打开奇慢，严重影响用户体验，业务发展碰到瓶颈。

相关信息:
alexa世界排名,三个月平均48000. 连接信息30秒内高锋5000.
windows 2008操作系统。
cpu Xeon L5320 1.86 双cpu,每cpu4核心，总共8核心cpu
内存: 8G
2.强制缓存
该用户听朋友说kangle不错，购买一个kangle商业版(3.0.2)。测试性使用kangle,技术人员帮他做常规技术支持。做强制缓存,配置如下:
      <response action='allow' >
                <table name='BEGIN'>
                        <chainaction='continue' >
                           <!--此规则是压缩网页-->
                              <acl_header header='content-type' regex='1'><!]></acl_header>
                              <mark_response_flag   flagvalue='gzip,'></mark_response_flag>
                        </chain>
                        <chainaction='default' >
                            <!--强制缓存 1800秒-->
                              <mark_cache_control   max_age='1800' static='1'></mark_cache_control>
                        </chain>
             </table>
   </response>
发现cpu无法降下来。
3.移除随机参数
经过我们的分析，进入kangle web控制平台http://ip:3311/,点连接信息，发现连接内有大量的如下的url:
/plugins/rating/config.xml?0.8560413579778041(此为随机数)
/public/js/looking.js?_=1354929049203(此为随机数)
分析原因：其url中使用了随机数，严重影响缓存命中率。强制缓存基本无效。

换用kangle v3.1.4。
kangle 3.1中新增remove_param可以移除url中的一些参数。应对这种情况。
在请求控制(request)中的BEGIN表中增加一条规则链.如下配置:
<request action='vhs'>
             <table name='BEGIN'>
                        <chainaction='continue'name='移除随机，提高缓存命中'>
                              <mark_remove_paramparams='((0\.)|(rand)|(_))' raw='0' nc='1'></mark_remove_param>
                        </chain>
            </table>
</request>
重起kangle后，cpu终于下来了。强制缓存有效。
4.优化搜索
经测试两天，用户满意，正式迁移到kangle后，发现cpu还是很高，90%以上。其中mysql占到90%以上。整站都无法打开。
点连接信息，发现有大量的如下类型连接:
/?keyword=关键词
与用户沟通，知道是其网站的搜索电影服务。经查用户的php代码，得知搜索是使用mysql的like算法，非常消耗资源。
我们建议，把搜索服务独立一个虚拟主机，使用一个单独的域名，这样我们对搜索的虚拟主机设置一个单独的工作者。
对独立的这个虚拟主机仅设置2个工作者。其cpu终于降下来，到10%左右。搜索也正常。
分析原因是搜索消耗cpu,就像堵车，谁都想走，结果谁都走不了。把它设置为最大工作数为2，搜索就会排队，效果反而更好。不堵了，效率更高。
5.缓存命中统计
使用kangle商业版的缓存命中统计，进web管理界面http://ip:3311/ 修改相应的虚拟主机，勾上流量统计模块。就会有缓存命中统计功能了。
主站缓存命中率在95%，搜索缓存命中率在91%。
cpu维持一个较低的水平(10%)，用户非常满意，惊叹kangle的效果。

6.案例启示:
1.用好kangle的强制缓存，会收到奇效。
2.使用remove_param模块，移除一些随机参数，提高缓存命中率。
3.对于一些消耗资源的服务，可以独立一个虚拟主机，使用独立工作者，使其不影响到其它服务。
4.工作数不是越多越好，也不是越少越好，适合的才是最好。

来就业 发表于 2012-12-8 14:38:39

不错，非常好的学习贴。

weizy82 发表于 2012-12-8 14:39:16

来就业 发表于 2012-12-8 14:38 static/image/common/back.gif
不错，非常好的学习贴。

周末好！^_^

xush133 发表于 2012-12-11 10:16:53

kangle 到底是什么啊？虚拟主机管理系统吗

weizy82 发表于 2012-12-11 11:50:07

xush133 发表于 2012-12-11 10:16 static/image/common/back.gif
kangle 到底是什么啊？虚拟主机管理系统吗

kangle是一款web服务器和反向代理服务器软件。1679763385

weizy82 发表于 2012-12-12 14:08:50

xush133 发表于 2012-12-11 10:16 static/image/common/back.gif
kangle 到底是什么啊？虚拟主机管理系统吗

您好^_^

有需要了解，欢迎随时信息1679763385

zxzx5656 发表于 2012-12-12 21:22:06

看 看

weizy82 发表于 2012-12-13 10:10:32

zxzx5656 发表于 2012-12-12 21:22 static/image/common/back.gif
看 看

早上好^_^

欢迎来使用kangle ！1679763385

leyoutt 发表于 2012-12-13 20:50:47

这个非常给力

weizy82 发表于 2012-12-14 12:50:16

leyoutt 发表于 2012-12-13 20:50 static/image/common/back.gif
这个非常给力

欢迎来使用kangle web服务器软件！
页: [1] 2
查看完整版本: 某大流量在线电影网站迁移到kangle案例【内附详细操作】