百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[国内信息] 如何优化WEB应用数据库访问慢的问题 [复制链接]
查看:7036 | 回复:106

243

主题

7511

帖子

692

积分

落伍者(一心一意)

Rank: 1

贡献
290
鲜花
2
注册时间
2015-11-11

落伍者落伍手机绑定

发表于 2016-9-12 09:51:46 | |阅读模式 来自 中国河北保定
  大家应该都遇到过WEB应用数据库访问慢的问题,如果只是少量的页面访问有问题(性能问题)时,优化是非常简单的。但是如果是“所有的都慢”,需要如何做呢?

    看那些来自于数据库并且在页面上显示的信息。这是重要的,因为这些信息是需要用这样或那样的方法从数据库中读取出来的,如果确实是打算这样显示的话。任务就是要使用最高效的方法,从数据库中得到这些信息。

    考查这些信息的动态性。如果很少改变,或者干脆就是静态的,那么比较好的方法是预先创建(pre-create)或者缓存它。只是要记住,优化数据库访问的最好的方法,就是避免访问数据库。这对于其他的类似事情也适用----如果可以完全避免动态页面的产生,并且使用服务器的缓存来解决,就更好了。

    检查从数据库读出的数据与需要显示的信息是否相符。从数据库出读取的信息,往往比生成页面所需要的信息要多。轻一点的像是SELECT*FROMtbl,而不是只列出那些真正需要的列;严重的可以是用SELECT*FROMtbl来计算表中有多少行记录(不是开玩笑)。有时候会看到查询了100个stories,其中任一个会被选择显示出来,由应用程序层做过滤。有时候在应用程序层这样做是高效的,但是通常应该使查询只返回需要的信息。

    检查结果集的记录数。这是非常重要、而且经常被遗忘的步骤。如果一个查询返回很少的行数,有些人就认为它是简单的,而真正重要的是这个查询分析了多少行数据。比如SELECTCOUNT(*)FROMlinksWHEREdomain=“mysql.com”;只返回一行,但却扫描了成千上万的记录(或者索引节点)。其他通常的杀手查询是GROUPBY查询和SORT查询----SELECTname,descrFROMtitlesORDERBYrankDESCLIMIT10----如果没有适当的索引,就会使用“filesort”,会有些问题。此外就是JOIN(关联)----关联是高代价的(当然是相对的),并且确实增加了为了产生结果集而使用的数据量----如果不得不关联10个表来组合出想要的结果,那么会比从一个表中得到同样的数据要慢很多。

    检查结果集的生成实际需要的记录数。有时查询需要使用大量数据来产生结果集,是因为没有适当的索引----这是容易发生的。比如我们的ORDERBYrank查询就是这样----为rank列增加索引,会使这个查询仅使用10行数据来返回10行----恰恰是我们想要的。然而我们的COUNT(*)查询是不同的----即使在domain列上有索引,它仍然需要扫描很多行数据来得到结果集。这样的查询需要重新设计,而不是简单地调整----比如汇总表(summarytable)保存了每个域的link数量,就可以解决。

    检查查询的次数。如果可以使用一个查询得到所需要的数据,那么就好于用多个查询得到同样的数据,前提是这一个查询不会因为与那些查询优化方式不同而需要分析更多行的数据。这里一个典型的例子是SELECT*FROMtblWHEREid=5执行了很多次,每次使用不同的常量----用类似IN(5,7,4,56)来替换是非常有效的。但也不要被这样的方法迷住。我曾经看到有人尝试用UNION(需要适当填充以使不同的字段数目及类型能够匹配)连接所有的查询----这不是个好主意。然而,如果可以减小查询的次数,而又不会增加应用程序架构的复杂性,那么是值得做的。
美国服务器  香港服务器  越南服务器 柬埔寨服务器  日本服务器 韩国服务器   美国站群大量现机 香港站群 ...

1094

主题

1万

帖子

1万

积分

落伍者(四季发财)

Rank: 4

贡献
1334
鲜花
22
注册时间
2010-7-14

QQ绑定

发表于 2016-9-12 09:53:48 | 来自 中国四川内江
有时候在应用程序层这样做是高效的

665

主题

1万

帖子

4287

积分

落伍者(两全齐美)

Rank: 2

贡献
4703
鲜花
2
注册时间
2012-7-12

落伍者QQ绑定

发表于 2016-9-12 10:08:43 | 来自 中国北京
检查从数据库读出的数据与需要显示的信息是否相符

257

主题

479

帖子

189

积分

落伍者(一心一意)

Rank: 1

贡献
1010
鲜花
0
注册时间
2013-8-3

QQ绑定落伍微信绑定落伍者落伍手机绑定

发表于 2016-9-12 10:11:17 | 来自 中国江苏苏州
织梦漏洞太多了!

665

主题

1万

帖子

4287

积分

落伍者(两全齐美)

Rank: 2

贡献
4703
鲜花
2
注册时间
2012-7-12

落伍者QQ绑定

发表于 2016-9-12 10:11:50 | 来自 中国北京
检查从数据库读出的数据与需要显示的信息是否相符

665

主题

1万

帖子

4287

积分

落伍者(两全齐美)

Rank: 2

贡献
4703
鲜花
2
注册时间
2012-7-12

落伍者QQ绑定

发表于 2016-9-12 10:12:57 | 来自 中国北京
检查从数据库读出的数据与需要显示的信息是否相符

243

主题

7511

帖子

692

积分

落伍者(一心一意)

Rank: 1

贡献
290
鲜花
2
注册时间
2015-11-11

落伍者落伍手机绑定

 楼主| 发表于 2016-9-12 14:18:49 | 来自 中国河北保定


型号:徐州双线四核服务器租用

价格:500元/月 5000元/年

处理器:Intel Q9300/I5 四核

内存:8G DDR3 Kingston 1333

硬盘:500G SATA 7200转

优势: 带宽大,防御高,秒解

线路: 徐州双线20M独享(120G集群40G单防)

托管: 徐州服务器托管5500/年

测试; 58.218.199.1/112.84.124.1
美国服务器  香港服务器  越南服务器 柬埔寨服务器  日本服务器 韩国服务器   美国站群大量现机 香港站群 ...

243

主题

7511

帖子

692

积分

落伍者(一心一意)

Rank: 1

贡献
290
鲜花
2
注册时间
2015-11-11

落伍者落伍手机绑定

 楼主| 发表于 2016-9-12 17:25:25 | 来自 中国河北保定


型号:河北联通八核服务器租用

价格:600元/月 6000元/年

处理器:Intel XEON L5520*2(8核16线程)

内存:8G DDR3 Kingston 1333

硬盘:500G SATA 7200转

优势: 河北唯一20G防御

线路: 河北联通20兆带宽独享

托管: 河北联通服务器托管4000/年

测试; 221.194.37.1
美国服务器  香港服务器  越南服务器 柬埔寨服务器  日本服务器 韩国服务器   美国站群大量现机 香港站群 ...

243

主题

7511

帖子

692

积分

落伍者(一心一意)

Rank: 1

贡献
290
鲜花
2
注册时间
2015-11-11

落伍者落伍手机绑定

 楼主| 发表于 2016-9-13 10:22:01 | 来自 中国河北保定
安全总是相对的,再安全的服务器也有可能遭受到攻击。作为一个安全运维人员,要把握的原则是:尽量做好系统安全防护,修复所有已知的危险行为,同时,在系统遭受攻击后能够迅速有效地处理攻击行为,最大限度地降低攻击对系统产生的影响。
一、处理服务器遭受攻击的一般思路
系统遭受攻击并不可怕,可怕的是面对攻击束手无策,下面就详细介绍下在服务器遭受攻击后的一般处理思路。
1.切断网络
所有的攻击都来自于网络,因此,在得知系统正遭受黑客的攻击后,首先要做的就是断开服务器的网络连接,这样除了能切断攻击源之外,也能保护服务器所在网络的其他主机。
2.查找攻击源
可以通过分析系统日志或登录日志文件,查看可疑信息,同时也要查看系统都打开了哪些端口,运行哪些进程,并通过这些进程分析哪些是可疑的程序。这个过程要根据经验和综合判断能力进行追查和分析。下面的章节会详细介绍这个过程的处理思路。
3.分析入侵原因和途径
既然系统遭到入侵,那么原因是多方面的,可能是系统漏洞,也可能是程序漏洞,一定要查清楚是哪个原因导致的,并且还要查清楚遭到攻击的途径,找到攻击源,因为只有知道了遭受攻击的原因和途径,才能删除攻击源同时进行漏洞的修复。
4.备份用户数据
在服务器遭受攻击后,需要立刻备份服务器上的用户数据,同时也要查看这些数据中是否隐藏着攻击源。如果攻击源在用户数据中,一定要彻底删除,然后将用户数据备份到一个安全的地方。
5.重新安装系统
永远不要认为自己能彻底清除攻击源,因为没有人能比黑客更了解攻击程序,在服务器遭到攻击后,最安全也最简单的方法就是重新安装系统,因为大部分攻击程序都会依附在系统文件或者内核中,所以重新安装系统才能彻底清除攻击源。
6.修复程序或系统漏洞
在发现系统漏洞或者应用程序漏洞后,首先要做的就是修复系统漏洞或者更改程序bug,因为只有将程序的漏洞修复完毕才能正式在服务器上运行。
7.恢复数据和连接网络
将备份的数据重新复制到新安装的服务器上,然后开启服务,最后将服务器开启网络连接,对外提供服务。
二、检查并锁定可疑用户
当发现服务器遭受攻击后,首先要切断网络连接,但是在有些情况下,比如无法马上切断网络连接时,就必须登录系统查看是否有可疑用户,如果有可疑用户登录了系统,那么需要马**这个用户锁定,然后中断此用户的远程连接。
1.登录系统查看可疑用户
通过root用户登录,然后执行“w”命令即可列出所有登录过系统的用户,如下图所示。

通过这个输出可以检查是否有可疑或者不熟悉的用户登录,同时还可以根据用户名以及用户登录的源地址和它们正在运行的进程来判断他们是否为非法用户。
2.锁定可疑用户
一旦发现可疑用户,就要马**其锁定,例如上面执行“w”命令后发现nobody用户应该是个可疑用户(因为nobody默认情况下是没有登录权限的),于是首先锁定此用户,执行如下操作:
[root@server ~]# passwd -l nobody
锁定之后,有可能此用户还处于登录状态,于是还要将此用户踢下线,根据上面“w”命令的输出,即可获得此用户登录进行的pid值,操作如下:
[root@server ~]# ps -ef"grep @pts/3
531 6051 6049 0 19:23 ? 00:00:00 sshd: nobody@pts/3
[root@server ~]# kill -9 6051
这样就将可疑用户nobody从线上踢下去了。如果此用户再次试图登录它已经无法登录了。
3.通过last命令查看用户登录事件
last命令记录着所有用户登录系统的日志,可以用来查找非授权用户的登录事件,而last命令的输出结果来源于/var/log/wtmp文件,稍有经验的入侵者都会删掉/var/log/wtmp以清除自己行踪,但是还是会露出蛛丝马迹在此文件中的。
三、查看系统日志
查看系统日志是查找攻击源最好的方法,可查的系统日志有/var/log/messages、/var/log/secure等,这两个日志文件可以记录软件的运行状态以及远程用户的登录状态,还可以查看每个用户目录下的.bash_history文件,特别是/root目录下的.bash_history文件,这个文件中记录着用户执行的所有历史命令。
四、检查并关闭系统可疑进程
检查可疑进程的命令很多,例如ps、top等,但是有时候只知道进程的名称无法得知路径,此时可以通过如下命令查看:
首先通过pidof命令可以查找正在运行的进程PID,例如要查找sshd进程的PID,执行如下命令:
1 2 [root@server ~]# pidof sshd 13276 12942 4284
然后进入内存目录,查看对应PID目录下exe文件的信息:
1 2 [root@server ~]# ls -al /proc/13276/exe lrwxrwxrwx 1 root root 0 Oct 4 22:09 /proc/13276/exe -> /usr/sbin/sshd
这样就找到了进程对应的完整执行路径。如果还有查看文件的句柄,可以查看如下目录:
[root@server ~]# ls -al /proc/13276/fd
通过这种方式基本可以找到任何进程的完整执行信息,此外还有很多类似的命令可以帮助系统运维人员查找可疑进程。例如,可以通过指定端口或者tcp、udp协议找到进程PID,进而找到相关进程:
1 2 3 4 5 6 7 8 9 [root@server ~]# fuser -n tcp 111 111/tcp: 1579 [root@server ~]# fuser -n tcp 25 25/tcp: 2037 [root@server ~]# ps -ef|grep 2037 root 2037 1 0 Sep23 ? 00:00:05 /usr/libexec/postfix/master postfix 2046 2037 0 Sep23 ? 00:00:01 qmgr -l -t fifo -u postfix 9612 2037 0 20:34 ? 00:00:00 pickup -l -t fifo -u root 14927 12944 0 21:11 pts/1 00:00:00 grep 2037
在有些时候,攻击者的程序隐藏很深,例如rootkits后门程序,在这种情况下ps、top、netstat等命令也可能已经被替换,如果再通过系统自身的命令去检查可疑进程就变得毫不可信,此时,就需要借助于第三方工具来检查系统可疑程序,例如前面介绍过的chkrootkit、RKHunter等工具,通过这些工具可以很方便的发现系统被替换或篡改的程序。
五、检查文件系统的完好性
检查文件属性是否发生变化是验证文件系统完好性最简单、最直接的方法,例如可以检查被入侵服务器上/bin/ls文件的大小是否与正常系统上此文件的大小相同,以验证文件是否被替换,但是这种方法比较低级。此时可以借助于Linux下rpm这个工具来完成验证,操作如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 [root@server ~]# rpm -Va ....L... c /etc/pam.d/system-auth S.5..... c /etc/security/limits.conf S.5....T c /etc/sysctl.conf S.5....T /etc/sgml/docbook-simple.cat S.5....T c /etc/login.defs S.5..... c /etc/openldap/ldap.conf S.5....T c /etc/sudoers ..5....T c /usr/lib64/security/classpath.security ....L... c /etc/pam.d/system-auth S.5..... c /etc/security/limits.conf S.5..... c /etc/ldap.conf S.5....T c /etc/ssh/sshd_config
对于输出中每个标记的含义介绍如下:
S 表示文件长度发生了变化
M 表示文件的访问权限或文件类型发生了变化
5 表示MD5校验和发生了变化
D 表示设备节点的属性发生了变化
L 表示文件的符号链接发生了变化
U 表示文件/子目录/设备节点的owner发生了变化
G 表示文件/子目录/设备节点的group发生了变化
T 表示文件最后一次的修改时间发生了变化
如果在输出结果中有“M”标记出现,那么对应的文件可能已经遭到篡改或替换,此时可以通过卸载这个rpm包重新安装来清除受攻击的文件。
不过这个命令有个局限性,那就是只能检查通过rpm包方式安装的所有文件,对于通过非rpm包方式安装的文件就无能为力了。同时,如果rpm工具也遭到替换,就不能通过这个方法了,此时可以从正常的系统上复制一个rpm工具进行检测。
美国服务器  香港服务器  越南服务器 柬埔寨服务器  日本服务器 韩国服务器   美国站群大量现机 香港站群 ...

243

主题

7511

帖子

692

积分

落伍者(一心一意)

Rank: 1

贡献
290
鲜花
2
注册时间
2015-11-11

落伍者落伍手机绑定

 楼主| 发表于 2016-9-18 10:32:08 | 来自 中国河北保定
戴尔服务器,八核,16G内存,50M独享,20G防御促销500元/月 续费550元,年付4999元 , 限量10台,先到先得
QQ 318843767
电话 15630259560
美国服务器  香港服务器  越南服务器 柬埔寨服务器  日本服务器 韩国服务器   美国站群大量现机 香港站群 ...
论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-4-25 08:39 , Processed in 0.108083 second(s), 34 queries , Gzip On.

返回顶部