关于11月10日后台系统登录,查询缓慢的说明
现象描述: 11月9号晚上运营和技术振宁在登录 http://datasystem.baidu.com/ 该后台时非常慢,甚至无法登录,即使偶尔能登录,也无法查询业务系统数据。
问题分析: 1、发现在http://datasystem.baidu.com/ 打开该网址时并不会慢,只是登录的时候慢,也就是说27.152.28.196 的WEB服务没问题,问题出在了数据库后台110.81.155.233。
2、在数据服务器上(110.81.155.233)查看负载时,发现该服务器的CPU资源一直被mysqld进程占用,且负载率100%。可以确定是mysql引发的系统无法查询数据的原因。
故障排查:
1、 首先检查mysql错误日志, 发现一直提示,
[root@%][mendyshop_chn.or_bak_der_fix] Access denied for user ,表示拒绝root用户访问mendyshop_chn,经检查发现该数据库有触发器触发了一些事件,后来取消了该触发器,报错的提示也随之消失,但负载的问题还是没能解决。
2、 接着对mysql执行状态分析, show full processlist
发现有大量关于tp_count_goods_hour该表的insert和update操作,处在锁表状态。
3、 查询了tp_count_goods_hour该表的数据量,130多M,并不大,以为表损坏,开始修复该表,表修复完毕后,发现负载还是没有下来。
4、 接着在tp_count_goods_hour表下点开索引,发现未建立索引,将经常要用到查询或是更新的字段创建到索引,再次查看负载时,发现已经完全降下来。至此处理好数据库负载问题。
提示: 检查的过程中,也应该要查询任务计划,看是否是任务计划太频繁操作引起,查看进程是否有问题。
签名:这个人很懒,什么也没有留下!