【51CTO.com 专家特稿】那天因参加MS的新品发布大会，中午就离开办公室，当我正在出租车上前往会场的途中，同事打电话来说主数据库出现写保护错误。这可不得了，所有的应用都靠这个数据库呀，我心里默念：千万不要出漏子，否则就不能参会了！于是我在电话里交代同事重启mysql数据库试试，还好，重启后问题解决。
一散会，就赶紧上去找故障原因。这里先描述一下平台环境，把逻辑关系弄清楚。在这个应用中，由一个web前段服务器，一个tomcat应用服务器及一个mysql服务器构成，所有的系统都是linux。用户的请求先到前端的apache服务器，如果请求页面是.jsp，apache就把请求转交给tomcat服务器，tomcat再从数据库获取数据或向数据库插入记录。这是典型的3层应用逻辑。
登录到数据库mysql服务器，用mysql客户端连接mysql数据库，执行命令 mysql > show processlist; 没发现什么异常，负载也很低。看来从这里看不出什么名堂。接下来当然该看mysql错误日志，发现如下异常：
080313 11:25:35 InnoDB: Error: cannot allocate 1064960 bytes of InnoDB: memory with malloc! Total allocated memory InnoDB: by InnoDB 1233305429 bytes. Operating system errno: 12 InnoDB: Check if you should increase the swap file or InnoDB: ulimits of your operating system. InnoDB: On FreeBSD check you have compiled the OS with InnoDB: a big enough maximum process size. InnoDB: Note that in most 32-bit computers the process InnoDB: memory space is limited to 2 GB or 4 GB. InnoDB: We keep retrying the allocation for 60 seconds... 080313 11:26:08 [ERROR] /usr/local/mysql/bin/mysqld: Sort aborted 080313 11:26:19 InnoDB: Error: cannot allocate 1064960 bytes of InnoDB: memory with malloc! Total allocated memory |
这个报错的大意是：内存基本耗尽，没有再可以分配的空间。由此判断是什么东西产生巨大的负荷导致系统内存被榨干了。不过现在数据库服务器已经趋于平稳，暂时查不到什么原因引起这个故障。
基本情况掌握了，停下来休息片刻，于是顺手收一下邮件，乖乖，来了一封报警邮件，赶紧打开，其内容如下：
***** Nagios 2.9 ***** Notification Type: PROBLEM Service: check_load Host: tomcat nch100 Address: 61.154.105.100 State: WARNING Date/Time: Thu Mar 13 10:59:53 CST 2008 Additional Info: WARNING - load average: 3.94, 8.56, 9.17 |
报警消息表明主机61.154.105.100在10:59的这个时间负载过大。而这个主机正好是tomcat服务器,看来问题就在这个上面.为了近一步确认自己的想法,我来查看一下网络流量:
 |
从流量图可以看出,产生异常流量的时间正好与报警信息的时间一致,再给同事打电话,问：“你们都在61.154.105.100 这个机器上干了啥?”，答：“执行了一条不正确的sql语句，发现问题后取消这个sql语句”。至此，原因查明！
【51CTO.COM 专家特稿，转载请注明出处及作者！】
|
|||
| 名称：SQL Server数据库管理精品黄皮书 简介：书中文章经过精挑细选，便于用户能根据自己的实际工作和学习，快速在本书寻找到相关资料。内容涵盖了SQL Server的安装与升级、语句查询、数据备份和恢复、自动化任务、数据同步、数据字典、安全和预防、性能和优化、集群等各方面应用信息，以及DBA管理人员在数据库管理工作中 |
|||
| 名称：2007路由技术大全 简介：《2007路由技术大全》由51CTO.com网站特别策划制作，该书包括路由器技术、路由器产品、路由器配置、安全设置、路由器故障处理、路由器密码恢复，以及广大网友在实践使用中的心得经验和技巧文章，内容注重实用性，适用于初学者入门，也适合多年从业者提高，是一本实践和理论完 |
|||
| 名称：网络安全精品应用黄皮书 简介：《2007精品网络安全黄皮书》包括了9个大类24个小类， 800余篇文章，内容包含了熊猫烧香病毒、DDOS攻击、ARP病等热点问题的介绍及解决方案。从病毒查杀、防范、系统、数据等各方面的安全设置到黑客技术的了解、防范，涉及到了安全应用的全部领域, 由浅至深内容全面。 |
|
||||
| · VPN技术 · iSCSI应用与发展 · SQL Server 2008/2005.. · SQL Server 2008/2005.. · iSCSI应用与发展 · RAID——磁盘阵列基础 · 中间件应用技术专题 · 深入了解PGP加密技术 |
· 病毒查杀专题 · VPN技术 · 国际文档格式标准开战 · SSL VPN详细知识 · Linux防火墙 · 打造安全服务器 · Sniffer安全技术从入门.. · 木马原理与防范 |
|||
|
||||
| · SQL Server 2008/2005.. · iSCSI应用与发展 · 中间件应用技术专题 · SQL Server 2008/2005.. · iSCSI应用与发展 · RAID——磁盘阵列基础 · 身份认证技术 · 病毒查杀专题 |
· 清除流氓软件——51CTO.. · SSL VPN详细知识 · Sniffer安全技术从入门.. · VPN技术 · 了解统一威胁管理(UTM).. · 网络钓鱼 · ADSL应用面面俱到 · ADSL应用面面俱到 |
|||
