数据中心系统应急预案
中关村科技软件有限公司
目录
一、总则 . .......................................................................................................................................... 3
（1）编制目的 . ........................................................................................................................ 3 （2）适用范围 . ........................................................................................................................ 3 （3）编制依据 . ........................................................................................................................ 3 二、应急事件分级 . .......................................................................................................................... 4
（1）应急事件等级分类 . ........................................................................................................ 4 （2）事件影响程度分级 . ........................................................................................................ 5 （3）事件综合指标 . ................................................................................................................ 5 三、应急事件响应及处理流程 . ...................................................................................................... 6
（1）应急资源联系表 . ............................................................................................................ 6 （2）应急事件处理流程表 . .................................................................................................... 7 （3）故障排查、处理任务分解 . ............................................................................................ 8 四、故障快速排查手册 . .................................................................................................................. 8
(1)服务器硬件故障排查 .......................................................................................................... 9 (2)操作系统故障排查 ............................................................................................................ 12 (3)网络故障排查 .................................................................................................................... 12 (4)平台故障排查 .................................................................................................................... 14 五、事件处理 . ................................................................................................................................ 15
应用系统故障处理 . ................................................................................................................ 15 六、汇总统计 . ................................................................................................................................ 15 七、应急预案完善 . ........................................................................................................................ 16 八、数据库备份策略 . .................................................................................................................... 16
（1）策略 . .............................................................................................................................. 16
● 备份类型 . ................................................................................................................ 16 ● 备份周期 . ................................................................................................................ 16 ● 备份地点 . ................................................................................................................ 16 ● 定期检查 . ................................................................................................................ 17 （2）方案 . .............................................................................................................................. 17
● 安装备份工具 . ........................................................................................................ 17 ● 创建文件夹 . ............................................................................................................ 17 ● 计划任务 . ................................................................................................................ 17 ● 备份任务 . ................................................................................................................ 18 ● 备份检查 . ................................................................................................................ 19
数据中心系统应急预案
一、总则
（1）编制目的
为提高数据中心系统面对重特大网络与信息突发事件时的组织指挥和应急处置能力，保证网络与安全事件应急处置工作迅速、高效、有序执行，特制定本预案。 （2）适用范围
本应急预案适用于数据中心系统发生网络与系统突发事件时使用。
（3）编制依据
本预案编写依据《西城区党政机关计算机网络与信息安全管理规定》等相关管理规定及文件。
二、应急事件分级
（1）应急事件等级分类
（2）事件影响程度分级
（3）事件综合指标
三、应急事件响应及处理流程
根据应急事件处理流程图，进行应急事件全流程处理。并对事件处理全过程进行详细记录，事件故障发现及排查由故障定基层人员负责，事故处理过程由相对应的网络安全、系统运维、应用系统运维一线人员记录。 （1）应急资源联系表
（2）应急事件处理流程表
（3）故障排查、处理任务分解
四、故障快速排查手册
一线技术人员接到事件通知，立即启动信息系统故障排查手册，所有一线技术资源同时启动故障排查，应在10分钟之内定位应急事件产生来源。并初步分析处理此故障所需时间，并拟定应急事件现场处理方案，将事件故障点、处理方案上报系统管理员。
(1)服务器硬件故障排查
根据应用系统服务器资产列表，排查服务器指示灯是否报警正常。查询方法如下： 服务器前面板检查：
● 电源模块检查
● 处理器模块检查
内存板模块检查
(2)操作系统故障排查
服务器启动停留在自检界面，无法通过自检，操作系统无法启动，检查操作系统是否因文件丢失，导致服务器操作系统无法启动，检查方法如下：
● 服务器启动时按ctrl+s进入Bios 界面，由硬盘启动改为由光盘启动。保存并退出。
● 放入系统PE 引导光盘，重启服务器进入PE 系统（PE 光盘存放在调试室工具柜一层光盘盒中）。
● 若通过PE 盘启动操作系统成功，则排除操作系统硬件故障，并确认服务器操作系统故障。
(3)网络故障排查
应用系统无法提供访问，进行网络故障排查，是否由于网络故障导致应用不能提供服务。检查方法如下：
1
“运行”，输入cmd 进入命令行，使用PING 大包命令，检查与区人口库平台服务器之间网络连接情况。
Ping –l 65500 –t 172.25.3.14
（1）如果能够PING 通（大包）而且不发生丢包现象，可排除网络故障；
（2）如果无法PING 通（大包）或网络丢包现象，立即联系网络组相关人员协助检查。
（3）发生故障均不属于以上几方面，则需按照以下步骤进行一系列排查。
2、在数据中心服务器本地桌面字符操作窗口。
使用PING 大包命令，检查与内网DNS 服务器之间网络连接情况。 Ping –l 65500 –t 10.5.1.2
（1）如果能够PING 通（大包）而且无丢包现象，可排除网络故障；
（2）如果无法PING 通（大包）或发现网络丢包现象，立即联系网络组相关人员协助检查。检查内容包括服务器网络接口及其他网络设备连接情况。
（3）如果发生网络丢包现象，初步判断网络故障，并需按照以
下步骤进行一系列排查。
(4)平台故障排查
检查数据中心运行是否正常，检查方法如下：
检查数据中心运行是否正常，检查方法如下：
● 检查Tomcat 后台服务
登录数据中心服务器，打开Tomcat 服务运行窗口，查看tomcat 服务窗口中是否报error 错误，若报错为tomcat 故障。 ● 重启Tomcat 后台服务
首先进入linux 控制台界面，依次执行以下命令
（1）进入tomcat 服务文件所在目录：
cd /usr/local/tomcat/bin/
（2）停止tomcat 服务：
Shutdown.sh –s
（3）启动tomcat 服务：
./startup.sh
如果问题仍未能解决，需要重启区人口库平台服务器。 ● 重启服务器
首先进入linux 控制台界面，执行reboot 或shutdown –r now命令，重启区人口库平台服务器。
五、事件处理
应用系统故障处理
数据中心无法访问
六、汇总统计
应急事件处置完成后，系统开发公司、网络安全运维、系统运维（包括一线技术人员、二线技术人员）人员立即组织分析造成应急事件的直接、间接原因。于24小时。之内将事件情况编制成文本向上一级领导汇报。上报内容应至少包括：
● 事件处置后的系统情况；
● 事件发生的直接、间接原因；
● 事件发生所造成的实际危害和实际影响范围；
● 事件发生最终采取的应急处理措施；
● 事件处置流程，及过程记录；
七、应急预案完善
根据应急事件处置分析结果，完善相关系统应急预案，若此事件为预案中已涉及的案例，则根据实际分析结果优化事件处理流程。若此事件在预案中未涉及，则将此次事件制作成案例完善到相关预案中。
八、数据库备份策略
（1）策略
● 备份类型
采用全量和增量备份相结合的自动备份方案。
● 备份周期
每周定期自动全量备份一次，每天自动增量备份一次。备份成功自动删除以前的备份数据，每种备份类型仅保留最近两个备份。 ● 备份地点
采用异机备份方式，即在数据库服务器的内网中，选择另外一台磁盘空间足够备份的机器，进行自动备份。
● 定期检查
每周需专人定期检查备份情况，磁盘空间余额，并做检查记录。
（2）方案
● 安装备份工具
在异机上安装SQLServer 企业管理器，以便做备份计划任务； ● 创建文件夹
在异机选择磁盘空间足够备份的逻辑盘上，创建备份文件夹。 例：
备份文件夹：E:\DB_BackUp
全量备份文件夹：E:\DB_BackUp\Full
全量备份文件夹1：E:\DB_BackUp\Full1
增量备份文件夹：E:\DB_BackUp\Inc
增量备份文件夹1：E:\DB_BackUp\Inc1
● 计划任务
添加操作系统计划任务，以下简称计划任务
1、添加周日计划任务，把全量备份文件夹里的备份文件拷贝至、并覆盖全量备份文件夹1里的备份文件，设置每周周日5:30执行；
2、添加周一计划任务，把周一对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周一5:30执行；
3、添加周二计划任务，把周二对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周二5:30执行；
4、添加周三计划任务，把周三对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周三5:30执行；
5、添加周四计划任务，把周四对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周四5:30执行；
6、添加周五计划任务，把周五对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周五5:30执行；
7、添加周六计划任务，把周六对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周六5:30执行；
备份任务
利用SQL Server 企业管理器的计划任务，设置自动备份任务。 本节中的“计划任务”均在企业管理器里计划任务添加。
周一至周六增量备份的文件名不一样，文件名最后一位以1~6区分。
1、添加周日备份计划任务，备份类型为全量，备份位置选择全量备份文件夹，选择覆盖方式，设置每周周日5:30执行；
2、添加周一备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周一5:30执行；
3、添加周二备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周二5:30执行；
4、添加周三备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周三5:30执行；
5、添加周四备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周四5:30执行；
6、添加周五备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周五5:30执行；
7、添加周六备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周六5:30执行； 备份检查
周一专人负责检查备份情况，以及备份逻辑盘空间是否足够。如果需要，可定期把全量备份拷贝到公司统一的备份服务器里。
数据中心系统应急预案
中关村科技软件有限公司
目录
一、总则 . .......................................................................................................................................... 3
（1）编制目的 . ........................................................................................................................ 3 （2）适用范围 . ........................................................................................................................ 3 （3）编制依据 . ........................................................................................................................ 3 二、应急事件分级 . .......................................................................................................................... 4
（1）应急事件等级分类 . ........................................................................................................ 4 （2）事件影响程度分级 . ........................................................................................................ 5 （3）事件综合指标 . ................................................................................................................ 5 三、应急事件响应及处理流程 . ...................................................................................................... 6
（1）应急资源联系表 . ............................................................................................................ 6 （2）应急事件处理流程表 . .................................................................................................... 7 （3）故障排查、处理任务分解 . ............................................................................................ 8 四、故障快速排查手册 . .................................................................................................................. 8
(1)服务器硬件故障排查 .......................................................................................................... 9 (2)操作系统故障排查 ............................................................................................................ 12 (3)网络故障排查 .................................................................................................................... 12 (4)平台故障排查 .................................................................................................................... 14 五、事件处理 . ................................................................................................................................ 15
应用系统故障处理 . ................................................................................................................ 15 六、汇总统计 . ................................................................................................................................ 15 七、应急预案完善 . ........................................................................................................................ 16 八、数据库备份策略 . .................................................................................................................... 16
（1）策略 . .............................................................................................................................. 16
● 备份类型 . ................................................................................................................ 16 ● 备份周期 . ................................................................................................................ 16 ● 备份地点 . ................................................................................................................ 16 ● 定期检查 . ................................................................................................................ 17 （2）方案 . .............................................................................................................................. 17
● 安装备份工具 . ........................................................................................................ 17 ● 创建文件夹 . ............................................................................................................ 17 ● 计划任务 . ................................................................................................................ 17 ● 备份任务 . ................................................................................................................ 18 ● 备份检查 . ................................................................................................................ 19
数据中心系统应急预案
一、总则
（1）编制目的
为提高数据中心系统面对重特大网络与信息突发事件时的组织指挥和应急处置能力，保证网络与安全事件应急处置工作迅速、高效、有序执行，特制定本预案。 （2）适用范围
本应急预案适用于数据中心系统发生网络与系统突发事件时使用。
（3）编制依据
本预案编写依据《西城区党政机关计算机网络与信息安全管理规定》等相关管理规定及文件。
二、应急事件分级
（1）应急事件等级分类
（2）事件影响程度分级
（3）事件综合指标
三、应急事件响应及处理流程
根据应急事件处理流程图，进行应急事件全流程处理。并对事件处理全过程进行详细记录，事件故障发现及排查由故障定基层人员负责，事故处理过程由相对应的网络安全、系统运维、应用系统运维一线人员记录。 （1）应急资源联系表
（2）应急事件处理流程表
（3）故障排查、处理任务分解
四、故障快速排查手册
一线技术人员接到事件通知，立即启动信息系统故障排查手册，所有一线技术资源同时启动故障排查，应在10分钟之内定位应急事件产生来源。并初步分析处理此故障所需时间，并拟定应急事件现场处理方案，将事件故障点、处理方案上报系统管理员。
(1)服务器硬件故障排查
根据应用系统服务器资产列表，排查服务器指示灯是否报警正常。查询方法如下： 服务器前面板检查：
● 电源模块检查
● 处理器模块检查
内存板模块检查
(2)操作系统故障排查
服务器启动停留在自检界面，无法通过自检，操作系统无法启动，检查操作系统是否因文件丢失，导致服务器操作系统无法启动，检查方法如下：
● 服务器启动时按ctrl+s进入Bios 界面，由硬盘启动改为由光盘启动。保存并退出。
● 放入系统PE 引导光盘，重启服务器进入PE 系统（PE 光盘存放在调试室工具柜一层光盘盒中）。
● 若通过PE 盘启动操作系统成功，则排除操作系统硬件故障，并确认服务器操作系统故障。
(3)网络故障排查
应用系统无法提供访问，进行网络故障排查，是否由于网络故障导致应用不能提供服务。检查方法如下：
1
“运行”，输入cmd 进入命令行，使用PING 大包命令，检查与区人口库平台服务器之间网络连接情况。
Ping –l 65500 –t 172.25.3.14
（1）如果能够PING 通（大包）而且不发生丢包现象，可排除网络故障；
（2）如果无法PING 通（大包）或网络丢包现象，立即联系网络组相关人员协助检查。
（3）发生故障均不属于以上几方面，则需按照以下步骤进行一系列排查。
2、在数据中心服务器本地桌面字符操作窗口。
使用PING 大包命令，检查与内网DNS 服务器之间网络连接情况。 Ping –l 65500 –t 10.5.1.2
（1）如果能够PING 通（大包）而且无丢包现象，可排除网络故障；
（2）如果无法PING 通（大包）或发现网络丢包现象，立即联系网络组相关人员协助检查。检查内容包括服务器网络接口及其他网络设备连接情况。
（3）如果发生网络丢包现象，初步判断网络故障，并需按照以
下步骤进行一系列排查。
(4)平台故障排查
检查数据中心运行是否正常，检查方法如下：
检查数据中心运行是否正常，检查方法如下：
● 检查Tomcat 后台服务
登录数据中心服务器，打开Tomcat 服务运行窗口，查看tomcat 服务窗口中是否报error 错误，若报错为tomcat 故障。 ● 重启Tomcat 后台服务
首先进入linux 控制台界面，依次执行以下命令
（1）进入tomcat 服务文件所在目录：
cd /usr/local/tomcat/bin/
（2）停止tomcat 服务：
Shutdown.sh –s
（3）启动tomcat 服务：
./startup.sh
如果问题仍未能解决，需要重启区人口库平台服务器。 ● 重启服务器
首先进入linux 控制台界面，执行reboot 或shutdown –r now命令，重启区人口库平台服务器。
五、事件处理
应用系统故障处理
数据中心无法访问
六、汇总统计
应急事件处置完成后，系统开发公司、网络安全运维、系统运维（包括一线技术人员、二线技术人员）人员立即组织分析造成应急事件的直接、间接原因。于24小时。之内将事件情况编制成文本向上一级领导汇报。上报内容应至少包括：
● 事件处置后的系统情况；
● 事件发生的直接、间接原因；
● 事件发生所造成的实际危害和实际影响范围；
● 事件发生最终采取的应急处理措施；
● 事件处置流程，及过程记录；
七、应急预案完善
根据应急事件处置分析结果，完善相关系统应急预案，若此事件为预案中已涉及的案例，则根据实际分析结果优化事件处理流程。若此事件在预案中未涉及，则将此次事件制作成案例完善到相关预案中。
八、数据库备份策略
（1）策略
● 备份类型
采用全量和增量备份相结合的自动备份方案。
● 备份周期
每周定期自动全量备份一次，每天自动增量备份一次。备份成功自动删除以前的备份数据，每种备份类型仅保留最近两个备份。 ● 备份地点
采用异机备份方式，即在数据库服务器的内网中，选择另外一台磁盘空间足够备份的机器，进行自动备份。
● 定期检查
每周需专人定期检查备份情况，磁盘空间余额，并做检查记录。
（2）方案
● 安装备份工具
在异机上安装SQLServer 企业管理器，以便做备份计划任务； ● 创建文件夹
在异机选择磁盘空间足够备份的逻辑盘上，创建备份文件夹。 例：
备份文件夹：E:\DB_BackUp
全量备份文件夹：E:\DB_BackUp\Full
全量备份文件夹1：E:\DB_BackUp\Full1
增量备份文件夹：E:\DB_BackUp\Inc
增量备份文件夹1：E:\DB_BackUp\Inc1
● 计划任务
添加操作系统计划任务，以下简称计划任务
1、添加周日计划任务，把全量备份文件夹里的备份文件拷贝至、并覆盖全量备份文件夹1里的备份文件，设置每周周日5:30执行；
2、添加周一计划任务，把周一对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周一5:30执行；
3、添加周二计划任务，把周二对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周二5:30执行；
4、添加周三计划任务，把周三对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周三5:30执行；
5、添加周四计划任务，把周四对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周四5:30执行；
6、添加周五计划任务，把周五对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周五5:30执行；
7、添加周六计划任务，把周六对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周六5:30执行；
备份任务
利用SQL Server 企业管理器的计划任务，设置自动备份任务。 本节中的“计划任务”均在企业管理器里计划任务添加。
周一至周六增量备份的文件名不一样，文件名最后一位以1~6区分。
1、添加周日备份计划任务，备份类型为全量，备份位置选择全量备份文件夹，选择覆盖方式，设置每周周日5:30执行；
2、添加周一备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周一5:30执行；
3、添加周二备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周二5:30执行；
4、添加周三备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周三5:30执行；
5、添加周四备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周四5:30执行；
6、添加周五备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周五5:30执行；
7、添加周六备份计划任务，备份类型为增量，备份位置选择增量备份文件夹，选择覆盖方式，设置每周六5:30执行； 备份检查
周一专人负责检查备份情况，以及备份逻辑盘空间是否足够。如果需要，可定期把全量备份拷贝到公司统一的备份服务器里。