F市劳教所IVS8000监控项目实施故障处理

　　一、前言：

　　F市劳教所政法网数字劳教项目采用H3C IVS8000监控解决方案，由一台VM8000，一台DM8000，一台EX1000存储设备，多台EC2004-HF、EC2016-HC及DC1001-FF组成，此监控方案本属于比较常见和简单的监控类型，但在具体实施中出现的一个小插曲，不但令我对H3C的监控产品掌握更深，也丰富我对监控产品实施排障的宝贵经验。

　　二、故障背景：

　　F市劳教所政法网数字劳教项目在实施前已与客户进行过沟通，完成了网络和业务参数规划，监控部分所有设备规划在同一网段中(10.42.172.0/25)，调试前期暂不开启组播功能。

　　到达客户现场后首先完成对监控平台上各设备版本升级。在确保各设备之间版本配套后，给各设备配置IP完成互连，在网络中可通过各设备IP进行SSH或WEB登录。

　　三、故障现象：

　　设备IP互通后，本应在VM上进行DM、EC、DC的注册。在VC8000管理员软件的数据管理服务器标签中添加DM服务器。但添加完毕后，DM始终显示离线状态，如下图：

　　同样在VM中添加编码器后，所有编码器状态也为离线，如下图：

　　四、排查步骤：

　　1、检查设备版本是否一致。

　　通过查询《行业VM_D019SP15配套表》，检查EC、DM、VC版本均为匹配版本，且安装后显示正常。

　　2、检查DM的通讯协议管理模块。

　　在DM与VM联动注册时，该模块配置过程比较容易出错，在DM/EC注册时填写的IP应该是VM的呼叫控制组件(CC)的IP地址，且DM/EC ID填写时容易出现多空格现象，经过检查DM/EC信息填写均正常。

　　3、检查VM系统。

　　由于EC和DM均无法在VM上注册成功，DM上增加IP SUN存储设备又正常，因此怀疑问题出在VM上。

　　1)重装VM8000安装程序，VM程序安装前需先配置AS、CC的网口信息，安装过程中才能做具体绑定生效，因此对该项目实施中VM使用到的eth1和eth1:1做重配置，然后通过rm命令删除原有安装程序，再通过update命令重传新安装压缩包并解压，执行VM8000Uninstall.sh彻底卸载原有程序后，执行VM8000install.sh重装并做配置。完成后重新注册DM，故障依旧。

　　2) 检查VM配置文件，使用more 命令显示/root/asvmcfg.ini配置文件，核对文件中[dm]、[cc]、[database]配置，检查各deviceid及address均配置正确。

　　3)查看VM服务状态，使用vm8000server.sh status命令显示VM服务状态，ASVM、CCVM、PGSQ各组件服务状态均为running，状态正常。

　　4)抓包检查，通过 tcpdump -i lo -f “udp port 6060 or 6061 or 5060 or 5061 or 6363” -VMDM.cap 命令抓取VM上DM的报文，并写入VMDM.cap文件中，该文件可通过Ethereal软件查看VM与DM之间数据包发送接收过程，可以看到VM与DM之间有数据交互，但VM发往DM的ICMP报文全部为端口不可达。如下图：

　　5)检查各设备之间网络状况，看到这里，也许你一定会认为是网络将端口报文给堵塞掉了，我也这么认为，虽然各监控设备之间仅通过一台只配置了VLAN的S75E相连。在现场找来一台未开封的S3108交换机进行互连，并通过setup命令检查VM自带防火墙状态为disable。可检查效果DM仍然为“离线”。

　　五、真相大白：

　　排障到了这个地步，我们都感觉已经黔驴技穷，只能电话请教H3C研发人员了。电话一通，又是把刚才排障的过程过了一遍，研发人员也感觉有些莫名，将故障定位为设备硬件问题。但就在这时，研发人员无意中叫我敲了个“free”命令，检查硬件内存大小，一看total大小只有104xxxx K,也就是只有1G大小。此结果反馈后，研发人员告诉我，VM8000功能必须要有1.5G以上的内存才能运行起来，原厂配置应该为2G内存条。最后在研发人员的允许下，现场拆机并重插内存条，开机一检查，大家都笑了，不但内存显示正常，且DM/EC都能正常注册了。

　　六、小结：

　　我们大家在项目实施、设备调试中都难免会碰上一些莫名其妙的故障现象，特别是一些自己不熟悉的新产品调试，一旦通过努力解决了问题，不但在心理上有种成就感，而且在解决问题的过程中积累的经验也是一种宝贵的财富。希望大家今后都能将自己遇到的一些问题，排查的过程拿出来分享，共同进步，提高我们技术服务团队的实力。

2016年01月