巧用旁路方式快速定位故障点

  1. 【问题描述】

  某公司网络拓扑如图所示,地市网络通过运营商网络连接到总部,总部网络有两台防火墙和一台流量监控设备兼Internet出口,防火墙和流量监控设备均采用透明模式。

  

图片21.png


  某日,网络出现故障,地市到总部服务器群网络掉包:白天8时-18时掉包率为17%左右,其他时间掉包为7%左右,对公司业务影响很大。通过在几台交换机上进行逐点测试,初步确定故障点为两台防火墙或流量监控设备,用户分别重启过这3台设备,网络暂时不再掉包,过1个小时左右掉包情况依然出现。

  2. 【处理过程】

  因为此3台设备使用透明模式,没有配置IP地址,且防火墙上做了很多策略,分析需要大量时间。为了迅速消除故障、恢复业务,征得用户同意后,决定采用旁路方式逐台绕过防火墙,定位故障点。防火墙1的上下行光纤接口均为SC类型,防火墙2的上下行接口为以太网接口。使用SC对SC耦合器和RJ45对RJ45转换器分别对两台防火墙进行旁路,掉包现象依然存在,可以排除防火墙的问题。

  故障点定位于流量监控设备,通过流量分析软件分析该设备的上下行端口流量,发现该设备百兆端口port1流量为100%,分析流量组成,60%为P2P流量。分析原因,该设备位于网络核心链路上,而且承担internet出口任务,如果网络中有用户使用P2P软件下载时,引发的大流量占满了端口带宽,从而引起网络掉包。

  解决措施:

  方法1:规避此种组网方式,另选非核心链路上设备作为Internet出口,建议选用带千兆端口设备。

  方法2:限制Internet出口设备P2P流量。

  3. 【经验 小结】

  采用旁路方式能够从物理上快速定位故障点,在突发紧急故障时可以节省很多时间。下面推荐几种常用的耦合器,适合做旁路、环路测试用,价格不贵,东西不大,随身携带很方便:

  重要提示一:旁路或打环方式会引起网络中断,需在不影响网络和征求用户同意后才能操作!

  重要提示二:禁止对高敏感度的光纤模块(如80KM及以上长距离单模光纤模块)进行本端自环,该操作可能会毁坏光纤模块。

blob.png

2016年01月