新聞資訊
了解故障案例及產品資訊
問題描述
某客戶省中心OSN7500與十個市局Metro3000采用星型組網,中間通道租用運營商網絡帶寬,其中6個市局為2.5G帶寬,4個市局為155M帶寬,客戶報155M上聯帶寬的4個市局丟包嚴重。
處理過程
1、查看用戶業務:10個市局的以太網業務匯聚至省中心的EMS4板的同一個光口,該光口與用戶交換機對接,交換機分出若干電口,用該交換機的其中一個電口接電腦與市局進行ping操作。無丟包的6個市局配置的帶寬為20M,丟包的4個市局配置的帶寬為4M。
2、檢查線路和支路誤碼:檢查有丟包的其中一市局的Metro3000告警,網元無告警,查詢155M上聯光口板的SDH性能,結果為無誤碼,查詢EFT板SDH性能,無誤碼。誤碼導致丟包可能性排除。
3、檢查流量:查詢市局Metro3000 EFT板對應端口的RMON性能,查看實時流量,發現事件“發送的好包字節(字節/秒)”該項值為480000上下波動,480000單位是“Byte/秒”,乘以8換算成“bit/s”,除以1024得到“kbit/s”,再除以1024得到“Mbit/s”,經過換算為3.7M/s,接近滿帶寬4Mb/s狀態,該事件的含義是省廳發往市局的流量。狀態告之用戶,帶寬被占滿,所以ping可能會丟包。至此,判斷出傳輸無問題,用戶不認可,因為在市局側,用戶嘗試過拔下交換機,只接一臺電腦進傳輸EFT板以太網口,省廳ping去該市都是丟包,所以不認同流量被占滿導致丟包。讓用戶再重現一下這個過程,市局側在接單機時,省中心ping過去確實丟包,查看市局側端口流量,帶寬仍是占滿狀態,據此判斷,客戶內網出現病毒或者環路的可能性較大。
4、業務配置法驗證:臨時在網管上從該市局做了一條專線業務到省中心OSN7500的其他槽位的EFS板百兆電口,線路上還是捆綁原來的兩條VC12時隙,市局側EFT端口不變,在省廳側EFS板直接接一臺電腦與市局互ping,此時已隔離了用戶的交換機,數據不經交換機,ping完全正常,不丟包,證明了傳輸線路沒問題,問題出在用戶內網上。
5、用戶自己檢查問題:恢復原數據配置,讓用戶自己檢查內網。用戶在省廳側的交換機上,逐條拔網線,拔掉其中一條時,發現ping該地市馬上恢復正常,無丟包,時延從300ms降為9ms,此時查看傳輸端口流量,流量在500KB至1M之間波動,屬正常。其它原未出現丟包的6個市局的流量也大幅下降。問題解決。
根因
初步主要懷疑以下四個方面:
1、可能是報丟的4個市局租用的帶寬線路同路由,運營商線路有誤碼;
2、用戶內網有病毒或者環路廣播。
3、用戶實際流量較大,占滿所開MSTP的電路帶寬導致擁塞。
4、用戶說以前無問題,未修改過配置,所以在端口參數、業務配置方面出問題的可能性較小。
建議與總結
以太網電路,除了承載實時視頻業務,正常情況下端口流量會隨實際使用情況出現高低不斷變化,如果端口流量一直處于滿負荷狀態,一方面要懷疑客戶的帶寬確實無法滿足需求,導致擁塞,這種情況下需要提速解決,另一方面要懷疑用戶內網出了病毒或環路引起的異常廣播占據了大量帶寬。