文 / 中國郵政儲蓄銀行數(shù)據(jù)中心? 黃海 呂杰智 ? 馬騁

近年來，隨著銀行業(yè)務的發(fā)展，需求的多樣化，特別是互聯(lián)網(wǎng)業(yè)務的爆發(fā)式增長對銀行信息系統(tǒng)的敏捷擴張能力提出了更高要求，銀行紛紛基于云架構的思維來構建新一代數(shù)據(jù)中心。郵儲銀行也正經(jīng)歷改造傳統(tǒng)網(wǎng)絡架構，建設面向多業(yè)務、支持多點多活數(shù)據(jù)中心的新型網(wǎng)絡架構變革。在此過程中，網(wǎng)絡運維能力也在同步建設、轉型和提升。加大網(wǎng)絡流量采集建設和可視化分析技術應用，以實時查看數(shù)據(jù)中心內(nèi)各種類型設備的網(wǎng)絡性能、鏈路狀態(tài)和業(yè)務系統(tǒng)運行情況，成為網(wǎng)絡運行維護的重要手段。

網(wǎng)絡精細化運維的挑戰(zhàn)及應對

數(shù)據(jù)中心網(wǎng)絡運維數(shù)據(jù)類型多種多樣，網(wǎng)絡運維監(jiān)控工具和手段不斷豐富，傳統(tǒng)的基礎網(wǎng)管監(jiān)控工具，通過SNMP獲取網(wǎng)絡設備硬件的運行狀態(tài)、鏈路的使用狀態(tài)等，能夠實現(xiàn)網(wǎng)絡基礎數(shù)據(jù)源的運維監(jiān)控。隨著DevOps和敏捷開發(fā)的廣泛采用、新系統(tǒng)上線和應用變更頻率越來越高、網(wǎng)絡設備和應用數(shù)量越來越多，應用間的訪問關系和網(wǎng)絡路徑也變得越來越復雜，網(wǎng)絡上對流量和原始數(shù)據(jù)報文的監(jiān)控與深入分析需求也越來越重要，尤其是針對網(wǎng)絡數(shù)據(jù)包中IP流量、TCP連接、網(wǎng)絡延遲等精細化的網(wǎng)絡監(jiān)控分析，需要形成以提高網(wǎng)絡性能和服務質量為目標的精細化運維。運維視角從硬件資源基礎數(shù)據(jù)監(jiān)控提高到全面的網(wǎng)絡業(yè)務服務視角，運維體系建設也從常規(guī)的指標監(jiān)控角度轉變到全景業(yè)務可觀測性維度。

為迎接挑戰(zhàn)，提高網(wǎng)絡精細化運維水平，郵儲銀行數(shù)據(jù)中心在網(wǎng)絡流量采集與分析方面開展探索，以網(wǎng)絡鏡像流量為基礎數(shù)據(jù)源，采用流量分析技術進行網(wǎng)絡性能和服務質量監(jiān)控。網(wǎng)絡流量采集通過部署采集設備TAP交換機來實現(xiàn)，對流量數(shù)據(jù)包處理和標記后再轉發(fā)給流量分析設備進行實時解析。流量分析設備能夠通過解析各種通用協(xié)議和業(yè)務協(xié)議，分析原始數(shù)據(jù)包內(nèi)容，獲取到網(wǎng)絡層、傳輸層以及應用層元數(shù)據(jù)等多個維度的全量信息，再根據(jù)規(guī)則對這些信息進行指標歸類統(tǒng)計、多維度KPI運算、網(wǎng)絡及應用性能評估、業(yè)務多段關聯(lián)對比分析等方面加工，從而實現(xiàn)網(wǎng)絡狀態(tài)、應用狀態(tài)以及業(yè)務狀態(tài)的監(jiān)控。在發(fā)現(xiàn)異常行為和安全事件時，能夠及時掌握數(shù)據(jù)中心網(wǎng)絡中承載的業(yè)務流量特征，并據(jù)此對網(wǎng)絡配置進行優(yōu)化調(diào)整，及時解決網(wǎng)絡故障風險和隱患，最終實現(xiàn)保障數(shù)據(jù)中心核心業(yè)務應用的穩(wěn)定運行。對于銀行數(shù)據(jù)中心而言，提高網(wǎng)絡流量采集和分析能力，是進行網(wǎng)絡深度分析、處理各種疑難問題、實現(xiàn)運維可視化、提升運維能力必不可少的手段。

網(wǎng)絡流量采集標準化建設

利用交換機鏡像技術建設獨立于業(yè)務網(wǎng)絡之外的流量采集網(wǎng)，一直作為可視化運維的基礎，對原始流量數(shù)據(jù)進行統(tǒng)一采集，并且根據(jù)不同流量分析工具的需求，對網(wǎng)絡流量進行去重、切片、脫敏、移除數(shù)據(jù)包包頭封裝等操作，將分析工具常用的數(shù)據(jù)包梳理工作卸載到流量采集網(wǎng)上統(tǒng)一實現(xiàn)，提升流量分析工具的分析效率。統(tǒng)一的流量采集網(wǎng)，使數(shù)據(jù)中心全網(wǎng)流量可視化成為可能，可實現(xiàn)不中斷業(yè)務的實時監(jiān)控，并且根據(jù)需求隨時添加新的分析工具對網(wǎng)絡進行分析和監(jiān)控。流量采集網(wǎng)的建設，使多種類型的分析工具可以便捷地共享流量采集層面數(shù)據(jù)，并且可以優(yōu)化工具的部署和使用，節(jié)約成本。

流量采集網(wǎng)的設計采用了“SpineLeaf”架構，按照接入層、匯聚層和監(jiān)控輸出層三層結構部署，在多個數(shù)據(jù)中心間形成了標準化的部署架構。技術實現(xiàn)上采用集群部署方式實現(xiàn)TAP交換機智能堆疊或虛擬化部署，將接入層、匯聚層和監(jiān)控層TAP交換機組成一個全連接的智能負載分流的冗余集群架構。針對同城數(shù)據(jù)中心間的流量采集，采用波分設備將跨中心Spine設備互聯(lián)，跨數(shù)據(jù)中心組建集群，實現(xiàn)流量采集層和輸出層共享。流量采集網(wǎng)部署架構如圖所示。

圖 流量采集網(wǎng)部署架構

郵儲銀行數(shù)據(jù)中心多中心流量采集網(wǎng)采用上述標準化方案建設后，流量采集能夠實現(xiàn)：一是架構統(tǒng)一、配置簡化，實現(xiàn)標準化管理。流量采集網(wǎng)采用集群技術，可實現(xiàn)端口到端口的流量轉發(fā)，簡化配置以及問題排查。二是擴展性較高，設備橫向擴展較容易，Leaf設備可直接上聯(lián)到Spine設備加入集群。三是鏈路冗余高可用，采用多Spine方式部署，流量采集層至輸出層的流量通過Spine進行負載轉發(fā)，實現(xiàn)架構高可用。

網(wǎng)絡流量分析實踐與應用

郵儲銀行數(shù)據(jù)中心網(wǎng)絡流量分析實踐與應用，主要分為兩個階段。

第一階段是部署流量分析設備，建設網(wǎng)絡流量分析系統(tǒng)。通過將網(wǎng)絡交換機流量鏡像輸出到流量采集網(wǎng)，進行匯聚、復制、過濾、打標簽等統(tǒng)一處理及規(guī)范化輸出，按需提供給流量分析系統(tǒng)實現(xiàn)網(wǎng)絡流量的采集、存儲和分析展示。本階段主要實現(xiàn)網(wǎng)絡流量統(tǒng)計與應用展示，逐步實現(xiàn)了覆蓋骨干網(wǎng)、互聯(lián)網(wǎng)及數(shù)據(jù)中心網(wǎng)絡等多個重要網(wǎng)絡區(qū)域的流量分析功能，為我行的日常網(wǎng)絡運維、新業(yè)務上線、年終決算/雙十一等重保、線路容量規(guī)劃報表等場景提供了及時有效的保障。

網(wǎng)絡流量分析系統(tǒng)在我行使用場景中有兩個方面的重要應用。一個場景是通過Tap交換機對接入的每個鏡像流量打上不同的Vlan標簽，在網(wǎng)絡分析設備采集探針接收到流量采集網(wǎng)的流量時，通過識別Vlan標簽可以區(qū)分流量來源，這在日常排障分析中作用明顯，可以快速定位到發(fā)生網(wǎng)絡問題的故障點，判斷網(wǎng)絡是否有丟包以及具體的丟包點。另外一個重要的場景是，我行數(shù)據(jù)中心骨干網(wǎng)已經(jīng)完成SRv6技術改造，實現(xiàn)了更高效率的網(wǎng)絡傳輸和帶寬使用，網(wǎng)絡流量分析系統(tǒng)能夠準確識別SRv6流量并解析內(nèi)層業(yè)務IP信息，并提供SRv6類型、剩余跳數(shù)、SRv6path等，實現(xiàn)骨干網(wǎng)的流量可視化分析，同時還能通過SRv6的opcode數(shù)據(jù)識別和區(qū)分不同區(qū)域或功能區(qū)的流量，實現(xiàn)了骨干網(wǎng)線路更加精細化的監(jiān)控和管理。

第二階段是以網(wǎng)絡流量分析系統(tǒng)為工具，通過對網(wǎng)絡流量原始數(shù)據(jù)報文深度解析，實現(xiàn)對IP流量、TCP連接、網(wǎng)絡延遲等精細化的網(wǎng)絡服務質量的監(jiān)控分析，希望能與應用系統(tǒng)更緊密結合、圍繞業(yè)務運行提供有益的網(wǎng)絡分析能力和數(shù)據(jù)。

為此，我們開展了多方研究和技術創(chuàng)新，不斷拓展網(wǎng)絡流量分析應用場景，持續(xù)提高運維能力。

一是研究針對業(yè)務系統(tǒng)單筆交易路徑追蹤分析。采用“網(wǎng)絡+應用”智能關聯(lián)全流量分析技術實現(xiàn)業(yè)務單筆交易追蹤，即通過業(yè)務的交易流水號等標識對單筆交易的關聯(lián)追蹤，自動化展示單筆交易所經(jīng)過的網(wǎng)絡路徑，展示出各個網(wǎng)絡節(jié)點針對交易的TCP連接、網(wǎng)絡時延、處理時間等精細指標，并進行交易全鏈路的關聯(lián)分析，自動評估各節(jié)點運行狀況，快速定位導致單筆交易異常的關鍵節(jié)點。通過研究測試，能夠實現(xiàn)根據(jù)流水號、卡號等交易特征進行關聯(lián)，進行跨數(shù)據(jù)中心的單筆交易全路徑評估及分析，提高網(wǎng)絡精細化運維能力。

二是試點創(chuàng)新網(wǎng)絡會話級的全路徑關聯(lián)追蹤分析。從網(wǎng)絡原始數(shù)據(jù)包入手，借鑒Telemetry技術思想，采用智能標簽關聯(lián)和會話算法技術對網(wǎng)絡原始數(shù)據(jù)包進行標準化和統(tǒng)一化處理，實現(xiàn)更快速的數(shù)據(jù)傳輸和極高的數(shù)據(jù)處理性能，對網(wǎng)絡流量分析系統(tǒng)進行技術更新和優(yōu)化，實現(xiàn)網(wǎng)絡會話級的關聯(lián)追蹤分析。經(jīng)過試點測試，對業(yè)務系統(tǒng)關鍵網(wǎng)絡節(jié)點流量通過七層解碼交易流水，其他節(jié)點通過四層解碼，能夠實現(xiàn)性能和功能的平衡，同時和具體的業(yè)務系統(tǒng)松耦合，在脫離交易流水的情況下也能實現(xiàn)業(yè)務系統(tǒng)全路徑的網(wǎng)絡會話級關聯(lián)追蹤分析，普適性更強。除了實現(xiàn)路徑會話追蹤，還可以進行流式實況會話分析、多維度統(tǒng)計分析，網(wǎng)絡會話的分析能力更強。

總結與展望

在網(wǎng)絡架構變革和創(chuàng)新過程中，郵儲銀行持續(xù)關注提升網(wǎng)絡精細化運維能力。網(wǎng)絡流量采集網(wǎng)建設已初具規(guī)模和多中心標準化部署，網(wǎng)絡流量分析技術和工具的應用，也逐漸深入細化到網(wǎng)絡數(shù)據(jù)包層面，積極探索網(wǎng)絡會話、業(yè)務交易關聯(lián)的流量分析，成為網(wǎng)絡配置優(yōu)化調(diào)整，以及復雜網(wǎng)絡環(huán)境下開展快速、精準故障排查的得力工具。隨著數(shù)據(jù)中心規(guī)模不斷擴大，承載應用越來越豐富，面臨的挑戰(zhàn)也越來越多，下一步研究重點將圍繞云平臺虛機流量的采集與分析、云網(wǎng)融合架構下的流量分析等，不斷優(yōu)化和創(chuàng)新，為全行業(yè)務穩(wěn)定運行保駕護航。

（欄目編輯：魏亞楠）