文 / 中國(guó)郵政儲(chǔ)蓄銀行數(shù)據(jù)中心? 黃海 呂杰智 ? 馬騁

近年來，隨著銀行業(yè)務(wù)的發(fā)展，需求的多樣化，特別是互聯(lián)網(wǎng)業(yè)務(wù)的爆發(fā)式增長(zhǎng)對(duì)銀行信息系統(tǒng)的敏捷擴(kuò)張能力提出了更高要求，銀行紛紛基于云架構(gòu)的思維來構(gòu)建新一代數(shù)據(jù)中心。郵儲(chǔ)銀行也正經(jīng)歷改造傳統(tǒng)網(wǎng)絡(luò)架構(gòu)，建設(shè)面向多業(yè)務(wù)、支持多點(diǎn)多活數(shù)據(jù)中心的新型網(wǎng)絡(luò)架構(gòu)變革。在此過程中，網(wǎng)絡(luò)運(yùn)維能力也在同步建設(shè)、轉(zhuǎn)型和提升。加大網(wǎng)絡(luò)流量采集建設(shè)和可視化分析技術(shù)應(yīng)用，以實(shí)時(shí)查看數(shù)據(jù)中心內(nèi)各種類型設(shè)備的網(wǎng)絡(luò)性能、鏈路狀態(tài)和業(yè)務(wù)系統(tǒng)運(yùn)行情況，成為網(wǎng)絡(luò)運(yùn)行維護(hù)的重要手段。

網(wǎng)絡(luò)精細(xì)化運(yùn)維的挑戰(zhàn)及應(yīng)對(duì)

數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維數(shù)據(jù)類型多種多樣，網(wǎng)絡(luò)運(yùn)維監(jiān)控工具和手段不斷豐富，傳統(tǒng)的基礎(chǔ)網(wǎng)管監(jiān)控工具，通過SNMP獲取網(wǎng)絡(luò)設(shè)備硬件的運(yùn)行狀態(tài)、鏈路的使用狀態(tài)等，能夠?qū)崿F(xiàn)網(wǎng)絡(luò)基礎(chǔ)數(shù)據(jù)源的運(yùn)維監(jiān)控。隨著DevOps和敏捷開發(fā)的廣泛采用、新系統(tǒng)上線和應(yīng)用變更頻率越來越高、網(wǎng)絡(luò)設(shè)備和應(yīng)用數(shù)量越來越多，應(yīng)用間的訪問關(guān)系和網(wǎng)絡(luò)路徑也變得越來越復(fù)雜，網(wǎng)絡(luò)上對(duì)流量和原始數(shù)據(jù)報(bào)文的監(jiān)控與深入分析需求也越來越重要，尤其是針對(duì)網(wǎng)絡(luò)數(shù)據(jù)包中IP流量、TCP連接、網(wǎng)絡(luò)延遲等精細(xì)化的網(wǎng)絡(luò)監(jiān)控分析，需要形成以提高網(wǎng)絡(luò)性能和服務(wù)質(zhì)量為目標(biāo)的精細(xì)化運(yùn)維。運(yùn)維視角從硬件資源基礎(chǔ)數(shù)據(jù)監(jiān)控提高到全面的網(wǎng)絡(luò)業(yè)務(wù)服務(wù)視角，運(yùn)維體系建設(shè)也從常規(guī)的指標(biāo)監(jiān)控角度轉(zhuǎn)變到全景業(yè)務(wù)可觀測(cè)性維度。

為迎接挑戰(zhàn)，提高網(wǎng)絡(luò)精細(xì)化運(yùn)維水平，郵儲(chǔ)銀行數(shù)據(jù)中心在網(wǎng)絡(luò)流量采集與分析方面開展探索，以網(wǎng)絡(luò)鏡像流量為基礎(chǔ)數(shù)據(jù)源，采用流量分析技術(shù)進(jìn)行網(wǎng)絡(luò)性能和服務(wù)質(zhì)量監(jiān)控。網(wǎng)絡(luò)流量采集通過部署采集設(shè)備TAP交換機(jī)來實(shí)現(xiàn)，對(duì)流量數(shù)據(jù)包處理和標(biāo)記后再轉(zhuǎn)發(fā)給流量分析設(shè)備進(jìn)行實(shí)時(shí)解析。流量分析設(shè)備能夠通過解析各種通用協(xié)議和業(yè)務(wù)協(xié)議，分析原始數(shù)據(jù)包內(nèi)容，獲取到網(wǎng)絡(luò)層、傳輸層以及應(yīng)用層元數(shù)據(jù)等多個(gè)維度的全量信息，再根據(jù)規(guī)則對(duì)這些信息進(jìn)行指標(biāo)歸類統(tǒng)計(jì)、多維度KPI運(yùn)算、網(wǎng)絡(luò)及應(yīng)用性能評(píng)估、業(yè)務(wù)多段關(guān)聯(lián)對(duì)比分析等方面加工，從而實(shí)現(xiàn)網(wǎng)絡(luò)狀態(tài)、應(yīng)用狀態(tài)以及業(yè)務(wù)狀態(tài)的監(jiān)控。在發(fā)現(xiàn)異常行為和安全事件時(shí)，能夠及時(shí)掌握數(shù)據(jù)中心網(wǎng)絡(luò)中承載的業(yè)務(wù)流量特征，并據(jù)此對(duì)網(wǎng)絡(luò)配置進(jìn)行優(yōu)化調(diào)整，及時(shí)解決網(wǎng)絡(luò)故障風(fēng)險(xiǎn)和隱患，最終實(shí)現(xiàn)保障數(shù)據(jù)中心核心業(yè)務(wù)應(yīng)用的穩(wěn)定運(yùn)行。對(duì)于銀行數(shù)據(jù)中心而言，提高網(wǎng)絡(luò)流量采集和分析能力，是進(jìn)行網(wǎng)絡(luò)深度分析、處理各種疑難問題、實(shí)現(xiàn)運(yùn)維可視化、提升運(yùn)維能力必不可少的手段。

網(wǎng)絡(luò)流量采集標(biāo)準(zhǔn)化建設(shè)

利用交換機(jī)鏡像技術(shù)建設(shè)獨(dú)立于業(yè)務(wù)網(wǎng)絡(luò)之外的流量采集網(wǎng)，一直作為可視化運(yùn)維的基礎(chǔ)，對(duì)原始流量數(shù)據(jù)進(jìn)行統(tǒng)一采集，并且根據(jù)不同流量分析工具的需求，對(duì)網(wǎng)絡(luò)流量進(jìn)行去重、切片、脫敏、移除數(shù)據(jù)包包頭封裝等操作，將分析工具常用的數(shù)據(jù)包梳理工作卸載到流量采集網(wǎng)上統(tǒng)一實(shí)現(xiàn)，提升流量分析工具的分析效率。統(tǒng)一的流量采集網(wǎng)，使數(shù)據(jù)中心全網(wǎng)流量可視化成為可能，可實(shí)現(xiàn)不中斷業(yè)務(wù)的實(shí)時(shí)監(jiān)控，并且根據(jù)需求隨時(shí)添加新的分析工具對(duì)網(wǎng)絡(luò)進(jìn)行分析和監(jiān)控。流量采集網(wǎng)的建設(shè)，使多種類型的分析工具可以便捷地共享流量采集層面數(shù)據(jù)，并且可以優(yōu)化工具的部署和使用，節(jié)約成本。

流量采集網(wǎng)的設(shè)計(jì)采用了“SpineLeaf”架構(gòu)，按照接入層、匯聚層和監(jiān)控輸出層三層結(jié)構(gòu)部署，在多個(gè)數(shù)據(jù)中心間形成了標(biāo)準(zhǔn)化的部署架構(gòu)。技術(shù)實(shí)現(xiàn)上采用集群部署方式實(shí)現(xiàn)TAP交換機(jī)智能堆疊或虛擬化部署，將接入層、匯聚層和監(jiān)控層TAP交換機(jī)組成一個(gè)全連接的智能負(fù)載分流的冗余集群架構(gòu)。針對(duì)同城數(shù)據(jù)中心間的流量采集，采用波分設(shè)備將跨中心Spine設(shè)備互聯(lián)，跨數(shù)據(jù)中心組建集群，實(shí)現(xiàn)流量采集層和輸出層共享。流量采集網(wǎng)部署架構(gòu)如圖所示。

圖 流量采集網(wǎng)部署架構(gòu)

郵儲(chǔ)銀行數(shù)據(jù)中心多中心流量采集網(wǎng)采用上述標(biāo)準(zhǔn)化方案建設(shè)后，流量采集能夠?qū)崿F(xiàn)：一是架構(gòu)統(tǒng)一、配置簡(jiǎn)化，實(shí)現(xiàn)標(biāo)準(zhǔn)化管理。流量采集網(wǎng)采用集群技術(shù)，可實(shí)現(xiàn)端口到端口的流量轉(zhuǎn)發(fā)，簡(jiǎn)化配置以及問題排查。二是擴(kuò)展性較高，設(shè)備橫向擴(kuò)展較容易，Leaf設(shè)備可直接上聯(lián)到Spine設(shè)備加入集群。三是鏈路冗余高可用，采用多Spine方式部署，流量采集層至輸出層的流量通過Spine進(jìn)行負(fù)載轉(zhuǎn)發(fā)，實(shí)現(xiàn)架構(gòu)高可用。

網(wǎng)絡(luò)流量分析實(shí)踐與應(yīng)用

郵儲(chǔ)銀行數(shù)據(jù)中心網(wǎng)絡(luò)流量分析實(shí)踐與應(yīng)用，主要分為兩個(gè)階段。

第一階段是部署流量分析設(shè)備，建設(shè)網(wǎng)絡(luò)流量分析系統(tǒng)。通過將網(wǎng)絡(luò)交換機(jī)流量鏡像輸出到流量采集網(wǎng)，進(jìn)行匯聚、復(fù)制、過濾、打標(biāo)簽等統(tǒng)一處理及規(guī)范化輸出，按需提供給流量分析系統(tǒng)實(shí)現(xiàn)網(wǎng)絡(luò)流量的采集、存儲(chǔ)和分析展示。本階段主要實(shí)現(xiàn)網(wǎng)絡(luò)流量統(tǒng)計(jì)與應(yīng)用展示，逐步實(shí)現(xiàn)了覆蓋骨干網(wǎng)、互聯(lián)網(wǎng)及數(shù)據(jù)中心網(wǎng)絡(luò)等多個(gè)重要網(wǎng)絡(luò)區(qū)域的流量分析功能，為我行的日常網(wǎng)絡(luò)運(yùn)維、新業(yè)務(wù)上線、年終決算/雙十一等重保、線路容量規(guī)劃報(bào)表等場(chǎng)景提供了及時(shí)有效的保障。

網(wǎng)絡(luò)流量分析系統(tǒng)在我行使用場(chǎng)景中有兩個(gè)方面的重要應(yīng)用。一個(gè)場(chǎng)景是通過Tap交換機(jī)對(duì)接入的每個(gè)鏡像流量打上不同的Vlan標(biāo)簽，在網(wǎng)絡(luò)分析設(shè)備采集探針接收到流量采集網(wǎng)的流量時(shí)，通過識(shí)別Vlan標(biāo)簽可以區(qū)分流量來源，這在日常排障分析中作用明顯，可以快速定位到發(fā)生網(wǎng)絡(luò)問題的故障點(diǎn)，判斷網(wǎng)絡(luò)是否有丟包以及具體的丟包點(diǎn)。另外一個(gè)重要的場(chǎng)景是，我行數(shù)據(jù)中心骨干網(wǎng)已經(jīng)完成SRv6技術(shù)改造，實(shí)現(xiàn)了更高效率的網(wǎng)絡(luò)傳輸和帶寬使用，網(wǎng)絡(luò)流量分析系統(tǒng)能夠準(zhǔn)確識(shí)別SRv6流量并解析內(nèi)層業(yè)務(wù)IP信息，并提供SRv6類型、剩余跳數(shù)、SRv6path等，實(shí)現(xiàn)骨干網(wǎng)的流量可視化分析，同時(shí)還能通過SRv6的opcode數(shù)據(jù)識(shí)別和區(qū)分不同區(qū)域或功能區(qū)的流量，實(shí)現(xiàn)了骨干網(wǎng)線路更加精細(xì)化的監(jiān)控和管理。

第二階段是以網(wǎng)絡(luò)流量分析系統(tǒng)為工具，通過對(duì)網(wǎng)絡(luò)流量原始數(shù)據(jù)報(bào)文深度解析，實(shí)現(xiàn)對(duì)IP流量、TCP連接、網(wǎng)絡(luò)延遲等精細(xì)化的網(wǎng)絡(luò)服務(wù)質(zhì)量的監(jiān)控分析，希望能與應(yīng)用系統(tǒng)更緊密結(jié)合、圍繞業(yè)務(wù)運(yùn)行提供有益的網(wǎng)絡(luò)分析能力和數(shù)據(jù)。

為此，我們開展了多方研究和技術(shù)創(chuàng)新，不斷拓展網(wǎng)絡(luò)流量分析應(yīng)用場(chǎng)景，持續(xù)提高運(yùn)維能力。

一是研究針對(duì)業(yè)務(wù)系統(tǒng)單筆交易路徑追蹤分析。采用“網(wǎng)絡(luò)+應(yīng)用”智能關(guān)聯(lián)全流量分析技術(shù)實(shí)現(xiàn)業(yè)務(wù)單筆交易追蹤，即通過業(yè)務(wù)的交易流水號(hào)等標(biāo)識(shí)對(duì)單筆交易的關(guān)聯(lián)追蹤，自動(dòng)化展示單筆交易所經(jīng)過的網(wǎng)絡(luò)路徑，展示出各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)針對(duì)交易的TCP連接、網(wǎng)絡(luò)時(shí)延、處理時(shí)間等精細(xì)指標(biāo)，并進(jìn)行交易全鏈路的關(guān)聯(lián)分析，自動(dòng)評(píng)估各節(jié)點(diǎn)運(yùn)行狀況，快速定位導(dǎo)致單筆交易異常的關(guān)鍵節(jié)點(diǎn)。通過研究測(cè)試，能夠?qū)崿F(xiàn)根據(jù)流水號(hào)、卡號(hào)等交易特征進(jìn)行關(guān)聯(lián)，進(jìn)行跨數(shù)據(jù)中心的單筆交易全路徑評(píng)估及分析，提高網(wǎng)絡(luò)精細(xì)化運(yùn)維能力。

二是試點(diǎn)創(chuàng)新網(wǎng)絡(luò)會(huì)話級(jí)的全路徑關(guān)聯(lián)追蹤分析。從網(wǎng)絡(luò)原始數(shù)據(jù)包入手，借鑒Telemetry技術(shù)思想，采用智能標(biāo)簽關(guān)聯(lián)和會(huì)話算法技術(shù)對(duì)網(wǎng)絡(luò)原始數(shù)據(jù)包進(jìn)行標(biāo)準(zhǔn)化和統(tǒng)一化處理，實(shí)現(xiàn)更快速的數(shù)據(jù)傳輸和極高的數(shù)據(jù)處理性能，對(duì)網(wǎng)絡(luò)流量分析系統(tǒng)進(jìn)行技術(shù)更新和優(yōu)化，實(shí)現(xiàn)網(wǎng)絡(luò)會(huì)話級(jí)的關(guān)聯(lián)追蹤分析。經(jīng)過試點(diǎn)測(cè)試，對(duì)業(yè)務(wù)系統(tǒng)關(guān)鍵網(wǎng)絡(luò)節(jié)點(diǎn)流量通過七層解碼交易流水，其他節(jié)點(diǎn)通過四層解碼，能夠?qū)崿F(xiàn)性能和功能的平衡，同時(shí)和具體的業(yè)務(wù)系統(tǒng)松耦合，在脫離交易流水的情況下也能實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)全路徑的網(wǎng)絡(luò)會(huì)話級(jí)關(guān)聯(lián)追蹤分析，普適性更強(qiáng)。除了實(shí)現(xiàn)路徑會(huì)話追蹤，還可以進(jìn)行流式實(shí)況會(huì)話分析、多維度統(tǒng)計(jì)分析，網(wǎng)絡(luò)會(huì)話的分析能力更強(qiáng)。

總結(jié)與展望

在網(wǎng)絡(luò)架構(gòu)變革和創(chuàng)新過程中，郵儲(chǔ)銀行持續(xù)關(guān)注提升網(wǎng)絡(luò)精細(xì)化運(yùn)維能力。網(wǎng)絡(luò)流量采集網(wǎng)建設(shè)已初具規(guī)模和多中心標(biāo)準(zhǔn)化部署，網(wǎng)絡(luò)流量分析技術(shù)和工具的應(yīng)用，也逐漸深入細(xì)化到網(wǎng)絡(luò)數(shù)據(jù)包層面，積極探索網(wǎng)絡(luò)會(huì)話、業(yè)務(wù)交易關(guān)聯(lián)的流量分析，成為網(wǎng)絡(luò)配置優(yōu)化調(diào)整，以及復(fù)雜網(wǎng)絡(luò)環(huán)境下開展快速、精準(zhǔn)故障排查的得力工具。隨著數(shù)據(jù)中心規(guī)模不斷擴(kuò)大，承載應(yīng)用越來越豐富，面臨的挑戰(zhàn)也越來越多，下一步研究重點(diǎn)將圍繞云平臺(tái)虛機(jī)流量的采集與分析、云網(wǎng)融合架構(gòu)下的流量分析等，不斷優(yōu)化和創(chuàng)新，為全行業(yè)務(wù)穩(wěn)定運(yùn)行保駕護(hù)航。

（欄目編輯：魏亞楠）