數(shù)據(jù)中心網(wǎng)絡(luò)流量采集難題
時(shí)間:2018-09-28 13:16:57 來源：
隨著數(shù)據(jù)中心運(yùn)維精細(xì)化要求不斷提高，網(wǎng)絡(luò)流量采集分析已經(jīng)成為數(shù)據(jù)中心基礎(chǔ)設(shè)施不可缺少的分析手段，通過網(wǎng)絡(luò)流量深度分析，我們能夠更直觀地加快故障定位、分析應(yīng)用數(shù)據(jù)、協(xié)助優(yōu)化定位，加快故障定位。網(wǎng)絡(luò)流量采集也是一門學(xué)問，做得好會(huì)在關(guān)鍵時(shí)刻起作用，做得不好就會(huì)形成虛設(shè)，反而還要占用大量的網(wǎng)絡(luò)帶寬資源，這樣的流量采集不如不做。流量采集可不是簡(jiǎn)單地將幾個(gè)網(wǎng)絡(luò)設(shè)備端口的流量鏡像一份發(fā)給分析服務(wù)器就了事，要建立一個(gè)覆蓋全面、合理有效的流量采集網(wǎng)絡(luò)，這樣的流量采集才能有助于優(yōu)化網(wǎng)絡(luò)和業(yè)務(wù)性能指標(biāo)，減少故障發(fā)生概率。當(dāng)然，網(wǎng)絡(luò)流量采集也面臨著不少新問題，本文將娓娓道來。ADSS光纜
流量增長(zhǎng)太快
數(shù)據(jù)中心網(wǎng)絡(luò)承載的業(yè)務(wù)種類越來越多，流量特征也越來越多，有時(shí)就需要針對(duì)不同流量部署不同的采集技術(shù)。像鏡像、Netflow、Netsteam、Erspan等都可以作為流量采集的技術(shù)。鏡像種類就很繁多，可以基于端口鏡像、基于某些特征流鏡像，基于VLAN鏡像，鏡像流量可以發(fā)向多臺(tái)監(jiān)控服務(wù)器，可以跨多臺(tái)設(shè)備鏡像，或者通過VLAN廣播，以此來滿足各種流量采集的要求。就算有這么多種類的流量采集方式，時(shí)常也得不到滿足。像Netsteam受限于技術(shù)實(shí)現(xiàn)，有的只能識(shí)別五元素IP特征的流量，對(duì)于IP頭其它部位變化特征則無法采集和分類，有的設(shè)備采用CPU軟件實(shí)現(xiàn)，處理能力過低，有的設(shè)備采集FPGA硬件實(shí)現(xiàn)，識(shí)別流量的種類就沒有那么豐富。再有，在一個(gè)高冗余的網(wǎng)絡(luò)架構(gòu)中，二層多路徑等技術(shù)也對(duì)流量采集提出了挑戰(zhàn)，不同路徑均有流量分布，就需要在所有鏈路上都部署流量采集點(diǎn)，這樣相同的流量在不同的鏈路上均能采集到，實(shí)際得到的流量要比采樣比還高。ADSS光纜廠家
數(shù)據(jù)中心網(wǎng)絡(luò)承載的業(yè)務(wù)種類越來越多，流量特征也越來越多，有時(shí)就需要針對(duì)不同流量部署不同的采集技術(shù)。像鏡像、Netflow、Netsteam、Erspan等都可以作為流量采集的技術(shù)。鏡像種類就很繁多，可以基于端口鏡像、基于某些特征流鏡像，基于VLAN鏡像，鏡像流量可以發(fā)向多臺(tái)監(jiān)控服務(wù)器，可以跨多臺(tái)設(shè)備鏡像，或者通過VLAN廣播，以此來滿足各種流量采集的要求。就算有這么多種類的流量采集方式，時(shí)常也得不到滿足。像Netsteam受限于技術(shù)實(shí)現(xiàn)，有的只能識(shí)別五元素IP特征的流量，對(duì)于IP頭其它部位變化特征則無法采集和分類，有的設(shè)備采用CPU軟件實(shí)現(xiàn)，處理能力過低，有的設(shè)備采集FPGA硬件實(shí)現(xiàn)，識(shí)別流量的種類就沒有那么豐富。再有，在一個(gè)高冗余的網(wǎng)絡(luò)架構(gòu)中，二層多路徑等技術(shù)也對(duì)流量采集提出了挑戰(zhàn)，不同路徑均有流量分布，就需要在所有鏈路上都部署流量采集點(diǎn)，這樣相同的流量在不同的鏈路上均能采集到，實(shí)際得到的流量要比采樣比還高。ADSS光纜廠家
根據(jù)預(yù)測(cè)，到2019年數(shù)據(jù)中心的流量將為2014年的三倍，平均每年保持著30％的增長(zhǎng)率，不要只看增長(zhǎng)率，其實(shí)2014年的流量基數(shù)就很大，2014年就有2．1ZB。流量的增長(zhǎng)會(huì)給監(jiān)管帶來很多問題。比如：現(xiàn)有的監(jiān)控服務(wù)器處理能力不夠，鏡像流量過大導(dǎo)致設(shè)備端口或內(nèi)部通道擁塞，流量種類太多導(dǎo)致采集類型不完整等等。所以，流量增加后會(huì)帶來一系列問題，監(jiān)管的手段也要隨之調(diào)整，否則就無法真實(shí)采集到流量實(shí)時(shí)狀態(tài)，甚至還會(huì)對(duì)現(xiàn)有業(yè)務(wù)造成影響。如果采用的是采樣的方式，就有一定的采樣比，隨著流量的增長(zhǎng)，采集的流量會(huì)多一些，也可能會(huì)漏掉一些特征流量，還有可能采集的流量太大，將設(shè)備CPU打爆，這時(shí)就要降低采樣比，但這時(shí)降低采樣比采集的樣本流量會(huì)更少，準(zhǔn)確度下降。總之，當(dāng)流量在不斷增加時(shí)，不僅要對(duì)設(shè)備進(jìn)行擴(kuò)容，對(duì)采集流量的方法也要調(diào)整，否則流量采集起不到監(jiān)管作用。ADSS光纜
采集需求多樣化
通過各種流量采集技術(shù)從網(wǎng)絡(luò)中獲取的流量是幾乎沒有加工過的數(shù)據(jù)，這些數(shù)據(jù)被采集到監(jiān)控設(shè)備上時(shí)，需要通過特定的分析工具解析和統(tǒng)計(jì)分析。比如：Netflow采集，只不過將采集到的流量做了報(bào)文封裝，形成統(tǒng)一格式的報(bào)文發(fā)給監(jiān)控設(shè)備，監(jiān)控設(shè)備要能識(shí)別Netflow報(bào)文，解析報(bào)文將流量原始報(bào)文還原出來，然后去原始流量進(jìn)行分析和統(tǒng)計(jì)。采用不同的分析軟件工具，獲得的結(jié)果會(huì)有很大出入，有些工具只是統(tǒng)計(jì)，將流量進(jìn)行歸類，而有些工具則可以利用云計(jì)算、大數(shù)據(jù)等技術(shù)進(jìn)行數(shù)據(jù)分析和預(yù)測(cè)，以便對(duì)業(yè)務(wù)運(yùn)行狀況進(jìn)行分析和預(yù)判。不同的分析工具與不同的流量采集方式適配，相互之間并不能兼容，這也導(dǎo)致市面上出現(xiàn)了很多流量分析工具，質(zhì)量參差不齊，在選擇時(shí)一定要慎重。選擇有效的流量采集方式，不僅可以節(jié)省開支，降低流量監(jiān)管成本，還能最大限度地利用采集的流量數(shù)據(jù)進(jìn)行分析。ADSS光纜廠家
數(shù)據(jù)安全要求高
人們對(duì)數(shù)據(jù)中心安全越來越重視，尤其擔(dān)心自己的隱私數(shù)據(jù)遭到泄露或者被人所利用，若在數(shù)據(jù)中心部署過多的流量監(jiān)控，易引起人們的反感，這就像是在換衣間安裝了攝像頭一樣，覺得自己的隱私受人監(jiān)控，所以數(shù)據(jù)中心里的數(shù)據(jù)流量并不允許隨意去采集，作為數(shù)據(jù)分析使用，所以要流量采集取之有道，流量監(jiān)管信息公開，讓人們放心使用數(shù)據(jù)中心的應(yīng)用。數(shù)據(jù)中心網(wǎng)絡(luò)承載著客戶業(yè)務(wù)的重要數(shù)據(jù)，要對(duì)數(shù)據(jù)進(jìn)行安全檢查，避免在數(shù)據(jù)采集的過程中出現(xiàn)信息泄露，安全問題絕對(duì)是在進(jìn)行采集網(wǎng)絡(luò)規(guī)劃建設(shè)時(shí)首要重點(diǎn)考慮的問題。對(duì)于部分重要的生產(chǎn)網(wǎng)絡(luò)流量數(shù)據(jù)，必須要進(jìn)行脫敏處理，隱藏客戶敏感信息，避免信息泄露。在數(shù)據(jù)分析后，及時(shí)將原始數(shù)據(jù)進(jìn)行銷毀，避免流量數(shù)據(jù)被泄露或?yàn)樗瞬环ㄋ谩?a href="http://m.ytpoint.com" target="_blank">ADSS光纜
流量分析工具差異大
在數(shù)據(jù)中心網(wǎng)絡(luò)不斷發(fā)展壯大的過程中，流量采集面臨著不少的難題，但這方面的工作還要繼續(xù)去做，要懂得去適應(yīng)，去解決問題，方法總比困難多。現(xiàn)在的數(shù)據(jù)中心都在做精細(xì)化的運(yùn)維，流量監(jiān)管是最為重要的一部分，早期那種部署個(gè)網(wǎng)管軟件獲取一些監(jiān)控節(jié)點(diǎn)信息已經(jīng)無法滿足了，要通過流量采集并進(jìn)行后期的流量分析，將流量采集與各類分析應(yīng)用平臺(tái)聯(lián)動(dòng)起來，從不同角度挖掘數(shù)據(jù)信息，對(duì)數(shù)據(jù)進(jìn)行深入分析，支持運(yùn)維業(yè)務(wù)發(fā)展。對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的運(yùn)行狀態(tài)進(jìn)行預(yù)判，提升數(shù)據(jù)中心網(wǎng)絡(luò)的運(yùn)營(yíng)效率。流量采集是流量分析體系的基礎(chǔ)，一個(gè)覆蓋全面、合理有效的流量采集網(wǎng)絡(luò)，有助于提高網(wǎng)絡(luò)流量的采集、過濾和分析效率，滿足不同角度的流量監(jiān)管要求，優(yōu)化網(wǎng)絡(luò)和業(yè)務(wù)性能指標(biāo)，提高客戶體驗(yàn)。
返回首頁
返回首頁
