RM新时代官网

　　網(wǎng)絡(luò)帶寬已經(jīng)跨過了10M/100M/1000M，當(dāng)前的10G、N*10G的高速帶寬正成為網(wǎng)絡(luò)建設(shè)的基本規(guī)格。隨著>8*10G性能的需求日趨強烈，超高速網(wǎng)絡(luò)(40/100G平臺)技術(shù)已經(jīng)開始在當(dāng)前的數(shù)據(jù)中心部署使用。

　　云計算網(wǎng)絡(luò)的性能要求超過常規(guī)應(yīng)用數(shù)據(jù)中心，這樣的要求使得網(wǎng)絡(luò)平臺構(gòu)建上性能的考慮區(qū)別于傳統(tǒng)的認(rèn)識，深入認(rèn)識云的底層特質(zhì)。網(wǎng)絡(luò)的交換容量和網(wǎng)絡(luò)浪涌的吸收容量即是云計算(或大型數(shù)據(jù)中心)網(wǎng)絡(luò)的性能關(guān)注點要同時關(guān)注的兩方面。

　　超高速交換網(wǎng)絡(luò)之前的幾個概念

　　線速

　　指的是線路數(shù)據(jù)傳送的實際速率能夠達(dá)到名義值，比如千兆端口能夠?qū)嶋H吞吐量到千兆，這在交換機是比較輕松的事，但是早期的高端路由器端口如果能夠達(dá)到千兆實際轉(zhuǎn)發(fā)速率，那是非常了不起的(不過現(xiàn)在已經(jīng)稀疏平常了)。

　　超線速

　　如千兆端口能夠吞吐的流量超過一千兆(一般也就超出一點點)，這種交換機與標(biāo)準(zhǔn)線速設(shè)備對接后容易產(chǎn)生丟包甚至將標(biāo)準(zhǔn)交換機“堵死”。在數(shù)據(jù)中心環(huán)境下極少數(shù)情況也允許滿足超線速的組網(wǎng)，只是對交換機有特殊要求。

　　全線速

　　交換機的所有端口能夠同時達(dá)到線速轉(zhuǎn)發(fā)。這個能力也體現(xiàn)了交換機的性能，對于某些性能較低的設(shè)備，稱為達(dá)到全線速轉(zhuǎn)發(fā)，是指達(dá)到了設(shè)備的最高性能而已，有可能離該交換機的端口容量總和還遠(yuǎn)著呢。

　　“無阻塞”全線速

　　有時候在全線速前面再定義一個“無阻塞”，其實是強化交換機的全線速能力，指的是對交換的任意大小字節(jié)的報文均能夠達(dá)到全線速的能力，所有端口都以線速接收幀，并能無延遲地處理被稱為“無阻塞（Nonblocking）”，之所以這樣叫是因為設(shè)備內(nèi)部沒有等待處理的報文（沒有阻塞）。但是無阻塞有時也會遇到挑戰(zhàn)，在很小的概率下(即實際測試中極不容易出現(xiàn))，確實能夠構(gòu)造特定測試?yán)沟媒粨Q機產(chǎn)生阻塞，這是因為傳統(tǒng)交換架構(gòu)下理論上也能分析出阻塞的可能性。

　　一、超高速交換網(wǎng)絡(luò)

　　傳統(tǒng)交換架構(gòu)，非真正意義的“無阻塞”

　　在“數(shù)據(jù)中心級交換機”概念出現(xiàn)以前(這個概念也是隨著云計算發(fā)展而產(chǎn)生的，此前只有核心交換機、高端交換機的概念)，盒式交換機一般是單芯片，機架式交換機則主要是“交換網(wǎng)+IO芯片”結(jié)構(gòu)，比較先進(jìn)的交換網(wǎng)一般采用crossbar，架構(gòu)如圖1所示。

　　傳統(tǒng)高端設(shè)備以交換線卡連接crossbar高性能交換網(wǎng)，數(shù)據(jù)在Crossbar內(nèi)部選路基于實現(xiàn)配置好的規(guī)則，同一數(shù)據(jù)流在內(nèi)部的運轉(zhuǎn)路徑是確定的(HASH算法)，因此存在特殊情況下在交換不同級層上會發(fā)生阻塞的現(xiàn)象，如圖1的數(shù)據(jù)流1和2在第一級、數(shù)據(jù)流3和4在第二級的阻塞(情景有點類似于等價路由或鏈路捆綁的流量不完全均衡性)。這種架構(gòu)的交換網(wǎng)容量并不大，一般以支持10GE為主。這種非真正意義的“無阻塞”在一般性數(shù)據(jù)中心并不會遇到挑戰(zhàn)，但在大型互聯(lián)網(wǎng)數(shù)據(jù)中心，隨著近年來ISP業(yè)務(wù)不斷豐富、業(yè)務(wù)規(guī)模不斷擴大和實際帶寬消耗迅猛增長，已經(jīng)出現(xiàn)了傳統(tǒng)交換架構(gòu)在互聯(lián)網(wǎng)數(shù)據(jù)中心難以滿足性能需求的現(xiàn)狀。

圖1傳統(tǒng)Crossbar交換架構(gòu)的阻塞分析模型

　　無阻塞交換，云計算核心交換平臺的關(guān)鍵且基本的要求

　　到了新一代交換平臺產(chǎn)生的時代，數(shù)據(jù)中心級核心交換平臺的能力已經(jīng)確定在10Tbps的級別，交換系統(tǒng)的架構(gòu)產(chǎn)生了本質(zhì)的變化，這種變化是為了應(yīng)對云計算超高速100G、以及實現(xiàn)今后10T環(huán)境下的完全無阻塞所帶來的挑戰(zhàn)而變革產(chǎn)生的架構(gòu)，也就是CLOS架構(gòu)。

　　那么，完全無阻塞的意義就是對一個交換架構(gòu)無論是理論分析還是實測，都能夠達(dá)到真正的無阻塞交換(如果不能全線速，完全無阻塞也用處不大了)。完全無阻塞的概念，也是在云計算環(huán)境下開始逐步強調(diào)的，因為云計算中心應(yīng)用密度比之傳統(tǒng)數(shù)據(jù)中心高得多，流量情況更為復(fù)雜，數(shù)據(jù)性能要求更為嚴(yán)格，如果在交換平臺核心不能滿足完全無阻塞的交換條件，瞬時引起的阻塞必然會導(dǎo)致網(wǎng)絡(luò)流量異常，即使是理論上小概率的瞬時阻塞，也可能在云計算網(wǎng)絡(luò)中反復(fù)出現(xiàn)。這對大型網(wǎng)絡(luò)來說，是存在隱患的，因為不斷增長的業(yè)務(wù)和流量可能因為核心平臺的隱患而有所限制(莫名其妙的情況下發(fā)現(xiàn)網(wǎng)絡(luò)偶然不暢)，這種潛在問題有時是無法分析清楚的，特別是已經(jīng)在運行的網(wǎng)絡(luò)。因此，完全意義上的無阻塞交換，是云計算核心交換平臺的關(guān)鍵而基本的要求。

　　新一代交換架構(gòu)三級CLOS&CELL交換可支持完全無阻塞交換，是完全遵循復(fù)雜業(yè)務(wù)流要求的，能夠?qū)⒋笠?guī)模密集流量在交換系統(tǒng)內(nèi)部均勻交換，避免了阻塞帶來的性能惡化與嚴(yán)重下降。其實現(xiàn)基本原理如圖2所示，在系統(tǒng)內(nèi)部采用動態(tài)選路方式(線卡、交換網(wǎng)保存內(nèi)部數(shù)據(jù)轉(zhuǎn)發(fā)路徑信息，如果出現(xiàn)路徑不可用或網(wǎng)板、線卡故障，選路信息動態(tài)改變，這一切操作由硬件系統(tǒng)內(nèi)完成)，業(yè)務(wù)線卡接收到的數(shù)據(jù)包文，進(jìn)行等長切片處理形成定長信元，每個信元加載動態(tài)選路的標(biāo)記頭(長度不夠的信元會進(jìn)行內(nèi)部填充)。

圖2H3C新一代CLOS架構(gòu)&Cell交換實現(xiàn)模型

　　如何構(gòu)造無阻塞交換網(wǎng)絡(luò)

　　云計算需要超大的計算能力和網(wǎng)絡(luò)交換能力，通過網(wǎng)絡(luò)來組織數(shù)千臺至上萬臺服務(wù)器的協(xié)同計算，因此云計算的支撐網(wǎng)絡(luò)也提出了無阻塞的方向。

　　首先看如何構(gòu)造大規(guī)模的線速網(wǎng)絡(luò)，如圖3所示，從兩個方向來擴展，在層次上，每一層的交換設(shè)備上行所有鏈路帶寬與下行的所有鏈路帶寬相等，在同一層次，按照下一層設(shè)備的上行端口數(shù)擴展，如此直到最高層(目前主流構(gòu)造兩層到三層網(wǎng)絡(luò)結(jié)構(gòu))。

圖3大規(guī)模網(wǎng)絡(luò)擴展方式

　　構(gòu)造線速交換網(wǎng)絡(luò)比較簡單，但是要達(dá)到無阻塞，當(dāng)前的技術(shù)實現(xiàn)還不夠徹底，因為在網(wǎng)絡(luò)級別只能使用鏈路負(fù)載均衡技術(shù)實現(xiàn)對帶寬的充分利用。如圖4所示，實現(xiàn)方式主要有兩種。

圖4鏈路負(fù)載均衡

　　Roundrobin方式：將數(shù)據(jù)流依次向可用鏈路均勻轉(zhuǎn)發(fā)(可以基于統(tǒng)計速率、也可以基于逐包方式)，一般來說，當(dāng)服務(wù)器之間全部使用定長報文(如1500字節(jié))交互數(shù)據(jù)，基本就構(gòu)成了一個“完全無阻塞交換網(wǎng)絡(luò)”(是定長數(shù)據(jù)交換條件下)，但是存在的問題是，同一數(shù)據(jù)流的不同報文可能經(jīng)過不同網(wǎng)絡(luò)路徑到達(dá)目的地，經(jīng)過網(wǎng)絡(luò)大規(guī)模流量浪涌后會存在嚴(yán)重的亂序問題。

　　HASH方式：使用網(wǎng)絡(luò)設(shè)備的硬件負(fù)載均衡算法，基于數(shù)據(jù)流的二三層地址信息和四層端口號信息得到不同鏈路的選路信息，能夠保證同一數(shù)據(jù)流經(jīng)過相同路徑到達(dá)目的地，避免亂序，但是不同數(shù)據(jù)流因為流量大小有差異，使得網(wǎng)絡(luò)不同鏈路難以完全均衡，不過在當(dāng)前技術(shù)條件下，不均衡度已經(jīng)極小，十分接近完全無阻塞交換網(wǎng)絡(luò)了。

　　二、浪涌，云計算環(huán)境下的一個網(wǎng)絡(luò)現(xiàn)象

　　在云計算環(huán)境下，性能無疑成為最為關(guān)注的核心要素，但是，有了超高速的交換性能，不一定表示網(wǎng)絡(luò)能夠達(dá)到理想的效果,還需要關(guān)注網(wǎng)絡(luò)浪涌的吸收容量，我們從分析端口流量情況和網(wǎng)絡(luò)實際流量情況入手。

　　端口流量

　　圖5是我們進(jìn)行毫秒級網(wǎng)絡(luò)流量研究時得到的流量圖，不妨稱之為微觀流量視圖(事實上早在2000年左右，運營商的研究機構(gòu)已經(jīng)在622M骨干網(wǎng)發(fā)現(xiàn)了這個現(xiàn)象)。在秒級、分鐘級以上的宏觀時間尺度下，流量A和B的采樣曲線十分平滑，這是因為流量觀測的累積平均效果造成的，當(dāng)采樣尺度縮小到毫秒級，我們發(fā)現(xiàn)，從端口得到的流量曲線發(fā)生了變化，最高的流量值可能達(dá)到平均流量的2-3倍

圖5微觀的流量視圖

　　這個問題的本質(zhì)來源于交換機的線速轉(zhuǎn)發(fā)特性(實際上核心、高端交換機內(nèi)部還有更大的加速比，即內(nèi)部交換通道速率一般遠(yuǎn)高于對外的端口速率，但我們不必過于復(fù)雜化)。線速轉(zhuǎn)發(fā)的機制，使得交換機在接收或者發(fā)送任意一個報文的時候，都不同于我們觀察到的結(jié)果(我們看到的都是一段時間內(nèi)的平均速率)，任一個報文都是以千兆或萬兆速率在轉(zhuǎn)發(fā)，而且持續(xù)達(dá)到線速后，報文之間的轉(zhuǎn)發(fā)時間間隔(或稱幀間隙)達(dá)到了最小值。我們以圖6為例作一個不太嚴(yán)格的分析，在千兆端口下，假定轉(zhuǎn)發(fā)的報文大小為端口MTU級，即報文為1500字節(jié)，計算出的串行化時延約為12微秒，由于報文之間還有幀間隙，為簡單起見，假設(shè)為8微秒(實際幀間隙非常之小)，那么一個報文的轉(zhuǎn)發(fā)到鏈路時間為20微秒。也就是說，要體現(xiàn)交換機線速轉(zhuǎn)發(fā)，端口上每20微秒就發(fā)送一個1500字節(jié)報文。隱含的事實是，任何一個1500字節(jié)的報文都以20微秒的標(biāo)準(zhǔn)在交換端口轉(zhuǎn)發(fā)出來，所用帶寬均為1Gbps。

圖6微觀采樣的理想化分析

　　那么如果網(wǎng)絡(luò)中我們觀測到一個端口流量是500Mbps，該如何來理解這個信息呢？如圖7所示，最理想的情況當(dāng)然是每40微秒轉(zhuǎn)發(fā)一個報文，這樣網(wǎng)絡(luò)流量最平穩(wěn)，最惡劣的情況是，在觀測周期內(nèi)，前半段時間流量20微秒的密集(即持續(xù)千兆速率轉(zhuǎn)發(fā))，后半段時間無數(shù)據(jù)轉(zhuǎn)發(fā)。當(dāng)然，正常情況下是界于二者之間非常隨機的。

圖7平均速率的理解模型

　　網(wǎng)絡(luò)的實際流量

　　網(wǎng)絡(luò)是由多個網(wǎng)絡(luò)設(shè)備組成的，網(wǎng)絡(luò)的流量難以有很合適的描述模型，不同的網(wǎng)絡(luò)業(yè)務(wù)模型、性能要求都不一樣，我們只分析網(wǎng)絡(luò)數(shù)據(jù)流的走向情況。

　　先看一個全線速、完全無阻塞交換機的數(shù)據(jù)流向,包含兩種情況（如圖8所示）。不論是A還是B，對單個網(wǎng)絡(luò)節(jié)點而言，即使是全線速無阻塞的性能，也面臨著在短時間的高帶寬向低帶寬的數(shù)據(jù)流向，相對而言情況A比較容易確定，情況B比較復(fù)雜。因此分析網(wǎng)絡(luò)的實際流量，其本質(zhì)上網(wǎng)絡(luò)節(jié)點的流量并不是均衡的，也就是說，網(wǎng)絡(luò)實際流量并不是完全按照網(wǎng)絡(luò)設(shè)備的無阻塞架構(gòu)來轉(zhuǎn)發(fā)的，總是會造成一個瞬時擁塞，即進(jìn)入交換機的帶寬比出交換的帶寬要高，如數(shù)據(jù)中心內(nèi)部多臺服務(wù)器向少數(shù)服務(wù)器傳送數(shù)據(jù)的情況，如圖9所示。左邊兩種情況都不會影響業(yè)務(wù)性能，但是最右邊引起瞬時擁塞，如果產(chǎn)生丟包，必然對上層應(yīng)用產(chǎn)生影響，特別是云計算環(huán)境下，數(shù)據(jù)流量超大，擁塞的數(shù)據(jù)被丟掉后必然使得整個云平臺的性能和可用性大為降低。這種惡劣的影響并非網(wǎng)絡(luò)設(shè)備交換性能不夠產(chǎn)生的，實質(zhì)上是網(wǎng)絡(luò)流量的不可控可變帶寬比產(chǎn)生瞬時收斂造成的(如多個萬兆到少數(shù)萬兆、萬兆到千兆等)。

圖8定向與不定向的網(wǎng)絡(luò)流量

圖9網(wǎng)絡(luò)中的可變動態(tài)帶寬比

　　基于以上兩方面的分析，我們確定云計算環(huán)境下的一個網(wǎng)絡(luò)現(xiàn)象---浪涌(在一般網(wǎng)絡(luò)條件下稱為流量突發(fā)，burst)，密集的高速流量，瞬時的收斂性數(shù)據(jù)傳輸與同步特點。比之一般網(wǎng)絡(luò)的突發(fā)更為嚴(yán)峻的是云計算網(wǎng)絡(luò)一旦發(fā)生擁塞丟包，所需要處理的數(shù)據(jù)量比常規(guī)條件下大得多。如圖10所示，網(wǎng)絡(luò)端口的平均流量并不高，但是從兩個端口向一個端口的流量由于疏密不均，造成了突發(fā)。在入端口方向，由于交換線速轉(zhuǎn)發(fā)的特點，宏觀平緩數(shù)據(jù)流在不同毫秒級范圍內(nèi)度量結(jié)果也不一樣(340pps～800pps的成倍關(guān)系)，當(dāng)這兩個端口流量要向同一端口輸出時，是不是會造成更為惡劣的流量突發(fā)---浪涌情況？

圖10突發(fā)的基本形態(tài)

　　突發(fā)畢竟是瞬時的，一般情況下認(rèn)為是毫秒級的或亞秒級的(所以叫瞬時擁塞)，而平均流量并沒有達(dá)到所用的帶寬，如果是持續(xù)的擁塞，則應(yīng)該是帶寬需要擴容了。

　　對網(wǎng)絡(luò)節(jié)點的突發(fā)分析也適用于整個云計算網(wǎng)絡(luò)，即使是無阻塞的網(wǎng)絡(luò)架構(gòu)，其上承載的浪涌突發(fā)數(shù)據(jù)流也是不定向的，整個網(wǎng)絡(luò)的浪涌吸收能力決定了云計算的密集數(shù)據(jù)吞吐、交互、處理能力。

　　三、云計算核心交換網(wǎng)絡(luò)的緩存結(jié)構(gòu)

　　對于交換機而言，緩存方式也有不同的機制：出端口和入端口緩存。傳統(tǒng)技術(shù)實現(xiàn)多以出端口緩存為主，這種機制使得所有數(shù)據(jù)流的突發(fā)在出端口處被緩存，緩存的大小即是網(wǎng)絡(luò)最大可能的突發(fā)值。

　　新一代云網(wǎng)絡(luò)的核心交換平臺一般采用入端口緩存（如圖11所示），一般結(jié)合虛擬輸出隊列(VoQ)技術(shù)，在每個入端口方向配置大容量緩存，在出端口配置較小緩存，使用專用流量管理器件TM(trafficmanager)進(jìn)行內(nèi)部流量管理，并采用credit來控制每個端口入方向的數(shù)據(jù)向出端口的突發(fā)，每個出端口向其它入端口分配credit數(shù)量，當(dāng)出端口在線速向外轉(zhuǎn)發(fā)數(shù)據(jù)時，如果入方向過來的數(shù)據(jù)速度較快，在達(dá)到或超過出端口設(shè)定的突發(fā)門限時，出端口不再為入端口分配credit，從而使得入端口的數(shù)據(jù)緩存在本地的大容量buffer中，當(dāng)出端口(保持線速對外轉(zhuǎn)發(fā))的排隊下降到門限以下，繼續(xù)向入端口分配credit，使得緩存的數(shù)據(jù)得以繼續(xù)轉(zhuǎn)發(fā)。

圖11入端口緩存

　　因此入端口緩存機制下，各端口的數(shù)據(jù)在出端口擁塞時都能在本地緩存，因而緩存容量是與入端口數(shù)成正比的線性關(guān)系。這種線性比例的緩存能力，能夠自適應(yīng)于云計算的不定向浪涌流量，交換緩存架構(gòu)能夠自動調(diào)節(jié)不同方向的瞬時流量擁塞壓力，是當(dāng)前云計算網(wǎng)絡(luò)的主要應(yīng)用技術(shù)。

　　而對于時延與緩存，很多人一談到大緩存設(shè)備，立即聯(lián)想到大的交換時延，而低時延必然是小緩存，其實，兩者之間并沒有必然的聯(lián)系，一切取決于網(wǎng)絡(luò)的應(yīng)用情況。對于交換而言，一般的存儲轉(zhuǎn)發(fā)時延是幾個微秒，與緩存大小并無絕對關(guān)系，如圖12所示，對于無擁塞的輕載網(wǎng)絡(luò)A，數(shù)據(jù)進(jìn)入交換機緩存后立即進(jìn)行查表轉(zhuǎn)發(fā)，大緩存和小緩存的效果是一樣的，當(dāng)出現(xiàn)瞬時擁塞后如B，大緩存能夠避免丟包(重傳引起的時延比緩存的時延大多了)，而小緩存在大規(guī)模突發(fā)流量下如C，必然對突發(fā)的緩存量少，會丟棄報文。

圖12時延與轉(zhuǎn)發(fā)

　　但并不是所有應(yīng)用都需要大緩存(畢竟成本不一樣)，因此考慮到時延的網(wǎng)絡(luò)平臺需要根據(jù)應(yīng)用的具體情況構(gòu)建，一般情況下建議實測來選擇建網(wǎng)方案。

　　四、浪涌緩存模型分析---多大緩存合適

　　有不少研究曾經(jīng)著重于網(wǎng)絡(luò)到底需要多大的緩存，最著名莫過于圖13這個公式了，該公式更多地被應(yīng)用到路由器作為廣域鏈路連接時的緩存大小確定，其目的是為了充分利用昂貴的廣域網(wǎng)帶寬。

圖13常見的緩存公式

　　其中：Buffer指緩存大小，單位Byte；BW數(shù)據(jù)傳送帶寬；RTT(Round-TripTime)往返時延，在網(wǎng)絡(luò)中它是一個重要的性能指標(biāo)，它表示從發(fā)送端發(fā)送數(shù)據(jù)開始，到發(fā)送端收到來自接收端的確認(rèn)(接收端收到數(shù)據(jù)后便立即發(fā)送確認(rèn))，總共經(jīng)歷的時延。

　　數(shù)據(jù)中心的緩存如何來建模呢？數(shù)據(jù)中心與廣域網(wǎng)有顯著區(qū)別，內(nèi)部帶寬可以是足夠的(高速交換)，但是突發(fā)浪涌很嚴(yán)重，那么緩存主要不是用來充分利用帶寬的，而是用來吸收浪涌的。這里的模型并不具有嚴(yán)格的學(xué)術(shù)意義，但是，用戶如果能夠在日常注意收集數(shù)據(jù)中心的相關(guān)業(yè)務(wù)數(shù)據(jù)，對于自身的緩存需求建模和網(wǎng)絡(luò)性能分析是很有參考意義的，下文描述的模型有助于分析某些應(yīng)用中的問題。

　　動態(tài)收斂比：N

　　如圖14所示，在云計算網(wǎng)絡(luò)中，由于整個網(wǎng)絡(luò)都可能是無阻塞的，從表面上是看不

圖14動態(tài)收斂比定義

　　簡單起見，假設(shè)端口的帶寬BW是固定的(千兆或萬兆)，流量的入端口數(shù)為Mi，出端口數(shù)為Me，要求Mi大于Me，那么：

　　-----------------------------公式1

　　突發(fā)數(shù)據(jù)量和網(wǎng)絡(luò)傳送時間：D和T

　　我們再來定義兩個指標(biāo)，如圖15所示，對于構(gòu)建云計算網(wǎng)絡(luò)的用戶來說，Tm是由業(yè)務(wù)層面提供的參考數(shù)據(jù)，D也應(yīng)由業(yè)務(wù)層面給出，但一般難有具體值，需要經(jīng)過分析來獲取，后文將給出兩個分析案例。

圖15突發(fā)數(shù)據(jù)量和網(wǎng)絡(luò)傳送時間

　　實際的數(shù)據(jù)傳送時間為t，t必須小于等于Tm才能滿足業(yè)務(wù)要求，那么：

　　----------------------------------公式2

　　臨界緩存值：buffer0

　　我們再定義一個臨界緩存值buffer0，是指能夠剛好滿足突發(fā)要求的最小緩存值，即在數(shù)據(jù)D的突發(fā)量下，buffer0剛好能夠容納這些數(shù)據(jù)(因為在緩存容納數(shù)據(jù)的同時，出端口還在往外轉(zhuǎn)發(fā)數(shù)據(jù))，如圖16所示。

　　我們借用水池漏水的題目，如圖16所示，蓄水池的大小是buffer0，粗水管以BH的速率往水池里灌水，細(xì)水管以BL的速率往外流水，問題：

　　1.當(dāng)水池裝滿后，粗水管一共灌了多少水？

　　--------------求突發(fā)量D與buffer0、入出帶寬BH和BL的關(guān)系

　　2.如果當(dāng)水池滿后就停止灌水，那么從最開始灌水，到水池的水流干，一共要多長時間？

　　--------------求突發(fā)量D下，數(shù)據(jù)傳送時間t與buffer0和帶寬關(guān)系(是否滿足應(yīng)用的需求)

圖16臨界緩存buffer0

　　通過對以上問題的求解（由于篇幅有限，這里求解過程略去），我們得出當(dāng)網(wǎng)絡(luò)的出帶寬等于入帶寬時，是不需要buffer的。同樣，根據(jù)公式分析，在發(fā)生瞬時擁塞的條件下，增加出口帶寬(入帶寬不變)可以減少對buffer的要求。

　　臨界緩存與收斂比的關(guān)系如圖17所示，出帶寬增加，不僅收斂比減小，buffer0的要求降低，同時根據(jù)t=D/BL得知相同突發(fā)數(shù)據(jù)量的傳送時間大幅降低。反過來也根據(jù)模型得出，收斂比減小出方向帶寬增加時可突發(fā)的數(shù)據(jù)量比原有收斂比要大。

圖17臨界緩存與收斂比的關(guān)系

　　如果網(wǎng)絡(luò)的收斂比不變、緩存也不變，但是隨著業(yè)務(wù)量的突發(fā)嚴(yán)重，要求更大的突發(fā)量，該如何調(diào)整？根據(jù)模型公式分析，需要應(yīng)用層進(jìn)行調(diào)整，即對數(shù)據(jù)突發(fā)進(jìn)行平緩處理(避免突發(fā)過于集中超過buffer0導(dǎo)致大量丟包)，同時增加Tm的值，即允許網(wǎng)絡(luò)傳輸時間更長。

　　上述公式比較離散，分析問題時需要根據(jù)條件不斷轉(zhuǎn)化，雖然云計算環(huán)境非常復(fù)雜，但是只要在網(wǎng)絡(luò)規(guī)劃、運行過程中不斷收集參數(shù)，對浪涌的分析與優(yōu)化是可行的

　　兩個傳統(tǒng)數(shù)據(jù)中心實例說明如何利用模型進(jìn)行分析

　　實例分析一：網(wǎng)絡(luò)搜索

　　應(yīng)用的基本描述

　　查詢服務(wù)器向200臺響應(yīng)服務(wù)器發(fā)起請求

　　每臺響應(yīng)服務(wù)器發(fā)出60KB的數(shù)據(jù)，折合1.5KB報文約40個，響應(yīng)服務(wù)器在最短時間向網(wǎng)卡發(fā)送數(shù)據(jù)，時間非常短(1-2毫秒)，可認(rèn)為所有服務(wù)器發(fā)生了瞬時突發(fā)

　　查詢服務(wù)器將所有請求收到的時間規(guī)定在40-60毫秒內(nèi)，我們設(shè)為50毫秒

　　當(dāng)時使用的這個設(shè)備緩存大，但是緩存分配的個數(shù)只有4K個單元，且均分到不同端口，因此隨著應(yīng)用的負(fù)載增加，逐步出現(xiàn)檢索丟包的現(xiàn)象。

圖18搜索模型的簡單分析

　　從上面的一些數(shù)據(jù)，可以得到

　　突發(fā)數(shù)據(jù)量D=200*60KB=12MB

　　業(yè)務(wù)響應(yīng)要求時間Tm=50毫秒

　　網(wǎng)絡(luò)收斂比是200千兆端口數(shù)據(jù)發(fā)向1個千兆端口，但是最嚴(yán)重的地方在于查詢服務(wù)器所在的交換機兩個萬兆流量打入A所在的千兆端口，不妨設(shè)定收斂比為N=20G:1G=20

　　那么平均要求的傳輸帶寬是12MB/50毫秒=1.9G，說明現(xiàn)有的帶寬1G根本不能滿足業(yè)務(wù)需求。

　　現(xiàn)在應(yīng)用進(jìn)行調(diào)整，將60KB數(shù)據(jù)降低到30KB，此時D=200*30KB=6MB,1G帶寬是可以滿足要求的，現(xiàn)在來看緩存的要求，根據(jù)模型公式，buffer0=(1-1/20)*6MB=5.7MB，按照1.5KB一個報文，buffer0至少需要緩存報文個數(shù)為5.7MB/1.5KB=3.8K個，因此一個設(shè)備的緩存不僅要求大小為5.7MB，可緩存的報文個數(shù)還要在4千個左右。

　　為了優(yōu)化性能，可以選擇兩種方式來改進(jìn)。

　　第一種是將緩存的所有單元全部分配給查詢服務(wù)器單端口，這樣能夠滿足突發(fā)所需的緩存需求。但是對于負(fù)載增加，入信息增加到60KB、服務(wù)器群增加的擴展性有很大限制。

　　第二種，將查詢服務(wù)器改為萬兆，此時收斂比N=2，如果在現(xiàn)有緩存能力(4K個報文32MB容量)下，可以突發(fā)的數(shù)據(jù)量D=buffer0×N/(N-1)=4K*1.5KB*2=12MB，比原來突發(fā)量升了一倍。

　　而業(yè)務(wù)響應(yīng)時間t=D/BL=12MB/10G=9.6毫秒，遠(yuǎn)小于50毫秒的上限，而同步可傳輸?shù)臄?shù)據(jù)量是原來的10倍(帶寬增加了10倍)。如果應(yīng)用層進(jìn)行調(diào)整，平緩?fù)话l(fā)如分組或分時(以9.6毫秒為參考)，那么在50毫秒的響應(yīng)時間條件下可獲取更大的突發(fā)能力。

　　實例分析二：校園網(wǎng)數(shù)據(jù)中心應(yīng)用

　　20000學(xué)生規(guī)模，300臺左右服務(wù)器

　　兩臺接入設(shè)備使用VRRP方式運行在三層主備模式。

　　上行各為一個千兆，兩臺設(shè)備之間為兩個千兆互聯(lián)

　　右邊設(shè)備為Master，使用了一塊4:1收斂的交換線卡上行，緩存<500KB，其它線卡緩存

　　問題是每學(xué)期學(xué)生集中選課時網(wǎng)絡(luò)異常，但是平均流量很小，不足200Mbps

　　當(dāng)人為進(jìn)行A和B鏈路切換(數(shù)據(jù)流從B上)，VRRP主備不倒換時，故障消失，平均流量依然為200Mbps左右。

圖19校園網(wǎng)數(shù)據(jù)中心案例

　　經(jīng)過現(xiàn)場診斷和深入分析，解決方法為將右側(cè)Master上行線卡更換為全線速、大緩存的線卡，運行至今未見問題出現(xiàn)。

　　問題分析：

　　選課一般時間比較集中，2萬個學(xué)生選課假定10%的同時在線率，說明服務(wù)器要對外處理8000個會話，假定每個報文為512B(報文大小不一，只能假設(shè)一個)，則突發(fā)數(shù)據(jù)量可假定為D=2000*512B=1MB，即D=1MB。

　　收斂比，按照數(shù)據(jù)流從A鏈路上行，N=20:1=20(假定只有同時20臺服務(wù)器對外工作，其它服務(wù)器可能還提供別的服務(wù)，也對網(wǎng)絡(luò)突發(fā)是有貢獻(xiàn)的)。

　　因此buffer0=(1-1/20)*1MB=0.95MB，說明緩存要求顯然高于現(xiàn)有網(wǎng)絡(luò)運行產(chǎn)品的要求。

　　那么，為什么數(shù)據(jù)流繞行B鏈路上行能夠緩解突發(fā)呢？

　　首先是Master向Slave發(fā)送端口的

　　根據(jù)模型公式，原來帶寬是1G，在緩存滿時已經(jīng)傳輸?shù)臄?shù)據(jù)量是buffer0*1/19

　　帶寬到2G后，緩存滿時已經(jīng)傳輸?shù)臄?shù)據(jù)量是buffer0*1/9

    1/19，說明原有緩存滿后，已經(jīng)傳輸?shù)臄?shù)據(jù)量超過了原來的兩倍，這樣就極大降低了突發(fā)。從slave的角度，收斂比只有2:1，也能夠緩解緩存的要求，同時數(shù)據(jù)流經(jīng)過了Master和slave設(shè)備，經(jīng)過了兩級網(wǎng)絡(luò)緩存，進(jìn)一步改善了突發(fā)。

　　五、結(jié)束語

　　云計算是前所未有的性能密集型IT業(yè)務(wù)模式已經(jīng)是不爭的事實，云計算的發(fā)展將直接依托于超高速網(wǎng)絡(luò)，并依賴于超高速交換技術(shù)實現(xiàn)服務(wù)交付。然而超高速交換本身還不足以解決所有問題，圍繞超高速網(wǎng)絡(luò)環(huán)境下的多種關(guān)鍵技術(shù)還有待于無縫集成。