|
踏入資料中心第一步：I/O Consolidation
前言
回顧2009年，大家腦海中就會浮現去年身邊發生的一些印象深刻的重大事件，及一些新聞重大議題，如：H1N1新流感疫情的爆發與流行、全球經濟衰退下的高失業率、八八水災重創南台灣、ECFA+MOU議題對國人的影響…等等，相對的，那IT界在2009年哪個議題是最火熱、最有爆點的呢？無庸置疑的，大家一定是異口同聲，首推雲端運算(Cloud Computing)。Google推雲端、Amazon推雲端、Microsoft也推雲端，所有的資訊大廠，只要喊得出牌子的，都有雲端運算服務，Anyone、Anywhere、Anytime、AnyPlatform、AnyDevices，火紅的程度猶如幾年前的「奈米科技」，任何東西、任何商品都能夠與奈米扯上關係、沾上邊。
「你今天cloud了嗎？」已成為現今IT人見面的問候語，雖然人人都能說出一口好cloud，但試問，有多少人真的了解這朵雲背後代表的意義？運作的方式？實際的架構？應該不多吧～誠如唐朝詩人賈島的詩＂尋隱者不遇＂所描述，＂松下問童子，言師採藥去，只在此山中，雲深不知處。＂這朵雲深不可測，恐怕連童子(雲端管理者)都無法一言以蔽之。
其實這朵雲說穿了，就是由無數的DataCenter(資料中心)所建構而成。而談到DataCenter(資料中心)又是一個集各家理論、標準、技術精華於一身的代名詞。彷彿是門上乘武功，要學好，不花他個10年半載，很難有所成；所以接下來的文中，先與大家討論＂踏入資料中心第一步：I/O界面的整合＂，如同練習＂蹲馬步＂般，要學習上乘武功，先把基礎功練扎實。
資料中心現況概述
資料中心(DataCenter)，顧名思義，是企業資訊/資料存取與運算的大本營，在資料中心內，存在大量不同型態的連線需求，有的連線需求相當即時性，對網路及系統延遲性相當敏感，有的連線需求則是不允許資料封包在網路傳輸過程中遺失。為滿足這些需求，今日的資料中心需同時建置多種不同的存取網路規格，不同的網路規格各司其職，專職專用；目前在資料中心內常見的存取網路規格為區域網路(LAN)用的乙太網路(Ethernet)、儲存網路(SAN)用的光纖通道（Fiber Channel）、及承擔高效能叢集網路的InfiniBand。
今天乙太網路(Ethernet)的普及，已經一統區域網路(LAN)的互連規格，其延伸觸角已經伸到了資料中心，透過Ethernet將資料中心的區域網路與伺服器前端服務網路串連起來；雖然乙太網路普及、便宜且佈建容易，但受到其先天傳輸效能、流量控制機制與可靠性的支援限制，使其目前仍不足以跨足至儲存網路(SAN)，無法承擔儲存網路(SAN)的高度頻寬及服務品質不容許資料封包遺失之需求。為達上述需求，目前於儲存網路(SAN)普遍使用Fiber Channel(FC)的規格，其特點為大頻寬(1G/2G/4G/8G)效能展現，並擁有良好的流量控制與高可用性機制，使其在防止封包遺失的功能上相對完整。在資料中心(DataCenter)內有部分應用需執行於高效能的運算環境中，需使用大規模伺服器運算叢集技術，此時就必須為叢集中的每部伺服器安裝InfiniBand HCA卡，並透過InfiniBand交換器彼此連接，同樣的，伺服器為提供基本的網路存取功能，需透過乙太網路(NIC)網卡，連接至乙太網路交換器；伺服器為將資料寫入後端的資料庫儲存網路，需透過FC HBA卡並經由FC交換機存取後端的FC儲存設備。如此，資料中心內的伺服器為滿足資料中心不同型態的連線需求，需在每部伺服器上安裝乙太網路NIC卡、FC HBA卡、InfiniBand HCA卡，若再加上out-of-band的管理介面卡，並考量設計高可用度備源機制架構時，則一部伺服器會需要安裝高達七張I/O介面卡(如圖一)，若再考量連接各不同I/O類型的交換器(如圖二)，其資料中心光是I/O界面這個部份的建置成本就相當驚人；且由於乙太網路、儲存網路與高效能叢集網路的硬體與管理知識都完全不同，隔行如隔山，企業必須找到能提供這三種網路服務且可信賴的廠商建置系統，並將公司內的網管及系統人員教育訓練為日後能夠管理這三種網路的管理人材，或分為三組依不同專長、功能管理這套系統，不僅建置系統時需花費大量時間與精力設定相關設備，且不同類型的設備相互交叉關聯運作，在架構設計與故障排除上也增添相當大的複雜度。隨著業績成長，資料中心的規模越來越大，在面對管理不同類型的網路連線技術與大量的連線設備時，除了會成為企業IT人員的一大負擔外，也大幅增加企業營運的風險。
 
圖一 伺服器上的I/O介面現況 圖二 資料中心網路現況
資料中心網路整合
I/O整合的最大挑戰為在同一種網路介面下滿足各種不同型態的連線需求及滿足不同資料流需要的連線等級。從網路的角度來看，為解決既有資料中心網路架構複雜、管理困難的問題，希望能建立一種連接資料中心內所有系統的單一互連機制，網路大廠Broadcom、Brocade、Cisco、IBM、Intel等廠商積極參與一項網路新標準的制定，聯手制訂一項新的聚合增強型乙太網路CEE（Convergence Enhanced Ethernet）協定，希望能將伺服器所有I/O介面、交換器I/O介面整合使用相同的傳輸技術，從實體層出發，將不同的傳輸需求(Ethernet、FC、InfiniBand)整合到同一個網路技術架構下(如圖三、圖四)，這樣的I/O整合網路，可以為資料中心帶來以下優勢：
- 大幅減少網卡、交換器、佈線數量
- 伺服器網卡、交換器規格、線材規格標準化
- 減少電源與冷卻系統輸出，符合綠色節能機房需求
- 結合區域網路與儲存網路，大幅降低整體投資成本
- 設備整合集中，資源有效利用，管理容易
- 網路架構設計單純，故障排除容易
- 大幅簡化建置與管理成本
圖三 I/O介面整合邏輯圖
圖四 I/O介面整合實體圖
10G 乙太骨幹網路需求成形
絕大多數的電腦及資訊設備都具備乙太網路埠，且大部分的網路相關應用設計都是以乙太網路做為基礎，近年來頻寬需求隨著資料中心虛擬化趨勢、儲存網路的需求、網際網路相關應用(如：IP電視，語音/視訊電話，Web2.0應用等)越來越大；雖然要提供滿足大頻寬需求的網路技術並不難，但從過去網路演化的歷史經驗顯示，乙太網路挾簡單、低成本的優勢竄起與普及，在現在的網路技術中已經佔有一席之地，任何想拋開乙太網路的通訊協定規劃，即便擁有更好的理論與設計基礎，也不容易成功。不過，過去的乙太網路仍有傳輸效能低、流量控制機制差、可靠性不佳等缺點，因此乙太網路在資料中心的用途受限於將資料中心的區域網路與伺服器前端服務網路串連起來，不足以承擔儲存網路及高效能運算叢集網路的需求。而這樣的狀況，自10G乙太網路推出後便有了根本性的變化。
據Infonetics Research研究指出，10G乙太網路交換器的出貨量在2007年成長率高達140%，2008年在服務供應商設備部分，10G乙太網路交換器的平均營收比起其他的企業網路設備超過十倍，在最近幾年內10G乙太網路仍將維持高度成長。
據Dell’Oro Group調查機構在2009年11月發表的報告指出，10G等級的乙太網路交換器，2009年第三季全球總營收成長了10％，達到7億3,700萬美元；該份報告亦分析指出，10G等級乙太網路市場規模成長的主要原因是：「企業資料中心骨幹網路對於頻寬的需求越來越高。」
我們可以從上述或其他網路研究/調查機構的報告中明顯地看到10G乙太網路世代的來臨，各家設備大廠也積極推出高密度10G乙太網路交換器進入市場，以Cisco的10G乙太網路交換器為例 (Nexus 5000 Series ; Catalyst 4900M Series)，在標準的1~2RU(Rack Units)大小內就可以支援達24~52個10G乙太網路埠，同時10G介面IC朝向小型SFP+發展的趨勢，讓10G乙太網路設備每埠的價格也隨之下降，比起幾年前，每埠動輒上千美元的高價，現在的單位成本價格已經下降到可以讓企業所接受的範圍。此外VMware掀起的虛擬化技術與應用，儼然形成一股熱浪吹向資料中心，透過虛擬化技術導入讓資料中心內伺服器效能使用率大幅提升，虛擬機器快速的轉移，實體機器上同時執行更多的應用，讓企業靈活的運用硬體資源時，機房內的其他基礎設備，如區域網路、儲存網路等，也必須開始跟上這虛擬化的腳步，此時資料中心內需求的就不僅只是高速率的傳輸網路架構，如何將這些需求整合也是一個大的議題；為整合區域網路與儲存網路的需求，資料中心的網路架構勢必要跟著升級，隨著CEE（Convergence Enhanced Ethernet）標準的制定，FCoE(Fiber Channel over Ethernet)協定的就緒與相關產品的問世，讓企業可以以相對低廉的建置成本導入10G骨幹及I/O整合的網路架構。
圖五 10G/100G Ethernet需求發展趨勢
Unified Fabric_FCoE
依區域網路技術發展趨勢，乙太網路是整合其他資料中心網路較佳的一個選項，以10G乙太網路為基礎，並在此基礎上整合其它網路通訊協定形成一整合型資料中心網路技術—FCoE(Fiber Channel over Ethernet)因此誕生。FCoE為Cisco、Brocade、EMC、IBM、Intel等多家設備大廠，所共同推動的光纖乙太網路連接標準，以管理簡化與降低成本為其訴求。顧名思義，FCoE就是將光纖通道(Fiber Channel, FC)訊框封裝在10G乙太網路上傳輸的方式(如圖六)；FCoE由光纖通道(FC)演變而來，利用光纖通道的網路、服務和協定層在乙太網路的物理層與資料連結層上傳輸封包(如圖七)。利用光纖通道(FC)的上層，可以簡化FCoE部署工作，提供I/O介面整合，降低資料中心網路設計與維運上的複雜度並提升資料中心應用效能，將儲存設備、網路設備和高效能叢集網路設備融合到單一交換網路結構，以降低成本、提升效率、減少管理負載。
圖六 FCoE Frame格式
圖七 網路技術架構比較
在FCoE的架構下，企業可以將資料中心的網路架構整合為10G乙太網路架構，減少伺服器HBA、HCA卡數量，減少儲存網路與高效能叢集網路交換器的數量及大量線材的浪費與消耗，可以用更簡單的架構來管理整個資料中心網路，不只降低成本、簡化管理並提升骨幹頻寬與伺服運作效能。這些誘因將吸引新建網路架構的企業，捨棄傳統乙太網路與光纖通道(FC)並存的資料中心架構模式，改採用FCoE架構。
圖八 Unified Fabric整合架構圖
從伺服器內部來看傳統的乙太網路與光纖通道(FC)運作模式，及FCoE運作模式的架構差異(如圖九)，對於伺服器作業系統(OS)及應用程式(AP)來說，從原來的HBA與NIC的運作組合轉換到單一CNA的運作模式，並不影響OS與AP的使用，同時也獲得簡化實體介管理的優勢。
圖九 伺服器端的內部網路運作差異
業界 I/O 整合交換器現況
在FCoE支援產品部分，Cisco領先業界，率先推出Nexus 5000系列I/O整合交換器，可提供內建20或40埠兩款高密度FCoE/10GE埠交換器，可依據使用環境需求整合SAN與LAN的網路環境，介接FCoE或10GE介面，並提供模組擴充槽可加裝不同類型的擴充模組，依不同網路環境需求加裝1G/2G/4G/8G的FC模組或FCoE/10GE埠模組。Nexus 5000系列除了擁有完整的I/O整合能力，其交換器傳輸效能也相當驚人，最高可提供 1.04 Tbps 或 773.8 Mpps 的處理效能。Cisco Nexus 5000系列I/O整合交換器，使資料中心I/O整合需求不再是紙上談兵，而是能夠真正實踐執行。
圖十 Cisco Nexus 5000系列產品
結語
雲端運算的目的是期許能讓任何人在任何地方、任何時間使用任何設備都可以隨時存取、使用雲端上提供的任何服務，使用者或客戶不需要了解雲端背後複雜的運算處理方式；淺藏在美麗的雲朵背後的，是由大規模的資料中心所組成，透過整合型網路架構將不同存取型態的連線與資料流傳送至整合運算處理伺服器處理。如同前言中所提，資料中心(Data Center)不僅只是處理及存放資料的地方，而且是由許多先進的軟硬體設備與技術堆砌而成，企業要建置資料中心如同一個人要修行上乘武功一般，先要由I/O Consolidation「蹲馬步」開始，才能逐步邁向雲端運算資料中心的境界。
參考文件：
(作者撰文時任職於麟瑞科技)
|
