AI背景下光模塊發(fā)展將提速

• 柯壯賓 2023年5月10日 來源：中研網(wǎng) 701 41
• 繁體

以ChatGPT為代表的AIGC快速發(fā)展，對(duì)網(wǎng)絡(luò)端也催生了更大帶寬需求。無論是訓(xùn)練側(cè)還是推理側(cè)，對(duì)光模塊的需求都較為強(qiáng)勁。800G光模塊量產(chǎn)窗口已至，疊加AIGC帶來的競(jìng)賽，北美各大云廠商和相關(guān)科技巨頭均有望在2024年大量采購(gòu)800G光模塊。光芯片作為光器件的關(guān)鍵元器件之一

近期，ChatGPT的爆紅引發(fā)了人們對(duì)于人工智能發(fā)展的高度關(guān)注。2022年11月30日，OpenAI發(fā)布語言模型ChatGPT。該模型采用對(duì)話的形式與人進(jìn)行交互，可以回答后續(xù)問題、承認(rèn)錯(cuò)誤、挑戰(zhàn)不正確的前提、拒絕不適當(dāng)?shù)恼?qǐng)求。ChatGPT不僅在日常對(duì)話、專業(yè)問題回答、信息檢索、內(nèi)容續(xù)寫、文學(xué)創(chuàng)作、音樂創(chuàng)作等方面展現(xiàn)出強(qiáng)大的能力，還具有生成代碼、調(diào)試代碼、為代碼生成注釋的能力。

ChatGPT用戶數(shù)攀升。據(jù)瑞銀集團(tuán)數(shù)據(jù)顯示，ChatGPT推出僅兩個(gè)月后月活用戶已經(jīng)突破1億，成為史上用戶增長(zhǎng)速度最快的消費(fèi)級(jí)應(yīng)用程序。根據(jù)SensorTower數(shù)據(jù)顯示，TikTok達(dá)到1億用戶用了9個(gè)月，Instagram則花了2年半的時(shí)間。2023年1月，ChatGPT平均每天大約有1300萬獨(dú)立訪客，是2022年12月的兩倍之多。

ChatGPT運(yùn)行背后需要強(qiáng)大的云計(jì)算算力支撐。OpenAI在2018年推出的GPT參數(shù)量為1.17億，預(yù)訓(xùn)練數(shù)據(jù)量約5GB，而GPT-3參數(shù)量達(dá)1750億，預(yù)訓(xùn)練數(shù)據(jù)量達(dá)45TB。在模型訓(xùn)練階段，ChatGPT的總算力消耗約為3640PF-days，總訓(xùn)練成本為1200萬美元。在服務(wù)訪問階段則會(huì)有更大消耗，據(jù)測(cè)算，僅滿足當(dāng)前ChatGPT日常用戶搜索訪問，使用服務(wù)器（GPU）進(jìn)行處理，對(duì)應(yīng)算力基礎(chǔ)設(shè)施初始投入成本約為30-40億美元。2月7日晚，ChatGPT再次因訪問量激增而宕機(jī)，體現(xiàn)出AI應(yīng)用對(duì)于云計(jì)算的海量算力需求。

以ChatGPT為代表的AIGC技術(shù)，依靠強(qiáng)大的AI模型和海量數(shù)據(jù)，能夠在多個(gè)應(yīng)用場(chǎng)景下產(chǎn)生優(yōu)質(zhì)的內(nèi)容，有望推動(dòng)人工智能更廣泛的應(yīng)用。算力作為AIGC技術(shù)的重要支撐之一，是影響AI發(fā)展與應(yīng)用的核心因素。算力基礎(chǔ)設(shè)施成了目前行業(yè)亟需布局的資源，除了CPU/GPU等算力硬件需求強(qiáng)勁，網(wǎng)絡(luò)端也催生了更大帶寬需求，以匹配日益增長(zhǎng)的流量。與傳統(tǒng)數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)相比，AI數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)可能存在一些變化。

在傳統(tǒng)的數(shù)據(jù)中心中，網(wǎng)絡(luò)側(cè)主要包括傳統(tǒng)樹形三層架構(gòu)和葉脊架構(gòu)。早期的數(shù)據(jù)中心一般采用傳統(tǒng)的三層結(jié)構(gòu)，包括接入層、匯聚層和核心層，其中接入層用于連接計(jì)算節(jié)點(diǎn)與機(jī)柜交換機(jī)，匯聚層用于接入層的互聯(lián)，核心層用于匯聚層的互聯(lián)且實(shí)現(xiàn)與外部網(wǎng)絡(luò)連接。隨著數(shù)據(jù)中心內(nèi)部東西向流量的快速提升，三層網(wǎng)絡(luò)架構(gòu)的核心層和匯聚層任務(wù)加重，性能提升需求高，設(shè)備成本將大幅提升。因此，適用于東西向流量的扁平化的葉脊網(wǎng)絡(luò)架構(gòu)應(yīng)運(yùn)而生，葉交換機(jī)直接與計(jì)算節(jié)點(diǎn)相連，脊交換機(jī)相當(dāng)于核心交換機(jī)，通過ECMP動(dòng)態(tài)選擇多條路徑。葉脊網(wǎng)絡(luò)架構(gòu)具備帶寬利用率高、擴(kuò)展性好、網(wǎng)絡(luò)延遲可預(yù)測(cè)和安全性高等優(yōu)勢(shì)，在數(shù)據(jù)中心中實(shí)現(xiàn)廣泛的應(yīng)用。

AI數(shù)據(jù)中心中，由于內(nèi)部數(shù)據(jù)流量較大，因此無阻塞的胖樹網(wǎng)絡(luò)架構(gòu)成了重要需求之一。英偉達(dá)的AI數(shù)據(jù)中心中，采用了胖樹（fat-tree）的網(wǎng)絡(luò)架構(gòu)來實(shí)現(xiàn)無阻塞的功能。胖樹的網(wǎng)絡(luò)架構(gòu)基本理念為：使用大量低性能的交換機(jī)，構(gòu)建出大規(guī)模的無阻塞網(wǎng)絡(luò)，對(duì)于任意的通信模式，總有路徑讓他們的通信帶寬達(dá)到網(wǎng)卡帶寬，架構(gòu)中用到的所有交換機(jī)都是相同的。胖樹網(wǎng)絡(luò)架構(gòu)一般用于網(wǎng)絡(luò)要求較高的數(shù)據(jù)中心中，如超算中心和AI數(shù)據(jù)中心等。

在英偉達(dá)DGXA100SuperPOD的AI數(shù)據(jù)中心系統(tǒng)中，三層交換機(jī)全部為NvidiaQuantumQM8790的40端口交換機(jī)。第一層交換機(jī)與1120張MellanoxHDR200GInfiniband網(wǎng)卡連接；第二層交換機(jī)下傳端口與第一層相連，上傳端口與第三層互聯(lián)；第三層交換機(jī)只有下傳端口，與第二層相連。此外，存儲(chǔ)側(cè)獨(dú)立組網(wǎng)，與計(jì)算側(cè)網(wǎng)絡(luò)架構(gòu)分開，也需要一定數(shù)量的交換機(jī)和光模塊。因此，相比較傳統(tǒng)數(shù)據(jù)中心，AI數(shù)據(jù)中心中的交換機(jī)及光模塊數(shù)量大幅提升。

英偉達(dá)的A100GPU主要對(duì)應(yīng)200G光模塊，H100GPU可以對(duì)應(yīng)400G或800G光模塊。每個(gè)A100GPU配一張MellanoxHDR200Gb/sInfiniband網(wǎng)卡，每個(gè)H100GPU配一張MellanoxNDR400Gb/sInfiniband網(wǎng)卡。英偉達(dá)在H100SuperPOD的設(shè)計(jì)中，采用了800G的光模塊，在光口采用1個(gè)800G光模塊可以替代2個(gè)400G光模塊，在電口也可以將8個(gè)SerDes通道進(jìn)行整合，與光口的8個(gè)100G通道一一對(duì)應(yīng)。因此這種設(shè)計(jì)下，交換機(jī)的通道密度提高，物理尺寸顯著降低。

圖:MellanoxHDR200Gb/sInfiniband網(wǎng)卡

光模塊速率由網(wǎng)卡決定，網(wǎng)卡的速率受限于PCIe通道速率。英偉達(dá)A100的DGX服務(wù)器內(nèi)部通過NVLink3連接，單向帶寬為300GB/s，但是A100GPU連接ConnectX-6網(wǎng)卡是通過16個(gè)PCIe4.0通道，帶寬總和為200G左右，因此網(wǎng)卡帶寬為200G，需要連接200G的光模塊或者DAC電纜。H100的DGX服務(wù)器內(nèi)部通過NVLink4連接，單向帶寬為450GB/s，但是H100GPU連接ConnectX-7網(wǎng)卡是通過16個(gè)PCIe5.0通道，帶寬總和為400G左右，因此單個(gè)網(wǎng)卡帶寬為400G?？梢钥闯?，光模塊速率是由于網(wǎng)卡與GPU之間的PCIe帶寬所決定。假設(shè)A100和H100的DGX服務(wù)器內(nèi)部所用PCIe通道速率達(dá)到800G（即PCIe6.0），那么也可以采用800G帶寬的網(wǎng)卡，即也可以采用800G光模塊，大大提升系統(tǒng)計(jì)算效率。
NVLink帶寬遠(yuǎn)大于網(wǎng)卡側(cè)的PCIe帶寬，因此若將NVLink從服務(wù)器內(nèi)部GPU互連拓寬至不同服務(wù)器之間的GPU的互連，將顯著提升系統(tǒng)的帶寬。若要實(shí)現(xiàn)不同服務(wù)器之間按照NVLink協(xié)議的GPU互連，除了需要采用NVSwitch芯片的物理交換機(jī)，還需要物理器件來實(shí)現(xiàn)交換機(jī)和服務(wù)器之間的連接，那么光模塊也成為了重要的組成部分，從而也會(huì)大幅增長(zhǎng)800G光模塊的需求。目前該方案仍然處于前沿研發(fā)階段，若要規(guī)?；逃萌孕钑r(shí)日。但是NVLink較高的帶寬仍然是非常具有吸引力的，一旦方案成熟，有望快速實(shí)現(xiàn)廣泛應(yīng)用。

訓(xùn)練側(cè)光模塊需求與GPU出貨量強(qiáng)相關(guān)，推理側(cè)光模塊需求與數(shù)據(jù)流量強(qiáng)相關(guān)。AI對(duì)光模塊需求的拉升主要分為兩個(gè)階段，訓(xùn)練和推理。其中，訓(xùn)練側(cè)的網(wǎng)絡(luò)架構(gòu)以胖樹架構(gòu)為主，因?yàn)樵诖竽Ｐ陀?xùn)練過程中，對(duì)于網(wǎng)絡(luò)性能的要求很高，網(wǎng)絡(luò)無阻塞是重要的需求之一，比如騰訊用于大模型訓(xùn)練的星脈網(wǎng)絡(luò)采用了胖樹架構(gòu)。同時(shí)，我們認(rèn)為大部分廠商會(huì)采用Infiniband協(xié)議的網(wǎng)絡(luò)，時(shí)延遠(yuǎn)低于網(wǎng)，可以提升計(jì)算效率，縮短模型訓(xùn)練時(shí)間。訓(xùn)練側(cè)光模塊的需求與所用GPU顯卡的數(shù)量強(qiáng)相關(guān)，根據(jù)胖樹架構(gòu)中GPU和光模塊的比例關(guān)系可以得到所需光模塊的數(shù)量，A100對(duì)應(yīng)200G光模塊，H100對(duì)應(yīng)400G或者800G光模塊。推理側(cè)面向用戶側(cè)，網(wǎng)絡(luò)架構(gòu)更接近于傳統(tǒng)云計(jì)算數(shù)據(jù)中心的葉脊架構(gòu)，主要用于承載AI應(yīng)用帶來的數(shù)據(jù)流量增量。傳統(tǒng)云計(jì)算主要是ToB市場(chǎng)，用戶數(shù)量不多，若未來出現(xiàn)圖片或視頻相關(guān)的爆款A(yù)I應(yīng)用，一方面用戶數(shù)量有望大幅提升，另一方面單個(gè)用戶產(chǎn)生的數(shù)據(jù)流量可能會(huì)顯著增長(zhǎng)，因此數(shù)據(jù)總流量將暴增，所以推理所需的算力和流量實(shí)際上可能遠(yuǎn)大于訓(xùn)練，因此對(duì)于包括光模塊在內(nèi)的網(wǎng)絡(luò)設(shè)備需求將起到有力的支撐和提振。

北美云廠商收入及資本開支增速有所放緩，若不考慮AI增量，今年傳統(tǒng)云計(jì)算市場(chǎng)需求預(yù)計(jì)將持續(xù)低迷。2022Q4，北美三家云廠商亞馬遜、谷歌和微軟的云業(yè)務(wù)收入總計(jì)502億美元（其中Meta的云相關(guān)收入未披露），同比增長(zhǎng)20.7%，環(huán)比增長(zhǎng)5.2%，增速有所放緩。2022Q4，北美四家云廠商的資本開支為395.04億美元，同比增長(zhǎng)8.1%。其中，Meta的資本開支為90.43億美元，同比增長(zhǎng)68.4%，微軟同比增長(zhǎng)6.97%，谷歌同比增長(zhǎng)18.99%，亞馬遜同比降低12.37%（2015Q4以來首次單季度負(fù)增長(zhǎng)）。海外云廠商的Capex增速放緩，也影響了數(shù)通光模塊市場(chǎng)的需求，若不考慮AI增量帶來的拉動(dòng)，傳統(tǒng)云計(jì)算市場(chǎng)的需求處于低迷狀態(tài)。

2022Q4，亞馬遜的云業(yè)務(wù)收入為213.78億美元，同比增長(zhǎng)20.2%，環(huán)比增長(zhǎng)4%；2022年云業(yè)務(wù)收入為800.96億美元，同比增長(zhǎng)28.77%。公司提到了AWS客戶在考慮削減在云上的開支，公司也注意到了AWS營(yíng)收的持續(xù)放緩趨勢(shì)。2022Q4，亞馬遜的資本開支為166億美元，同比下降12%，環(huán)比上升1%。2022全年資本開支636億美元，同比增長(zhǎng)4%，與三季度指引基本一致。公司對(duì)于下個(gè)季度及2023年的資本開支未給指引。

AWS推出AIGC相關(guān)的重磅產(chǎn)品，包括生成式AI平臺(tái)Bedrock服務(wù)，支持用戶通過API訪問亞馬遜自己的Titan（泰坦）大模型，由兩個(gè)全新大語言模型組成；同時(shí)支持調(diào)用來自AI21Labs、Anthropic、StabilityAI等第三方的多樣化模型；此外還推出了兩款專門針對(duì)生成式AI優(yōu)化的計(jì)算實(shí)例EC2Trn1n實(shí)例和EC2Inf2。其中，為了提升EC2實(shí)例的訓(xùn)練效率，AWS采用了第二代ElasticFabricAdapter（EFA），網(wǎng)絡(luò)帶寬為800Gbps。因此，亞馬遜有望在AI上增加資本開支，繼400G光模塊之后，公司有望在大規(guī)模采購(gòu)800G光模塊。

多家光模塊廠商具備800G光模塊能力，國(guó)內(nèi)多家廠商具備較強(qiáng)的競(jìng)爭(zhēng)力。在2023年的OFC光博會(huì)上，各家光模塊公司均推出了自己的800G光模塊產(chǎn)品，涵蓋不同封裝方式、材料和傳輸距離等種類。值得一提的是，國(guó)內(nèi)廠商在100G和400G光模塊時(shí)代已經(jīng)取得了顯著的進(jìn)展，躋身全球先進(jìn)水平。在數(shù)通800G光模塊時(shí)代，以中際旭創(chuàng)和新易盛為代表的國(guó)內(nèi)廠商有望延續(xù)400G時(shí)代的競(jìng)爭(zhēng)力，同時(shí)華工科技、劍橋科技、博創(chuàng)科技、光迅科技和德科立等公司也有望取得突破。

• 相關(guān)深度報(bào)告REPORTS

  

  2023-2028年中國(guó)光模塊行業(yè)深度調(diào)研與投資戰(zhàn)略規(guī)劃分析報(bào)告

  光模塊是進(jìn)行光電和電光轉(zhuǎn)換的光電子器件。光模塊的發(fā)送端把電信號(hào)轉(zhuǎn)換為光信號(hào)，接收端把光信號(hào)轉(zhuǎn)換為電信號(hào)。光模塊按照封裝形式分類，常見的有SFP，SFP+，SFF，千兆以太網(wǎng)路界面轉(zhuǎn)換器（GBI...

  查看詳情

延伸閱讀

推薦閱讀

猜您喜歡