Notice: file_put_contents(): Write of 65675 bytes failed with errno=28 No space left on device in /var/www/stock/function.php on line 247
周末讀物 | 英偉達的反擊:挾H100以令諸侯

香港股票財經網新聞

Stock-hk.com

來源:遠川科技評論

論騷操作,矽谷恐怕沒有CEO能比得上黃仁勳。

去年,黃仁勳向微軟、谷歌和亞馬遜這些雲計算廠商提出了一個計劃:這些廠商都有很多搭載了英偉達GPU的服務器,由英偉達租用這些服務器,然後讓英偉達的工程師對其進行“優化”,再以英偉達的名義租給普通的AI企業,從中賺取差價。

說簡單點,以前微軟會直接把雲服務賣給中小公司,現在由英偉達進來當中間商。當然按照英偉達官方的說法,此舉是爲了“向雲計算廠商展示在數據中心配置GPU的正確方法”[1]。

服務器還是那個服務器,但經過英偉達“優化”後,客戶就從微軟優化到英偉達了。但就是這樣一個匪夷所思的提議,除了亞馬遜之外,各大雲計算廠商居然都同意了。

2023年3月,英偉達正式上線雲計算服務DGX Cloud。事實證明,經過英偉達工程師的優化後,DGX Cloud在訓練大模型時表現得的確更好;在此基礎上,英偉達還破例允許短期租賃。僅僅半年時間,英偉達就拿下了軟件公司ServiceNow等大客戶。

科技公司願意配合英偉達騷操作的真實原因,可能還是因爲英偉達手中握有大模型時代最稀缺的資源——H100。

當下,幾乎所有的企業都沒有足夠的算力。連OpenAI創始人阿爾特曼,都曾在一次聽證會上無奈地表示:“如果人們減少使用ChatGPT,我們會非常高興,因爲我們的GPU非常短缺[2]。”

買了多少H100,甚至可以成爲決定AI成就的關鍵因素。這也讓英偉達有了“挾H100以令諸侯”的底氣。

計算機的“稀土”


通常來說,科技企業會通過購買雲計算廠商的服務,來滿足算力需求。從2023年3月開始,微軟Azure、亞馬遜AWS等雲計算廠商也先後上架了HGX H100的租賃服務,HGX H100是由4個或8個H100組成的服務器。

然而,當下供需嚴重失衡,雲計算廠商這點H100存貨已經遠遠滿足不了市場的胃口。2023年H1的業績中,微軟專門更新了一條風險因素:如果無法獲得足夠多的AI芯片,雲計算業務可能會中斷。

許多初創公司需要排隊等待3-12個月,一旦友商搶在自己前面,那可能就是幾十上百億估值的損失。


HGX H100
HGX H100

無數“H100窮人”們,只能被迫發揮主觀能動性,看誰的路子更野。

面對《紐約時報》的採訪,一位創業者將H100比作“稀土”。早些時候,他跑去請求美國國家科學基金會投資自己,僅僅因爲基金會底下一個項目剛好有少數空置的H100。

在矽谷,AI創業者打招呼的方式,都變成了“我認識一個有H100的傢夥”——不知道的還以爲在買賣毒品[4]。

GPU Utils曾測算過H100搶購潮背後具體的需求數據:

對需要自己訓練大模型、追求大力出奇跡的企業來說,沒有個上萬塊H100都不好意思出門。由前DeepMind聯合創始人蘇萊曼創辦的Inflection AI,成立方才一年,已買了2.2萬個H100;至於Meta這樣財大氣粗的公司,很可能會購買10萬個甚至更多。

對微軟Azure等雲計算廠商來說,每一家也都需要至少3萬個H100。而其餘幾家私有雲,還將消耗總計約10萬個H100。

測算後發現,僅美國大型科技公司和少數幾家明星初創公司,需求量已達到約43萬個[5]。如果再算上其他初創企業、研究機構、大學,乃至富裕國家的追逐、再加之黃牛、黑市等不可控因素,實際需求很可能遠大於這個數字。然而據英國《金融時報》爆料,今年H100的出貨量大約是55萬個[6]。

H100之所以令人如飢似渴,其中一個核心原因在於其近乎壟斷的市場地位。

面對大模型訓練對極致效率的需求,H100在大多數情況下都是最優解。

MPT-30B是第一個使用H100訓練的開源LLM(大語言模型),實際訓練只耗費了11.6天;相比之下,使用前一代的A100訓練則需要28.3天[7]。如若換成參數規模更龐大的AI,例如1800B的GPT-4,效率差異會更加明顯。跑馬圈地的時代,時間就是一切。

除此之外,H100在模型推理上的效率也遠高於A100。儘管H100的首發價約爲3.3萬美元,如今二手市場價格更上漲至4-5萬美元;但若將H100和A100的性能分別除以各自的價格,能發現H100的性價比實際也高於A100。



MPT-30B的具體訓練、推理情況
MPT-30B的具體訓練、推理情況

黃仁勳說,“Buy more GPUs , the more money you save(買得多,省得多)”,似乎不無道理。

也正因爲如此,即便美國限製了H/A100的對華出口,國內科技公司仍在搶購閹割版的H/A800——儘管閹割版的芯片間數據傳輸速度只有前者一半,意味著需要在大模型訓練上花費更多時間。

除需求量龐大之外,造成H100短缺的另一個原因是產能的嚴重不足。

H100芯片需要使用SK海力士的HBM內存,以及台積電的CoWoS封裝——兩者都因過於昂貴,此前並沒能大規模市場化,預備產能並不多。由於產能爬坡尚需時間,有分析師預測H100的短缺至少會持續至明年一季度,也有人認爲要到明年年底才有可能有所緩解[9]。


H100內部結構
H100內部結構

H100的空前盛況,讓黃仁勳在短短一年時間內體驗了一回坐過山車的感覺。

去年二季度,消費市場萎靡不振加上挖礦企業紮堆倒閉,英偉達交出了一份不及格的業績,“GPU滯銷,幫幫我們”的表情包一度遍地都是。一年之後,黃仁勳成功向資本市場展示了什麼叫“反向暴雷”,同比營收暴漲854%,大幅超出了最樂觀分析師的預測。

巔峯換來了漫天的吹捧,但黃仁勳心裏清楚,英偉達的頭上一直懸著一把劍。

不可避免的戰爭


今年8月,傳奇工程師吉姆·凱勒對媒體評論道,“我不認爲GPU是運行AI的全部,世界憎惡壟斷[11]。”

此番發言雖有給自家AI芯片打廣告之嫌,卻也是業界的共識。

事實上,那些購買了最多H100的大型科技公司,基本都不太“安分”:微軟、谷歌、Meta,或多或少都嘗試過自研AI芯片。

這讓英偉達面臨著一個異常尷尬的處境:在AI芯片領域,自己與“大客戶”之間,未來幾乎必有一戰。

大型科技公司們選擇自研AI芯片,最初都源於一個非常質樸的需求——省錢,其中最典型的便是谷歌。

早在2014年,谷歌已啓動了自研芯片計劃。彼時,OpenAI的首席科學家伊利亞還在谷歌工作,打造出了一套頗具顛覆性的AI模型。該模型脫胎於伊利亞的“大力出奇跡”理念,只需要灌入足夠多且正確的數據,它便能更好地完成翻譯、語音識別等工作。然而待到實際應用時,谷歌卻犯了難:

如果將AI服務安裝至10億多臺安卓手機中,哪怕每個人每天只使用3分鐘,谷歌都需要2倍於當前數據中心的算力。當時谷歌已經建了15個數據中心,每個造價上億美金,“超級加倍”顯然不切實際。

最終,谷歌自研出了性能更強、功耗更低的TPU,大大提升了單個數據中心的算力供應,以一種更經濟實惠的方式解決了算力難題。


引入了TPU的數據中心
引入了TPU的數據中心

TPU的出現,令黃仁勳如坐鍼氈,開始了“爆改GPU”,很快在性能上實現了反超,其最新成果便是H100。不過,H100的售價實在過於昂貴。

如果按重量售賣H100,那麼其每盎司售價將達到黃金的一半;即便對地球上最賺錢的科技公司而言,這筆“英偉達稅”也堪稱天文數字。

然而,H100的實際製造成本並不高。據金融諮詢公司Raymond James測算,H100的成本約爲3320美金,僅佔首發價的1/10,黃仁勳含淚賺10倍[12]。

自研芯片的經濟收益毋庸置疑,但除此之外其實還有另一個好處:垂直整合打造差異化。

堆疊算力不是簡單的往車裏加汽油,需要考慮軟件適配性、自身業務需求等一系列問題。例如AI所使用的深度學習框架有多個派別,谷歌是TensorFlow,Meta用的PyTorch,而百度則有PaddlePaddle,硬件需要根據不同框架做適配。

專門定製的AI芯片,可以更加緊貼自身AI業務的需求。所以Meta在今年又重啓了自研芯片計劃,針對PyTorch框架定製了全新的MTIA芯片。

對大公司來說,考量芯片的核心其實不是算力,而是“單位美元提供的算力”,也就是成本。谷歌的TPU和特斯拉的Dojo都證明了,定製服務的成本是可以接受的。

眼下,“反抗的星火”已經點燃。據外媒爆料,大型科技公司的雲計算團隊,已開始頻繁勸說客戶改用其自研芯片,而不是英偉達的GPU。英偉達固然是目前爲止絕對的贏家,但沒人知道平衡什麼時候會被打破。

不過,面對這場不可避免的戰爭,英偉達也留了後手。

挾H100以令諸侯


英偉達打出的第一張牌,叫CoreWeave。

CoreWeave成立於2017年,最初是一家以太坊挖礦公司,後來轉型做起了雲計算業務。據CoreWeave創始人透露,2022年公司收入爲3000萬美金,僅有微軟Azure的1/1133,在矽谷幾乎沒什麼存在感。

然而到了2023年,CoreWeave突然一夜成名,接連簽下Inflection AI和Stability AI兩個大客戶,年營收預計將達到5億美金,一年翻16倍。除此之外,微軟甚至決定在未來幾年花費數十億美金購買其服務;其中僅2024年的訂單,已有20億美金。

改變CoreWeave命運的貴人,正是英偉達。

今年4月,英偉達參與了對CoreWeave的投資;但比起美元,英偉達還給了它一項更稀有的資源——H100。CoreWeave是全球第一家上線HGX H100租賃服務的雲計算企業,比微軟Azure還要早一個月。


CoreWeave三位創始人
CoreWeave三位創始人

這番安排,其實是黃仁勳的有意爲之。

H100近乎壟斷的市場地位加之嚴重短缺的現狀,讓英偉達手中多了一層權力:他可以自由決定優先供貨的對象。

相比自己跟Big Tech們同牀異夢的塑料友誼,CoreWeave和英偉達是實打實的革命戰友。因此,英偉達削減了對大型科技公司的H100供應,轉而將這部分產能交給了CoreWeave等“自家兄弟”——它們曾確保不會自研芯片。

從結果來看,這一戰略不僅避免了囤積現象的出現,也確實搶到了大型科技公司的蛋糕:

例如前文提到的Stability AI,在2022年底時一直將亞馬遜AWS視作唯一雲服務商;然而到了今年3月,困於算力不足的Stability AI,悄悄叩開了CoreWeave的大門。

事實上,英偉達手中並非僅有CoreWeave一張牌。這位手握H100的投資人,還投資了同爲雲計算公司的Lambda Labs,以及三家從事大模型、應用開發的明星初創企業。


前DeepMind聯合創始人蘇萊曼創辦的Inflection AI,也接受了英偉達的投資
前DeepMind聯合創始人蘇萊曼創辦的Inflection AI,也接受了英偉達的投資

在畝產十萬大模型的當下,H100是比美元還珍貴的硬通貨,也爲英偉達創造了一個寶貴的窗口期:儘可能讓更多公司用上H100,趁早建立起生態,“把朋友搞得多多的”。

那麼這個窗口期能持續多久呢?

尾聲


英偉達的一系列“騷操作”已經引來了美國反壟斷機構的注意,同時,全球瘋搶H100的現狀,很可能不會長期持續下去。

正如前文所述,H100產能受限是因爲台積電和SK海力士的預備產能不足;隨著新產線陸續落地,短缺狀況會逐漸得到緩解。

除此之外,旺盛的需求也未必會延續下去。

事實上,越來越多的科技公司和研究機構都選擇將大模型開源。隨著市場上的優質開源模型越來越多,初創企業和研究機構可以不必再自己動手訓練,轉而直接下載開源模型,根據自身業務需求進行開發或者推理。

Meta發佈開源大模型Llama後,斯坦福、卡內基梅隆等多所高校的研究人員就曾聯合起來,以此爲基礎打造了開源大模型Vicuna,很快便突破了200萬次下載。


Vicuna
Vicuna

在肉眼可見的未來,算力的主要使用場景很可能會從訓練轉向推理——屆時,H100便不再是獨孤求敗了。因爲不同於追求極致效率的訓練場景,AI推理其實更看重性價比。

另一方面,以大模型爲代表的生成式AI如今面臨的問題在於:面對高昂的算力成本,除了英偉達,大家都還沒賺到錢。

2006年CUDA平台推出時,英偉達以超脫於行業的前瞻性推動了AI的飛速進步。而如今,英偉達氣勢如虹的業績似乎也是一種拷問:它是不是已經從AI的推動者,變成了AI前進的阻力?

編輯/Corrine

You may also like
你可能會喜歡

標題:周末讀物 | 英偉達的反擊:挾H100以令諸侯

返回:香港股票財經網新聞

財經新聞常見問題 FAQ

甚麼因素會影響錢財的價值?

由於產品和服務的價格不斷上升,故幣值會隨時間而降低,這便是通貨膨脹。幣值會受以下因素侵蝕通脹:簡單來說,產品和服務的價格上升,就會造成通脹。當物價上升,受薪人士便會要求加薪,隨著通脹加劇,貨幣的購買力便不斷減弱。 利率波動:當利率下降,存款的利息回報便會減少。如果存款利率低於通脹,儲蓄便會失去原有的價值。但某類投資如股票和債券等卻可能因息口下降而升值。

為何銀色債券以債務工具於中央結算系統(CMU) 作清算及儲存 ?

根據銀色債券發行通函,若客戶經配售銀行申請銀色債劵,所分配的銀色債券會以債務工具於中央結算系統(CMU)作清算。

甚麼是債券?

債券是由政府、公司或其他機構發行的一種借貸票據。當您購入債券,即等同向發行者提供貸款,發行者則承諾於債券到期日以指定價格贖回債券,而在到期日前則須支付指定的利息。債券的種類繁多,不同的發行者以不同的條款發行債券。例如:定息債券、浮息債券、零息債券及存款證等。一般來說,債券及存款證的回報比較穩定。目前,銀行可代客買賣多種債券和存款證,除備有多種主要貨幣選擇外,客戶亦可選擇不同債券發行機構,包括政府,如中國政府、美國政府及香港特區政府等,或本地著名的半官方機構,超國機構及世界知名的公司。此外,債券年期由一年至三十年不等,而票面收益亦各異,選擇眾多,能符合投資者的不同需要。投資金額低至港幣1萬元。

甚麼是證券?

證券是一般可在股票市場交易之投資工具的統稱。任何人士均可透過經紀或銀行從事證券投資,並可從每日的報章或互聯網觀察投資行情。 證券投資的回報潛力一般高於儲蓄戶口。在經濟蓬勃的地區,只要假以時日,股市一般都會出現增長,有時更會在短時間內急升。但是,股市波動在所難免,所以購買證券不應視為一種短線的謀利方法。購買證券需要支付有關的交易費用,例如經紀佣金。如果要享有交收的便利,您可考慮採用銀行證券買賣服務。除了自行投資證券外,您亦可委託專業投資管理人員或公司代勞。

何謂「首次公開招股」(IPO)?

「首次公開招股」(IPO)是指一間公司首次向公眾投資者發行新股,債券或銀行發行的存款證。此類股票,債券或存款證有可能在證券交易所上市買賣。

為何我經銀行IPO申請獲分配的通脹掛鈎債券以債務工具於中央結算系統(CMU) 作清算及儲存?

根據通脹掛鈎債券發行通函, 若客戶經配售銀行申請該債劵, 所分配的債券會以債務工具中央結算系統(CMU)作清算,及在銀行的債券買賣服務透過場外交易買賣。

如何啓動我的中國A股交易服務?

如您已持有銀行綜合投資戶口及人民幣儲蓄戶口,即可買賣合資格的中國A股, 毋須登記。如您未持有任何銀行綜合投資戶口,亦可透過銀行銀行網上理財(只適用於現有銀行銀行客戶)或親臨任何一間銀行分行開立綜合投資戶口,過程方便快捷。此服務只適用於非美國個人客戶並持有符合美國稅務局要求的身分證明文件,例如香港永久居民身份証或護照。

參加銀行的「股票月供投資計劃」有什麼好處?

您可以:以符合預算的金額購入股票透過「成本平均法」減低投資風險享受中長線投資所帶來的較高回報潛力迎合個人的儲蓄投資需要

甚麼是單位信託基金?我怎受惠於基金投資?

單位信託基金亦稱互惠基金為投資者提供多元化投資機會,方法是由基金經理把眾投資者的資金,匯聚成一筆龐大基金,用以在廣泛地區及市場作不同的投資。所以,即使個人的投資額不大,投資者亦可參予全球各地市場的證券、債券、貨幣及商品投資。這種多元化投資稱為投資組合。單位信託基金提供多項有利因素:分散風險:由於分散投資,故基金的風險通常低於投資單一股票。但不同的基金,其風險和回報的水平,當然亦會有差異。專業管理:基金經理的日常工作主要是研究和管理投資。個人投資者一般很難像基金經理對全球市場有透徹的認識,但如果購買單位信託基金,便可享有基金經理提供的專業知識。投資全球市場:透過單位信託基金,您的資金可運用於個人投資者未必能夠涉足的海外市場,從而擴闊投資範疇。經濟效益:由於大量投資者的資金以單一基金處理,故能平均攤銷經營成本和佣金,減低個人投資者支付的費用。流動性:您可在任何交易日(但基金所掛屬國家的公眾假期除外)買賣單位信託基金,增加資金流動性。有些單位信託基金產品與各證券交易所上市的指數期權掛屬,亦有時與貨幣期權掛屬。這種基金的風險略高於多元化的基金組合。

什麼是結構投資產品?它是如何運作的?

結構投資產品是涉及衍生工具的投資產品,其回報﹑到期金額及/或其結算方法是參照1) 任何一項或多於一項的參考資產的價格、價值或水平的變動; 及/或 2) 任何事件的發生或不發生而釐定。

有哪些資產屬於要約範圍內?

要約僅針對透過歐洲清算銀行有限公司(Euroclear Bank SA/NV) 直接持有的證券(即債券,存款證和股票),Euroclear Bank SA / NV是本行參與的唯一歐洲經濟區中央證券存管處(例如帶有ISIN 前置代號XS,US,AU,CA)。該要約與透過Euroclear的其他託管人或附屬託管人持有的證券無關。

當「高息投資存款」的存款日為提交指示之後第2個營業日,如何計算綜合理財戶口有抵押信貸的信貸比例?

若已於交易日(Trade Date) 開立「高息投資存款」並處於存款日(Deposit Date)之前的時間: 如以外幣作為存款貨幣,該筆已保留於戶口作為扣除交易所需的款項將會從戶口可用結餘 (account available balance) 中扣除並不會納入有抵押信貸的計算。因此有抵押信貸的信貸額將會下降,基於外幣存款在「高息投資存款」交易日之前被計算為有抵押信貸的信貸額。 如以港元作為存款貨幣,該筆已保留於戶口作為扣除交易所需的款項將亦會從戶口可用結餘 (account available balance) 中扣除並不會納入有抵押信貸的計算。但基於港元存款在「高息投資存款」交易日之前已不納入為有抵押信貸的信貸額,因此有抵押信貸的信貸額不會受影響。 在「高息投資存款」存款日(Deposit Date)當日(即交易日之後第2個營業日),以任何貨幣作為存款貨幣的交易金額將會納入計算為有抵押信貸的信貸額,直至到期日為止。

如何經銀行投資外匯?

您可以經銀行透過多種方法投資外匯。您可使用24小時外幣兌換服務讓您隨時隨地透過網上理財或流動理財設立兌換指示。若您對個別外幣有特定的目標兌換價,您可透過外匯限價買賣服務預設指示。若您想以定期儲蓄的形式累積外幣或人民幣,您可透過外幣/人民幣轉存服務預設兌換指示,我們會根據您的預設指令自動替您執行指示。

要約僅針對透過歐洲清算銀行有限公司(Euroclear Bank SA/NV) 直接持有的證券(即債券,存款證和股票),Euroclear Bank SA / NV是本行參與的唯一歐洲經濟區中央證券存管處(例如帶有ISIN 前置代號XS,US,AU,CA)。該要約與透過Euroclear的其他託管人或附屬託管人持有的證券無關。

您首先需要了解個人的理財需要或投資目標、財政狀況及風險取向。您的目標可包括應付以下各項需要:保障家人子女教育退休策劃管理及累積財富遺產規劃您亦須考慮您的目標,投資年期,可承擔的投資金額及個人的投資偏好。

你們會於何時強制出售我的股票(斬倉?

如(i) 您的股票孖展比率連續3個月維持於105%至少於120%;或(ii) 股票孖展比率一旦觸及120%或以上;或(iii)我們不時訂定之時間,我們將強制出售您的股票(斬倉),不會另行通知。