英偉達的GPU又(yòu)升級了。3月19日，英偉達CEO黃仁勳發布了最新的B200算力芯片GPU，FP8精度下(xià)的訓練性能是上一(yī)代的2.5倍，FP4精度下(xià)的推理性能更是達到了上一(yī)代的5倍。然而，這場技術狂歡背後，卻令AI領域算力的“貧富差距”更加凸顯。
大(dà)模型獲得突破以來，無論是産業巨頭還是學術界，都在爲獲取足夠的算力資(zī)源而苦苦掙紮。去(qù)年9月，甲骨文董事長埃裏森(sēn)和特斯拉CEO馬斯克在矽谷一(yī)家豪華餐廳中(zhōng)向黃仁勳“乞求”GPU的場景還曆曆在目。近日，人工(gōng)智能領域知(zhī)名學者、斯坦福大(dà)學教授李飛飛再次表達擔憂：高校的AI研究已經被高昂的GPU成本所拖累，逐漸被産業界甩在身後。
Meta可以爲模型訓練采購高達35萬個GPU，而斯坦福大(dà)學的自然語言處理小(xiǎo)組，卻總共隻有68個GPU——這種“萬”與“個”的懸殊對比，揭示了算力鴻溝的殘酷現實。爲此，李飛飛提出建立“國家級算力與數據集倉庫”的計劃，并稱其重要性堪比“登月投資(zī)”。
對我(wǒ)國而言，情況同樣嚴峻。以GPU等AI芯片爲代表的稀缺算力資(zī)源，優先向少數大(dà)型企業供給，高校、中(zhōng)小(xiǎo)微企業苦于高昂成本難以參與其中(zhōng)。
在此背景下(xià)，超大(dà)規模智算中(zhōng)心的建設或許能爲解決算力短缺問題提供一(yī)個思路，成爲我(wǒ)國在全球AI競争中(zhōng)取得優勢的重要一(yī)環。
事實上，我(wǒ)國早已在算力基礎設施上展開(kāi)積極布局。“東數西算”工(gōng)程作爲國家級的工(gōng)程項目，在全國範圍内規劃了八大(dà)樞紐節點和十大(dà)數據集群，并且已經取得顯著進展。
以十大(dà)集群之一(yī)的韶關集群爲例，前不久，其首批上線運營的華南(nán)數谷智算中(zhōng)心，一(yī)期規劃算力16000P(1P約等于每秒1000萬億次計算速度)，規模居粵港澳大(dà)灣區首位。預計到2025年初，韶關集群的智能算力規模将達到50000P，成爲大(dà)灣區、廣東省乃至整個華南(nán)地區的最大(dà)體(tǐ)量。這些算力資(zī)源，不僅可以滿足高校的科研需求，還可以爲中(zhōng)小(xiǎo)企業等各行各業提供實時、高效的算力支持。
然而，超大(dà)規模智算中(zhōng)心的建設并非易事。它需要突破一(yī)系列核心技術，其中(zhōng)異構算力的統籌和調度尤爲關鍵。異構計算，即多種算力的混合使用，對于實現全國算力中(zhōng)心的大(dà)一(yī)統和優化資(zī)源利用至關重要。在多個數據中(zhōng)心或智算中(zhōng)心互聯互通的複雜(zá)場景下(xià)，異構計算的挑戰前所未有。傳播内容認知(zhī)全國重點實驗室研究員(yuán)張冬明表示，在異構算力的建設和發展過程中(zhōng)，國産AI芯片必将扮演越來越重要的角色。然而就目前來說，受配套軟件、固件支持等生(shēng)态系統方面的制約，真正能夠有效支撐大(dà)模型訓練的國産算力集群并不多。
這些情況已被有關部門敏銳捕捉到。今年年初，工(gōng)業和信息化部等七部門聯合印發的《關于推動未來産業創新發展的實施意見》中(zhōng)提到：“加快突破GPU芯片、集群低時延互連網絡、異構資(zī)源管理等技術，建設超大(dà)規模智算中(zhōng)心，滿足大(dà)模型叠代訓練和應用推理需求。”
專家認爲，在當前階段，大(dà)部分(fēn)算力性能的提升主要來自“系統集成”。既有基于小(xiǎo)芯粒技術的芯片級集成，也有基于一(yī)卡多芯技術的闆卡級集成，還有基于液冷和高互聯的機架級集成。因此，建議在加強單芯片能力的同時，應注重提升AI算力的系統集成能力，從單點突破轉向橫向拓展，對芯粒、液冷、互聯等相關技術持續投入，進一(yī)步實現AI算力系統的高算力、高效能、高穩定、高性價比。
當前，智算中(zhōng)心正在成爲通用人工(gōng)智能發展的關鍵。而超大(dà)規模智算中(zhōng)心，正在成爲智算中(zhōng)心持續演進的未來形态。随着智算中(zhōng)心的發展成熟，“開(kāi)箱即用”的智能計算服務有望成爲主流。當然，這需要産業界、學術界和政府的通力合作。
在算力資(zī)源的統籌配置方面，業内人士建議，政府可以通過行政手段，以統籌建設的方式集中(zhōng)采購，通過“雲化”将算力按P銷售，再以“算力券”等的方式補貼中(zhōng)小(xiǎo)型科研機構，以促進AI的研究和應用發展。
轉載自網易科技