<span id="9dl2d"></span>
  • <th id="9dl2d"></th>

    1. <dd id="9dl2d"></dd>

      <tbody id="9dl2d"><noscript id="9dl2d"></noscript></tbody>
    2. 成功融合“擴散+語言大模型”的Sora 能帶飛哪些國內企業?
      來源:全景財經作者:全小景2024-03-11 19:57
      (原標題:成功融合“擴散+語言大模型”的Sora 能帶飛哪些國內企業?丨黃金眼)

      類似于GPT3里程碑意義的Sora,再度引發市場對巨大潛力領域的展望。

      01

      Sora何許人也?

      2024年2月16日,OpenAI推出一款展示效果驚艷,創立了視覺模型里程碑文生視頻模型Sora。

      Sora根據文字生成視頻資料來源:Sora官網

      視頻生成一直是AI領域的重要方向,先前的許多工作研究了視頻數據的生成建模方向,包括循環網絡、生成對抗網絡、自回歸transformer和擴散模型。這些工作通常關注一小類視覺數據、較短的視頻或固定大小的視頻。

      與之不同的是,OpenAI的Sora是視覺數據的通用模型,通過一次為模型提供多幀的預測,解決了一個具有挑戰性的問題,即確保主題即使暫時離開視野也保持不變,具體而言,就是涌現對真實物理的理解力。

      OpenAI發現,視頻模型在經過大規模訓練后,會表現出許多有趣的新能力。這些能力使Sora能夠模擬物理世界中的人、動物和環境的某些方面。這些特性的出現沒有任何明確的三維、物體等歸納偏差,純粹是規?,F象。Sora可以生成動態攝像機運動的視頻,隨著攝像機的移動和旋轉,人物和場景元素在三維空間中的移動是一致的,而視頻生成系統面臨的一個重大挑戰正是在對長視頻進行采樣時保持時間一致性。

      雖然Sora并不總是能有效地模擬短距離和長距離的依賴關系,但它在很多時候仍然能做到這一點。例如,即使人、動物和物體被遮擋或離開畫面,Sora模型也能保持它們的存在。同樣,它還能在單個樣本中生成同一角色的多個鏡頭,并在整個視頻中保持其外觀。這些功能表明,視頻模型的持續擴展是開發物理和數字世界以及其中的物體、動物和人的高能力模擬器的一條可能的道路。

      資料來源:Sora官網

      同時,Sora可以生成不同時長、長寬比和分辨率的視頻和圖像,而且最多可以輸出長達一分鐘的高清視頻。

      由于處理生成視頻內容需要消耗大量算力資源,加上內容既要時間上連貫,又要符合物理世界規律,才能保證生成的視頻逼真,而開發能夠理解復雜敘述結構和邏輯關系的文生視頻模型是非常困難的,時間越長,維持這種連貫性和邏輯性就會越難,這就導致過去一年主流AI生成視頻模型所生成的視頻長度最長也僅十余秒。

      Sora標志了擴散+語言大模型融合路線的成功,未來具有很大的迭代潛力,類似于GPT3的里程碑意義。

      02

      Sora對應的國內行業機遇在哪里?

      Sorta模型的推出顯示了大模型的巨大潛力,也對算力的需求和性能提出了更高的要求,半導體行業又迎來了新一輪的增長曲線。

      大模型驅動下,全球算力規模保持高速穩定增長。復雜的模型和大規模的訓練需要大規模的高算力支持,這不僅需要消耗大量計算資源,而且對算力的速度、精度、性能也提出更高要求。在以人工智能、萬物互聯為特征的智能數字經濟時代背景下,全球數據總量和算力規模繼續呈現高速增長態勢。

      根據《中國算力發展指數白皮書》,2022年全球計算設備算力總規模達到906EFlops,增速達到47%,其中基礎算力規模(FP32)為440EFlops,智能算力規模(換算為FP32)為451EFlops,超算算力規模(換算為FP32)為16EFlops。

      2022年我國算力總規模達到302EFlops,全球占比約為33%,連續兩年增速超過50%,高于全球增速?;A算力規模為120EFlops,增速26%,在我國算力占比為40%;智能算力規模達到178.5EFlops,增速72%,占比達59%,成為算力快速增長的驅動力。

      數據來源:中國信息通信研究院,IDC,Gartner

      根據DiT模型創立者謝賽寧博士粗略測算,Sora模型的參數規模大約為30億。根據對可訓練數據量的研究成果,海外大型視頻網站每分鐘大約上傳500小時視頻內容。由此我們測算訓練Sora模型需要約7.09萬張H100一個月的訓練量。在推理側,根據相關研究測算生成一張圖的算力消耗約為256個詞的消耗。由此推算生成一個1分鐘時長短視頻的算力消耗約是生成一次文字對話的千倍以上。中短期算力將持續處于短缺不能充分滿足推理側需求。

      GPT-4、Dall·E2、Gen2、Sora,主流模型多模態加速演進資料來源:OpenAI官網,Runway官網

      根據目前AI新智界、澎湃新聞等數據,專業機構假設SORA應用的Transformer架構與ChatGPTTransformer架構相同,且參數量相同,同時假設數據數據精度為FP16,訓練10天,則需要應為英偉達H100卡數為59500張,即Sora架構的訓練與傳統大語言模型(LLM)Transformer架構的訓練算力需求存在近百倍差距。

      03

      相關企業有哪些?

      首先,算力需求增長是確定性最強的方向,浪潮信息、中科曙光、神州數碼、紫光股份、首都在線等企業都參與其中;同時,算力緊缺大背景下,配套光網絡持續升級的需求極強,帶動產業鏈圍繞尖端算力芯片持續迭代升級,北美光模塊核心供應商的中際旭創、新易盛,及其上游核心供應商天孚通信都有望受益。

      而在交換機領域,GPU服務器按照GPU芯片之前的互聯方式中的常規服務器PCIE機型,受限于PCIE的帶寬上限,卡與卡雙向互聯帶寬低,不滿足大模型訓練需求,因此只能通過Nvlink機型,即GPU卡之間通過NVLINK鏈路互聯,相比PCIE帶寬更高,更適合于大模型訓練場景,使得交換機國產替代龍頭紫光股份、銳捷網絡,交換機芯片龍頭盛科通信、ICT巨頭中興通訊都有需求增量。

      此外,構建算力第二極的華為海思昇騰AI芯片,其整個產業鏈具備較高的關注價值。

      昇騰AI芯片的計算核心主要由AICore構成:AICore采用了達芬奇架構,它包括了三種基礎計算資源,矩陣計算單元、向量計算單元和標量計算單元。這三種計算單元分別對應了張量、向量和標量三種常見的計算模式,在實際的計算過程中各司其職,形成了三條獨立的執行流水線,在系統軟件的統一調度下互相配合達到優化的計算效率,AICore中的矩陣計算單元目前可以支持INT8、INT4和FP16的計算;向量計算單元目前可以支持FP16和FP32的計算。專業人士認為本質上講昇騰芯片屬于專為AI而生的特定域架構芯片,根據和各AI訓練卡參數規格一覽可知,國產算力華為已具備性價比。

      當前,華為昇騰計算平臺CANN已經實現從0至1突破。2018年9月,CANN1.0華為昇騰AI使能平臺誕生,2020年8月,CANN3.0版本發布,作為專門面向AI場景的異構計算架構,搭起了上層深度學習框架和底層AI硬件平臺的橋梁,目前華為CANN計算平臺已經到了7.0版本,其生態加速繁榮。

      華為CANN昇騰AI計算平臺 資料來源:昇騰官網

      整個產業鏈背后,服務器相關的有高新發展、神州數碼、拓維信息、中國長城等企業;電源相關的是泰嘉股份;算力一體機相關的有開普云、云從科技、科大訊飛、安恒信息、新致軟件等;鴻蒙相關的有九聯科技、潤和軟件、軟通動力、中軟國際等。

      責任編輯: 高蕊琦
      聲明:證券時報力求信息真實、準確,文章提及內容僅供參考,不構成實質性投資建議,據此操作風險自擔
      下載“證券時報”官方APP,或關注官方微信公眾號,即可隨時了解股市動態,洞察政策信息,把握財富機會。
      網友評論
      登錄后可以發言
      發送
      網友評論僅供其表達個人看法,并不表明證券時報立場
      暫無評論
      為你推薦
      時報熱榜
      換一換
        熱點視頻
        換一換
        亚洲小说图片区综合在线,日本公厕撒尿高清视频,国产又黄又湿又刺激网站,少妇自慰毛多水多

        <span id="9dl2d"></span>
      • <th id="9dl2d"></th>

        1. <dd id="9dl2d"></dd>

          <tbody id="9dl2d"><noscript id="9dl2d"></noscript></tbody>