<span id="9dl2d"></span>
  • <th id="9dl2d"></th>

    1. <dd id="9dl2d"></dd>

      <tbody id="9dl2d"><noscript id="9dl2d"></noscript></tbody>
    2. 短視頻的GPT時代!Sora重磅亮相,世界的模擬器或已誕生 | 智庫
      來源:新財富雜志作者:吳珺 朱珺2024-03-07 19:43

      OpenAI官方發布的文生視頻模型Sora,可快速生成最多長達60秒的相應視頻內容,重新定義了AI生成視頻的技術突破。在此之前,一些模型已實現了功能的持續迭代,并初步實現商業化,例如Pika 1.0免費對公眾開放,Gen-2模型采用套餐包訂閱收費模式,中國大陸的年套餐訂閱價格為998元。

      2024年有望迎來AI視頻年。我們可以期待在時機成熟后,Sora模型對全行業掀起的新一輪革命。不過,Sora仍面臨著一些調整,一是商業化需要算力支持,生成成本仍然較高;二是Sora面臨版權與產權的挑戰;三是Sora底層數據的訓練需考慮隱私與數據保護。

      來源:新財富雜志(ID:xcfplus)

      作者:朱珺(華泰證券研究所傳媒行業首席分析師)吳珺(華泰證券研究所傳媒行業分析師)

      2024年2月16日凌晨,OpenAI官方發布了文生視頻模型Sora。該模型最長可以生成長達一分鐘的高清視頻,重新定義了AI生成視頻的技術突破。Sora模型將自然語言處理技術與視頻生成技術相結合,使用大量帶有相應文本字幕的視頻進行訓練。用戶僅需通過輸入文字描述,Sora即可快速生成最多長達60秒的相應視頻內容。

      Sora具備生成包括多個角色、特定類型的運動、準確細節的主體和復雜場景的能力,還能夠創建多個鏡頭,模擬復雜的攝像機運鏡效果,使生成的視頻更加生動。此外,由于OpenAI將擴散模型與大語言模型(LLM)相結合,使Sora具備理解和模擬真實世界的能力,所生成的視頻中已經可以展現空間以及空間內物體之間的真實物理關系。除了文生視頻功能外,Sora還具備圖生視頻、視頻擴展、視頻拼接、視頻編輯、圖像生成等功能。

      01

      Sora有何優勢?

      在視頻質量方面,Sora較Pika、Runway具有顯著優勢。相較于這些之前的AI文生視頻工具,Sora可以通過多鏡頭等方式生成更加復雜的視頻,在時長、流暢度以及邏輯性方面表現出顯著的優勢。OpenAI認為,視頻生成模型是構建通用物理世界模擬器的一條有前景的道路,它使人工智能理解和模擬運動中的物理世界,邁向了一個新的高度。Sora的發布也意味著通用人工智能(AGI)時代有望加速到來,是AGI實現過程中的重大里程碑事件。與其他AI文生視頻模型相比,Sora有四大優勢。

      圖表1:Sora與其他AI文生視頻模型性能對比

      資料來源:OpenAI官網、DataLearner、華泰研究

      一是視頻時長及鏡頭切換的突破。其他頭部AI文生視頻工具尚且無法完成鏡頭切換后的銜接,因此作品往往局限于10秒內的單一鏡頭視頻。而Sora不僅可以實現不同鏡頭間流暢切換,還能生成60秒超長視頻。

      二是視頻尺寸自由?;贠penAI公布的Sora技術報告,Sora模型可以生成1920x1080與1080x1920之間所有尺寸的視頻。而例如Runway Gen2僅支持特定長寬比的視頻。

      三是背景角色穩定。過往的AI文生視頻工具通常會出現背景角色不穩定的情況,即在背景中有許多物體時,畫面經常失真、混亂。以“東京漫步的女士”視頻為例,在Runway中輸入同樣的提示詞后,背景人物會做出一些怪異的走路姿勢,而Sora視頻中背景角色表現非常穩定。

      四是與真實世界一致。由于Sora初步具備理解和模擬真實世界的能力,生成的視頻通常具備一些新興特征,包括3D一致性、物體持久性、模擬物理交互等。

      圖表2:Sora生成的視頻中人物在切換鏡頭后仍保持一致性

      資料來源:OpenAI官網、華泰研究

      在技術方面,Sora實現了數據處理及底層模型的全面革新。

      Sora具備統一視覺數據處理功能,可將視覺數據轉化為“小補丁”(Patches)?;贠penAI技術報告,LLM通過代碼將多種文本形式進行了統一,Sora從中汲取靈感,將視頻和圖片壓縮成一系列包含原始時間空間信息等物理世界含義的Patches。Sora可以學習這些Patches之間的關系來捕捉運動、顏色變化等復雜視覺特征,統一不同視覺數據的表現形式。

      其視頻壓縮網絡還可降低視覺數據維度。OpenAI訓練了一個壓縮網絡和解碼器模型,用于降低視覺數據的維度。視頻壓縮網絡將原始視頻作為輸入、輸出在時間和空間上壓縮的Latent。解碼器則將Latent映射回像素空間。

      02

      文生視頻大模型進化迭代,2024年迎AI視頻年

      回顧文生視頻的發展史,2023年有多款產品落地,2024年加速邁進AI視頻新時代。

      2023年是文生視頻模型的開啟之年。在2023年以前,市面上尚不存在公開的文本生成視頻模型。僅2023一年實際誕生的模型就達數十個,全球用戶數量超過百萬級別。目前市場上有21個重要AI視頻模型已投入使用并取得一定進展。

      圖表3:文生視頻AI模型2023發布時間線

      資料來源:OpenAI官網、華泰研究

      2024年,各大公司加快了文生視頻模型的研發步伐,有望迎來AI視頻年。1月2日,以文生圖工具聞名的Midjourney宣布將在未來幾個月加快訓練文生視頻模型。1月23日,谷歌公司推出了文生視頻模型Lumiere,可以直接生成全幀率、低分辨率的視頻,具有多個時空尺度。Runway的文生視頻模型Gen-2在2023年年末也完成了一次重要的功能更新,實現了產出視頻質量的大幅躍升。字節跳動和騰訊也分別于2024年1月上旬和下旬公布了視頻模型MagicVideo V2與VideoCrafter2。馬斯克稱2024年將是AI電影元年,AI視頻生成產業將加速。

      圖表4:截至2023.12市場現有的重點關注文生視頻模型

      資料來源:venturetwins、a16z、華泰研究

      目前,科技巨頭大多暫未公開其大模型產品,已公開的大多出自初創公司,部分創業者甚至尚未開發網站,而且僅能以Discord機器人為載體。除阿里巴巴的多個模型系列選擇在開源平臺Github上公開以外,如Meta的Emu Video、谷歌的VideoPoet和Lumiere、字節跳動的MagicVideo等行業巨頭的大模型均未公開,而是發表大量相關論文以及對外演示視頻。

      Sora模型目前暫未對公眾完全開放,僅提供給部分內測用戶使用??紤]到多重風險,OpenAI表示暫無計劃向公眾開放使用Sora模型,但目前已向部分專家開放以評估潛在風險,也正向部分設計師、電影制作人、視覺藝術家等授予訪問權限以獲得反饋。我們可以期待在時機成熟后,Sora模型將對全行業掀起新一輪革命。

      當前具有代表性的文生視頻模型,均實現了功能的持續迭代,并初步實現商業化。包括文生視頻Pika 1.0模型、文生視頻Gen-2模型,及文本生成動畫工具包Stable Animation SDK等。

      文生視頻Pika 1.0模型由團隊Pika Labs于2023年年底開放免費公測,支持3D動畫、動漫或電影等各種類型內容生成。Pika官網給出的功能介紹包含生成和編輯兩個部分。生成功能支持輸入文本、圖像、視頻生成或拓展視頻。而此次發布更亮點的功能在于Pika 1.0的編輯部分。目前,Pika 1.0免費對公眾開放。

      文生視頻Gen-2模型由Runway最早于2023年3月發布,目前已能生成4k分辨率的長達18秒視頻。Runway官網給出八種不同的視頻生成方式,包括文、圖像、文字圖像結合生成視頻的三種基礎功能。結合由Runway開發的Motion brush功能,用戶可以選定圖像中的特定區域確定其運動方式。Gen-2模型發布于公司官網、App Store和Discord機器人,采用套餐包訂閱收費模式,中國大陸的年套餐訂閱價格為998元。

      文本生成動畫工具包Stable Animation SDK由團隊Stability AI在2023年5月發布,能夠實現文本輸出動畫功能。此前,該公司曾以開源文生圖AI模型Stable Diffusion在用戶中取得極高的關注度。除了支持動畫生成,模型還提供多種風格模板,如3D模型、仿真膠片、動漫、電影、像素風格等。Stable Animation采用單次收費模式,取決于所需視頻的輸出分辨率和幀數。生成一支8秒(約100幀)最低分辨率(512*512)視頻收費0.375美元,而一支60秒高清(1024p)分辨率視頻收費1.35美元。

      03

      Sora將如何改變傳媒各細分賽道?

      影視方面,Sora或可以降低傳統影視制作門檻,IP類資產有望價值放大。

      Sora可通過提示詞生成完整且有邏輯的視頻,為創作者提供低成本、高效率的創作方式。對影視行業的主要影響可能體現在三方面。一是大幅降低制作門檻及成本。在空間上,減少了對場景搭建、場地切換等特定資源的依賴,Sora可以用于生成逼真的特效場景降低制作成本。在時間上,將大幅縮短影視拍攝的流程,讓非專業團隊制作出具有專業水準的視頻內容成為可能。二是極大程度豐富影視作品的創造性及風格。制作門檻及時間成本的大幅降低將加速影視內容的迭代,用戶生產內容(UGC)的專家化也將創造新的風格與形式,增強影視內容的吸引力與豐富度。三是對于具備創意和靈感優勢的生產者更為受益,能更容易產出優質的視頻內容。

      對于專業影視內容制作公司來說,短期Sora仍將作為工具性產品,助力生產效率提升和成本降低。中長期隨著視頻內容制作門檻的降低,生產者供給的競爭格局還有待進一步觀察,未來更注重故事和創意。預計擁有核心導演及IP資源的公司更受益。Sora的出現或將重塑影視行業,機會與挑戰并存,預計影視制作公司將出現分化:一方面,影視作品的“靈魂”來自于創意及情感,Sora作為優秀的生成工具將助力優質的想法和故事落地,文本創作力及導演能力等將成為核心競爭力。擁有核心導演編劇及創意資源的公司競爭力有望提升,低端代工制作公司面臨壓力。另一方面,新的IP及內容將海量涌現,經典IP有望借助Sora加速生成影視化作品及衍生內容,持續擴大影響力。

      在營銷方面,廣告視頻制作基礎環節有望替代人力,為營銷策劃提供創意。

      Sora對營銷行業的影響也體現在三個方面。一是提升廣告相關視頻的創造效率。Sora能夠快速生成廣告宣傳視頻及商品演示視頻,大幅降低廣告相關內容的制作成本及時間,有望取代低創造性、可復制的視頻內容,小規模且缺乏創意人才的廣告公司預計面臨壓力。二是提供靈感,增強廣告吸引力。Sora有望為廣告策劃環節提供靈感,加速創意實現過程。三是更低成本定制化需求。Sora可大批量快速生成定制化的視頻內容,以滿足不同用戶群體的需求,提升客戶轉化率及留存率。

      游戲方面,Sora可以模擬生成游戲視頻,降低生產成本。

      Sora可被應用于游戲角色創立,場景開發等過程。游戲是虛擬世界的一種體現,Sora對于物理世界的理解和模擬可以與游戲場景開發高度適配,可以幫助游戲開發者創立角色或背景故事。OpenAI也在Sora技術報告中提出,Sora能夠模擬如視頻游戲的數字化過程,根據官方視頻演示,Sora能在控制如《Minecraft》的游戲角色進行基本操作的同時,高質量動態渲染游戲世界??梢灶A見,Sora未來將可能被應用生成游戲動畫和場景等,增加游戲情感故事背景,提高可玩性,游戲開發者的成本將被降低。

      04

      Sora的挑戰:商業化仍有阻力,法律倫理問題尚待研究

      首先,商業化需要算力支持,其發展進度仍待觀察。目前生成每支視頻的算力與時間成本仍然較高,商業化需考慮使用者多次修改所額外誕生的視頻版本。由于ChatGPT高昂的訓練和運營成本,目前OpenAI仍有算力瓶頸,考慮到商業化落地后,部分用戶語言表達難以一次性準確描述所需的視頻內容,可能會降低視頻生成精度。出于多次修改的可能,一支60秒視頻的成本可能是多次生成后的成本疊加。

      其次,Sora面臨版權與產權的挑戰,以及作品的責任歸屬。AI作品原創性問題在目前的法律領域尚屬于起步階段,可能讓作者或開發者、用戶甚至AI本身陷入爭議。美國版權局在2023年3月發布了版權指南,對于AI圖像版權的歸屬作出了有條件界定,如作品需要由人工控制,AI信息需進行披露,AI圖像不受版權保護等等。相關內容的商用版權問題將更加復雜,涉及到收益分配及相關的時效性等。此外,不良用戶可能會借助AI生成不法視頻,包含虛假信息、誹謗或煽動性言論、暴力血腥畫面等存在違背社會道德和法律的內容等,對社會公眾造成嚴重損害。此時責任歸屬的判定至關重要,否則會將AI本身及開發者卷入社會輿論的漩渦。

      Sora底層數據的訓練需考慮隱私與數據保護。模型的訓練是基于大量數據集和素材庫,可能包含個人隱私或者版權信息,輸出的視頻素材也可能會包含受版權保護的內容,因此訓練時需注意相關內容的界定。此外用戶使用時也可能上傳個人敏感信息,模型應告知個人數據的最終處理去向,采取相關的安全措施。在不同國家及地區,相關法律尚未統一。2023年12月8日,歐盟成員國及歐洲議會議員就《人工智能法案》達成初步協議。當前,法案為不同風險程度的人工智能系統施加不同的要求和義務,提出基礎模型提供者還應當遵守透明度義務,采取足夠的保障措施防止產生違反歐盟法律的內容,在不影響國家或歐盟版權立法的情況下,記錄并公開提供受版權法保護的訓練數據使用情況的詳細摘要。大模型公司如何面對國際社會的不同規則,避免模型被用于信息安全斗爭,會是將要面臨的一大挑戰。

      本文所提及的任何資訊和信息,僅為作者個人觀點表達或對于具體事件的陳述,不構成推薦及投資建議,不代表本社立場。投資者應自行承擔據此進行投資所產生的風險及后果。

      責任編輯: 高蕊琦
      聲明:證券時報力求信息真實、準確,文章提及內容僅供參考,不構成實質性投資建議,據此操作風險自擔
      下載“證券時報”官方APP,或關注官方微信公眾號,即可隨時了解股市動態,洞察政策信息,把握財富機會。
      網友評論
      登錄后可以發言
      發送
      網友評論僅供其表達個人看法,并不表明證券時報立場
      暫無評論
      為你推薦
      新財富雜志

      《新財富》雜志于2001年3月創刊,專注資本市場深耕細作,“新財富最佳分析師”“新財富金牌董秘”“新財富500富人”“新財富最佳投顧”“新財富最佳投行”等權威專業評選和《德隆系》《明天帝國》《收割者》等經典研究案例影響深遠。

      新財富雜志社旗下主要新媒體平臺包括:新財富雜志微博、新財富雜志公眾號、新財富雜志視頻號。

      地址:深圳福田區華富街道蓮花一村社區皇崗路5001號深業上城T1棟59樓

      訂閱熱線:0755-83352922
      新聞職業操守舉報電話:0755-83250532
      編輯聯系方式:搜索微信號TesSxr
      時報熱榜
      換一換
        熱點視頻
        換一換
        亚洲小说图片区综合在线,日本公厕撒尿高清视频,国产又黄又湿又刺激网站,少妇自慰毛多水多

        <span id="9dl2d"></span>
      • <th id="9dl2d"></th>

        1. <dd id="9dl2d"></dd>

          <tbody id="9dl2d"><noscript id="9dl2d"></noscript></tbody>