2月18日，昆侖萬維開源中國首個面向AI短劇創(chuàng)作的視頻生成模型SkyReels-V1、中國首個SOTA級別基于視頻基座模型的表情動作可控算法SkyReels-A1。
開源地址：
1、SkyReels-V1：https://github.com/SkyworkAI/SkyReels-V1
2、SkyReels-A1：https://github.com/SkyworkAI/SkyReels-A1
3、技術報告：https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
4、SkyReels官方地址：skyreels.ai
1. SkyReels-V1：Human-Centric Video Foundation Model，中國首個面向AI短劇創(chuàng)作的開源視頻生成模型
SkyReels-V1可實現(xiàn)影視級人物微表情表演生成，支持33種細膩人物表情與400+種自然動作組合，高度還原真人情感表達。正如以下視頻所示，SkyReels-V1支持生成大笑、怒吼、驚訝、哭泣等微表情，展現(xiàn)出人物情感豐沛的表演細節(jié)。即使有大幅度肢體動作，SkyReels-V1生成的微表情也完美貼合人物肢體表演。
同時，SkyReels-V1為AI視頻生成帶來了電影級光影美學，基于好萊塢級的高質(zhì)量影視數(shù)據(jù)訓練，當前SkyReels生成的每一幀畫面，在構(gòu)圖、演員站位、相機角度等都具備電影級的質(zhì)感。無論是單人鏡頭表演細節(jié)，還是多人構(gòu)圖，當前已具備精準的表情控制和高質(zhì)感畫面。
更重要的是，SkyReels-V1不僅支持文生視頻、還能支持圖生視頻，是開源視頻生成模型中參數(shù)最大的支持圖生視頻的模型，在同等分辨率下各項指標實現(xiàn)開源SOTA。
圖1丨SkyReels-V1文生視頻指標對比（來源：昆侖萬維SkyReels）
能夠?qū)崿F(xiàn)這樣的SOTA級別，不僅依賴于昆侖萬維SkyReels團隊基于自研的高質(zhì)量數(shù)據(jù)清洗和人工標注管線，構(gòu)建了千萬級的高質(zhì)量電影&電視劇&紀錄片數(shù)據(jù)。更依托團隊自研「Human-Centric」的視頻理解多模態(tài)大模型，大幅提升視頻中人物相關的理解能力，尤其是自研人物智能解析系統(tǒng)。
綜上所述，得益于扎實的數(shù)據(jù)工作和先進的人物智能解析系統(tǒng)，SkyReels-V1可以實現(xiàn)：
影視化表情識別體系：11種針對影視戲劇中的人物表情理解，如不屑、不耐煩、無助、厭惡等表情的理解；
人物空間位置感知：基于人體三維重建技術，實現(xiàn)對視頻中多人的空間相對關系理解，助力模型生成影視級人物站位；
行為意圖理解：構(gòu)建超過400種行為語義單元，實現(xiàn)對人物行為的精準理解；
表演場景理解：實現(xiàn)人物-服裝-場景-劇情的關聯(lián)分析。
SkyReels-V1不僅是全球極少數(shù)開源的視頻生成模型，還是圍繞人物表演、開源視頻生成模型中性能最強的。
在自研推理優(yōu)化框架「SkyReels-Infer」的加持下，大幅提升推理效率，實現(xiàn)544p分辨率，推理基于單臺4090只需80s，還支持分布式多卡并行，支持Context Parallel，CFG Parallel，和 VAE Parallel。此外，采取fp8 quantization以及parameter-level offload，滿足低顯存用戶級顯卡運行需求；支持flash attention、SageAttention，模型編譯優(yōu)化等，進一步優(yōu)化延遲；基于開源diffuser庫，提升易用性。
正如下圖2所示，在同等RTX4090資源情況下對比(4卡)，SkyReels-Infer版本比HunyuanVideo官方版本端到端延遲減少58.3%(293.3s vs 464.3s)；SkyReels-Infer版本具備更魯棒的部署策略，支持用戶級別顯卡1卡-8卡的推理部署。
圖2丨推理生成544p視頻，使用相同卡數(shù)的RTX 4090，SkyReels-Infer版本端到端延遲優(yōu)于HunyuanVideo官方(xdit) 58.3%
在同等A800資源情況下對比，SkyReels-Infer版本比HunyuanVideo官方版本端到端延遲減少14.7%～28.2%（如圖3所示），SkyReels-Infer版本具備更魯棒的多卡部署策略。
圖3丨推理生成544p視頻，SkyReels-Infer版本具備更魯棒的多卡部署策略，支持8卡部署
2.SkyReels-A1：首個SOTA級別的基于視頻基座模型的表情動作可控算法
為了實現(xiàn)更加精準可控的人物視頻生成，昆侖萬維還開源了SOTA級別的基于視頻基座模型的表情動作可控算法SkyReels-A1，對標Runway的Act-One，SkyReels-A1支持視頻驅(qū)動的電影級表情捕捉，實現(xiàn)高保真微表情還原。能夠基于任意人體比例（包括肖像、半身及全身構(gòu)圖）生成高度逼真的人物動態(tài)視頻，其真實感源自對人物表情變化和情緒的精準模擬、皮膚肌理、身體動作跟隨等多維度細節(jié)的深度還原。
SkyReels-A1不僅支持側(cè)臉的表情控制生成、還能實現(xiàn)更加逼真的眉眼微表情生成和更大幅度的頭部與自然身體動作。SkyReels-A1能夠?qū)崿F(xiàn)更大幅度的人物表情驅(qū)動。相比Runway的Act-One，SkyReels-A1可以遷移更復雜的表情動作，生成的人物面部神情可以配合肢體及畫面內(nèi)容實現(xiàn)更栩栩如生的表演。
3.以開源之姿，以破局之勢，昆侖萬維致力于推動全球AI短劇創(chuàng)作生態(tài)繁榮發(fā)展
昆侖萬維一直堅持開源，推動技術平權。昆侖萬維同時將SOTA級別的SkyReels-V1和SkyReels-A1進行開源，是AI短劇行業(yè)首例，也是昆侖萬維SkyReels回饋行業(yè)邁出的一小步，更是促進AI短劇創(chuàng)作和視頻生成行業(yè)枝繁葉茂的一大步。
我們相信在進行推理優(yōu)化的升級和可控算法的開源后，它們將為用戶帶來低成本、可控性更強的AIGC能力。昆侖萬維希望通過更多優(yōu)秀視頻生成模型的開源和極致的AI短劇產(chǎn)品能力，為用戶帶來低成本實現(xiàn)AI短劇創(chuàng)作的可能性、突破行業(yè)目前視頻生成一致性差的問題，讓大眾通過自己的電腦生成精細且可控的人物表演。
此次開源的視頻大模型，不僅是一次技術突破，有助于縮小全球內(nèi)容產(chǎn)業(yè)的數(shù)字鴻溝，更是文化產(chǎn)業(yè)生產(chǎn)力的一次革命。未來，短劇與游戲、虛擬現(xiàn)實等領域的跨界發(fā)展，將會加速產(chǎn)業(yè)融合。AI短劇也有希望從“技術實驗”邁向“主流創(chuàng)作”，成為全球文化輸出的新載體。
“實現(xiàn)通用人工智能，讓每個人更好地塑造和表達自我”是公司的使命，未來，昆侖萬維及SkyReels還將開源更多視頻生成模型和算法、通用模型，通過開源實現(xiàn)AGI平權，推動AI短劇生態(tài)的持續(xù)建設和繁榮，促進開源社區(qū)、開發(fā)生態(tài)以及AI行業(yè)的發(fā)展。
本文鏈接：http://www.enbeike.cn/news-14-7153-0.html昆侖萬維開源面向AI短劇創(chuàng)作的視頻生成模型SkyReels-V1，重塑AI短劇行業(yè)格局
聲明：本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。
點擊右上角
微信好友
朋友圈
點擊瀏覽器下方“
”分享微信好友Safari瀏覽器請點擊“
”按鈕
點擊右上角
QQ
點擊瀏覽器下方“”分享QQ好友Safari瀏覽器請點擊“”按鈕
