8月19日，昆侖萬維發(fā)布全球首個(gè)集成視頻大模型與3D大模型的AI短劇平臺SkyReels。SkyReels平臺集劇本生成、角色定制、分鏡、劇情、對白/BGM及影片合成于一體，讓創(chuàng)作者“一鍵成劇”，輕松制作高質(zhì)量AI視頻。

SkyReels平臺集成了昆侖萬維自研劇本大模型SkyScript、自研分鏡大模型StoryboardGen、自研3D生成大模型Sky3DGen以及業(yè)界首個(gè)將AI 3D引擎與視頻大模型深度融合的創(chuàng)新平臺WorldEngine。

SkyReels在劇本質(zhì)量、分鏡質(zhì)量、人物表演質(zhì)量等各維度質(zhì)量評估上均領(lǐng)先于GPT-4o等大模型

SkyReels能夠通過AI一鍵生成完整劇本、分鏡、人物對白與BGM，支持角色形象、音色與分鏡的自定義調(diào)整，并能夠自動將內(nèi)容轉(zhuǎn)換為1080P 60幀的高清視頻，單次可生成視頻長度達(dá)180秒，相比Sora單次可生成60秒視頻、可靈單次可生成10秒視頻，有顯著突破。一鍵整合所有創(chuàng)作成果，極大提高視頻的創(chuàng)作效率，降低創(chuàng)作成本，推動“一人一劇”時(shí)代加速來臨。

同時(shí)，WorldEngine結(jié)合了引擎的精確可控能力(如光照模擬、物理模擬、3D空間、實(shí)時(shí)交互等) 以及AI視頻大模型的幻想生成能力，提供了全新的線上混合視頻創(chuàng)作模式，讓視頻創(chuàng)作從模糊生成邁向更加精確可控。

SkyReels的AI劇本生成功能基于昆侖萬維自研劇本大模型SkyScript打造。為了讓AI生成的劇本具備短劇的高密集爽點(diǎn)劇情，昆侖萬維首先構(gòu)建了億級的高質(zhì)量短劇結(jié)構(gòu)化數(shù)據(jù)集SkyScript-100M，該數(shù)據(jù)集針對海量精彩短劇的劇情節(jié)奏、爽點(diǎn)、情緒變化進(jìn)行了高質(zhì)量標(biāo)注;其次算法團(tuán)隊(duì)設(shè)計(jì)了漸進(jìn)式生成的劇本生成框架，實(shí)現(xiàn)了模型能夠輸出高度結(jié)構(gòu)化的精彩劇本，無論是新手作者還是資深劇作家，都能通過它激發(fā)創(chuàng)意，輕松創(chuàng)作出引人入勝的短劇劇本。

SkyScript劇本大模型技術(shù)原理圖

短劇創(chuàng)作的另一重要環(huán)節(jié)——分鏡生成，則由昆侖萬維自研分鏡生成大模型StoryboardGen提供底層技術(shù)。StoryboardGen是昆侖萬維首創(chuàng)的的基于DiT-MoE架構(gòu)(基于Diffusion Transformer技術(shù)的Mixed-of-Experts混合專家架構(gòu))的分鏡生成模型，能夠?qū)崿F(xiàn)高密度分鏡信息生成，大幅增強(qiáng)視覺敘事表達(dá)能力。

輸入劇本后，StoryboardGen模型會將劇本拆解成全局與主體兩部分，全局部分包括場景、景別、構(gòu)圖等對分鏡的整體描述，主體部分包括角色形象、動作人物角色的定制，最終匯集至故事板(Storyboard)智能體生成完整分鏡。StoryboardGen的專項(xiàng)多智能體架構(gòu)，能夠有效保證人物與場景的可控性和一致性，創(chuàng)造出高質(zhì)量的工業(yè)級分鏡。

昆侖萬維StoryboardGen分鏡大模型技術(shù)原理圖

在最終的影像生成環(huán)節(jié)，WorldEngine是業(yè)界首個(gè)將AI 3D引擎與視頻大模型深度融合的創(chuàng)新平臺。這是一項(xiàng)劃時(shí)代的技術(shù)創(chuàng)新。WorldEngine以圖層融合技術(shù)為橋梁，打造出前所未有的3D與視頻混合創(chuàng)作模式。

用戶使用SkyReels生成AI視頻時(shí)，可以對任意元素自由選擇使用3D AI引擎生成或者視頻大模型生成。該創(chuàng)新模式突破了當(dāng)前AI視頻大模型時(shí)常出現(xiàn)的“穿模”“反地心引力”等反物理規(guī)律現(xiàn)象，最大程度實(shí)現(xiàn)了物理模擬的精細(xì)度與視頻大模型的幻想創(chuàng)造力的完美融合。自此，AI視頻生成大模型將從“模糊控制”時(shí)代走向“精確可控”時(shí)代。

在3D AI引擎方面，昆侖萬維自研的Sky3DGen大模型能夠生成多樣化的3D元素和場景，從自然景觀到未來都市，從靜態(tài)物體到動態(tài)角色，并提供了實(shí)時(shí)的3D場景交互能力，使得用戶可以即時(shí)看到調(diào)整和編輯的效果，加快創(chuàng)作流程。在WorldEngine的加持下，用戶還可以輕松構(gòu)建3D虛擬影棚，實(shí)現(xiàn)虛擬拍攝的夢幻體驗(yàn)。

昆侖萬維AI短劇平臺SkyReels的推出，標(biāo)志著全球AI短劇創(chuàng)作的一次技術(shù)飛躍，它將對視頻內(nèi)容創(chuàng)作流程進(jìn)行全面顛覆，讓創(chuàng)作者從繁瑣、復(fù)雜的制作流程中解放出來，專注于創(chuàng)意實(shí)現(xiàn)與靈感表達(dá)，讓“一人一劇”的夢想成為現(xiàn)實(shí)。

SkyReels AI短劇平臺不僅為專業(yè)內(nèi)容創(chuàng)作者提供了強(qiáng)大的創(chuàng)作工具，更極大地降低了AI短劇創(chuàng)作的門檻，使得非專業(yè)用戶也能輕松上手。這一革命性的工具有望帶來AI短劇用戶生成內(nèi)容(UGC)與專業(yè)用戶生成內(nèi)容(PUGC)的爆發(fā)式增長，為短劇內(nèi)容生態(tài)注入前所未有的活力，推動短劇內(nèi)容創(chuàng)作與消費(fèi)市場的進(jìn)一步快速增長。一個(gè)由AI技術(shù)驅(qū)動的短劇創(chuàng)作與消費(fèi)的時(shí)代，正在到來。