波多野结衣中文字幕一区二区三区,亚洲av无码专区国产乱码电影,亚洲国产精品久久亚洲精品,欧美激情精品久久久久久

文生視頻“混戰(zhàn)”:騰訊、字節(jié)紛紛入局

文生視頻“混戰(zhàn)”:騰訊、字節(jié)紛紛入局

姓吉 2024-12-14 科技前沿 43 次瀏覽 0個(gè)評(píng)論

  來(lái)源:中國(guó)經(jīng)營(yíng)報(bào)

  本報(bào)記者 李昆昆 李正豪 北京報(bào)道

  近日,騰訊混元大模型公布最新進(jìn)展:正式上線視頻生成能力,這是其繼文生文、文生圖、3D生成之后的又一新的里程碑。其實(shí),就在最近,字節(jié)跳動(dòng)也發(fā)布了視頻生成模型PixelDance和Seaweed,在AI創(chuàng)作平臺(tái)即夢(mèng)AI正式上線,面向公眾免費(fèi)開(kāi)放使用。

  盤(pán)古智庫(kù)高級(jí)研究員江瀚在接受《中國(guó)經(jīng)營(yíng)報(bào)》記者采訪時(shí)表示:“從技術(shù)進(jìn)步的角度來(lái)看,騰訊和字節(jié)跳動(dòng)在視頻生成大模型領(lǐng)域的投入與成果,展示了AI技術(shù)的飛速發(fā)展。從市場(chǎng)競(jìng)爭(zhēng)的角度來(lái)看,隨著騰訊、字節(jié)跳動(dòng)等巨頭的加入,視頻生成大模型領(lǐng)域的競(jìng)爭(zhēng)將更加激烈?!?/p>

  大廠進(jìn)軍文生視頻

  “用戶只需要輸入一段描述即可生成視頻?!彬v訊混元相關(guān)負(fù)責(zé)人向記者說(shuō),目前的生成視頻支持中英文雙語(yǔ)輸入、多種視頻尺寸以及多種視頻清晰度。目前該模型已上線騰訊元寶APP,用戶可在AI應(yīng)用中的“AI視頻”板塊申請(qǐng)?jiān)囉?。企業(yè)客戶通過(guò)騰訊云提供服務(wù)接入,目前API(應(yīng)用程序接口)同步開(kāi)放內(nèi)測(cè)申請(qǐng)。

  騰訊方面介紹稱,騰訊混元生成視頻大模型可以實(shí)現(xiàn)超寫(xiě)實(shí)畫(huà)質(zhì)、生成高度符合提示詞的視頻畫(huà)面,畫(huà)面流暢不易變形。比如在沖浪、跳舞等大幅度運(yùn)動(dòng)畫(huà)面的生成中,騰訊混元可以生成流暢、合理的運(yùn)動(dòng)鏡頭,物體不易出現(xiàn)變形;光影反射基本符合物理規(guī)律,在鏡面或者照鏡子場(chǎng)景中,可以做到鏡面內(nèi)外動(dòng)作一致。同時(shí),模型還可以實(shí)現(xiàn)在畫(huà)面主角保持不變的情況下自動(dòng)切鏡頭,這是業(yè)界大部分模型目前所不具備的能力。

  據(jù)介紹,混元視頻生產(chǎn)模型基于跟Sora類(lèi)似的DiT架構(gòu),并在架構(gòu)設(shè)計(jì)上進(jìn)行多處升級(jí)?;煸曨l生成模型適配了新一代文本編碼器來(lái)提升語(yǔ)義遵循,其具備強(qiáng)大的語(yǔ)義跟隨能力,更好地應(yīng)對(duì)多個(gè)主體描繪,實(shí)現(xiàn)更加細(xì)致的指令和畫(huà)面呈現(xiàn);采用統(tǒng)一的全注意力機(jī)制,使得每幀視頻的銜接更為流暢,并能實(shí)現(xiàn)主體一致的多視角鏡頭切換;通過(guò)先進(jìn)的圖像視頻混合VAE(3D變分編碼器),讓模型在細(xì)節(jié)表現(xiàn)上有明顯提升,特別是人臉、高速鏡頭等場(chǎng)景。

  記者采訪字節(jié)跳動(dòng)方面關(guān)于其文生視頻產(chǎn)品的最新進(jìn)展及未來(lái)發(fā)展相關(guān)問(wèn)題,截至發(fā)稿前,對(duì)方尚未回復(fù)。其公開(kāi)資料顯示,今年9月底,字節(jié)跳動(dòng)發(fā)布豆包模型家族的兩款視頻生成模型Pixeldance和Seaweed,并通過(guò)即夢(mèng)AI、火山引擎分別面向創(chuàng)作者和企業(yè)客戶小范圍邀測(cè)。當(dāng)PixelDance生成10秒視頻時(shí),切換鏡頭3—5次的效果最佳,場(chǎng)景和角色能保持很好的一致性。通過(guò)小幅度、漸進(jìn)式的提示詞描述,PixelDance能生成魔術(shù)般的特效。此外,用戶還可使用時(shí)序提示詞、長(zhǎng)鏡頭等技巧,增強(qiáng)視頻的復(fù)雜度和表現(xiàn)力,對(duì)劇情創(chuàng)作有幫助。

  Seaweed模型則在圖生視頻場(chǎng)景體現(xiàn)出較好的首幀一致性,可以保持與用戶輸入圖的一致性、色彩等細(xì)節(jié)還原,實(shí)現(xiàn)大幅度運(yùn)動(dòng)畫(huà)面流暢自然,具有視覺(jué)美感和真實(shí)感。

  據(jù)了解,字節(jié)跳動(dòng)在文生視頻方面也是采用了DiT架構(gòu),在大幅度運(yùn)動(dòng)畫(huà)面表現(xiàn)流暢自然。經(jīng)過(guò)剪映、即夢(mèng)AI等業(yè)務(wù)場(chǎng)景打磨和持續(xù)迭代,豆包視頻生成模型具備專業(yè)級(jí)的光影布局及色彩調(diào)和能力,畫(huà)面視覺(jué)具有美感和真實(shí)感。

  已成“混戰(zhàn)”局面

  東吳證券在今年8月發(fā)布的研報(bào)里提到,在AI滲透率為15%的中性假設(shè)下,中國(guó)AI視頻生成行業(yè)的潛在空間為3178億元;在全AI模式下,電影、長(zhǎng)劇、動(dòng)畫(huà)片和短劇的制作成本,相較傳統(tǒng)模式將下降超95%。

  除了騰訊、字節(jié)跳動(dòng),國(guó)內(nèi)其他一些公司也在發(fā)力文生視頻。比如在10月舉行的“2024中國(guó)計(jì)算機(jī)大會(huì)”上,快手副總裁、大模型團(tuán)隊(duì)負(fù)責(zé)人張迪透露,自今年6月發(fā)布以來(lái),快手可靈AI已有超過(guò)360萬(wàn)用戶,累計(jì)生成3700萬(wàn)個(gè)視頻以及超過(guò)1億張圖片。11月8日,“AI六小龍”之一的智譜AI對(duì)其視頻生成工具清影進(jìn)行升級(jí)。更早之前,8月31日,MiniMax發(fā)布了其首款A(yù)I高清視頻生成模型技術(shù)abab-video-1。

  國(guó)外方面,12月10日凌晨,OpenAI宣布旗下視頻生成模型Sora正式面向大眾推出。自今年2月首次預(yù)告以來(lái),Sora僅向一些藝術(shù)家、知名演員和導(dǎo)演提供試用服務(wù),但遲遲未上線,吊足大眾胃口。如今正式落地,引發(fā)關(guān)注。

  與上一個(gè)版本相比,此次的Sora Turbo支持生成1080p分辨率、最長(zhǎng)20秒的視頻,在時(shí)長(zhǎng)上有明顯增長(zhǎng)。更大的亮點(diǎn)在于它提供“編輯”服務(wù),除了單純的文生視頻、圖生視頻、視頻生視頻外,用戶還可以通過(guò)指令實(shí)現(xiàn)視頻重混、重新剪輯、循環(huán)、混合等功能,更像是一個(gè)加強(qiáng)版的視頻編輯器。

  早在Sora發(fā)布之前,2023年1月起,Runway、Genmo、英偉達(dá)、Pika等海外公司都發(fā)布了AI 視頻生成和多模態(tài)技術(shù)產(chǎn)品。而隨著Sora爆火,AI+視頻技術(shù)和產(chǎn)品正在迅猛升級(jí)迭代,諸如電影、廣告、視頻剪輯、視頻流媒體平臺(tái)、UGC(用戶生成內(nèi)容)創(chuàng)作平臺(tái)、短視頻綜合平臺(tái)等眾多行業(yè)有望受益。

  業(yè)內(nèi)人士認(rèn)為,與創(chuàng)業(yè)公司相比,騰訊、字節(jié)跳動(dòng)這種大廠數(shù)據(jù)等資源比較豐富,又有流量支持,商業(yè)化進(jìn)程會(huì)比較快一些。

  江瀚向記者說(shuō),這種競(jìng)爭(zhēng)不僅體現(xiàn)在技術(shù)層面,還體現(xiàn)在應(yīng)用場(chǎng)景的拓展和商業(yè)化模式的探索上。目前,雖然視頻生成技術(shù)還未到大規(guī)模商用的階段,但騰訊、字節(jié)跳動(dòng)已經(jīng)看到了其在工業(yè)級(jí)商業(yè)場(chǎng)景中的應(yīng)用潛力,如廣告宣傳、動(dòng)畫(huà)制作、創(chuàng)意視頻生成等。隨著技術(shù)的不斷成熟和應(yīng)用場(chǎng)景的拓展,視頻生成大模型將成為企業(yè)數(shù)字化轉(zhuǎn)型和智能化升級(jí)的重要工具,市場(chǎng)前景廣闊。

  今年6月,繼好萊塢編劇在大罷工中要求限制AI撰寫(xiě)劇本之后,代表好萊塢演員權(quán)益的美國(guó)電視和廣播藝人聯(lián)合會(huì)(SAG-AFTRA)表示,AI在影視行業(yè)確有用武之地,但必須在演員同意并付費(fèi)的前提下使用,譬如在計(jì)算機(jī)生成的動(dòng)作、表情捕捉畫(huà)面上,“AI應(yīng)該是輔助、增強(qiáng)人類(lèi),而不是取代人類(lèi)”。

  文生視頻技術(shù)的進(jìn)步,為內(nèi)容創(chuàng)作、產(chǎn)業(yè)升級(jí)帶來(lái)了積極影響,同時(shí)也為市場(chǎng)發(fā)展提供了巨大的空間。隨著產(chǎn)品的進(jìn)一步迭代升級(jí),文生視頻有望在細(xì)分領(lǐng)域內(nèi)容創(chuàng)作過(guò)程中大大提升效率,加速優(yōu)質(zhì)供給產(chǎn)出,為各細(xì)分行業(yè)帶來(lái)新的機(jī)會(huì)。

你可能想看:

轉(zhuǎn)載請(qǐng)注明來(lái)自浮筒閥_自控截污裝置_樓宇雨污分流器,本文標(biāo)題:《文生視頻“混戰(zhàn)”:騰訊、字節(jié)紛紛入局》

百度分享代碼,如果開(kāi)啟HTTPS請(qǐng)參考李洋個(gè)人博客
每一天,每一秒,你所做的決定都會(huì)改變你的人生!

發(fā)表評(píng)論

快捷回復(fù):

評(píng)論列表 (暫無(wú)評(píng)論,43人圍觀)參與討論

還沒(méi)有評(píng)論,來(lái)說(shuō)兩句吧...

Top