1號(hào)鮮花

首頁 > 新聞動(dòng)態(tài)

Sora沖擊波引領(lǐng)文生視頻新浪潮 多模態(tài)人工智能加速行業(yè)賦能步伐

2024-02-24

 小勐拉99廳客服: “我們接觸到的專業(yè)電影制造人對(duì)Sora很興奮,都是持開放擁抱的態(tài)度,希望能用好這個(gè)工具進(jìn)步消費(fèi)力?!?從事LED虛擬拍攝的業(yè)內(nèi)人士向證券時(shí)報(bào)記者表示,Sora能讓電影制造前期創(chuàng)意環(huán)節(jié)的周期從過往數(shù)月以至數(shù)年,縮減到數(shù)天,但并不認(rèn)同Sora將讓電影剪輯師這些從業(yè)者“原地”失業(yè)的說法,更多是賦能。

  從2023年開端,多模態(tài)大模型開端嶄露頭角,文生視頻并非新事物,還呈現(xiàn)了Runway、Pika等現(xiàn)象級(jí)產(chǎn)品,但人工智能巨頭OpenAI在2024年2月發(fā)布的首款視頻生成模型Sora,則可謂樹立起“世界模型”的標(biāo)桿,將人工智能對(duì)真實(shí)物理世界的建模和預(yù)測(cè)推向了新高度,也引發(fā)對(duì)通用人工智能進(jìn)化速度以及技術(shù)應(yīng)用前景與應(yīng)戰(zhàn)的熱烈討論。證券時(shí)報(bào)記者采訪發(fā)現(xiàn),不只影視、游戲等內(nèi)容創(chuàng)作行業(yè)公司積極應(yīng)用相關(guān)文生智能技術(shù)停頓,無人駕駛、醫(yī)療醫(yī)藥、生物制藥等范疇也在加速援用新興人工智能技術(shù)。

  構(gòu)建“世界模型”

  “繼文本、圖像之后,Sora的降生意味著可以樹立起了解和模仿理想世界的模型,是AGI完成的重要里程碑?!?nbsp;萬興科技(105.600, 2.76, 2.68%)AI創(chuàng)新中心總經(jīng)理齊鏜泉表示。

  據(jù)引見,Sora底層采用了游戲、無人駕駛和機(jī)器人(10.820, 0.28, 2.66%)范疇考證的世界模型,構(gòu)建文生視頻模型,到達(dá)模仿世界的才能。雖然Sora并非完成0到1的創(chuàng)新,但無論從文本到視頻生成才能、多鏡頭生成才能等呈現(xiàn)的效果,都展示了新高度。不過,Sora在處置更復(fù)雜的物理現(xiàn)象時(shí)可能會(huì)遇到艱難,在處置長(zhǎng)期依賴關(guān)系上仍存在應(yīng)戰(zhàn),比方堅(jiān)持時(shí)間上的分歧性和邏輯性。還有處置空間細(xì)節(jié)方面可能不夠準(zhǔn)確,可能影響到視頻內(nèi)容的精確性和可信度。

  歸結(jié)起來,當(dāng)代人工智能應(yīng)用的新陳代謝,總是逃不過“鼎力出奇觀”的算力堆疊邏輯。不過,有觀念指出,Sora背后算力并非那么重要,而且其模型范圍小于預(yù)期。

  國(guó)產(chǎn)芯片企業(yè)擔(dān)任人向證券時(shí)報(bào)記者表示,Sora尚未開放測(cè)試,因而很多技術(shù)細(xì)節(jié)尚不明白,但依據(jù)已有的信息能夠看到,Sora的模型范圍并不大,以至遠(yuǎn)小于預(yù)期,它是經(jīng)過一種十分創(chuàng)新的方式,以較低算力資源完成視頻語料的鍛煉。因而,Sora的這種架構(gòu)對(duì)算力的需求,并不是簡(jiǎn)單地請(qǐng)求更高的算力,而是可能在帶寬以及其他方面有共同的請(qǐng)求。

  “只能說Sora相關(guān)于GPT-4范圍小點(diǎn),” 云從科技(14.640, 0.61, 4.35%)戰(zhàn)略技術(shù)總監(jiān)溫浩向記者引見,得益于OpenAI開發(fā)了一個(gè)網(wǎng)絡(luò),減少視覺數(shù)據(jù)的維度,這個(gè)網(wǎng)絡(luò)能夠承受原始視頻作為輸入,并輸出一個(gè)在時(shí)間上和空間上都停止了緊縮的潛表征。Sora在這個(gè)緊縮后的潛空間中停止鍛煉,之后用于生成視頻。所以Sore范圍沒有GPT-4大,但至少是比深度學(xué)習(xí)模型DALL-E至少大數(shù)倍范圍。

  業(yè)內(nèi)專家普遍以為,相比以往文生視頻應(yīng)用,Sora中心技術(shù)打破還表現(xiàn)在擴(kuò)散模型和言語模型相分離(Diffusion Transformer)。

  在傳統(tǒng)的Diffusion擴(kuò)散模型中,數(shù)據(jù)的生成過程模仿了隨機(jī)噪聲逐步消逝的過程,使得模型能夠從純?cè)肼曋兄饾u復(fù)原出明晰的數(shù)據(jù)(例如圖像);Transformer則以其強(qiáng)大的全局留意力機(jī)制而著稱,特別擅優(yōu)點(diǎn)理序列數(shù)據(jù),曾經(jīng)證明可以在自然言語處置任務(wù)中獲得宏大勝利,兩者分離可應(yīng)用于圖像生成、視頻生成以及其他需求處置高維度數(shù)據(jù)的任務(wù)中。

  “從鍛煉上看,Sora儉省了從樣本轉(zhuǎn)化規(guī)范化樣本的步驟,從效果上看,Sora能夠生成60秒的超長(zhǎng)長(zhǎng)度視頻,同時(shí)在3D分歧性、遠(yuǎn)間隔相干性等視頻范疇相比以往文生視頻有了顯著提升,”云岫資本副總裁俞楓向證券時(shí)報(bào)記者表示,目前還沒有關(guān)于Sora的鍛煉推理的算力耗費(fèi)的詳細(xì)數(shù)據(jù),但是視頻的算力需求相比文字會(huì)是幾個(gè)數(shù)量級(jí)的提升,至少應(yīng)當(dāng)是數(shù)千張H卡級(jí)別的算力集群;算法層面經(jīng)過Diffusion擴(kuò)散模型+ Transformer模型的交融與優(yōu)化,完成了生成視頻過程中的分歧性。

  另一方面,Sora類應(yīng)用對(duì)芯片層面也提出更高請(qǐng)求。

  俞楓指出,由于數(shù)據(jù)量和復(fù)雜度的提升,Sora類應(yīng)用關(guān)于芯片的算力和銜接都提出了更高的請(qǐng)求,將來特地面向視頻處置的算力芯片有時(shí)機(jī)會(huì)取得模型廠商的喜愛。

  前述芯片廠商擔(dān)任人向記者表示,像AI算力芯片這樣的大范圍芯片,迭代周期通常在2~3年,遠(yuǎn)遠(yuǎn)慢于應(yīng)用側(cè)(AI模型層面)的迭代速度。因而關(guān)于芯片企業(yè)而言,假如想要緊跟趨向抓住應(yīng)用機(jī)遇,一方面是需求打造軟件平臺(tái),讓現(xiàn)有產(chǎn)品可以盡快適配全新的應(yīng)用需求;并且能在下一代產(chǎn)品中可以前瞻性地預(yù)見到一些市場(chǎng)趨向帶來的技術(shù)需求,提早在設(shè)計(jì)中規(guī)劃進(jìn)去。

  擁抱推翻式工具

  近期有市場(chǎng)音訊稱,字節(jié)跳動(dòng)在Sora引爆文生視頻賽道之前,已在研發(fā)一款名為“Boximator”的創(chuàng)新性視頻模型,相當(dāng)于中文版Sora。

  對(duì)此,字節(jié)跳動(dòng)相關(guān)人士回應(yīng)證券時(shí)報(bào)記者表示,Boximator只是視頻生成范疇控制對(duì)象運(yùn)動(dòng)的技術(shù)辦法研討項(xiàng)目,目前還無法作為完善的產(chǎn)品落地,間隔國(guó)外搶先的視頻生成模型在畫面質(zhì)量、保真率、視頻時(shí)長(zhǎng)等方面還有很大差距。

  雖然海內(nèi)外文生視頻的技術(shù)程度尚有差別,業(yè)內(nèi)普遍預(yù)測(cè),2024年人工智能向多模態(tài)模型演化將成為重要的趨向,即模型可以處置和整合來自不同模態(tài)(例如文本、圖像、視頻、音頻等)的數(shù)據(jù)。Sora的呈現(xiàn)更是將全球眼光聚焦于視頻生成范疇,有望大幅降低短視頻等內(nèi)容創(chuàng)作門檻。記者采訪留意到,視頻、游戲、動(dòng)畫等創(chuàng)作公司曾經(jīng)表態(tài)親密關(guān)注Sora和積極規(guī)劃相關(guān)文生視頻應(yīng)用。

  盛趣游戲藝術(shù)專家委員會(huì)執(zhí)行主席、美術(shù)中心美術(shù)總監(jiān)林蕤向證券時(shí)報(bào)記者表示,Sora潛力遠(yuǎn)超影片生成工具的范圍,公司對(duì)AI視頻生成技術(shù)接入實(shí)踐研發(fā)管線堅(jiān)持悲觀。據(jù)引見,盛趣游戲從2023年開端就在努力推進(jìn)AIGC視頻生成工具在游戲過場(chǎng)動(dòng)畫、角色形象表現(xiàn)、作風(fēng)轉(zhuǎn)化、動(dòng)效表現(xiàn)等方面的落地應(yīng)用并為之建立對(duì)應(yīng)的消費(fèi)管線。

  偉人網(wǎng)絡(luò)(10.550, 0.06, 0.57%)擔(dān)任人也向證券時(shí)報(bào)記者表示:“公司在積極規(guī)劃多模態(tài)大模型范疇,聚焦游戲垂類創(chuàng)作場(chǎng)景,重點(diǎn)對(duì)AI視頻生成、3D模型生成算法的穩(wěn)定性、可控性停止深化研討與探究。公司已將自研AI視頻作風(fēng)遷移技術(shù)普遍應(yīng)用于研運(yùn)環(huán)節(jié),賦能內(nèi)容創(chuàng)意表達(dá)?!?/span>

  玄機(jī)科技是國(guó)內(nèi)最早嘗試運(yùn)用AI到實(shí)踐動(dòng)畫制造流程中的動(dòng)畫制造公司,玄機(jī)科技董事長(zhǎng)沈樂平承受證券時(shí)報(bào)記者采訪時(shí)表示,Sora固然只能生成1分鐘的視頻,但無疑在視頻內(nèi)容制造范疇開拓了新的可能性。

  “對(duì)傳統(tǒng)動(dòng)漫影視內(nèi)容制造來說,Sora能夠協(xié)助掩蓋動(dòng)畫制造流程的各個(gè)環(huán)節(jié),協(xié)助動(dòng)畫制造進(jìn)步制造效率、降低本錢并優(yōu)化流程。從去年開端,AIGC就曾經(jīng)對(duì)全球,特別是對(duì)我們行業(yè)產(chǎn)生很大沖擊。Sora的呈現(xiàn)更讓很多動(dòng)畫人擔(dān)憂本人會(huì)被AI取代。AIGC簡(jiǎn)直能夠介入動(dòng)畫制造的各個(gè)流程,將來還會(huì)不時(shí)進(jìn)化,將來可能動(dòng)畫各個(gè)環(huán)節(jié)都會(huì)交融AI來制造?!鄙驑菲秸f。

  多家上市公司也紛繁表示關(guān)注和規(guī)劃新興AI文生視頻技術(shù)平臺(tái)機(jī)遇。

  洲明科技(6.620, 0.51, 8.35%)作為A股LED虛擬拍攝頭部上市公司,曾經(jīng)提出了LED+AI戰(zhàn)略,在光顯行業(yè)成為首個(gè)取得微軟獨(dú)立軟件開發(fā)商(ISV)認(rèn)證的企業(yè),同時(shí)取得了OpenAI官方接入答應(yīng)。洲明科技集團(tuán)內(nèi)容創(chuàng)意執(zhí)行總裁、副總裁劉俊向證券時(shí)報(bào)記者預(yù)測(cè),隨同Sora類應(yīng)用降低專業(yè)門檻和屏幕本錢,虛擬拍攝將從當(dāng)前工業(yè)級(jí)市場(chǎng)拓展到寬廣的企業(yè)級(jí)和消費(fèi)級(jí)市場(chǎng)。將來一旦Sora對(duì)外開放接口,洲明科技有望第一時(shí)間運(yùn)用到全球最先進(jìn)的視頻生成技術(shù)。

  芒果超媒(24.150, 0.26, 1.09%)在互動(dòng)平臺(tái)表示,公司高度注重各類AI技術(shù)的研發(fā)和應(yīng)用,對(duì)以Sora為代表的新興AI文生視頻技術(shù)平臺(tái)堅(jiān)持親密關(guān)注。此前,公司曾經(jīng)組建了AIGC創(chuàng)新應(yīng)用團(tuán)隊(duì),研發(fā)上線“AIGC HUB”等內(nèi)部應(yīng)用平臺(tái),將AIGC技術(shù)普遍應(yīng)用于媒資運(yùn)營(yíng)、廣告投放、會(huì)員互動(dòng)、視頻剪輯、內(nèi)容消費(fèi)等業(yè)務(wù)場(chǎng)景。后續(xù),公司將積極探究文生視頻等新興AI技術(shù)在傳媒范疇的落地應(yīng)用與業(yè)態(tài)創(chuàng)新。

  讀者傳媒(5.560, 0.25, 4.71%)在互動(dòng)平臺(tái)表示,目前,公司已嘗試經(jīng)過人工智能生成文章并編輯創(chuàng)作構(gòu)成數(shù)字內(nèi)容作品,經(jīng)過人工智能創(chuàng)作雜志封面等。公司也在積極探究人工智能賦能“讀者”品牌,嘗試開發(fā)AI應(yīng)用產(chǎn)品。將來,公司將繼續(xù)積極探究本身品牌優(yōu)勢(shì)、內(nèi)容優(yōu)勢(shì)與前沿科技深度交融,努力完成傳統(tǒng)文化企業(yè)的創(chuàng)新。

  創(chuàng)源股份(8.610, 0.46, 5.64%)也在互動(dòng)平臺(tái)上表示對(duì)以Sora為代表的新興AI文生視頻技術(shù)平臺(tái)堅(jiān)持親密關(guān)注,目前公司曾經(jīng)組建了AIGC創(chuàng)新應(yīng)用團(tuán)隊(duì);國(guó)投智能(16.250, 0.65, 4.17%)表示,公司的AI-3300“慧眼”視頻圖像鑒真工作站,支持Sora的生成視頻辨認(rèn)和審定,公司親密關(guān)注相關(guān)技術(shù)的開展,將依據(jù)市場(chǎng)需求狀況,適時(shí)研發(fā)并規(guī)劃相關(guān)產(chǎn)品和效勞。

  用戶危機(jī)與行業(yè)賦能

  相比內(nèi)容創(chuàng)作環(huán)節(jié)積極擁抱Sora,傳統(tǒng)編輯工具類應(yīng)用恐遭受用戶流失危機(jī)。有接近快手的人士剖析以為,現(xiàn)有的短視頻分為兩類,一類由真人出鏡帶來的“中心資產(chǎn)”,Sora沖擊或不大;另一類由素材匯合而成,考驗(yàn)拍攝、創(chuàng)意才能,Sora對(duì)此類型影響更大。

  美股中,Adobe成為遭受Sora收割的“重災(zāi)區(qū)”。在2月16日Sora問世當(dāng)天,公司股價(jià)大跌7.41%,雖然公司方案推出AI助手,協(xié)助生成PDF和其他文檔摘要,并研討視頻模型,但2月以來公司股價(jià)累計(jì)跌幅接近13%,回吐到去年11月程度。

  萬興科技打造中國(guó)版Adobe,公司副總裁朱偉則向證券時(shí)報(bào)記者表示,Adobe的業(yè)務(wù)是為內(nèi)容制造者提供工具戰(zhàn)爭(zhēng)臺(tái),只需不到經(jīng)過文字輸入就能直接生成電影的那天,對(duì)Adobe的影響應(yīng)該就不會(huì)太大;而且關(guān)于萬興科技而言,有了文生視頻功用后,更多人能參與創(chuàng)作視頻,那么視頻的二次編輯是必不可少的,對(duì)工具的需務(wù)實(shí)際上會(huì)更多。

  另一方面,更外鄉(xiāng)化的數(shù)據(jù)、算力本地規(guī)劃、更外鄉(xiāng)化的應(yīng)用將成為大勢(shì)所趨。朱偉指出, Sora在關(guān)于含中國(guó)元素和對(duì)中文的了解上,相對(duì)英文表現(xiàn)會(huì)偏弱。在全球來看,盤繞中國(guó)外鄉(xiāng)的數(shù)據(jù)量并不算多,數(shù)據(jù)清洗、標(biāo)注方面也缺乏共同規(guī)范,換個(gè)角度來看,這也將是一個(gè)“彎道超車”的時(shí)機(jī)。

  齊鏜泉也表示,將來的AIGC軟件生態(tài)將相當(dāng)于“若干大模型+海量小應(yīng)用”。Sora作為視覺數(shù)據(jù)通用大模型的代表,有望成為視頻創(chuàng)作類軟件的根底設(shè)備之一,有望與萬興科技的天幕一同加速賦能數(shù)字創(chuàng)意軟件應(yīng)用。據(jù)引見,天幕是音視頻多媒體創(chuàng)作垂類大模型,由視頻大模型、音頻大模型、圖片大模型、言語大模型組成。除文生視頻外,天幕當(dāng)前已迭代文生3D視頻、視頻AI配樂、數(shù)字人(13.810, -0.05, -0.36%)播報(bào)等近百項(xiàng)音視頻原子才能。

  Sora帶來改動(dòng)不會(huì)僅停留在內(nèi)容創(chuàng)作范疇。三六零(8.050, 0.13, 1.64%)董事長(zhǎng)周鴻祎表示,有了大模型技術(shù)作為根底,再加上人類學(xué)問的引導(dǎo),能夠發(fā)明各個(gè)范疇的超級(jí)工具,例如在生物醫(yī)學(xué)、蛋白質(zhì)、基因研討,包括物理、化學(xué)、數(shù)學(xué)的學(xué)科研討范疇。

  其中,無人駕駛成為業(yè)內(nèi)比擬公認(rèn)的代表性場(chǎng)景。

  數(shù)字孿生平臺(tái)公司51WORLD的AI研發(fā)專家侯濤向證券時(shí)報(bào)記者表示,從場(chǎng)景生成的角度來看,Sora是有助于自動(dòng)駕駛仿真業(yè)務(wù)的,同時(shí),相似模型如何可以“腦補(bǔ)”生成仿真場(chǎng)景,依然需求大量的數(shù)據(jù),特別是高質(zhì)量的3D合成數(shù)據(jù)鍛煉,這將需求以深度學(xué)習(xí)為框架鍛煉后,千億以至萬億權(quán)重和偏置等參數(shù)結(jié)合運(yùn)算來表現(xiàn)。

  從現(xiàn)階段來看,這些模型的可控制性和易編輯性,以及AI大模型的邏輯推理機(jī)制提醒等方面,才剛剛起步,將來需求更多高質(zhì)量數(shù)據(jù)和更先進(jìn)的AI架構(gòu)與算法來迭代完善。 據(jù)理解,目前在51WORLD公司內(nèi)部,已經(jīng)過AIGC技術(shù),基于自然言語或草圖輸入等,停止了系統(tǒng)框架搭建立計(jì)、界面與算法代碼編寫、文檔撰寫、材質(zhì)貼圖制造,以至3D單體模型新建等工作。這些新興人工智能技術(shù)的應(yīng)用,已較大幅進(jìn)步了公司的工作效率和成果產(chǎn)出。

  Sora等人工智能應(yīng)用為醫(yī)療醫(yī)藥、生物制藥等也帶來了潛在的革新。

  中國(guó)科學(xué)院院士、中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研討院副院長(zhǎng)鄭海榮在承受媒體采訪時(shí)表示,隨著分子醫(yī)學(xué)的開展,數(shù)據(jù)科學(xué)的開展,我們正面臨十分重要的革新時(shí)機(jī),這是在醫(yī)療器械范疇的新質(zhì)消費(fèi)力。Sora在與病人的交互,與診療技術(shù)的交互,還有大量的醫(yī)學(xué)培訓(xùn)等,將有大質(zhì)變革的時(shí)機(jī)。

  川寧生物(9.200, 0.45, 5.14%)2月22日晚間公告,子公司上海銳康生物與金珵科技在生成式AI輔助合成生物制造方面達(dá)成協(xié)作。其中,金珵科技為上海銳康生物提供AI輔助研發(fā)效勞,應(yīng)用生成式AI輔助提升代謝途徑中關(guān)鍵酶性能,用生成式AI預(yù)測(cè)復(fù)雜代謝途徑中的靶點(diǎn),從而提升終端小分子產(chǎn)品的效價(jià)、糖轉(zhuǎn)化率和時(shí)空轉(zhuǎn)化率,到達(dá)降本增效的目的。


在線客服系統(tǒng)