首個(gè)超大規(guī)模人工智能模型“悟道1.0”啟動(dòng)4個(gè)大模型開(kāi)發(fā)

來(lái)源:科技日?qǐng)?bào)

人工智能可以分為幾個(gè)發(fā)展階段:基于數(shù)據(jù)的互聯(lián)網(wǎng)時(shí)代、基于算力的云計(jì)算時(shí)代,以及接下來(lái)可能將進(jìn)入的基于模型的AI時(shí)代,這相當(dāng)于把數(shù)據(jù)提升為超大規(guī)模預(yù)訓(xùn)練模型。未來(lái),研究人員可以直接在云模型上進(jìn)行微調(diào),很多公司甚至不用維護(hù)自己的算法研發(fā)團(tuán)隊(duì),只需要應(yīng)用工程師即可。

寫(xiě)小說(shuō)、和人聊天、設(shè)計(jì)網(wǎng)頁(yè)、編寫(xiě)吉他曲譜……號(hào)稱(chēng)迄今為止最“全能”的AI模型GPT-3,當(dāng)然遠(yuǎn)遠(yuǎn)不止會(huì)這些。作為2020年人工智能領(lǐng)域最驚艷的模型之一,GPT-3無(wú)疑把超大規(guī)模預(yù)訓(xùn)練模型的熱度推向了新高。

3月下旬,我國(guó)首個(gè)超大規(guī)模人工智能模型“悟道1.0”發(fā)布,該模型由智源學(xué)術(shù)副院長(zhǎng)、清華大學(xué)教授唐杰領(lǐng)銜,帶領(lǐng)來(lái)自清華大學(xué)、北京大學(xué)、中國(guó)人民大學(xué)、中國(guó)科學(xué)院等單位的100余位AI科學(xué)家組成聯(lián)合攻關(guān)團(tuán)隊(duì),取得了多項(xiàng)國(guó)際領(lǐng)先的AI技術(shù)突破,形成了超大規(guī)模智能模型訓(xùn)練技術(shù)體系,訓(xùn)練出包括中文、多模態(tài)、認(rèn)知和蛋白質(zhì)預(yù)測(cè)在內(nèi)的系列超大模型。

已啟動(dòng)4個(gè)大模型開(kāi)發(fā)

據(jù)悉,“悟道1.0”先期啟動(dòng)了4個(gè)大模型研發(fā)項(xiàng)目:以中文為核心的超大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型文源、超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型文瀾、超大規(guī)模蛋白質(zhì)序列預(yù)測(cè)預(yù)訓(xùn)練模型文溯,以及面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型文匯。

唐杰介紹,文源擁有26億參數(shù),文瀾則為10億,文溯是2.8億,文匯則達(dá)到了百億以上。雖然相對(duì)于GPT-3的1750億參數(shù)而言還有差距,但“接下來(lái)會(huì)有更大的模型”。

目前,文源模型參數(shù)量達(dá)26億,具有識(shí)記、理解、檢索、數(shù)值計(jì)算、多語(yǔ)言等多種能力,并覆蓋開(kāi)放域回答、語(yǔ)法改錯(cuò)、情感分析等20種主流中文自然語(yǔ)言處理任務(wù),在中文生成模型中達(dá)到了領(lǐng)先的效果。

“目前這些模型既有一些交集,但也存在明顯差異。文源的重點(diǎn)是在中文和跨語(yǔ)言,未來(lái)也會(huì)加入知識(shí);文瀾的重點(diǎn)主要是圖文;文匯則更多地瞄向認(rèn)知。”唐杰表示,認(rèn)知是人工智能技術(shù)發(fā)展的趨勢(shì)和目標(biāo),關(guān)系到機(jī)器是否能像人一樣思考這個(gè)終極問(wèn)題。

“下一代人工智能技術(shù)的發(fā)展方向一定是認(rèn)知。”據(jù)唐杰介紹,在作詩(shī)任務(wù)中,目前文匯已經(jīng)通過(guò)了圖靈測(cè)試。從算法的角度上來(lái)看,文匯能通過(guò)圖靈測(cè)試的關(guān)鍵在于“生成”,而不僅僅限于“匹配”,這種生成能力是多樣的。

被問(wèn)及為何會(huì)選擇這4個(gè)預(yù)訓(xùn)練模型項(xiàng)目時(shí),唐杰說(shuō),這是綜合考慮了國(guó)內(nèi)外同行的相關(guān)工作、國(guó)內(nèi)人工智能發(fā)展的現(xiàn)狀、團(tuán)隊(duì)人員構(gòu)成、北京區(qū)域優(yōu)勢(shì)等作出的決定。“當(dāng)時(shí)GPT-3剛發(fā)布不久,悟道團(tuán)隊(duì)認(rèn)為首先要對(duì)標(biāo)其卓越的少樣本學(xué)習(xí)能力,同時(shí)還要做出差異化,做短、中、長(zhǎng)3個(gè)階段的布局。于是,中文版GPT-3即清源CPM(文源的前身)應(yīng)運(yùn)而生,這是短期布局。之后,文源要向中英文模型乃至多語(yǔ)言模型發(fā)展,這是中期布局。最后走向認(rèn)知智能,這是長(zhǎng)期布局。”唐杰說(shuō),與此同時(shí),國(guó)內(nèi)頂尖的企業(yè)人才、學(xué)術(shù)人才和自然科學(xué)人才所組成的團(tuán)隊(duì)給了項(xiàng)目巨大的想象空間。

大模型有大智慧

自2018年谷歌發(fā)布BERT以來(lái),預(yù)訓(xùn)練模型逐漸成為自然語(yǔ)言處理(NLP)領(lǐng)域的主流。

2020年5月,OpenAI發(fā)布了擁有1750億參數(shù)量的預(yù)訓(xùn)練模型GPT-3。作為一個(gè)語(yǔ)言生成模型,GPT-3不僅能夠生成流暢自然的文本,還能完成問(wèn)答、翻譯、創(chuàng)作小說(shuō)等一系列NLP任務(wù),甚至可以進(jìn)行簡(jiǎn)單的算術(shù)運(yùn)算,并且其能在很多任務(wù)上都超越相關(guān)領(lǐng)域的專(zhuān)有模型。

以GPT-3為代表的超大規(guī)模預(yù)訓(xùn)練模型,不僅以絕對(duì)的數(shù)據(jù)和算力優(yōu)勢(shì)取代了一些小的算法模型,更重要的是,它展示了一條通向通用人工智能的可能路徑。在此背景下,建設(shè)國(guó)內(nèi)的超大規(guī)模預(yù)訓(xùn)練模型和生態(tài)勢(shì)在必行。

在唐杰看來(lái),為了提高機(jī)器學(xué)習(xí)算法的效率,改變傳統(tǒng)的行業(yè)布局,過(guò)去幾年,大家拼命做模型,導(dǎo)致模型越做越多。然而,一般的模型訓(xùn)練效果并不如人意,花了大量財(cái)力精力卻達(dá)不到理想的訓(xùn)練效果,“為了優(yōu)化效果、提高精度,模型越來(lái)越復(fù)雜,數(shù)據(jù)越來(lái)越大,很多公司的能力不足以應(yīng)對(duì)這種狀況,效率越來(lái)越低。”唐杰舉了個(gè)例子,小煉鋼廠往往條件簡(jiǎn)陋,能煉鋼,但質(zhì)量不好。大煉鋼廠買(mǎi)得起設(shè)備、花得起電費(fèi),煉出的鋼質(zhì)量就好,大模型就是大煉鋼廠,它可以獲得大量數(shù)據(jù),并把數(shù)據(jù)清洗干凈,提升算力,滿(mǎn)足要求。

與此同時(shí),“小模型可能只需要幾個(gè)老師和學(xué)生就能完成算法的設(shè)計(jì),但是大模型的每一層都要找專(zhuān)人來(lái)做,這樣可以把模型的設(shè)計(jì)和訓(xùn)練精細(xì)化,模型設(shè)計(jì)也從單打獨(dú)斗變成了眾人拾柴。”唐杰說(shuō)。

小團(tuán)隊(duì)將成最大受益者

據(jù)唐杰透露,團(tuán)隊(duì)目前正在跟北京冬奧會(huì)合作,開(kāi)發(fā)可通過(guò)文本自動(dòng)轉(zhuǎn)成手語(yǔ)的模型,“醫(yī)療方面我們的主要方向是癌癥早篩,如上傳乳腺癌圖像,找到乳腺癌相關(guān)預(yù)測(cè)亞類(lèi),通過(guò)影像識(shí)別宮頸癌亞類(lèi)等。”

而談到“悟道1.0”的發(fā)展,唐杰坦言,目前還存在需要持續(xù)攻關(guān)的問(wèn)題。一是模型能否持續(xù)學(xué)習(xí)的問(wèn)題,即能否不斷地從新樣本中學(xué)習(xí)新的知識(shí),并能保存大部分以前已經(jīng)學(xué)習(xí)到的知識(shí)。就目前來(lái)看模型還需要調(diào)整,其效果還有待加強(qiáng);二是面對(duì)一些復(fù)雜問(wèn)題,目前模型還無(wú)法回答;三是萬(wàn)億級(jí)模型的實(shí)用問(wèn)題,即如何在保證精度的同時(shí)壓縮模型,從而能讓用戶(hù)低成本地使用。

“這是一個(gè)全新的產(chǎn)業(yè)模式。原來(lái)大家數(shù)據(jù)上云、算力上云,現(xiàn)在模型上云。”唐杰說(shuō)。

他認(rèn)為,人工智能可以分為幾個(gè)發(fā)展階段:基于數(shù)據(jù)的互聯(lián)網(wǎng)時(shí)代、基于算力的云計(jì)算時(shí)代,以及接下來(lái)可能將進(jìn)入的基于模型的AI時(shí)代,這相當(dāng)于把數(shù)據(jù)提升為超大規(guī)模預(yù)訓(xùn)練模型。未來(lái),研究人員可以直接在云模型上進(jìn)行微調(diào),很多公司甚至不用維護(hù)自己的算法研發(fā)團(tuán)隊(duì),只需要應(yīng)用工程師即可。

唐杰表示,隨著超大規(guī)模預(yù)訓(xùn)練模型系統(tǒng)的開(kāi)放,小團(tuán)隊(duì)是最大的受益者,大家不必從零開(kāi)始,預(yù)訓(xùn)練基線(xiàn)智能水大幅提升,臺(tái)多樣化、規(guī)?;?,大家在云上可以找到自己所需的模型,剩下的就是對(duì)行業(yè)、對(duì)場(chǎng)景的理解。這將給AI應(yīng)用創(chuàng)新帶來(lái)全新的局面。

唐杰透露,“悟道1.0”只是一個(gè)階段的成果,今年6月將會(huì)有一個(gè)規(guī)模更大、水更高的智慧模型發(fā)布。屆時(shí),模型規(guī)模會(huì)有實(shí)質(zhì)的進(jìn)展:模型會(huì)在更多任務(wù)上突破圖靈測(cè)試,其應(yīng)用臺(tái)的效果也會(huì)更加讓人期待。(崔 爽)

標(biāo)簽: 人工智能模型 悟道1

推薦

財(cái)富更多》

動(dòng)態(tài)更多》

熱點(diǎn)