實踐項目 返回列表

大模型的未來趨勢與挑戰

2023/11/27 16:06:33

來源:科協之聲 

作(zuò)者:劉鋒


自2022年11月(yuè)(yuè)起,以ChatGPT爲典型代表的大模型在全球數字科技界引起了(le)極大關注。全球範圍内的大模型數量受其影響在不到一(yī)年的時間内就(jiù)已超過一(yī)百種。

未标題-1.jpg
截至2023年10月(yuè)(yuè),大模型技術已經步入了(le)快(kuài)速發展的階段。在中國,超過10種大模型已完成備案。其中,百度的文心大模型升級至4.0版本後,在理(lǐ)解、生(shēng)成、邏輯和記憶等四項核心能(néng)力上(shàng)均實現了(le)顯著的提升。與此同時,OpenAI的ChatGPT也(yě)經曆了(le)一(yī)次重大升級,除了(le)多模态視覺能(néng)力、DALL·E 3以及語音(yīn)合成API的開放(fàng)。最引人(rén)注目的升級是,爲每個用戶提供了(le)一(yī)種名爲GPTS的工具,使用戶能(néng)夠構建專屬的GPT模型。
微軟公司創始人(rén)比爾·蓋茨公開表示,自1980年首次看到圖形用戶界面以來,以GPT爲代表的大模型是他所見過的最具革命性的技術進步。對于大模型未來的産業發展趨勢和面臨的挑戰究竟如(rú)何,我們可以從三個方面進行探討(tǎo)。

未标題-2.jpg

其一(yī),人(rén)類種群知識庫從外化(huà)、索引化(huà)到智能(néng)化(huà)的三部曲。


     


我們在《崛起的超級智能(néng)》一(yī)書中提出,生(shēng)物的競争本質上(shàng)是種群知識庫的競争。在過去的幾億年裏,恐龍因爲滅絕導緻種群知識庫消失爲0,鲨魚一(yī)直保持在海洋中遊蕩,種群知識庫沒有發生(shēng)大的變化(huà),熊貓因爲趨于滅絕從而種群知識庫不斷萎縮。
隻有人(rén)類在近200萬年裏,在知識和智慧上(shàng)不斷擴展和加速,在最近數百年裏随着蒸汽機、工業革命、核能(néng)的出現,人(rén)類種群知識庫出現了(le)巨大的增長。特别是互聯網誕生(shēng)後,第一(yī)次将人(rén)類的種群知識庫外化(huà)成一(yī)個龐大的網絡知識庫,通過萬維網的發明進一(yī)步促使人(rén)類種群知識庫急劇擴容。表現在科技領域就(jiù)是21世紀大量新(xīn)科技新(xīn)概念不斷湧現。
未标題-3.jpg
面對海量的互聯網公共知識,如(rú)何索引就(jiù)成了(le)人(rén)類必須解決的重要課題。20世紀90年代,搜索引擎出現了(le)蓬勃發展,其中優秀和典型的代表分(fēn)别是谷歌(gē)和百度,它們成長背後的推動力也(yě)是人(rén)類種群知識庫發展的必然要求。
互聯網知識庫被索引之後,如(rú)何智能(néng)化(huà)也(yě)就(jiù)成爲了(le)一(yī)個重要議題。在過去的近30年裏,以谷歌(gē)、百度爲代表的搜索引擎公司加大了(le)智能(néng)化(huà)的步伐,人(rén)工智能(néng)的興起也(yě)與此有密切的關系。
2022年OpenAI的ChatGPT成功引發了(le)大模型的興起,标志着互聯網這個外化(huà)的人(rén)類種群知識庫完成了(le)從索引化(huà)到智能(néng)化(huà)的轉變。但(dàn)不能(néng)忘記的是,OpenAI ChatGPT的成功離不開谷歌(gē)提出的Transformer注意力機制模型,也(yě)離不開微軟通過Bing搜索引擎提供的海量數據和巨大資金(jīn)支持。
從搜索引擎的發展看,通過激烈的競争,搜索引擎最終形成了(le)若幹個巨頭公司爲人(rén)類提供互聯網海量數據的索引服務,同樣我們認爲作(zuò)爲搜索引擎的升級版,人(rén)類社會也(yě)不需要很多大模型提供同質的服務。我們判斷包括搜索引擎、大數據、社交網絡等領域擁有優質大數據、人(rén)工智能(néng)技術積累和廣泛應用場景的公司中,在未來的競争中會脫穎而出一(yī)家或若幹家爲人(rén)類提供集中統一(yī)的智能(néng)服務。


其二,行業垂直大模型建設思路(lù):繼續提升通用大模型智能(néng)水平。


     


應該指出,當前人(rén)類社會對大模型充滿了(le)熱情,特别在中國,很多人(rén)希望大模型能(néng)夠與金(jīn)融、法律、工業、農業、電力、建築等等行業領域結合,從而實現快(kuài)速發展。
其實大模型的成功并不僅僅是參數量大,而是用大規模預訓練+微調的方式,對海量的跨領域知識進行學習時湧現出來新(xīn)的能(néng)力,而且這些(xiē)新(xīn)的能(néng)力往往與創新(xīn)有關,如(rú)翻譯、創作(zuò)文章、創作(zuò)圖像等,然而這種創新(xīn)能(néng)力并不穩定,會出現“幻覺”和胡編亂造的情況。同時由于神經網絡本身(shēn)的特點,其可解釋性問題也(yě)一(yī)直沒有解決,因此對于需要精密控制或精确結果的産業領域,大模型并不是可靠的工具和技術。
還有一(yī)個誤區是,認爲用大模型的訓練方法加上(shàng)行業産業的大數據就(jiù)可以形成高質量的行業大模型。這個觀點并不符合大模型湧現出創新(xīn)能(néng)力的規律,過于單一(yī)領域的知識反而會降低(dī)大模型湧現出新(xīn)能(néng)力的水平。因此應繼續提高ChatGPT、文心一(yī)言、LLama等等通用大模型的智能(néng)水平,通過通用大模型平台與其他可靠性高的人(rén)工智能(néng)技術協同工作(zuò),并與各個行業結合,這種路(lù)徑要比建設專門的行業大模型更爲穩健和有效。


其三,值得期待的大模型未來。


     


大模型的不斷發展和與其他技術産品結合的過程将是持續探索和嘗試的過程。無論如(rú)何,大模型的出現的确是一(yī)個革命性的突破,有很多科學家認同ChatGPT等大模型已經可以突破圖靈測試,未來在智能(néng)和意識的基礎原理(lǐ)上(shàng)也(yě)将帶來更多突破性的啓發。
未标題-4.jpg
在産業應用上(shàng),大模型與其他不同類型的人(rén)工智能(néng)技術、網絡技術、大數據技術結合,與不同的辦公、學習、生(shēng)産、生(shēng)活結合會持續産生(shēng)出具有非凡想象力的應用。例如(rú)微軟辦公Office接入GPT-4,由AI驅動的 Microsoft 365 Copilot ,打破了(le)傳統辦公軟件辦公的方式,能(néng)自動生(shēng)成文檔、電子(zǐ)郵件、PPT。百度的文心行業大模型的數量已經達到了(le) 11 個,覆蓋能(néng)源電力、金(jīn)融、航天、傳媒、影視、汽車、城市(shì)管理(lǐ)等多個領域,OpenAI計劃再推出GPT商(shāng)店(diàn)。這将類似于蘋果的App Store,讓開發者可以在商(shāng)店(diàn)中上(shàng)架他們的自定義GPT,供其他用戶購買和使用。
雖然大模型有着令人(rén)驚歎的智能(néng)表現,但(dàn)我們還需要耐心等待大模型的持續發育和成長,如(rú)果從以ChatGPT3.5爲代表的大模型大規模向人(rén)類提供服務算(suàn)起,畢竟它還是一(yī)個從出生(shēng)來到全人(rén)類面前還不到1年的嬰兒。