大模型不再拼“塊頭”

如今，大模型蓬勃發(fā)展，有沒有指標(biāo)來衡量AI大模型的“智力能力水平”？近日，清華大學(xué)研究團隊提出了大模型的密度法則，相關(guān)論文刊發(fā)于自然子刊《自然·機器智能》上。密度法則揭示大語言模型的最大能力密度隨時間呈指數(shù)級增長，2023年2月至2025年4月，約每3.5個月翻一倍。

計算機領(lǐng)域的“摩爾定律”大家已經(jīng)耳熟能詳：芯片上可容納的晶體管數(shù)量，每隔一段時間就會翻一番。計算機的強大，不是因為芯片變得像房子一樣大，而是因為它在指甲蓋大小的面積上集成了天文數(shù)字的計算單元。清華大學(xué)計算機科學(xué)與技術(shù)系助理研究員肖朝軍告訴科技日報記者，大模型的智力能力水平應(yīng)該也有一個指標(biāo)，這就是“能力密度”。

研究的核心假設(shè)是，采用相同制造工藝、充分訓(xùn)練的不同尺寸模型，其能力密度相同。正如芯片行業(yè)通過提升電路密度實現(xiàn)了計算設(shè)備的小型化和普惠化，大模型也在通過提升能力密度實現(xiàn)高效化發(fā)展。

肖朝軍說，過去，在規(guī)模法則的指引下，大家關(guān)心一個大模型的“塊頭”（參數(shù)量）有多大，越大就越智能，就像關(guān)心一個舉重運動員的體重，體重越重，力量越大�，F(xiàn)在，密度法則從另一個視角揭示了大模型“高效發(fā)展”的規(guī)律——我們更應(yīng)該關(guān)心它的“能力密度”，即每一單位“腦細(xì)胞”（參數(shù)）里包含了多少“智慧”�！叭缤�評價一個武林高手，看的不是他肌肉多發(fā)達(dá)，而是他一招一式里蘊含了多少功力�！毙こ�軍說。

研究團隊對51個近年來發(fā)布的開源大模型進行了系統(tǒng)分析，他們發(fā)現(xiàn)了一個重要規(guī)律：大模型的最大能力密度隨時間呈指數(shù)級增長，2023年以來平均每3.5個月翻一倍。這意味著，隨著“數(shù)據(jù)—算力—算法”的協(xié)同發(fā)展，可以用更少參數(shù)實現(xiàn)相同的智能水平。

團隊還給出了一些推論。比如，同能力模型的推理開銷隨時間指數(shù)級下降，同時大模型能力密度正在加速增強。ChatGPT發(fā)布前能力密度每4.8個月翻倍，而ChatGPT發(fā)布后能力密度每3.2個月翻倍，密度增強速度提升了50%。這表明隨著大模型技術(shù)的成熟和開源生態(tài)的繁榮，能力密度提升正在加速。

肖朝軍表示，從直觀上看，能力密度越高，大模型就越聰明，運行大模型所需要的算力越少，成本就越低。圍繞這一科學(xué)指引，學(xué)術(shù)界、工業(yè)界能進行多維度的技術(shù)創(chuàng)新，讓大模型越來越普惠。

從大模型的應(yīng)用角度來說，密度法則也意味著AI正在變得越來越可用。肖朝軍介紹，隨著芯片電路密度（摩爾定律）和模型能力密度（密度法則）持續(xù)增強，此前只能在云端部署的大模型，未來用終端芯片就裝得下、跑得動。大模型跑在終端設(shè)備上，在響應(yīng)速度、用戶隱私等方面具備先天優(yōu)勢，可以為用戶做得更多。

肖朝軍舉了個例子。此前大模型在智能汽車上的應(yīng)用，都是“幫我打開車窗”“幫我查一下附近的餐廳”等“被動式”服務(wù)。端側(cè)模型“上車”后，通過豐富的“艙內(nèi)外感知”和“意圖理解”能力，可以實現(xiàn)艙內(nèi)外環(huán)境的多模態(tài)感知融合與主動決策閉環(huán)，驅(qū)動智能座艙從“被動響應(yīng)”走向“主動服務(wù)”，讓智能浸潤每一次駕駛體驗。