人工智能（AI）的發(fā)展一直建立在這樣的信念之上：訓(xùn)練數(shù)據(jù)規(guī)模越大，模型就會(huì)越來(lái)越好。然而，業(yè)界近期曝出了大模型進(jìn)化遭遇“數(shù)據(jù)墻”的消息。
據(jù)外媒報(bào)道，OpenAI、谷歌和Anthropic在AI模型開(kāi)發(fā)方面都陷入了瓶頸，他們發(fā)現(xiàn)，新模型無(wú)法像前面幾代產(chǎn)品那樣帶來(lái)巨大的飛躍。這在AI圈瞬時(shí)炸開(kāi)了鍋。
圖靈獎(jiǎng)得主楊立昆（Yann LeCun）和OpenAI前首席科學(xué)家伊利亞·蘇茨克維（Ilya Sutskever）等科技圈大佬不客氣地指出，大模型的規(guī)模法則（Scaling Law）已經(jīng)達(dá)到極限，必須轉(zhuǎn)變思維，改變訓(xùn)練模式了。
而OpenAI CEO阿爾特曼（Sam Altman）和Anthropic CEO達(dá)里奧·阿莫迪（Dario Amodei）都相繼對(duì)“瓶頸”說(shuō)進(jìn)行反駁。盡管如此，OpenAI和谷歌都在積極轉(zhuǎn)變策略，研究如何解決訓(xùn)練數(shù)據(jù)匱乏的問(wèn)題，以及如何調(diào)整規(guī)模法則的應(yīng)用，保持模型穩(wěn)步發(fā)展。
在百度CEO李彥宏看來(lái)，模型開(kāi)發(fā)放緩也不見(jiàn)得是一件壞事。在最近的一次訪談中，他表示，基礎(chǔ)模型早期快速迭代是正常的，但如果兩年、三年了還這樣，那整個(gè)生態(tài)其實(shí)是會(huì)比較亂。Meta CEO扎克伯格也表示，即使在現(xiàn)有技術(shù)的基礎(chǔ)上，應(yīng)用層面依然有很大的發(fā)展空間。
圖片來(lái)源：視覺(jué)中國(guó)-VCG41N1309760279
OpenAI、谷歌和Anthropic遭遇開(kāi)發(fā)瓶頸
據(jù)外媒，OpenAI的下一代旗艦?zāi)Ｐ涂赡懿粫?huì)像前面幾代產(chǎn)品那樣帶來(lái)巨大的飛躍。
測(cè)試代號(hào)為Orion的新模型的員工發(fā)現(xiàn)，盡管新模型性能超過(guò)了OpenAI現(xiàn)有的模型，但進(jìn)步程度并不如從GPT-3到GPT-4的進(jìn)步那么大。換句話(huà)說(shuō)，OpenAI改進(jìn)的速度似乎正在放緩。
OpenAI并不是唯一遭遇阻礙的公司，其競(jìng)爭(zhēng)對(duì)手谷歌和Anthropic也傳出了先進(jìn)AI模型開(kāi)發(fā)遇到瓶頸的消息。在以驚人的速度推出日益復(fù)雜的AI產(chǎn)品之后，這三家領(lǐng)先的AI公司現(xiàn)在意識(shí)到，他們?cè)陂_(kāi)發(fā)新模型上進(jìn)行的大量投入所帶來(lái)的回報(bào)正在逐漸減少。
據(jù)知情人士透露，谷歌即將推出的新版Gemini未達(dá)到內(nèi)部預(yù)期，Anthropic也推遲了Claude 3.5 Opus模型的計(jì)劃發(fā)布時(shí)間。
高質(zhì)量人造訓(xùn)練數(shù)據(jù)的缺乏是AI模型開(kāi)發(fā)面臨挑戰(zhàn)的一大原因。外媒援引兩位知情人士稱(chēng)，Orion在編程任務(wù)上的表現(xiàn)不盡如人意，部分原因是缺乏足夠的編程數(shù)據(jù)進(jìn)行訓(xùn)練。即使是有一些小幅的改進(jìn)，也難以證明新模型構(gòu)建和運(yùn)營(yíng)的高昂成本是合理的，這與市場(chǎng)對(duì)于重大升級(jí)的期待之間存在差距。
科技圈大佬激辯“數(shù)據(jù)墻”
AI模型開(kāi)發(fā)遇阻的消息公開(kāi)后，知名AI評(píng)論家加里·馬庫(kù)斯（Gary Marcus）甚至直接單方面宣布“勝利”：“游戲結(jié)束，我贏了！我早就說(shuō)過(guò)，GPT正在陷入收益遞減階段。”一直以來(lái)，馬庫(kù)斯就預(yù)測(cè)，生成式AI的發(fā)展將進(jìn)入停滯階段。
圖片來(lái)源：X平臺(tái)
AI懷疑論者經(jīng)常警告，僅僅通過(guò)擴(kuò)大規(guī)模來(lái)提高大模型的方法是有限的。一年前，比爾·蓋茨就表示，有很多理由相信，當(dāng)前生成式人工智能（AGI）已經(jīng)達(dá)到極限。“GPT-5不會(huì)比GPT-4好多少。”
OpenAI前首席科學(xué)家、Safe Superintelligence聯(lián)合創(chuàng)始人蘇茨克維近日在接受外媒采訪時(shí)也表示，擴(kuò)大預(yù)訓(xùn)練的結(jié)果已經(jīng)達(dá)到了平臺(tái)期。所謂預(yù)訓(xùn)練，即使用大量未標(biāo)記數(shù)據(jù)來(lái)訓(xùn)練AI模型以理解語(yǔ)言模式和結(jié)構(gòu)的階段。
Meta首席科學(xué)家、圖靈獎(jiǎng)得主楊立昆還轉(zhuǎn)發(fā)了蘇茨克維這條新聞，并評(píng)論，“我早就告訴過(guò)你們了，Meta早就開(kāi)始轉(zhuǎn)型了。”