未來監(jiān)管前沿人工智能模型的途徑有哪些？元戰(zhàn)略摘編總結前沿人工智能發(fā)展趨勢的最新研究成果，呈現監(jiān)管前沿人工智能模型的有效途徑，并指出訓練模型所需的計算量很可能成為有效途徑。未來10年，只需擴大當今技術的規(guī)模，即可實現人工智能系統(tǒng)的能力躍升。

1

導 言

政策制定者和行業(yè)領導者更加關注對高性能通用人工智能模型（有時稱為“前沿”人工智能模型）的監(jiān)管。目前的前沿人工智能模型包括GPT-4（OpenAI）、Claude 3（Anthropic）和Gemini Ultra（谷歌）。各公司已經在使用越來越多的數據和計算硬件來訓練體量更大、能力更強的下一代模型。

用于訓練前沿人工智能系統(tǒng)的計算量正在飛速增長。從2010年到2022年，用于訓練最先進機器學習模型的計算量增長了100億倍。計算量的快速增長超過了硬件更新的速度，其部分原因是訓練支出的增加。訓練大型模型的成本大約每10個月翻倍。目前訓練前沿模型的全部成本，包括早期的訓練運行和實驗，可能需要1億美元左右。隨著訓練成本的持續(xù)上升，可能會達到數億美元甚至數十億美元。

圖1 目前，訓練一個前沿人工智能模型的成本大約每10個月翻倍。假定隨著成本接近私營公司的極限（目前為數百億美元），成本增長將放緩。在這一預測中，成本翻倍周期被任意假定為每年增加1.5個月，從而減緩了成本增長速度。

在短期內，前沿人工智能領域的大規(guī)模訓練運行可能會繼續(xù)增長。據報道，領先的人工智能實驗室已經在訓練下一代模型，或為此籌集資金。英偉達（Nvidia）正在出貨數十萬新芯片，這將使未來的訓練運行更加強大。不過，從長遠來看，成本以及可能存在的硬件限制可能會制約未來計算能力的增長。當前指數級的計算量增長速度不可能無限期地持續(xù)下去。其增長能持續(xù)多久、以何種速度增長、增長多少才會趨于平穩(wěn)，都對人工智能的未來發(fā)展有著重要影響。成本和獲取硬件的途徑是訓練高性能人工智能系統(tǒng)的準入壁壘，這對政策也有影響（如出口管制和一些監(jiān)管建議）。

2

研究問題

該研究希望回答有關成本和計算趨勢如何影響人工智能未來的幾個問題：

Q1

成本和計算量預測：如果目前的趨勢持續(xù)，訓練前沿人工智能模型所用的計算量和訓練成本將如何隨時間推移而增加？考慮到算法的進步，有效計算量將如何隨時間推移而增加？

Q2

成本增長的限制：在達到私營公司的支出極限之前，計算量可以增長多少？如果成本增長速度隨著上升而放緩，這會如何影響用于訓練前沿模型的計算量？

Q3

硬件優(yōu)化的限制：限制硬件持續(xù)優(yōu)化的限制會如何影響未來的計算增長？

Q4

擴散：隨著時間的推移，硬件的優(yōu)化和算法效率的提高會如何影響人工智能能力應用？

Q5

研發(fā)主體被限制獲取硬件時的成本：對于無法獲得不斷優(yōu)化的人工智能硬件的主體來說，硬件供應方面的限制（例如出口管制）會如何影響成本和計算量的增長？

Q6

計算量監(jiān)管閾值：隨著時間的推移，硬件的優(yōu)化和算法效率的提高會如何影響將計算量作為前沿模型監(jiān)管閾值的訓練效果？

上述問題的答案對當今與政策相關的決策具有重要影響，例如出口管制，或其他限制獲取計算密集型人工智能模型的擬議法規(guī)的預期效果。一方面，成本上升的趨勢正在將獲取前沿人工智能模型的機會固定在少數領先的人工智能實驗室中。另一方面，硬件優(yōu)化和算法效率的抵消趨勢正在降低人工智能能力門檻，從而促進能力擴散。一些監(jiān)管和政策干預措施的可行性或可取性有高有低，這取決于計算量和成本隨著時間的推移如何變化，以及對獲取前沿人工智能模型和能力擴散的影響。該研究回答上述問題，旨在讓政策制定者了解未來人工智能發(fā)展的可能情形。

3

研究方法

研究以當前趨勢為基準，預測了各種情況下的成本和計算量增長。首先，預測了因支出增加和硬件優(yōu)化而導致的計算量增長。此外，通過預測隨著時間推移變化的有效計算量，對算法的優(yōu)化進行了說明。此后，估算了訓練成本預計何時達到大企業(yè)目前的極限，進入歷來屬于政府級支出的范圍。

其他可能情形探討了硬件優(yōu)化的限制會如何影響未來計算的可用性。由于硬件優(yōu)化和算法效率的提高，以任何給定的能力水平訓練一個模型的成本都會隨著時間的推移而降低，該研究還估算了成本將如何隨著時間的推移而降低，這將使更多的研發(fā)主體更容易獲取和應用人工智能，從而使人工智能能力進一步擴散。然后，研究估算了受限于人工智能硬件持續(xù)優(yōu)化的研發(fā)主體的訓練成本如何變化（例如美國政府對先進人工智能芯片實施出口管制），并估算了未來硬件優(yōu)化和算法效率的提高將會如何提高計算和能力的可獲取性。最后，研究評估了上述預測的政策影響。

4

分析與結論

政策制定者應準備好迎接未來10年中人工智能系統(tǒng)能力的躍升。這無需人工智能科學領域取得根本性突破，只需擴大當今技術的規(guī)模，在更多數據和計算量的基礎上訓練更大的模型即可實現。

未來10年，用于訓練前沿人工智能模型的計算量可能大幅增加。到2020年代末或2030年代初，用于訓練前沿人工智能模型的計算量可能約為訓練GPT-4所用計算量的1000倍。考慮到算法的優(yōu)化，有效計算量可能約為訓練GPT-4所用計算量的100萬倍。何時能達到上述閾值還存在一定不確定性，但在預期成本和硬件限制條件下，這種增長水平是可能的。且這種增長水平由具有當今大型科技公司規(guī)模的私營企業(yè)出資即可實現，無需政府干預。將支出增加到超越目前私營企業(yè)的限度，或從根本上采用新的計算模式，都可能帶來更顯著的計算量增長。

圖2 即使考慮到成本和硬件限制，到2020年代末或2030年代初，用于訓練前沿人工智能模型的計算量也可能增加到GPT-4的1000倍左右。

圖3 考慮到算法的優(yōu)化，到2020年代末或2030年代初，用于訓練前沿人工智能模型的有效計算量可能是GPT-4的100萬倍。

如果以下任何一種情況成真，人工智能系統(tǒng)所需計算量就有可能迎來更大幅度增益：

- 由于人工智能帶來的收入增加，公司得以投入更多資金；

- 政府資助規(guī)模更大、耗資更多的訓練運行；

- 硬件性能在2030年代繼續(xù)提高；

- 算法效率在2030年代繼續(xù)提高。

雖然人工智能未來如何發(fā)展還存在很大的不確定性，但目前的趨勢表明，未來的人工智能系統(tǒng)將比現在的技術水平強大得多。研究中沒有預測性能是GPT-4的100萬倍的系統(tǒng)及其具體功能。然而，歷史經驗表明，未來的人工智能的系統(tǒng)并非僅僅具有更高的性能，而是將展現出全新的能力。在不久的將來，前沿人工智能系統(tǒng)的基線軌跡不會是稍強于當前技術水平的系統(tǒng)，而是比現在強大得多的系統(tǒng)。

訓練前沿人工智能模型的成本上升或將導致前沿研究領域出現寡頭壟斷，但人工智能能力很可能仍會迅速擴散。目前，算法的進步和硬件的改善迅速降低了訓練成本。按照目前的趨勢，在5年內，以任何給定的能力水平訓練一個模型的成本大約會降低1000倍，或降至原始成本的0.1%左右，從而使訓練成本大大降低，提高了可及性。

計算能力的獲取和算法的優(yōu)化都在推動人工智能前沿領域進步方面發(fā)揮著重要作用，并影響著人工智能能力擴散的速度和對象。目前，由于硬件的改善和計算支出的增加，用于訓練大型人工智能模型的計算量每7個月翻倍。對于大型語言模型來說，算法效率（即使用更少的計算量達成相同性能水平的能力）大約每8-9個月翻倍。人工智能模型性能的提升既來自計算量的增加，也來自算法的優(yōu)化。如果計算能力的增長在2030年由于成本上升和/或硬件性能提升的減少而放緩，那么前沿模型的未來發(fā)展將在很大程度上依賴于算法的優(yōu)化。目前，算法效率的快速提高使得人工智能能力迅速擴散，因為在任何給定的性能水平上訓練模型所需的計算量都在迅速下降。最近，一些領先的人工智能實驗室開始隱瞞其最先進模型的相關信息。如果算法優(yōu)化的速度放緩或變得不那么普及，就會減緩人工智能前沿領域的發(fā)展，導致其能力擴散的速度變慢。

盡管前沿人工智能領域的先進系統(tǒng)最初將局限于少數開發(fā)主體，但可能會迅速擴散。政策制定者應從今天開始建立監(jiān)管框架，為此類系統(tǒng)做好準備。正如一些人工智能實驗室正在制定“負責任的擴散政策”一樣，各國政府也必須制定面向未來的法規(guī)，為監(jiān)管未來的人工智能模型做好準備，這些模型的計算密集度和能力都遠遠超過今天的模型。基于人工智能的發(fā)展速度與政策制定過程之間的脫節(jié)，同時考慮到新型人工智能系統(tǒng)執(zhí)行特定任務能力的難以預測，以及人工智能模型在缺乏監(jiān)管的當下的擴散速度，為此，建立一個預見性監(jiān)管框架至關重要。等到具體危害出現時再對前沿人工智能系統(tǒng)進行監(jiān)管，幾乎肯定會為時已晚。設想最壞的情況，具有危害性的模型可能已經開源發(fā)布，這將使限制其擴散的努力實際上變得不可能。

如果目前的趨勢繼續(xù)下去，用于訓練模型的計算量很可能成為監(jiān)管的一個富有成效的途徑。大量計算是訓練前沿人工智能模型的入門成本。在未來10到15年內，作為訓練人工智能系統(tǒng)的重要投入，計算的重要性或將持續(xù)增加。如果有關獲取計算能力的法規(guī)有效，可能會限制特定國家跟上前沿人工智能發(fā)展步伐的能力。然而，限制計算能力的獲取可能會減緩但不會阻止人工智能能力的擴散，因為隨著時間的推移，算法的優(yōu)化足以允許使用更少的計算能力訓練出性能相當的人工智能系統(tǒng)。

如果能與針對模型本身的監(jiān)管（如對某些充分訓練的模型實行出口管制）相結合，針對計算的監(jiān)管將會更加有效。算法的進步對前沿模型的擴散速度有重大影響。可以想象，針對訓練充分的人工智能模型的行業(yè)行為，或政府法規(guī)的變化可能減緩模型的擴散速度。例如，假設領先的人工智能實驗室隱瞞有關其前沿人工智能模型的更多細節(jié)，或如果美國政府對超過一定計算閾值的訓練模型實施出口管制。

面對巨大的不確定性，政策制定者面臨著監(jiān)管人工智能的艱難選擇。了解成本、計算量和算法效率方面的歷史趨勢，可以幫助政策制定者合理預測未來十幾年可能出現的各種情況，并考慮到人工智能進一步發(fā)展的潛在限制。明智的政策制定不僅能應對當今人工智能系統(tǒng)的種種問題，還能應對其未來發(fā)展的可能性。