調(diào)研機(jī)構(gòu)對(duì)于人工智能基礎(chǔ)設(shè)施需求進(jìn)行了徹底的調(diào)查,并在研究報(bào)告中指出,在完全部署之前,人工智能系統(tǒng)所需的能量正在不受控制地?cái)U(kuò)展。這一結(jié)論讓人感到非常不安。
人工智能技術(shù)并不新鮮,其背后的思想可以追溯到50年甚至70年前。人工智能系統(tǒng)能力的前所未有的爆炸式增長(zhǎng),并且獲得大量的投資,人工智能如今可以做的事情呈指數(shù)級(jí)增長(zhǎng),用于開(kāi)發(fā)和運(yùn)行人工智能系統(tǒng)的資源也在呈指數(shù)級(jí)性,人們已經(jīng)感受到人工智能帶來(lái)的威脅和機(jī)會(huì)。
然而,人工智能競(jìng)賽是在相對(duì)保密的情況下進(jìn)行的。全世界都在采用像ChatGPT和Midjourney這樣的人工智能應(yīng)用程序,并在它們可能做的事情上建立整個(gè)商業(yè)模型,所有這些都只是對(duì)這些系統(tǒng)如何運(yùn)行,以及它們的財(cái)務(wù)、社會(huì)和環(huán)境成本的最模糊的理解。
對(duì)于大量能源的需求
調(diào)研機(jī)構(gòu)采訪了微軟、谷歌、英偉達(dá)等公司的人工智能架構(gòu)師。他們總結(jié)了人工智能硬件領(lǐng)域的發(fā)展歷程。坦率地說(shuō),人工智能的發(fā)展令人難以置信。
人工智能的飛速發(fā)展要求在半導(dǎo)體芯片方面進(jìn)行激進(jìn)的創(chuàng)新,以及全新的網(wǎng)絡(luò)架構(gòu)。它正在耗費(fèi)原本為天氣預(yù)報(bào)和分子建模等工作而建造的國(guó)家超級(jí)計(jì)算機(jī)的容量,而且它正在催生出前所未有的新型專業(yè)云系統(tǒng)。
但科技公司并沒(méi)有談?wù)撊斯ぶ悄苄袠I(yè)將消耗多少地球資源。谷歌公司的Bard是一個(gè)內(nèi)部應(yīng)用程序。OpenAI公司是微軟公司的親密合作伙伴,它可以優(yōu)先和私有地訪問(wèn)專門(mén)創(chuàng)建的Azure云資源。
早在2018年,OpenAI公司還是一個(gè)非營(yíng)利研究組織,鼓勵(lì)采用對(duì)人類友好的人工智能方法。這聽(tīng)起來(lái)像是一個(gè)警告:行業(yè)領(lǐng)先的人工智能模型的計(jì)算需求每3.4個(gè)月翻一番。2018年,當(dāng)人工智能AlphaGo在圍棋比賽中擊敗人類時(shí),它使用的計(jì)算能力是2012年人工智能領(lǐng)跑者8層神經(jīng)網(wǎng)絡(luò)AlexNet的30萬(wàn)倍。
摩爾定律曾預(yù)言,核心處理器的計(jì)算能力每?jī)赡攴环?。這是令人印象深刻的,但在此期間,它只會(huì)產(chǎn)生七倍的增長(zhǎng)。無(wú)論如何,當(dāng)達(dá)到芯片制造的物理極限時(shí),摩爾定律將會(huì)失去發(fā)呢動(dòng)力。正如Sebastian公司所發(fā)現(xiàn)的,人工智能領(lǐng)導(dǎo)者改善人工智能訓(xùn)練和性能的唯一方法是在更高能量的專用處理器的更大集合上運(yùn)行更大的模型。
一些行業(yè)數(shù)據(jù)敲響了警鐘,因?yàn)槿斯ぶ悄芟到y(tǒng)的能耗之大開(kāi)始讓人們感到恐慌。據(jù)行業(yè)媒體報(bào)道,在去年的設(shè)計(jì)自動(dòng)化大會(huì)上,AMD公司首席技術(shù)官M(fèi)arkPapermaster警告稱,到2050年,人工智能系統(tǒng)的能源使用增長(zhǎng)將消耗全球所有能源。
這聽(tīng)起來(lái)像是十多年前對(duì)數(shù)據(jù)中心能源使用預(yù)測(cè)的重演,事實(shí)證明這種預(yù)測(cè)被夸大了。但人們確實(shí)有理由感到擔(dān)心。
谷歌公司和伯克利大學(xué)的研究人員估計(jì),GPT-3的一次訓(xùn)練產(chǎn)生的碳排放量大約是一架客機(jī)從舊金山到紐約往返的三倍。
另一方面,人工智能對(duì)于能源需求的增長(zhǎng)是沒(méi)有限制的。Arm公司首席技術(shù)官I(mǎi)anBratt將神經(jīng)網(wǎng)絡(luò)的計(jì)算需求描述為“永不滿足”,其原因很簡(jiǎn)單,因?yàn)榫W(wǎng)絡(luò)越大,其運(yùn)算結(jié)果越好。如果不是因?yàn)橐幌б磺写鷥r(jià)贏得人工智能競(jìng)賽的壓力,能源和硬件的成本可能是一個(gè)限制因素。
人們對(duì)人工智能能源使用的跡象實(shí)際上是令人擔(dān)憂的。
由精簡(jiǎn)指令集(RISC)的發(fā)明者DavidPatterson領(lǐng)導(dǎo)的來(lái)自谷歌和伯克利的科學(xué)家團(tuán)隊(duì)發(fā)表了一篇論文,注意到一架客機(jī)在舊金山和紐約之間往返時(shí)產(chǎn)生180噸二氧化碳當(dāng)量,該小組隨后估計(jì),訓(xùn)練GPT-3產(chǎn)生的碳大約是其三倍。從論文中看不清楚這里假設(shè)的能源結(jié)構(gòu)是什么。
現(xiàn)在,人們知道人工智能在應(yīng)用之前往往有有限的訓(xùn)練運(yùn)行次數(shù),然后在每次使用的基礎(chǔ)上,它們?cè)?ldquo;推理”階段使用更少的能量(但如果使用得更多,可能會(huì)消耗更多的能量)。人工智能模型的研發(fā)工作需要的不僅僅是一次訓(xùn)練。如果人工智能模型應(yīng)用于現(xiàn)實(shí)世界,它們將需要更新和重新訓(xùn)練。
如果微軟公司在其必應(yīng)搜索引擎中使用GPT-4,則每次訓(xùn)練運(yùn)行將攤銷到數(shù)百萬(wàn)次搜索中,但訓(xùn)練數(shù)據(jù)必須定期更新,因?yàn)樗@然不夠好,無(wú)法擁有一個(gè)知識(shí)在2021年結(jié)束的搜索引擎,就像ChatGPT公開(kāi)演示的情況一樣。
據(jù)估計(jì),用人工智能增強(qiáng)像必應(yīng)這樣的搜索引擎,每次搜索的碳足跡將增加大約五倍。
這些擔(dān)憂已經(jīng)提出了一段時(shí)間。2020年12月,人工智能倫理研究員TimnitGebr因提出質(zhì)疑而被迫退出谷歌公司。當(dāng)時(shí),人們的注意力集中在她的發(fā)現(xiàn)上,即訓(xùn)練人工智能的過(guò)程引入了未知的偏見(jiàn),使最終的應(yīng)用程序具有種族主義和性別歧視。但正如行業(yè)媒體報(bào)道的那樣,導(dǎo)致她退出的論文實(shí)際上引發(fā)了許多其他問(wèn)題,包括能源使用。
她表示,運(yùn)行這種高能耗的過(guò)程,不僅會(huì)給氣候帶來(lái)風(fēng)險(xiǎn)。它將人工智能研究局限于富裕的企業(yè),而貧窮的社區(qū)則承受著氣候變化的影響。該論文表示,“研究人員優(yōu)先考慮能源效率和成本,以減少對(duì)環(huán)境的負(fù)面影響和對(duì)資源的不公平獲取,這是過(guò)去的事了。”
需要透明度
當(dāng)人們擔(dān)心數(shù)據(jù)中心的能源使用會(huì)失控時(shí),研究人員出的數(shù)據(jù)表明,摩爾定律和云計(jì)算效率的結(jié)合意味著數(shù)據(jù)中心的效率已經(jīng)提高了幾個(gè)數(shù)量級(jí),使總體能源使用得到了控制。
研究人員警告說(shuō),不要從當(dāng)今人工智能演示和早期推出的熱潮中得出結(jié)論,他指出,專門(mén)的人工智能芯片可以提高效率,人工智能的能源使用可能會(huì)減少其他地方的能源使用。他告說(shuō):“人們可能會(huì)根據(jù)孤立的軼事進(jìn)行推斷,得出令人瞠目結(jié)舌的數(shù)字,而這些數(shù)字幾乎總是太高了。”
很明顯,人工智能具有潛在的價(jià)值,但如果沒(méi)有成本的透明度,人們就無(wú)法判斷價(jià)值是否真的超過(guò)了成本。