大語(yǔ)言模子正在遭到各大科技公司和科研機(jī)構(gòu)的鼎力推進(jìn)，操縱其能夠幫忙我們做良多工作，但一個(gè)比力容易被輕忽的點(diǎn)是，那些大模子的訓(xùn)練和運(yùn)行需要龐大的能量，上千億參數(shù)的模子往往需要數(shù)百萬(wàn) GPU 小時(shí)來(lái)訓(xùn)練，從而會(huì)產(chǎn)生大量碳腳印。

另一個(gè)問(wèn)題是，它們的碳腳印到底有多大仍然是一個(gè)謎，對(duì)其權(quán)衡評(píng)估也還沒(méi)有一個(gè)尺度辦法。

（來(lái)源：《麻省理工科技評(píng)論》）

近日，人工智能草創(chuàng)公司 Hugging Face 對(duì)外暗示，它提出了一種新的、更好的辦法，來(lái)更切確地計(jì)算模子產(chǎn)生的碳排放量，而且是評(píng)估其整個(gè)生命周期，而不單單是訓(xùn)練期間。

那可能是科技公司在評(píng)估 AI 產(chǎn)物碳腳印上邁出的一大步。相關(guān)專家們也在呼吁該行業(yè)更好地評(píng)估 AI 對(duì)情況的影響，那有利于更好地利用那些模子和數(shù)據(jù)。

同時(shí)，該方面的摸索還可能鞭策人們轉(zhuǎn)向更有效的 AI 研究體例，好比微調(diào)現(xiàn)有模子，而不是一味建造更大的模子。

關(guān)于此次工做，Hugging Face 也頒發(fā)了一篇題為《預(yù)算 1*60 億參數(shù)語(yǔ)言模子 BLOOM 的碳腳印》（Estimating the Carbon Footprint of BLOOM, a 1*6B Parameter Language Model）的論文，并于近日提交在 arXiv 預(yù)印本平臺(tái)。

該公司為測(cè)試其新辦法，估量了本年早些時(shí)候推出的大語(yǔ)言模子 BLOOM 的總排放量。那個(gè)過(guò)程涉及許多差別方面的疊加，包羅在超等計(jì)算機(jī)上訓(xùn)練模子的能量、造造超等計(jì)算機(jī)硬件和維護(hù)其計(jì)算根底設(shè)備的能量，以及運(yùn)行 BLOOM 所需的能量等。

研究人員最初利用了名為 Code Carbon 的軟件東西，來(lái)實(shí)時(shí)跟蹤計(jì)算 BLOOM 在 18 天內(nèi)產(chǎn)生的碳排放量。并估量得出，BLOOM 訓(xùn)練所產(chǎn)生的碳排放達(dá) 2* 噸，而在考慮到用來(lái)訓(xùn)練的計(jì)算機(jī)設(shè)備和更普遍的計(jì)算根底設(shè)備，以及現(xiàn)實(shí)運(yùn)行 BLOOM 所需的能量時(shí)，碳排放量增長(zhǎng)了一倍。

圖 | 運(yùn)行 BLOOM 模子的均勻功率顛簸（來(lái)源：arXiv）

關(guān)于一個(gè)模子來(lái)說(shuō)，*0 噸的碳排放量似乎已經(jīng)良多，但值得留意的是，BLOOM 的排放量要明顯低于其他不異規(guī)模的大語(yǔ)言模子。其是在一臺(tái)由核能供給次要?jiǎng)恿Γú粫?huì)產(chǎn)生碳排放）的超等計(jì)算機(jī)上訓(xùn)練的，而其他模子訓(xùn)練所利用的能源更多地依賴化石燃料，污染要相對(duì)更嚴(yán)峻。

據(jù)領(lǐng)會(huì)，BLOOM 于 2022 年 * 月推出利用，Hugging Face 估量該模子每天會(huì)排放約 1* 千克的二氧化碳。

比擬之下，OpenAI 的 GPT-* （2020 年推出，1**0 億參數(shù)）和 Meta 的 OPT 模子（2022 年推出，1**0 億參數(shù)），在訓(xùn)練期間別離排放了約 *00 千克和 ** 千克的二氧化碳。GPT-* 的排放量較大，一部門原因是它在較舊、效率較低的硬件吉印通行訓(xùn)練的。

別的，以上數(shù)字只是基于外部估量或公司本身發(fā)布的有限數(shù)據(jù)，而實(shí)在的數(shù)據(jù)很難確定，目前沒(méi)有尺度化的辦法來(lái)權(quán)衡它們的碳排放。

Hugging Face 的目的是幫忙 AI 社區(qū)更好地領(lǐng)會(huì)大模子對(duì)情況的影響，以進(jìn)一步優(yōu)化處置碳排放問(wèn)題。

（來(lái)源：arXiv）

卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)學(xué)院助理傳授艾瑪·斯特魯貝爾（Emma Strubell）對(duì)外說(shuō)：“Hugging Face 的論文為開(kāi)發(fā) AI 模子的機(jī)構(gòu)設(shè)定了新尺度，其是迄今對(duì)大模子碳腳印最徹底的闡發(fā)，比我所曉得的任何其他論文或陳述都要詳細(xì)。”

值得一提的是，雖然她沒(méi)有參與本次新研究，但其早在 201* 年就撰寫(xiě)了一篇關(guān)于 AI 對(duì)天氣影響的創(chuàng)始性論文，題為《NLP 中深度進(jìn)修的能量和政策考慮》（Energy and Policy Considerations for Deep Learning in NLP）。

能夠說(shuō)，Hugging Face 供給了目前行業(yè)急需的量化語(yǔ)言模子碳腳印的辦法。其展現(xiàn)出的模子在生命周期的排放量之大也讓良多人感應(yīng)驚訝。不外，關(guān)于進(jìn)一步評(píng)估大語(yǔ)言模子對(duì)情況的影響，仍有一些工做需要停止。

別的，值得留意的是，領(lǐng)會(huì) AI 模子的詳細(xì)利用也非常重要，像谷歌和 Meta 等諸多大型科技公司，會(huì)通過(guò) AI 模子來(lái)對(duì)用戶保舉內(nèi)容或?qū)υu(píng)論停止分類，那自己利用的功率很小，但每天會(huì)停止超十億次操做，那加起來(lái)就長(zhǎng)短常大的能量消耗。

通過(guò)更好地領(lǐng)會(huì) AI 的能源消耗量，可便利公司和開(kāi)發(fā)人員在污染和成本之間做出更好的權(quán)衡，以在開(kāi)發(fā) AI 模子的同時(shí)盡更大程度較少相關(guān)碳腳印。

天氣變革是人類目前面對(duì)的更大挑戰(zhàn)之一，其影響著世界各地的生態(tài)系統(tǒng)和人們的日常生活，評(píng)估和削減各行業(yè)的碳排放是減輕天氣影響的重要部門。

在論文最初，研究人員還討論了切確估量機(jī)器進(jìn)修模子的碳腳印的難度和將來(lái)有助于改善碳排放的研究標(biāo)的目的。

參考材料：

021yin.com/2022/11/14/106*1*2/were-getting-a-better-idea-of-ais-true-carbon-footprint/