近日，由ChatGPT點(diǎn)燃的大模型這把火，正在全球科技圈子里愈演愈烈。國內，隨著(zhù)多家互聯(lián)網(wǎng)大廠(chǎng)相繼官宣大模型動(dòng)態(tài)，創(chuàng )業(yè)領(lǐng)袖們紛紛緊急招兵買(mǎi)馬，一場(chǎng)大模型的“戰爭”一觸即發(fā)。

國內外相關(guān)領(lǐng)域在此時(shí)形成了一種無(wú)言的默契——以ChatGPT為代表的AI大模型是一個(gè)劃時(shí)代的里程碑，將開(kāi)啟通用人工智能（AGI）時(shí)代。

站在歷史的關(guān)鍵節點(diǎn)，誰(shuí)能引領(lǐng)下一個(gè)人工智能黃金時(shí)代？決勝的關(guān)鍵又是什么？4月5日，ChatGPT官網(wǎng)宣布停止Plus付費項目的購買(mǎi)，業(yè)內分析就是由其算力不足按下了暫停鍵。算力到底是什么？為什么會(huì )對人工智能發(fā)展產(chǎn)生重要影響？今天，我們就來(lái)聊一下被譽(yù)為人工智能“發(fā)動(dòng)機”的算力。

什么是算力？從大腦、算盤(pán)、計算器說(shuō)起

這幾年，“算力”的概念頻繁出現在互聯(lián)網(wǎng)圈，成為科技大佬們常掛在嘴邊的熱詞。但實(shí)際上，這并不是一個(gè)新概念，算力的本義也并不復雜，顧名思義，就是指計算的能力。如果用《中國算力白皮書(shū)（2022年）》來(lái)進(jìn)一步進(jìn)行專(zhuān)業(yè)解釋?zhuān)褪侵笖祿行牡姆?wù)器通過(guò)對數據進(jìn)行處理后實(shí)現結果輸出的一種能力。

人類(lèi)的大腦就是天然的計算服務(wù)器。生活中，小到去菜市場(chǎng)買(mǎi)菜、大到破解一道數學(xué)難題，人類(lèi)大腦每時(shí)每刻都在通過(guò)口算、心算的方式來(lái)為我們的需求提供算力。但這樣的算力有點(diǎn)低，尤其碰到非常復雜的計算問(wèn)題時(shí)，就這樣催生出了一代又一代計算工具。

首先當然要從人類(lèi)自己身上找工具，于是手指成為了最簡(jiǎn)單方便且一直沿用至今的計數工具，而這大概也是十進(jìn)制計算得以發(fā)明并且普及的根本原因。

到遠古時(shí)期，人們開(kāi)始用繩子、石頭等自然物來(lái)計數。中國古籍《周易·系辭下》中就有“上古結繩而治”的說(shuō)法；在南美，古印加人也用繩子來(lái)記錄。

隨著(zhù)生產(chǎn)實(shí)踐的不斷發(fā)展，人類(lèi)終于發(fā)明了自己的計算工具。算籌就是中國早期的計算工具，一般由木棍、竹條或獸骨（稱(chēng)為“籌”）等做成。

算籌采用十進(jìn)制記數法，有縱式和橫式兩種擺法。個(gè)、百、萬(wàn)位等用縱式，十、千、十萬(wàn)位等用橫式，空位表示零，這樣從右到左，縱橫相間，就可以表示任意自然數了。并且，中國古代的算籌，在整數四則運算、分數四則運算、開(kāi)平方等問(wèn)題上均有成熟的法則，在問(wèn)題解決的每一步上都有規格化的程序，也因此被一些數學(xué)史學(xué)者認為具有構造性和“機械化”的特點(diǎn)。

不過(guò)，與機械時(shí)代工具的改良類(lèi)似，隨著(zhù)算籌的軟件，也就是運算法則的發(fā)展越來(lái)越快，算籌的硬件，也就是“籌”雖然也一直在改進(jìn)，但終究跟不上算法的進(jìn)展，最終被更為方便的算盤(pán)取代了。

這也是計算工具發(fā)展史上的第一次重大改革。算盤(pán)的原理與算籌類(lèi)似，但在操作上更加實(shí)用，尤其在熟練掌握珠算口訣和基本技巧之后，運算速度更是驚人。15世紀左右，由中國人民發(fā)明的算盤(pán)傳入了日本、韓國等國家，又經(jīng)商路逐漸傳入西方，至今在一些地區仍有著(zhù)廣泛的應用。

17世紀之前，在手工計算時(shí)代，我國的算力和算法無(wú)疑走在前列，但隨著(zhù)工業(yè)革命的到來(lái)，數學(xué)及計算工具的發(fā)展中心漸漸轉移到了西方，計算工具也從手工計算正式進(jìn)入機械計算時(shí)代。

世界上第一臺機械式計算工具——加法器，是由法國數學(xué)家、物理學(xué)家、思想家帕斯卡設計成功的，計算過(guò)程只需撥動(dòng)機器上的齒輪就能實(shí)現。盡管這臺機器只能進(jìn)行加減運算，但完全不用再依賴(lài)人類(lèi)大腦，其設計原理與現今計算機的原理也是相通的，為后人制造機械計算器邁出了開(kāi)拓性一步。

在他的基礎上，德國哲學(xué)家、數學(xué)家、“百科全書(shū)式”學(xué)者萊布尼茨對機械計算器進(jìn)行重大改進(jìn)，不僅研制了一臺能進(jìn)行四則運算的機械式計算器，還有一個(gè)重大的發(fā)明——二進(jìn)制。雖然當時(shí)萊布尼茲發(fā)明的計算器并沒(méi)有融入二進(jìn)制，但這種進(jìn)位規則卻被現代計算機一直采用至今。

算力的飛躍：現代計算機與摩爾定律

從遠古時(shí)期結繩計數到手工計算時(shí)代，再到機械計算時(shí)代，計算工具的每一次變革都帶來(lái)了算力的極大躍遷，并進(jìn)一步推動(dòng)人類(lèi)經(jīng)濟社會(huì )向前發(fā)展。

但過(guò)去人們對算力的感知并不明顯，直到電子計算機的誕生，才讓人們深刻感受到計算的威力——比如問(wèn)世于2016年的超級計算機“神威·太湖之光”，1分鐘的計算能力就相當于全球72億人同時(shí)用計算器不間斷計算32年。在這樣的超強算力支持下，許多以前無(wú)法想象的難題頃刻就能得到解決。也正是這樣一代又一代越來(lái)越快的電子計算機的出現，才讓算力的重要性真正為人們所關(guān)注。

1946年，世界上第一臺電子計算機ENIAC在美國賓夕法尼亞大學(xué)問(wèn)世，其使用電子管作為開(kāi)關(guān)，可以進(jìn)行大量的計算操作，速度比之前的機械計算器快了很多。這臺計算機雖然能滿(mǎn)足不同計算需求，但不具備存儲的功能。

1950年前后，馮·諾伊曼主導制造完成了第一臺現代計算機EDVAC。這臺由運算器、存儲器、控制器、輸入設備和輸出設備五大部件組成的計算機系統有兩大開(kāi)創(chuàng )性突破：一是采用了二進(jìn)制形式表示數據和指令，二是提出了“存儲程序”方式。直到今天，電子計算機的設計仍然是這種結構。

現代計算機的算力是怎么衡量的？

簡(jiǎn)單來(lái)說(shuō)，當人類(lèi)使用計算機時(shí)，輸入的字符或者信息首先需要被轉化為電子計算機能夠處理的編碼：0或者1的排列組合。而電子晶體管就是作為0或者1進(jìn)行數值運算的基本單元，此時(shí)電子晶體管的通路可以代表數值1，斷路就代表數值0，每一個(gè)0或1就是一比特（信息量的最小單位）。這也意味著(zhù)，算力的大小與晶體管數量呈正相關(guān)，晶體管數量越多，就能表示越多的信息量。

第一臺電子計算機ENIAC就擁有18000多個(gè)電子管，占地面積達170m2，體重達30噸。如此龐然大物當然不便推廣，一直到20世紀50年代，在ENIAC之后推出的新機如UNIVAC、IBM、Ferranti、Burroughs等都是大型機，價(jià)格昂貴，只有政府和大型企業(yè)等有實(shí)力的組織才能夠購買(mǎi)和使用。

很快到來(lái)。1958年，工程師杰克·基爾比發(fā)明了一種能將一個(gè)電路中需要的晶體管、電阻、電容和電感等元件及布線(xiàn)連在一起的電子器件，也就是人們現在所熟悉的集成電路（同時(shí)期，羅伯特·諾伊斯也帶領(lǐng)仙童半導體公司發(fā)展出了近代實(shí)用的集成電路），而集成電路的載體就是“芯片”。

可以說(shuō)，芯片的出現真正推動(dòng)了現代計算機的飛速發(fā)展。1965年，時(shí)任仙童半導體公司研究開(kāi)發(fā)實(shí)驗室主任的摩爾應邀為《電子學(xué)》雜志35周年專(zhuān)刊撰寫(xiě)評論。在繪制數據時(shí)，他發(fā)現了一個(gè)驚人的趨勢：每個(gè)新芯片大體上包含其前任兩倍的容量，每個(gè)芯片的產(chǎn)生都是在前一個(gè)芯片產(chǎn)生后的18-24個(gè)月內。按照這一趨勢，芯片的密度還有計算力相對于時(shí)間周期都將呈指數式的上升。這一發(fā)現也就是現在大名鼎鼎的“摩爾定律”。

半個(gè)多世紀以來(lái)，電子計算機的發(fā)展基本都遵循著(zhù)摩爾定律。20世紀七八十年代，隨著(zhù)芯片的性能不斷提升、體積不斷減小，計算機終于實(shí)現了小型化，PC（個(gè)人電腦）誕生了。這也標志著(zhù)電子計算機的算力終于不再僅為少數有實(shí)力的機構服務(wù)，而是開(kāi)始真正走向千家萬(wàn)戶(hù)，進(jìn)而推動(dòng)全民信息化時(shí)代到來(lái)。

人工智能時(shí)代的算力挑戰

按照摩爾定律，算力基本每?jì)赡昃鸵环?。但這樣恐怖的增長(cháng)速度也無(wú)法滿(mǎn)足人類(lèi)對算力的需求，尤其是2012年深度學(xué)習的發(fā)展帶領(lǐng)人工智能崛起以后。

早在2019年，OpenAI就在其更新的AI計算量報告中分析了AI算法消耗算力的情況，并發(fā)現在之前的幾十年中，AI計算量的增長(cháng)速度基本和摩爾定律保持同步，而2012年成為了AI兩個(gè)時(shí)期的分水嶺。2012年之后，最先進(jìn)AI模型的計算量每三四個(gè)月就翻一番，也就是每年增長(cháng)近10倍，比摩爾定律2年增長(cháng)一倍快得多。

在此情況下，如何才能提高算力以滿(mǎn)足智能計算的需求？目前有兩大方面可供突破。

第一種方法，找更多人一起計算，也就是借助高性能計算和分布式計算提高算力，也是現在最為主要的提高算力的方法。

其中，高性能計算的最核心技術(shù)就是并行計算，即同時(shí)使用多種計算資源解決計算問(wèn)題的過(guò)程。從架構上看，并行計算又分為同構并行計算——把計算任務(wù)分配給一系列相同的計算單元，如多核CPU（中央處理器，計算機系統的運算和控制核心）架構；還有異構并行計算——把計算任務(wù)分配給不同制程架構、不同指令集、不同功能的計算單元，如CPU+GPU（圖形處理器，又稱(chēng)顯示核心、視覺(jué)處理器、顯示芯片）的架構。

這里簡(jiǎn)單介紹一下CPU與GPU的差別，雖然總體上兩者都包括運算器、控制單元、高速緩存器和動(dòng)態(tài)隨機存取存儲器，但這些成分的構成比例卻是不同的。CPU中控制單元和存儲單元占的比例較大，計算單元則比例較小且不多，而GPU正好與之相反，這就造成了CPU長(cháng)于控制和存儲，而GPU則擅長(cháng)計算，兩者的組合正好形成互補關(guān)系。

2012年深度學(xué)習崛起之后，人們發(fā)現GPU非常適合用來(lái)訓練神經(jīng)網(wǎng)絡(luò )模型。因為其絕大部分工作都是將不同的矩陣進(jìn)行相乘或者矩陣和向量進(jìn)行相乘，而GPU在矩陣相乘上就是非常高效，因此GPU開(kāi)始被廣泛地應用于人工智能。

與此同時(shí)，GPU的主要生產(chǎn)商如英偉達等也成為了人工智能時(shí)代重點(diǎn)關(guān)注對象。如運行ChatGPT的微軟數據中心就用了上萬(wàn)塊英偉達H100 GPU，這也是英偉達去年發(fā)布的最新旗艦AI芯片，接替了原本被稱(chēng)為AI應用“主力軍”芯片的A100。根據英偉達的說(shuō)法，與A100相比，H100的能效提高了3.5倍。并且，在今年3月剛剛召開(kāi)的GTC 2023大會(huì )上，英偉達宣布圍繞AI又推出了一個(gè)全新的H100 NVL GPU芯片，據說(shuō)可將算力提速10倍。

然而，從2022年9月開(kāi)始，無(wú)論是A100、H100還是AMD（另一家GPU巨頭生產(chǎn)商）生產(chǎn)的MI250人工智能芯片都被禁止向中國進(jìn)行出售，最新發(fā)布的H100 NVL GPU芯片同樣如此。據公開(kāi)信息顯示，英偉達專(zhuān)供中國且完全符合出口規定的A800芯片，其傳輸速度只有A100的70%。這也是目前制約國內人工智能發(fā)展的關(guān)鍵因素之一。

再來(lái)介紹一下第一種提高算力方法中的分布式計算，即將分散在不同物理區域的計算單位聚集起來(lái)共同完成某一計算任務(wù)的方法，其典型代表就是現在經(jīng)常聽(tīng)說(shuō)的云計算。在云計算中，CPU、內存、硬盤(pán)、GPU等計算資源都被整合起來(lái)，通過(guò)軟件的方式，組成一個(gè)虛擬的可無(wú)限擴展的“算力資源池”。用戶(hù)需要算力時(shí)，無(wú)需自購設備、自建機房、自己運維，通過(guò)“算力資源池”的調度就可以實(shí)現算力資源的分配，用戶(hù)直接按需付費即可。

在云計算時(shí)代，數據中心就是算力的主要載體。這也是目前國內各地開(kāi)始建設大數據中心、云計算中心、智算中心、超算中心等信息基礎設施的根本原因。

早在1961年，“人工智能之父”約翰·麥卡錫就曾預言，“有一天，計算可能會(huì )被組織成一個(gè)公共事業(yè)，就像電話(huà)系統是一個(gè)公共事業(yè)一樣”。而現在，這一天正在成為現實(shí)。

根據國家信息中心聯(lián)合相關(guān)部門(mén)于今年1月發(fā)布的《智能計算中心創(chuàng )新發(fā)展指南》顯示，目前全國有超過(guò)30個(gè)城市正在建設或提出建設智算中心。通過(guò)各級各類(lèi)計算中心網(wǎng)絡(luò )，算力正像電力一樣被輸送進(jìn)千行百業(yè)，成為社會(huì )發(fā)展最基礎的公共資源。

第二種方法，從根本上改進(jìn)設備，實(shí)現計算模式上的突破。

盡管高性能計算及分布式計算是當前人們提高算力的主要手段，但其制約因素比較多，而且算力的提升也有限。因此，提高算力的第二大方法成為了許多前沿科學(xué)家的追求，這其中典型代表就是量子計算。

過(guò)去幾十年來(lái)，芯片上的晶體管數量基本按照摩爾定律在演進(jìn)，也就是每?jì)赡昝芏仍黾右槐?。然而，這種趨勢不能一直持續。早在幾年前，英偉達創(chuàng )始人、CEO黃仁勛就曾表示：“摩爾定律已死?！笔聦?shí)上，近幾年芯片技術(shù)迭代的速度確實(shí)在放緩，這也是由于芯片微電路加工的光刻工藝不斷逼近光學(xué)衍射極限，很難按照摩爾定律持續演進(jìn)。

那么，還有什么辦法可以突破這一極限？實(shí)際上，早在20世紀80年代，就有學(xué)者提出了量子計算的思想。其“薛定諤的貓”一樣的疊加特性，使得每一個(gè)量子比特都可以當作2個(gè)運算單元，也就是說(shuō)傳統計算機需要2的N次方個(gè)晶體管來(lái)表示的計算量，量子計算機只需要N個(gè)就能完成。而當N越大時(shí)，量子計算的威力也就越大。這樣一來(lái)，如果將晶體管計算機換成量子計算機，芯片工藝的難題就迎刃而解了。

不過(guò)，這里仍然面臨其他的問(wèn)題：一是找到適合并且可以通用的保持量子疊加態(tài)的物理載體，二是可廣泛應用的計算場(chǎng)景。到目前為止，見(jiàn)諸報道的各種量子計算機都還只能執行少數幾種特殊的場(chǎng)景，但未來(lái)發(fā)展前景非?？善?。

盡管算力并不是影響人工智能發(fā)展的唯一因素，但卻是其必要條件之一。號角已然吹響，下一個(gè)十年，要想在人工智能這條賽道上勝出，算力只怕是要攻破的第一道關(guān)了。