過(guò)去十年對于人工智能（AI）領(lǐng)域來(lái)說(shuō)是一段激動(dòng)人心的多事之秋。對深度學(xué)習潛力的適度探索變成了一個(gè)領(lǐng)域的爆炸性擴散，現在包括從電子商務(wù)中的推薦系統到自動(dòng)駕駛汽車(chē)的對象檢測以及可以創(chuàng )建從逼真的圖像到連貫文本的所有內容的生成模型。

在本文中，我們將沿著(zhù)記憶之路漫步，并重新審視使我們走到今天這一步的一些關(guān)鍵突破。無(wú)論您是經(jīng)驗豐富的AI從業(yè)者，還是只是對該領(lǐng)域的最新發(fā)展感興趣，本文都將為您提供有關(guān)使AI成為家喻戶(hù)曉的顯著(zhù)進(jìn)展的全面概述。

2013年：AlexNet和變分自動(dòng)編碼器

2013年被廣泛認為是深度學(xué)習的“成年”，由計算機視覺(jué)的重大進(jìn)步發(fā)起。根據Geoffrey Hinton最近的采訪(fǎng)，到2013年，“幾乎所有的計算機視覺(jué)研究都轉向了神經(jīng)網(wǎng)絡(luò )”。這一繁榮主要是由一年前圖像識別方面相當令人驚訝的突破推動(dòng)的。

2012 年 5 月，深度卷積神經(jīng)網(wǎng)絡(luò ) （CNN） AlexNet 在 ImageNet 大規模視覺(jué)識別挑戰賽 （ILSVRC） 中取得了破紀錄的表現，展示了深度學(xué)習在圖像識別任務(wù)中的潛力。它實(shí)現了15.3%的前10名錯誤，比最接近的競爭對手低9.<>%。

這一成功背后的技術(shù)改進(jìn)有助于人工智能的未來(lái)發(fā)展軌跡，并極大地改變了人們對深度學(xué)習的看法。

首先，作者應用了一個(gè)由五個(gè)卷積層和三個(gè)全連接線(xiàn)性層組成的深度CNN——這種架構設計在當時(shí)被許多人認為是不切實(shí)際的。此外，由于網(wǎng)絡(luò )深度產(chǎn)生的大量參數，訓練是在兩個(gè)圖形處理單元（GPU）上并行完成的，展示了顯著(zhù)加速大型數據集訓練的能力。通過(guò)將傳統的激活函數（如 sigmoid 和 tanh）換成更高效的整流線(xiàn)性單元 （ReLU），進(jìn)一步縮短了訓練時(shí)間。

這些共同導致了AlexNet成功的進(jìn)步標志著(zhù)人工智能歷史上的一個(gè)轉折點(diǎn)，并引發(fā)了學(xué)術(shù)界和技術(shù)界對深度學(xué)習的興趣激增。因此，2013年被許多人認為是深度學(xué)習真正開(kāi)始起飛的拐點(diǎn)。

同樣發(fā)生在2013年的，盡管有點(diǎn)被AlexNet的噪音淹沒(méi)了，但變分自動(dòng)編碼器（VAE）的發(fā)展 - 可以學(xué)習表示和生成圖像和聲音等數據的生成模型。它們通過(guò)在低維空間（稱(chēng)為潛在空間）中學(xué)習輸入數據的壓縮表示來(lái)工作。這允許他們通過(guò)從這個(gè)學(xué)習到的潛在空間中采樣來(lái)生成新數據。后來(lái)，VAE為生成建模和數據生成開(kāi)辟了新的途徑，在藝術(shù)、設計和游戲等領(lǐng)域都有應用。

2014年：生成對抗網(wǎng)絡(luò )

第二年，即2014年<>月，隨著(zhù)Ian Goodfellow及其同事引入生成對抗網(wǎng)絡(luò )（GAN），深度學(xué)習領(lǐng)域見(jiàn)證了另一項重大進(jìn)展。

GAN 是一種神經(jīng)網(wǎng)絡(luò )，能夠生成類(lèi)似于訓練集的新數據樣本。本質(zhì)上，兩個(gè)網(wǎng)絡(luò )同時(shí)訓練：（1）生成器網(wǎng)絡(luò )生成假的或合成的樣本，（2）鑒別器網(wǎng)絡(luò )評估它們的真實(shí)性。這種訓練是在類(lèi)似游戲的設置中進(jìn)行的，生成器試圖創(chuàng )建欺騙鑒別器的樣本，而鑒別器試圖正確調用假樣本。

當時(shí)，GAN 代表了一種強大而新穎的數據生成工具，不僅用于生成圖像和視頻，還用于生成音樂(lè )和藝術(shù)。他們還通過(guò)展示在不依賴(lài)顯式標簽的情況下生成高質(zhì)量數據樣本的可能性，為無(wú)監督學(xué)習的進(jìn)步做出了貢獻，這個(gè)領(lǐng)域在很大程度上被認為是不發(fā)達和具有挑戰性的。

2015年：ResNets和NLP突破

2015年，人工智能領(lǐng)域在計算機視覺(jué)和自然語(yǔ)言處理（NLP）方面取得了相當大的進(jìn)步。

Kaim He及其同事發(fā)表了一篇題為“圖像識別的深度殘差學(xué)習”的論文，其中他們介紹了殘差神經(jīng)網(wǎng)絡(luò )或ResNets的概念 - 通過(guò)添加快捷方式使信息更容易地流經(jīng)網(wǎng)絡(luò )的架構。與常規神經(jīng)網(wǎng)絡(luò )不同，在常規神經(jīng)網(wǎng)絡(luò )中，每一層都將前一層的輸出作為輸入，而在 ResNet 中，添加了額外的殘差連接，這些連接跳過(guò)一個(gè)或多個(gè)層并直接連接到網(wǎng)絡(luò )中的更深層。

結果，ResNets能夠解決梯度消失的問(wèn)題，這使得訓練更深層次的神經(jīng)網(wǎng)絡(luò )超出了當時(shí)的預期。這反過(guò)來(lái)又導致了圖像分類(lèi)和對象識別任務(wù)的顯著(zhù)改進(jìn)。

大約在同一時(shí)間，研究人員在遞歸神經(jīng)網(wǎng)絡(luò )（RNN）和長(cháng)短期記憶（LSTM）模型的開(kāi)發(fā)方面取得了相當大的進(jìn)展。盡管這些模型自 1990 年代以來(lái)一直存在，但直到 2015 年左右才開(kāi)始引起一些轟動(dòng)，主要是由于以下因素：（1） 更大、更多樣化的數據集可用于訓練，（2） 計算能力和硬件的改進(jìn)，這使得訓練更深入、更復雜的模型成為可能，以及 （3） 在此過(guò)程中進(jìn)行的修改， 例如更復雜的門(mén)控機制。

因此，這些架構使語(yǔ)言模型能夠更好地理解文本的上下文和含義，從而在語(yǔ)言翻譯、文本生成和情感分析等任務(wù)方面取得了巨大的改進(jìn)。當時(shí)RNN和LSTM的成功為我們今天看到的大型語(yǔ)言模型（LLM）的發(fā)展鋪平了道路。

2016： 阿爾法圍棋 （電影）

在1997年加里·卡斯帕羅夫（Garry Kasparov）被IBM的深藍（Deep Blue）擊敗后，另一場(chǎng)人與機器的戰斗在2016年給游戲界帶來(lái)了沖擊波：谷歌的AlphaGo擊敗了圍棋的世界冠軍李世石（Lee Sedol）。

世石的失敗標志著(zhù)人工智能發(fā)展軌跡上的另一個(gè)重要里程碑：它表明，在一個(gè)曾經(jīng)被認為過(guò)于復雜以至于計算機無(wú)法處理的游戲中，機器甚至可以勝過(guò)最熟練的人類(lèi)玩家。AlphaGo結合了深度強化學(xué)習和蒙特卡洛樹(shù)搜索，分析了以前游戲中的數百萬(wàn)個(gè)位置，并評估了最佳可能的行動(dòng)——在這種情況下，這種策略遠遠超過(guò)了人類(lèi)的決策。

2017年：轉換器體系結構和語(yǔ)言模型

可以說(shuō)，2017年是最關(guān)鍵的一年，為我們今天目睹的生成AI的突破奠定了基礎。

2017年<>月，Vaswani及其同事發(fā)布了基礎論文“注意力就是你所需要的一切”，該論文介紹了利用自我注意的概念來(lái)處理順序輸入數據的轉換器架構。這允許更有效地處理遠程依賴(lài)關(guān)系，這在以前是傳統RNN架構的挑戰。

變壓器由兩個(gè)基本組件組成：編碼器和解碼器。編碼器負責對輸入數據進(jìn)行編碼，例如，輸入數據可以是單詞序列。然后，它采用輸入序列并應用多層自我注意和前饋神經(jīng)網(wǎng)絡(luò )來(lái)捕獲句子中的關(guān)系和特征，并學(xué)習有意義的表示。

從本質(zhì)上講，自我注意允許模型理解句子中不同單詞之間的關(guān)系。與以固定順序處理單詞的傳統模型不同，轉換器實(shí)際上一次檢查所有單詞。他們根據每個(gè)單詞與句子中其他單詞的相關(guān)性為每個(gè)單詞分配稱(chēng)為注意力分數的東西。

另一方面，解碼器從編碼器獲取編碼表示并生成輸出序列。在機器翻譯或文本生成等任務(wù)中，解碼器根據從編碼器接收的輸入生成翻譯后的序列。與編碼器類(lèi)似，解碼器也由多層自我注意和前饋神經(jīng)網(wǎng)絡(luò )組成。但是，它包括一個(gè)額外的注意力機制，使其能夠專(zhuān)注于編碼器的輸出。然后，這允許解碼器在生成輸出時(shí)考慮來(lái)自輸入序列的相關(guān)信息。

此后，轉換器架構已成為L(cháng)LM開(kāi)發(fā)的關(guān)鍵組件，并在整個(gè)NLP領(lǐng)域帶來(lái)了重大改進(jìn)，例如機器翻譯，語(yǔ)言建模和問(wèn)答。

2018年：GPT-1，BERT和圖形神經(jīng)網(wǎng)絡(luò )

在Vaswani等人發(fā)表他們的基礎論文幾個(gè)月后，OpenAI于1年2018月推出了Generative P再訓練Transformer或GPT-1，它利用轉換器架構有效地捕獲文本中的長(cháng)期依賴(lài)關(guān)系。GPT-<> 是最早證明無(wú)監督預訓練有效性的模型之一，然后對特定的 NLP 任務(wù)進(jìn)行微調。

谷歌也利用了仍然相當新穎的變壓器架構，它在2018年底發(fā)布并開(kāi)源了他們自己的預訓練方法，稱(chēng)為Bidirectional Encoder R來(lái)自Transformers或BERT的演示。與以前以單向方式處理文本的模型（包括 GPT-1）不同，BERT 同時(shí)考慮每個(gè)單詞在兩個(gè)方向上的上下文。為了說(shuō)明這一點(diǎn)，作者提供了一個(gè)非常直觀(guān)的示例：

    。在句子“我訪(fǎng)問(wèn)了銀行賬戶(hù)”中，單向上下文模型將表示 基于“我訪(fǎng)問(wèn)了”而不是“賬戶(hù)”的“銀行”。但是，BERT 使用其上一個(gè)和下一個(gè)上下文表示“銀行”——“我訪(fǎng)問(wèn)了......帳戶(hù)“——從深度神經(jīng)網(wǎng)絡(luò )的最底部開(kāi)始，使其深度雙向。

雙向性的概念是如此強大，以至于它使BERT在各種基準任務(wù)上優(yōu)于最先進(jìn)的NLP系統。

除了GPT-1和BERT，圖神經(jīng)網(wǎng)絡(luò )或GNNs在那一年也引起了一些轟動(dòng)。它們屬于專(zhuān)門(mén)設計用于處理圖形數據的神經(jīng)網(wǎng)絡(luò )類(lèi)別。GNN 利用消息傳遞算法在圖形的節點(diǎn)和邊緣之間傳播信息。這使網(wǎng)絡(luò )能夠以更直觀(guān)的方式學(xué)習數據的結構和關(guān)系。

這項工作允許從數據中提取更深入的見(jiàn)解，從而擴大了深度學(xué)習可以應用于的問(wèn)題范圍。有了GNN，在社交網(wǎng)絡(luò )分析、推薦系統和藥物發(fā)現等領(lǐng)域取得了重大進(jìn)展。

2019 年：GPT-2 和改進(jìn)的生成模型

2019 年標志著(zhù)生成模型的幾項顯著(zhù)進(jìn)步，尤其是 GPT-2 的引入。該模型在許多NLP任務(wù)中實(shí)現了最先進(jìn)的性能，并且能夠生成高度逼真的文本，事后看來(lái)，這確實(shí)使同行望而卻步。

該領(lǐng)域的其他改進(jìn)包括DeepMind的BigGAN和NVIDIA的StyleGAN，它可以生成與真實(shí)圖像幾乎無(wú)法區分的高質(zhì)量圖像，以及NVIDIA的StyleGAN，它可以更好地控制這些生成的圖像的外觀(guān)。

總的來(lái)說(shuō)，現在被稱(chēng)為生成人工智能的這些進(jìn)步進(jìn)一步推動(dòng)了這一領(lǐng)域的界限，而且......

2020 年：GPT-3 和自監督學(xué)習

...不久之后，另一種模型誕生了，即使在技術(shù)社區之外，它也已成為家喻戶(hù)曉的名字：GPT-3。該模型代表了LLM的規模和能力的重大飛躍。為了將事情放在上下文中，GPT-1 具有可憐的 117.1 億個(gè)參數。GPT-5 的這一數字上升到 2 億，GPT-175 的這一數字上升到 3 億。

大量的參數空間使 GPT-3 能夠在各種提示和任務(wù)中生成非常連貫的文本。它還在各種NLP任務(wù)中表現出令人印象深刻的表現，例如文本完成，問(wèn)答，甚至創(chuàng )意寫(xiě)作。

此外，GPT-3 再次強調了使用自監督學(xué)習的潛力，它允許在大量未標記的數據上訓練模型。這樣做的好處是，這些模型可以獲得對語(yǔ)言的廣泛理解，而無(wú)需進(jìn)行廣泛的特定于任務(wù)的訓練，這使得它更加經(jīng)濟。

從蛋白質(zhì)折疊到圖像生成和自動(dòng)編碼輔助，2021 年是多事之秋，這要歸功于 AlphaFold 2、DALL·E和GitHub Copilot。

AlphaFold 2被譽(yù)為數十年來(lái)的蛋白質(zhì)折疊問(wèn)題的長(cháng)期解決方案。DeepMind的研究人員擴展了變壓器架構，以創(chuàng )建evoformer塊 - 利用進(jìn)化策略進(jìn)行模型優(yōu)化的架構 - 以構建能夠根據其3D氨基酸序列預測蛋白質(zhì)1D結構的模型。這一突破具有巨大的潛力，可以徹底改變藥物發(fā)現、生物工程等領(lǐng)域，以及我們對生物系統的理解。

OpenAI今年也再次登上新聞，發(fā)布了DALL·E. 從本質(zhì)上講，該模型結合了 GPT 樣式語(yǔ)言模型和圖像生成的概念，以便從文本描述中創(chuàng )建高質(zhì)量的圖像。

為了說(shuō)明這個(gè)模型有多強大，請考慮下面的圖像，它是在提示“飛行汽車(chē)的未來(lái)世界油畫(huà)”下生成的。

最后，GitHub發(fā)布了后來(lái)成為每個(gè)開(kāi)發(fā)人員最好的朋友的東西：Copilot。這是與OpenAI合作實(shí)現的，OpenAI提供了底層語(yǔ)言模型Codex，該模型在大量公開(kāi)可用的代碼語(yǔ)料庫上進(jìn)行訓練，進(jìn)而學(xué)會(huì )了理解和生成各種編程語(yǔ)言的代碼。開(kāi)發(fā)人員只需提供代碼注釋即可使用Copilot，說(shuō)明他們試圖解決的問(wèn)題，然后模型將建議代碼來(lái)實(shí)現解決方案。其他功能包括用自然語(yǔ)言描述輸入代碼以及在編程語(yǔ)言之間翻譯代碼的能力。

2022 年：聊天GPT 和穩定擴散

人工智能在過(guò)去十年中的快速發(fā)展最終帶來(lái)了突破性的進(jìn)步：OpenAI 的 ChatGPT，這是一款聊天機器人，于 2022 年 <> 月發(fā)布到野外。該工具代表了NLP領(lǐng)域的一項前沿成就，能夠對各種查詢(xún)和提示生成連貫且上下文相關(guān)的響應。此外，它可以參與對話(huà)，提供解釋?zhuān)峁﹦?chuàng )造性建議，協(xié)助解決問(wèn)題，編寫(xiě)和解釋代碼，甚至模擬不同的個(gè)性或寫(xiě)作風(fēng)格。

人們可以與機器人交互的簡(jiǎn)單直觀(guān)的界面也刺激了可用性的急劇上升。以前，主要是技術(shù)社區會(huì )玩弄最新的基于人工智能的發(fā)明。然而，如今，人工智能工具幾乎滲透到每個(gè)專(zhuān)業(yè)領(lǐng)域，從軟件工程師到作家、音樂(lè )家和廣告商。許多公司還使用該模型來(lái)自動(dòng)化服務(wù)，例如客戶(hù)支持、語(yǔ)言翻譯或回答常見(jiàn)問(wèn)題解答。事實(shí)上，我們看到的自動(dòng)化浪潮重新引發(fā)了一些擔憂(yōu)，并激發(fā)了關(guān)于哪些工作可能面臨自動(dòng)化風(fēng)險的討論。

盡管 ChatGPT 在 2022 年占據了大部分風(fēng)頭，但在圖像生成方面也取得了重大進(jìn)展。穩定擴散是一種潛在的文本到圖像擴散模型，能夠從文本描述中生成逼真的圖像，由Stability AI發(fā)布。

穩定擴散是傳統擴散模型的擴展，傳統擴散模型的工作原理是迭代地向圖像添加噪聲，然后逆轉恢復數據的過(guò)程。它旨在通過(guò)不直接在輸入圖像上操作，而是在它們的低維表示或潛在空間上操作來(lái)加速此過(guò)程。此外，通過(guò)將變壓器嵌入的文本提示從用戶(hù)添加到網(wǎng)絡(luò )來(lái)修改擴散過(guò)程，使其能夠在每次迭代中指導圖像生成過(guò)程。

總體而言，2022 年 ChatGPT 和穩定擴散的發(fā)布凸顯了多模式、生成式 AI 的潛力，并引發(fā)了該領(lǐng)域進(jìn)一步發(fā)展和投資的巨大推動(dòng)力。

2023年：法學(xué)碩士和機器人

毫無(wú)疑問(wèn)，今年已成為L(cháng)LM和聊天機器人的一年。越來(lái)越多的模型正在以快速增長(cháng)的速度開(kāi)發(fā)和發(fā)布。

例如，24 月 3 日，Meta AI 發(fā)布了 LLaMA——盡管參數數量要少得多，但在大多數基準測試中性能優(yōu)于 GPT-14 的 LLM。不到一個(gè)月后，即 4 月 3 日，OpenAI 發(fā)布了 GPT-4——GPT-<> 的更大、功能更強大、多模式版本。雖然 GPT-<> 的確切參數數量未知，但據推測為數萬(wàn)億。

15月21日，斯坦福大學(xué)的研究人員發(fā)布了Alpaca，這是一種輕量級語(yǔ)言模型，由LLaMA在教學(xué)演示中進(jìn)行了微調。幾天后，在2月10日，谷歌推出了ChatGPT的競爭對手：巴德。谷歌也剛剛在本月<>月<>日早些時(shí)候發(fā)布了最新的LLM，PaLM-<>。隨著(zhù)該領(lǐng)域無(wú)情的發(fā)展步伐，在您閱讀本文時(shí)，很可能已經(jīng)出現了另一種模型。

我們也看到越來(lái)越多的公司將這些模型整合到他們的產(chǎn)品中。例如，Duolingo宣布了其GPT-4驅動(dòng)的Duolingo Max，這是一個(gè)新的訂閱層，旨在為每個(gè)人提供量身定制的語(yǔ)言課程。Slack還推出了一個(gè)名為Slack GPT的人工智能助手，它可以做一些事情，比如起草回復或總結線(xiàn)程。此外，Shopify在公司的Shop應用程序中引入了一個(gè)由ChatGPT驅動(dòng)的助手，該應用程序可以幫助客戶(hù)使用各種提示來(lái)識別所需的產(chǎn)品。

有趣的是，人工智能聊天機器人現在甚至被認為是人類(lèi)治療師的替代品。例如，美國聊天機器人應用程序Replika為用戶(hù)提供了一個(gè)“關(guān)心的AI伴侶，總是在這里傾聽(tīng)和交談，總是站在你身邊”。其創(chuàng )始人尤金妮婭·庫伊達（Eugenia Kuyda）表示，該應用程序擁有各種各樣的客戶(hù)，從自閉癥兒童，他們將其作為“在人類(lèi)互動(dòng)之前熱身”的一種方式，到孤獨的成年人，他們只是需要朋友。

在我們結束之前，我想強調一下過(guò)去十年人工智能發(fā)展的高潮：人們實(shí)際上正在使用Bing！今年早些時(shí)候，微軟推出了其GPT-4驅動(dòng)的“網(wǎng)絡(luò )副駕駛”，該副駕駛已針對搜索進(jìn)行了定制，并且首次在...永遠（？）已經(jīng)成為谷歌在搜索業(yè)務(wù)中長(cháng)期統治地位的有力競爭者。

回顧和展望

當我們回顧過(guò)去十年的人工智能發(fā)展時(shí)，很明顯，我們一直在見(jiàn)證一種轉變，這對我們的工作、業(yè)務(wù)和互動(dòng)方式產(chǎn)生了深遠的影響。最近在生成模型，特別是LLM方面取得的大多數重大進(jìn)展似乎都堅持“越大越好”的普遍信念，指的是模型的參數空間。這在 GPT 系列中尤其明顯，它從 117.1 億個(gè)參數 （GPT-4） 開(kāi)始，在每個(gè)連續模型增加大約一個(gè)數量級后，最終產(chǎn)生具有潛在數萬(wàn)億個(gè)參數的 GPT-<>。

然而，根據最近的一次采訪(fǎng)，OpenAI首席執行官Sam Altman認為，我們已經(jīng)走到了“越大越好”時(shí)代的盡頭。展望未來(lái)，他仍然認為參數計數將呈上升趨勢，但未來(lái)模型改進(jìn)的主要重點(diǎn)將是提高模型的能力、實(shí)用性和安全性。

后者特別重要?？紤]到這些強大的人工智能工具現在掌握在公眾手中，不再局限于研究實(shí)驗室的受控環(huán)境，現在比以往任何時(shí)候都更加重要的是，我們要謹慎行事，確保這些工具是安全的，并符合人類(lèi)的最佳利益。希望我們能看到人工智能安全方面的發(fā)展和投資，就像我們在其他領(lǐng)域看到的那樣。