摘要
沿著 Scaling Law、卷模型性能，可能會走到「死胡同」。
文｜黎詩韻
編輯｜鄭玄
我們被倡導(dǎo)要想明白自己的目標(biāo)是什么、并做出計劃。然而，兩位人工智能研究者卻認(rèn)為，這只適用于普通的小愿望。
一旦涉及過于高遠(yuǎn)的、不確定能否實現(xiàn)的目標(biāo)，比如打造AGI（通用人工智能）、登月計劃等等——那么根據(jù)興趣進(jìn)行自由的、開放性的探索，才更能實現(xiàn)想要的。他們把這一觀點寫成了《為什么偉大不能被計劃》一書。
在這本書出版的2015年，OpenAI成立，它一開始就確定了實現(xiàn)AGI的目標(biāo)。九年間，OpenAI取得的巨大成功，似乎證明了人工智能界是一場「目標(biāo)導(dǎo)向者」的勝利。「OpenAI看似是目標(biāo)導(dǎo)向的，但實際上在內(nèi)部，它有很多有趣的、開放性的探索?！?/strong>本書作者之一肯尼斯·斯坦利(Kenneth Stanley) 告訴極客公園。
2015年，他任美國中佛羅里達(dá)大學(xué)計算機(jī)科學(xué)系助理教授，和前博士生喬爾·雷曼（Joel Lehman）一起合著了該書。第二年，他們進(jìn)入產(chǎn)業(yè)界，加入Uber AI團(tuán)隊。2020年，他們又一起加入了OpenAI，肯尼斯擔(dān)任OpenAI「開放性研究團(tuán)隊」負(fù)責(zé)人。
OpenAI的CEO Sam Altman是他們這本書的推崇者。他曾在一個公開場合提到，OpenAI訓(xùn)練模型時會設(shè)定指標(biāo)，指標(biāo)的上升讓人開心，「但對于找出一個新的研究范式，就不起作用了」。受書中觀點啟發(fā)，他愿意嘗試更多新奇性探索，「我們愿意耐心等待數(shù)月、數(shù)年，大多數(shù)時候它（探索）并不起作用，但當(dāng)它起作用的時候、效果驚人地好?！?/div>
加入內(nèi)部，肯尼斯和喬爾看到開放性探索如何塑造了OpenAI的成功。例如ChatGPT本是一個意料之外的項目，它曾是內(nèi)部幾大方向中最邊緣的；碰巧撞上了谷歌的Transformer架構(gòu)；而Dario Amodei（前OpenAI研發(fā)副總裁、現(xiàn)Anthropic CEO）提出Scaling Law（縮放定律）是為了測試模型安全性、而非涌現(xiàn)智能等等。
隨著2022年底GPT-3.5發(fā)布，全球人工智能行業(yè)開啟了激烈競賽。在二人看來，AGI仍然是一個遙遠(yuǎn)的、而非近在咫尺的目標(biāo)，僅靠Scaling Law 這個「踏腳石」還不夠。在這種情況下，開放性探索非常重要——而目前行業(yè)極具收斂的目標(biāo)和計劃、以及激烈的競爭，反而可能讓研究走進(jìn)「死胡同」。
即便OpenAI也面臨挑戰(zhàn)，喬爾感覺到，一種緊張的氛圍開始在內(nèi)部出現(xiàn)，開放性探索的空間也在縮窄。2022年，他們離開了OpenAI。隨著人工智能越來越強(qiáng)大，他們希望更多研究一些開放性命題，比如AI會如何影響人類和社會、如何從哲學(xué)角度看待AI等等。
目前，喬爾加入了一家研究虛擬生命的公司，而肯尼斯創(chuàng)辦了基于開放性系統(tǒng)的社交網(wǎng)絡(luò)Maven、并獲得了Sam Altman的投資。他們都在開放性探索的路上繼續(xù)前進(jìn)著。
以下為極客公園與肯尼斯、喬爾的對話實錄，經(jīng)整理后發(fā)布：
《為什么偉大不能被計劃》一書的英文版 | 圖片來源：受訪者
OpenAI看似是「目標(biāo)導(dǎo)向型」的成功，實則是「開放性探索」的成功
極客公園：先從這本書的起源聊起，我很好奇你們十年前是怎么想到提出「為什么偉大不能被計劃」這個觀點的？你們最早研究人工智能的「開放性系統(tǒng)」，做了圖片孵化器、機(jī)器人迷宮等實驗，好奇哪些事實讓你們覺得這個觀點是成立的、并且可以應(yīng)用到除了人工智能以外的其他領(lǐng)域？
Kenneth：最初的想法來自于人工智能領(lǐng)域的研究，也就是我們所說的「開放性系統(tǒng)」（Open-Endedness）。這種系統(tǒng)早已存在，比如生物的演進(jìn)，在幾十億年中，從單細(xì)胞進(jìn)化為各種各樣的動物。又比如簡單的發(fā)明創(chuàng)造，我們可能花了數(shù)千年，才創(chuàng)造了一個輪胎、空間站和計算機(jī)等等。
作為歷史學(xué)家和計算機(jī)科學(xué)家，我們希望用算法打造一個「開放性系統(tǒng)」，想了解它的工作原理，怎么不斷創(chuàng)新、產(chǎn)生非常有趣的東西。所以我們做了「圖片孵化器」網(wǎng)站。這個 AI 系統(tǒng)沒有任何目標(biāo)，人們隨機(jī)在上面將不同圖片進(jìn)行「繁殖」，這些圖片會構(gòu)成類似生物學(xué)「分支樹」的關(guān)系。
雖然每個用戶都是從亂涂亂畫開始的，但漸漸我們看到了一些熟悉的、可辨認(rèn)的圖片，比如蝴蝶、頭顱、行星、汽車等等。我們進(jìn)而得出一些有意思的洞察，比如你孵化出了一張酷似車的圖片，但你最初并不是以此為目標(biāo)的。而如果你以此為目標(biāo)，你根本得不出這張照片。這是矛盾之處。遵循這樣的原則，我們提出了基于新奇性探索、而非目標(biāo)驅(qū)動的搜索算法。
最后我們發(fā)現(xiàn)，這不僅適用于算法領(lǐng)域，也適用于個人和機(jī)構(gòu)。每一個個人和機(jī)構(gòu)都會設(shè)定目標(biāo)，但這種目標(biāo)驅(qū)動并不總是對我們的創(chuàng)造和發(fā)明奏效。Joel和我覺得這個過程非常重要，值得公開說出來。我們試圖找到相關(guān)信息、并進(jìn)行多次對話，這就是我們這本書想法的來源。
極客公園：可否理解為這本書的核心觀點是，無論在算法、個人還是組織層面，面對一個更遙遠(yuǎn)的目標(biāo)，制定計劃不如自由探索有效？
Joel：一般來說，普通的做法是我們樹立一個目標(biāo)、制定計劃。但我們是不制定目標(biāo)、只是去探索新奇的東西。比如迷宮里的機(jī)器人，如果給它制定走出迷宮的目標(biāo)，那它可能很難走出這個死胡同。但如果不告訴它去哪里、而是讓它自由探索，它會更容易走出迷宮。
肯尼斯和喬爾做的「圖片孵化器」網(wǎng)站，從亂涂亂畫中出現(xiàn)了一些熟悉的、可辨認(rèn)的圖片 | 圖片來源：受訪者
極客公園：我注意到，在你們剛出完這本書不久的2015 年，OpenAI 成立了。這家公司從創(chuàng)立起就確定了一個非常偉大的目標(biāo)，那就是實現(xiàn)AGI，它的每個步驟都是圍繞這個目標(biāo)進(jìn)行。今天我們看到，OpenAI似乎取得了成功。所以我想問，在你們這本書出版后的十年里，OpenAI的故事是否反而證明了「目的驅(qū)動模式」的成功？
Kenneth：非常好的問題。我認(rèn)為非常重要的一點就是要注意到，OpenAI雖然取得了一定的進(jìn)展，但還沒有取得AGI的成功。另外，我們也要意識到，公司往往會向公眾講述目標(biāo)，但這其實是它們一種敘述的手段，這并不意味著企業(yè)內(nèi)部就是這么推動工作的。
如果你去看OpenAI的幕后，你會發(fā)現(xiàn)它們不僅僅是目標(biāo)導(dǎo)向的，它們也有很多有趣的、開放性的探索。實際上，ChatGPT就是這樣一種開放性探索，它是在一個意料之外的項目。我并不認(rèn)為OpenAI的工作人員最早就設(shè)立了要做ChatGPT這個項目（的目標(biāo)），或者說預(yù)見到了它能取得如此巨大的成功。它們只是在探索過程中發(fā)現(xiàn)這個項目非常有意思，然后一步步更新迭代才有了今天的ChatGPT。
我們書中也提到過，創(chuàng)新究竟該如何推進(jìn)呢？其實就是我們從有趣的一些想法開始，那究竟它是否會將我們引導(dǎo)向最終 AGI 的成功呢？其實這并不一定，但這是非常重要的一步，它們最終都有可能帶來革命性的變化。
另外，它也能實現(xiàn)其他一些重要的成就，比如吸引更多的投資。我們知道GPT-2并沒有帶來巨大的革命性變化，但我們?nèi)匀灰M可能地宣傳，才能吸引更多投資來發(fā)展GPT-3、GPT-4，并最終向AGI的目標(biāo)前進(jìn)。OpenAI就是這么做的，這正體現(xiàn)了我們書中的觀點。
Joel：OpenAI看上去是一個目標(biāo)導(dǎo)向型的成功，但其實OpenAI剛成立的時候，內(nèi)部有嘗試很多不同的發(fā)展方向。比如當(dāng)時他們非?？粗貜?qiáng)化學(xué)習(xí)，包括視頻、游戲的強(qiáng)化學(xué)習(xí)，為此內(nèi)部做了很多嘗試。
而且GPT背后的核心技術(shù)是Transformer架構(gòu)，這是由谷歌推出的，所以O(shè)penAI也是在谷歌這樣的巨人的肩膀上不斷發(fā)展的。如果回顧10年前、20年前、30年前、40年前，沒有這么多「踏腳石」的情況下，OpenAI也不可能取得這樣的成功。
極客公園：你們定義了OpenAI看似是目標(biāo)導(dǎo)向、但其實是自由探索式的成功。OpenAI內(nèi)部人士曾跟我們說，鋪墊GPT 3.5 的幾個「踏腳石」都是隨機(jī)碰撞出來的，比如聊天機(jī)器人曾是內(nèi)部最邊緣的項目、碰巧撞上了谷歌的Transformer架構(gòu)、而Dario提出Scaling Law也不是為了智能涌現(xiàn)而是想測試模型是否安全……這是否跟你們了解的情況接近？
Joel：是的，這些隨機(jī)探索的確是非常重要的。尤其是OpenAI，它很早就開始推進(jìn) Scaling Law等嘗試，并且不斷在做選擇，這是非常正確的。
Kenneth：的確探索很多時候是隨機(jī)的、根據(jù)興趣進(jìn)行的。但Dario提出Scaling Law，這不僅是一個隨機(jī)的探索、這其實也是一個目標(biāo)導(dǎo)向性的做法。
這背后是團(tuán)隊從自己的興趣出發(fā)、做了很多嘗試，想要找到解決方案，最終提出了Scaling Law這個解決方案。這某種意義上也是一種目標(biāo)導(dǎo)向。
極客公園：所以開放探索和目標(biāo)驅(qū)動并不是彼此對立的，而是可以統(tǒng)一和融合的？
Kenneth：的確兩者是可以并存的，能夠從一方轉(zhuǎn)向另一方。但是在我看來，這其實也是一個非常困難的問題。什么時候該進(jìn)行轉(zhuǎn)向？什么時候是目標(biāo)導(dǎo)向、什么時候是興趣導(dǎo)向？這非常微妙，很難去找到最佳的轉(zhuǎn)變時機(jī)。
極客公園：你們能夠看到 OpenAI的內(nèi)核其實是一個「開放性探索」的組織，這是當(dāng)初吸引你們加入OpenAI的重要原因嗎？
Joel：哈哈，有許多原因。一個最主要的當(dāng)然因為OpenAI是AI領(lǐng)域的前沿公司。另外，它的確一開始就是一家「開放性探索」的公司，雖然它們肯定有一些目標(biāo)導(dǎo)向的元素存在。這與我的個人興趣也是相關(guān)的。所以確實很難拒絕這樣一份工作。
極客公園：那么Sam有看過你們這本書嗎、他是否認(rèn)同你們提出的「開放性探索」觀點？這是他招募你們進(jìn)入OpenAI的原因嗎？
Kenneth：Sam 非常喜歡我們書中的想法，我相信他是在觀看了我關(guān)于這本書的演講時接觸到這些想法的。他曾在公眾場合提到，他受到了這本書的一些想法的影響。Sam 對這些想法是非常包容和開放的，我覺得他暴露在這些想法當(dāng)中、他認(rèn)為這些想法非常有意思。
當(dāng)然，我在OpenAI也不僅僅是因為Sam，內(nèi)部很多人都有開放的想法。比如Jeff Clune（前OpenAI研究團(tuán)隊負(fù)責(zé)人），他在我們之前加入OpenAI。他也覺得，開放性探索是一個有趣且值得投資的領(lǐng)域。我們在那個時候達(dá)成了共識，所以我們被雇傭了。
在我看來，這本書并不是OpenAI的工具書。但我相信，這一文化確實對他們有影響，開放性探索是非常重要的。
極客公園：Ken當(dāng)時是OpenAI「開放性探索」團(tuán)隊的負(fù)責(zé)人，當(dāng)時OpenAI對你們的期待是怎樣的？有給你們制定了怎樣的目標(biāo)嗎？
Kenneth：我們面臨的挑戰(zhàn)在于，幾乎任何一家公司都會感興趣設(shè)定目標(biāo)。但如果我們探索的一些想法，并不完全是目標(biāo)導(dǎo)向的、甚至?xí)畴x目標(biāo)的話，我們肯定會面臨一些溝通上的挑戰(zhàn)。這有一些復(fù)雜，因此在日常的工作中，我們需要取得一個平衡。
有時候很難理解我們來自哪里、雇傭我們干嘛。他們可能會非常奇怪，覺得我們做的是非客觀性的一些東西。不過最終他們意識到，對于推動AGI來說，這些工作是非常有用的。這已經(jīng)超出了傳統(tǒng)團(tuán)隊的認(rèn)識。
Joel：這里面分為兩部分：一個層面是關(guān)于組織的架構(gòu)，很多人會困惑我們的工作，所以我們要跟他們解釋我們在做什么，并找到我們工作跟AGI目標(biāo)的關(guān)聯(lián)度；另一方面是我們實際工作的開放性，要創(chuàng)造新的東西。
就像Ken說的，我們需要在公司內(nèi)部找到一種開放性的方法，既要讓大家了解我們在做什么，也要新奇探索、取得進(jìn)步，這兩者的平衡是一種微妙的舞蹈。
極客公園：你們是否感受到，在「開放性探索」上，OpenAI這樣的初創(chuàng)公司可能比科技巨頭做得更好？我曾聽說，Google雖發(fā)明了 Transformer 架構(gòu)，但沒有率先做出GPT，是因為它的技術(shù)路線更目標(biāo)導(dǎo)向——Google更強(qiáng)調(diào) Encoder（輸入），因為它可以解決更多具體業(yè)務(wù)問題；而 OpenAI 更強(qiáng)調(diào) Decoder（輸出），因為它沒有那么強(qiáng)的業(yè)務(wù)導(dǎo)向，更愿意像無頭蒼蠅一樣做「開放性探索」，你們怎么看？
Joel：我的理解是谷歌也有這種對話模型，也是很領(lǐng)先的。談到好奇、興趣、技術(shù)能力、率先應(yīng)用于大眾等，我認(rèn)為其中包含了不同的變量。谷歌是一個更大的機(jī)構(gòu)，可能有更多的「橡皮章」、繁文縟節(jié)這些東西，而OpenAI可能更開放。
Kenneth：我只是想說，涉及到任何一個大機(jī)構(gòu)的成功，都包含了很多要素。不過我有一點我同意，OpenAI確實在探索方面做得更好、它有更大的意愿去冒險，而谷歌可能在這方面更加謹(jǐn)慎和猶豫，比如在公眾面前展示技術(shù)，谷歌可能會慢一步。
這可以理解。因為谷歌作為一個大公司，在發(fā)布東西之前，需要做很多嘗試和實驗。他們更不愿意失敗，它對于風(fēng)險更有顧慮。但這并不一定是確定的，只是我們的看法。
我們看到，谷歌注重強(qiáng)化學(xué)習(xí)和各種方法，OpenAI也注重強(qiáng)化學(xué)習(xí)、并在不同領(lǐng)域下注，最終它們都取得了成功。
極客公園：距離你們當(dāng)時寫這本書已經(jīng)過去快 10 年了，中間你們還加入了OpenAI、Uber等科技公司，經(jīng)歷了這些再看這本書，你們覺得書中哪些觀點仍歷久彌新？哪些需要變化更新？
Kenneth：回頭望，這已經(jīng)是我們這本書出版的第九年了。關(guān)于建立目標(biāo)，我們有過非常多的、激進(jìn)的爭論，但許多事情隨著時間的推移得到了驗證。
正如你剛才提到的一些例子，有些人可能會認(rèn)為有些目標(biāo)是有效的。但在過去十年的時間里，我們越來越發(fā)現(xiàn)，目標(biāo)導(dǎo)向有時會讓人感到困惑，會讓你有盲點、抓不到其他機(jī)會、看不到更多的可能。我們認(rèn)為十年后、甚至一百年后，這個觀點可能都不會過時。
在每一章中，我們都引入了一些歷史案例和引語，比如「行者無疆」——一個好的旅行者是沒有固定計劃的，他對于要到達(dá)哪里并不太清楚——我不確定中國的哲學(xué)家老子是否在幾千年前提出了這種描述。這是一種哲學(xué)的觀點、一種經(jīng)驗之談，并不是有很多科學(xué)證據(jù)，有時候聽上去是反直覺的、是一個離經(jīng)叛道的東西。
社會中確實有一些問題，例如，整個社會的組織都在圍繞目標(biāo)推動，并且把「目標(biāo)是非常重要的」這種文化意識強(qiáng)加給我們。以教育為例，老師根據(jù)考試內(nèi)容教學(xué)、學(xué)生根據(jù)考試內(nèi)容學(xué)習(xí)，這就是目標(biāo)對教育的影響。在書中，我們強(qiáng)調(diào)了目標(biāo)的影響是無處不在的，我們需要去掙扎往前走。
再次強(qiáng)調(diào)一下，我們認(rèn)為「偉大無法被計劃」這個觀點，是不會發(fā)生變化的。如果我們的人生只是目標(biāo)導(dǎo)向的話，將無法取得完整的幸福。這也是為什么我們這本書如此成功和受歡迎的原因。
沿著Scaling Law、卷模型性能，可能會走到「死胡同」
極客公園：雖然你們反對「目標(biāo)導(dǎo)向」，但似乎目前全球人工智能界的目標(biāo)都非常收斂且明確，一是追上OpenAI等公司、二是盡快實現(xiàn)AGI，你們怎么看這種現(xiàn)象？這種「目標(biāo)至上」會是你們反對的嗎？
Kenneth：謝謝您的問題。我同意在目前的人工智能行業(yè)中，大家定了這兩個宏偉的目標(biāo)，覺得「北極星」就在那兒、我們要朝著那兒走。不過回到我一開始說的，企業(yè)往往會對外有一套說辭，但它們內(nèi)部可能并不是這樣做的。
我主要想談一談，我們到底離這樣的目標(biāo)有多遠(yuǎn)？如果說只差一個「踏腳石」、離得非常近，就像上世紀(jì)60年代制定登月計劃的時候、已經(jīng)有很好的技術(shù)基礎(chǔ)，那么我們可以通過制定目標(biāo)去實現(xiàn)。
但問題在于，如果我們還需要很多個「墊腳石」、離目標(biāo)還很遠(yuǎn)，那設(shè)定目標(biāo)可能會讓我們陷入困境、無法前進(jìn)。歷史上有很多這樣的例子。比如在2017年，我們聽到有人說第二年就會有自動駕駛汽車上路，但其實不是這樣。
因此，單純采取目標(biāo)導(dǎo)向的方法往往會無法實現(xiàn)目標(biāo)，可能是因為目標(biāo)設(shè)定的時間太早、或者太過雄心勃勃。很多人認(rèn)為現(xiàn)在人工智能領(lǐng)域只差一個「踏腳石」，只需要擴(kuò)大規(guī)模就可以了，這其實是過于簡單化了這個問題。但在我看來，真正核心的「踏腳石」還沒有被發(fā)現(xiàn)、我們并不僅僅差一個「踏腳石」。我們很可能正在陷入目標(biāo)的陷阱和迷思之中。
Joel：的確我們現(xiàn)在處于一個「荒誕」的歷史階段，全球的科技公司都在追求AGI，這種過于聚焦的目標(biāo)是人類「革命性的時刻」。但我們要知道，AGI的發(fā)展還要很長的時間。
現(xiàn)在許多人認(rèn)為，只需要擴(kuò)大規(guī)模、參數(shù)，有更多的數(shù)據(jù)和算力，就可以可發(fā)展人工智能。這對我來說有些無聊，或者說有些無趣。這并不是最核心的「踏腳石」，我相信還有其他的路徑和方法需要我們?nèi)ヌ剿鳌?/div>
極客公園：為什么我們離AGI不只是「一步之遙」、不只差一個「踏腳石」？你們做出這個判斷的依據(jù)是什么？
Joel：我們到底距離AGI有多遠(yuǎn)，其實大家是有認(rèn)知偏差的。就像自動駕駛一樣，并不太清楚到底需要多少個「踏腳石」。我們唯一確信的是，如果有一步之遙的東西，你必須要在那里、你必須去做、必須去放大。
Kenneth：最近有一個類比，GPT-3就像是一個孩子，GPT-4像是高中生。但實際上，ChatGPT更像是教科書中的知識，在某些方面，它可能超越了我們，而在其他方面，它可能不如我們。奇特之處在于，我們會感到某些東西非常接近了，但這不一定是AGI。
但我們也不清楚究竟還要等待多久。我們甚至可能需要一位「愛因斯坦」的出現(xiàn)，才能達(dá)到下一個臺階。
極客公園：這讓我想到你們在書里提到，其實從單細(xì)胞到人類的進(jìn)化過程中，重要的「踏腳石」不只是智力，還包括對稱性等。那么對于AGI 來說，Scaling Law 帶來的智能提升會是一個靠譜的踏腳石嗎？它能支撐多久？
Kenneth：智能這個詞很容易讓人困惑，因為它涉及許多方面。Scaling Law遵循一些普遍的原理，但它也會喪失一些東西。比如在技術(shù)上，你必須將大量人類數(shù)據(jù)進(jìn)行更好的壓縮和訓(xùn)練，它不再是傳統(tǒng)意義上的智能、而是不斷提升的智能。我們最終可能會遇到一個瓶頸或死胡同、會在訓(xùn)練上遇到走不下去的時刻。
就像OpenAI在不斷擴(kuò)大規(guī)模、增加參數(shù)，但它還是遇到了瓶頸（注：比如GPT-5處于難產(chǎn)狀態(tài)）。這也是為什么我們需要新的踏腳石。
Joel：如果想要達(dá)到AGI那模糊的彼岸，有點像做一個賭注，很多明顯的路徑都必須要去嘗試。因為AGI可能不僅來自AI，還可能來自數(shù)學(xué)、哲學(xué)和其他領(lǐng)域。
《神經(jīng)語?模型的縮放定律》論文寫道，隨著模型??、數(shù)據(jù)集??和?于訓(xùn)練的計算量的增加，語?建模性能平穩(wěn)提升 | 圖片來源：OpenAI
極客公園：現(xiàn)在各大人工智能公司都在這一維度激烈競逐，而你們在書里提到，競爭其實跟「開放性探索」相悖、因為它是極其收斂的目標(biāo)。你們怎么看待現(xiàn)在人工智能領(lǐng)域的激烈競爭？
Kenneth：這就是目標(biāo)導(dǎo)向的悖論，它會使得我們更加盲目，對其他方法和路徑視而不見。像OpenAI、Anthropic和Google這樣的公司，它們存在激烈競爭，因為哪家如果落后了，就可能無法獲得更多資金，公司會受到生存威脅。
在這種競爭中，大家唯一的目標(biāo)就是活下來。公司更傾向于繼續(xù)沿著既定路徑前進(jìn)、擴(kuò)大規(guī)模。如果這時候嘗試創(chuàng)新，會面臨失敗的風(fēng)險、可能會被踢出局。所以創(chuàng)新往往會減少。我認(rèn)為在這樣的競爭環(huán)境下，很容易進(jìn)入死胡同。
不過當(dāng)這些企業(yè)遇到瓶頸時，他們可能會意識到需要轉(zhuǎn)向、進(jìn)行更多開放性探索。
極客公園：這跟很多人的看法相反，一般我們認(rèn)為激烈競爭會推動模型智能水平的提升、加速AGI的實現(xiàn)，但在你們看來反而會適得其反？激烈競爭會弊大于利嗎？
Kenneth：是的，這可能有些反直覺。雖然競爭會引發(fā)「軍備競賽」，使得模型性能有所提升，但過度的競爭會減少開放性的嘗試，使得創(chuàng)新更加聚焦和局限、無法取得真正的進(jìn)展。
極客公園：說了這么久的「開放性探索」，那么對于現(xiàn)在目標(biāo)和路徑已經(jīng)相對明確的人工智能企業(yè)來說，它們應(yīng)該怎樣才能做好這件事？你們對于「開放性探索」有沒有一些建議？
Kenneth：我們會發(fā)現(xiàn)，很多公司太早就建立了一套體系，并且非常目標(biāo)導(dǎo)向。如果一些探索在測試中表現(xiàn)不佳，他們就會放棄研究。我認(rèn)為這會減少開放性探索的機(jī)會，是非常不利的。
對于AGI也是如此。當(dāng)前的Transformer架構(gòu)可能還遠(yuǎn)遠(yuǎn)不夠，甚至我們對神經(jīng)網(wǎng)絡(luò)的運(yùn)作機(jī)制還了解得不夠，目前仍有許多失敗的案例。我們并不清楚究竟還差多少步才能實現(xiàn)AGI，因此我們需要多重的、開放性的探索。
在當(dāng)前階段，對于OpenAI和其他公司來說，它們不僅需要改善現(xiàn)有的模型、更需要探索新的路徑，這兩件事需要同步推進(jìn)。
離開OpenAI，人工智能界還需要更多「開放性探索」
極客公園：不久前Ken接受了一個采訪，提到你離開OpenAI是因為「有一些的沮喪、有一些頓悟」，我好奇你的「沮喪」、「頓悟」是什么？方便跟我們分享一下嗎？
Kenneth：讓我想一想，我并不是說我對OpenAI不滿意，而是我越來越意識到，我對人工智能的影響存在一些擔(dān)憂?，F(xiàn)在有很多關(guān)于人工智能消極影響、安全以及文明終結(jié)的討論，這都是很明顯的一些問題。
我越來越感覺到，社會中存在一些對人工智能的不滿情緒、人們感到越來越多的失落，大家會追問生命的意義究竟是什么？比如，未來機(jī)器人可能有數(shù)百萬個非常好的想法，一秒之間就可以超越我們一生的成就、或者比我們個人多年的經(jīng)驗更具智慧，那么我們?nèi)绾卧偃プ鲇袆?chuàng)意性的工作、并從中獲得成就感呢？這是一個非常嚴(yán)重的問題。
我感覺我的工作，似乎在某種程度上加劇了人們的這種擔(dān)憂和焦慮。因此，我想思考人工智能未來的發(fā)展方向、解決它深層次的問題——我們究竟該如何改善人工智能，使其更好地為人類服務(wù)，促進(jìn)人類之間的連接，而不是加劇競爭？
這是我最近非常關(guān)注的問題，我認(rèn)為需要進(jìn)行開放性探索，我相信這對人類社會會更有助益?；谶@樣的原則，我成立了一家自己的公司，希望建立一種開放性的社交網(wǎng)絡(luò)。
極客公園：你創(chuàng)立了Maven，它是一款基于開放性探索的社交產(chǎn)品，可不可以介紹下Maven是一個怎樣的產(chǎn)品？為什么它能解決你提到的人工智能存在的問題？
Kenneth：你可能也注意到一些社交媒體存在的問題，比如信息繭房、對立觀點、不斷爭論的意識形態(tài)導(dǎo)向、甚至陰謀論等。那么這些問題從何而來呢？實際上，這是因為這些系統(tǒng)的質(zhì)量有問題。
幾十年前人們就曾說過，人們會產(chǎn)生各種各樣的觀點和內(nèi)容，但很多內(nèi)容是負(fù)面的或不好的。而現(xiàn)在的社交媒體過于關(guān)注內(nèi)容的受歡迎程度。我們認(rèn)為這種信息分發(fā)模式需要改進(jìn)。
所以我創(chuàng)立了Maven，這是一個基于內(nèi)容質(zhì)量來推薦的「開放性系統(tǒng)」。人們打分、評價，去找到好的內(nèi)容。這種客觀的評價方式、而不是靠點贊排序，才能帶來更好的內(nèi)容。
極客公園：我注意到Twitter 的聯(lián)合創(chuàng)始人投資了你、Sam 也投資了你，為什么Sam會決定投資你？他對你這次創(chuàng)業(yè)有沒有提出建議？
Kenneth：Sam的確投資了我的公司。我寫完這本書之后，也想讓「開放性系統(tǒng)」被更多人使用，于是萌生了成立自己公司的想法。從職業(yè)發(fā)展的角度，Sam給了我許多建議和見解。
從孵化投資人到OpenAI的CEO，Sam自己的職業(yè)發(fā)展就是非常了不起的跨越。他給我的建議是，我們不一定要沿著一份工作、一條道路前進(jìn)，我們的職業(yè)發(fā)展也可以非常多元化。這給我很大的啟發(fā)。 極客公園：Joel 離開 OpenAI 的原因是什么呢？
Joel：主要是我的職業(yè)發(fā)展追求跟它不再完全契合。最初加入OpenAI時，這家公司還處于比較基礎(chǔ)的階段，內(nèi)部有機(jī)器人、人工智能等多個研究方向。然而，后來這家公司變得更加聚焦，我也注意到公司內(nèi)部存在一些緊張的氛圍，這對開放性探索有一定限制。
正如Ken提到的，我們需要考慮到AI對社會的影響、一些哲學(xué)問題、還有如何利用人工智能讓個人更好發(fā)展等等，這些都是很有趣的研究角度。我希望能繼續(xù)研究，而OpenAI可能并不是發(fā)展這些興趣的最佳場所。
離開OpenAI后，我加入了一家研究虛擬生命（artificial life）的初創(chuàng)公司，現(xiàn)在還在繼續(xù)從事開放性系統(tǒng)的研究。
肯尼斯加入OpenAI時發(fā)布的推文 | 圖片來源：X
極客公園：你們提到，即使是OpenAI這樣最頂尖的人工智能公司，隨著公司規(guī)模的擴(kuò)大，它在開放性探索上的投入也開始變得緊張。你們對此有什么擔(dān)憂嗎？
Kenneth：的確如此，資金的壓力還是非常明顯的，如果沒有明確的回報，管理層可能會減少開放性探索的投入。不過對于一些創(chuàng)新型的初創(chuàng)企業(yè)來說，應(yīng)該還好。
像llya（注：OpenAI前首席科學(xué)家）剛剛離開了OpenAI，成立了自己的公司。他說他唯一的目標(biāo)就是實現(xiàn)AGI，而且投資不是大問題。這表明即使沒有明確的回報，也能得到資金支持，許多研究人員都在進(jìn)行各式各樣有趣的探索。
關(guān)于OpenAI，有人說它現(xiàn)在變得更加商業(yè)化，我不太確定。不過內(nèi)部肯定還有一些開放性探索的機(jī)會。因為商業(yè)化并不是OpenAI的最終目標(biāo)，也不是很多OpenAI研究人員的唯一目標(biāo)。
極客公園：Sam 有跟你們聊過這方面的困惑嗎？比如隨著公司規(guī)模變大，他是否感到開放性探索更難做了？
Kenneth：這是一個非常有趣的問題。 我不太清楚Sam的腦袋里在想什么，因為他沒有跟我聊過這些。
極客公園：最終回到個人，你們是人工智能研究員和創(chuàng)業(yè)者、也是普通人。如果你們自己有一個看起來很遠(yuǎn)大的、又很不確定的目標(biāo)，你們會怎么實現(xiàn)它？你們對普通人有什么建議嗎？
Joel：作為一個研究者，有些東西可能是似是而非的。我們書中的一些想法并不一定直接帶來成功，有時需要我們慎重認(rèn)真的看待和廣泛閱讀。
作為個人，我認(rèn)為保持謙卑、開放探索的心態(tài)非常重要。因為偉大是不能被計劃的，但我們可以找到偉大中的亮色。
Kenneth：作為個人，你要保持均衡。比如當(dāng)你過于專注于目標(biāo)，生活可能就沒有那么有趣。就像有人的目標(biāo)是賺錢，但如果發(fā)現(xiàn)了其他有趣的機(jī)會，即使這個機(jī)會的收入并不高、也不在主流地帶，我也建議他嘗試。
作為研究者，事實上，我想都沒想過什么東西會導(dǎo)致AGI。我相信直覺。也就是說，我會遵循我的興趣行動，而這會引導(dǎo)我發(fā)現(xiàn)更多的有意思的東西?？雌饋砦译x目標(biāo)更遠(yuǎn)了，但實際上，興趣才會通往最終目標(biāo)的實現(xiàn)。
