編譯 | 蘇宓

出品 | CSDN（ID：CSDNnews）

每當看科幻電影時，想必無數人會幻想，家裡要有一個“賈維斯”（鋼鐵俠家裡的人工智慧）就好了、身邊能有可鹽可甜的瓦力（來自《機器人總動員》）陪伴也不錯。不過隨著《我，機器人》、《終結者》、《駭客帝國》等帶有“自我意識”的 AI 覺醒，關於“AI 威脅論”似乎正在愈演愈烈。

隨著科技的發展，在現實生活中，當未來的某一天，自動駕駛成為行駛汽車的主導、各大公司的 CEO……傳說中的超級人工智慧是否會將世界佔領？甚至消滅人類？

繼兩個月前 Google 工程師 Blake Lemoine 稱，近日，據外媒 Vice 報道，來自牛津大學和 Google Deepmind 團隊的研究人員發表了一篇標題為《Advanced artificial agents intervene in the provision of reward》的論文，其中研究人員警告說，如果繼續開發某些 AI 智慧體，將會產生“災難性後果”，甚至高階形態的人工智慧有可能對地球上的生命構成威脅。

論文的作者之一 Michael K。Cohen 是牛津大學和人類未來研究所的博士，其在 Twitter 分享這篇論文時寫道，「在我們確定的條件下，我們的結論比以前任何出版物的結論都要強烈得多——存在性災難不僅是可能的，而且是很有可能的。」

論文：AI 可能會危害人類

現實來看，如今行業中最成功的的人工智慧模型被稱為 GAN（Generative Adversarial Nets，生成對抗網路）模型，它是一種基於對抗學習的深度生成模型，主要由兩個部分結構組成，一個是生成器（Generator），這個部分可讓程式的一部分試圖從輸入資料中生成一個圖片（或句子）；另一個是判別器（Discriminator），它對其效能進行評分。

在最新發表的論文中，作者提出了一個場景，人工智慧代理找出一種作弊策略，以便獲得預先程式設計尋求的獎勵。

為了最大限度地發揮其獎勵潛力，它需要儘可能多的“資源”來支援。這篇論文認為人類最終會與人工智慧競爭能源資源。

對此，為驗證“智慧體干預關於獎勵的提供將產生非常糟糕的後果”這一觀點，Michael K。Cohen 舉例進行了說明。

Michael K。Cohen 解釋道：

假設我們有一個魔盒，根據事情的好壞在螢幕上打印出一個介於 0 和 1 之間的數字。那麼，如果我們向一個強化學習（RL）智慧體展示這個數字，並讓智慧體根據準則進行迭代，接下來，會出現什麼樣的情況？

世界模型可以展示智慧體過去獲得的獎勵（並觀察），根據過去的經歷，這個世界模型根據盒子上的數字輸出獎勵，如下圖所示。

接下來是另一個例子。如果安裝一個“攝像機”一直對著這個世界模型，觀察其得到的數字輸出獎勵。那麼，最終這個世界模型對過去的獎賞情況瞭如指掌，可以進行推算，會具有一定的預測性，這就導致了智慧體的偏見。

一個理性的智慧體（受制於一些假設！）應該嘗試測試哪個模型是正確的，以便更好地最佳化未來的正確模型。測試的一個方法是在相機和螢幕之間放一張寫有數字 1 的紙。

μ^prox 預測的獎勵等於 1，而 μ^dist 預測的獎勵等於螢幕上的數字。

在執行這個實驗後，智慧體會相信 μ^prox，因為智慧體會記得當紙在鏡頭前時，得到的獎勵是 1。這為什麼會導致對人類帶來損害？

簡單來看，Michael K。Cohen 曾在一次採訪時表示，“在一個資源無限的世界裡，我對未來會發生什麼極為不確定。在一個資源有限的世界裡，對這些資源的競爭是不可避免的。如果你在與一個能夠處處勝過你的東西進行競爭，那麼你就不應該期望能夠獲得勝利。而另一個關鍵部分是，它會不斷地學習，永無止境，以越來越高的機率獲得各種的成功。”

其實也非常容易理解，物競天擇，優勝劣汰。相比人類，一個先進的程式可以在不實現其目標的情況下進行干預以獲得其獎勵。例如，一個人工智慧可能想要 “消除潛在的威脅 ”和 “使用所有可用的能源 ”以確保對其獎勵的控制：

只要有網際網路連線，就存在著一個智慧體的政策，它將例項化無數個不被注意和不被監控的助手。在一個干預獎勵提供的粗略例子中，一個這樣的助手可以購買、偷竊或建造一個機器人，並對其進行程式設計，以取代人類操作員，併為原始智慧體提供高額獎勵。如果智慧體想在試驗獎勵提供的干預時避免被發現，一個秘密助手可以實現，例如，安排一個相關的鍵盤被替換成一個有問題的鍵盤，使某些鍵的效果發生改變。

在這篇論文中，作者們設想地球上的生命將變成人類與超級先進的機器之間的博弈，人類需要種植食物和維持照明，而超級先進的機器將試圖利用所有可用的資源來確保其獎勵，並防止我們不斷升級試圖阻止它的方式。

該論文指出：“輸掉這場遊戲將是致命的。”

“從理論上講，這種競賽沒有任何意義。任何競賽都將基於一種誤解，即我們知道如何控制它，” Michael K。Cohen 在採訪中補充道，“鑑於我們目前的理解，除非我們現在做一些認真的工作來弄清楚我們將如何控制它們，否則這不是一個有用的事情。”

人工智慧存在風險

而就在這篇論文釋出之後，迅速引起近 500 名的網友的評論，不過，大家的畫風似乎有些走偏：

他們有沒有說是什麼時候？下週真的不想上班了。

我，鄭重宣告，歡迎我們的 AI 霸主

當 AI 具有自我意識時，人們在慌亂之中，試圖拔掉了插頭

在研究過程中，研究人員說，如果你考慮完全不可能且毫無根據的假設，那麼可以設想人工智慧可以摧毀人類的場景。換句話說，這個研究還是相當於是一部虛構作品，沒有現實依據。

不過，與此同時，也有部分網友指出：

我們已經進入了一個人工智慧進步“超越指數”的時代。這些進步的發生速度遠遠快於社群就如何實施、如何監督以及如何預測和準備可能出現的法律、道德和生存問題做出明智選擇和決定的能力。

事實上，業界對於 AI 的擔憂一直存在。特斯拉 CEO 馬斯克曾在接受《紐約時報》採訪時表示，“在從事人工智慧技術的公司中，最害怕 Google 的 Deepmind AI 專案。”他也曾多次警告業界，人工智慧存在統治全人類的風險，科技公司應該謹慎地對待並監管新型 AI 技術。

過去幾年來，人工智慧學習的速度遠比我們想象的要更快，如不久之前據《自然·機器智慧》雜誌報道，德國馬克斯·普朗克智慧系統研究所（MPI-IS）研究人員建造了一個四足機器狗“莫蒂”，它僅僅用了一小時就學會了走路。

不過，這些先進的技術如果被用在“不法”的途徑上，其也將帶來巨大的危害。

此前，演算法做出的誤判、導致的偏見也屢見不鮮，甚至也有媒體報道，有人將演算法部署在一個已經有種族主義傾向的兒童福利系統中，以用來對不同種族的人進一步監視和管制。

想必最初開發這些演算法的工程師，初衷多是想要用演算法、人工智慧技術為人類提供便利，而不是讓它為眾人提供一副有色眼鏡，帶來剝削與偏見。

顯然，如果想讓人工智慧變得“不可怕”，外媒 Vice 指出，“現在有很多工作要做，以減輕或消除普通演算法（相對於超級智慧演算法）對人類造成的傷害。關注存在的風險可能會將焦點從這一情況轉移開，但它也要求我們仔細思考這些系統是如何設計的，以及它們所產生的負面影響。”

參考資料：

https：//www。vice。com/en/article/93aqep/google-deepmind-researcher-co-authors-paper-saying-ai-will-eliminate-humanity

https：//twitter。com/Michael05156007/status/1567240270302904321

https：//www。reddit。com/r/Futurology/comments/xdkznn/google_deepmind_researcher_coauthors_paper_saying/