真不是為了毀滅人類：如何創造惡意的人工智能？

如果網絡安全專家要應對惡意人工智能，首先需要知道這樣的系統是如何出現的。

惡意人工智能對人類構成嚴重威脅的可能性已經成為了當下一個熱點爭論話題。從物理學家史蒂芬·霍金到科技企業家伊隆·馬斯克，許多影響力巨大的杰出人物都對人工智能的危險發出過警告。

這就是人工智能安全正成為一個重要學科的原因。計算機科學家開始分析設計糟糕的人工智能系統可能帶來的意想不到的后果——有的人工智能系統使用了錯誤的道德框架，有的擁有與人類不同的價值觀……

但這一領域還存在著一個重要的漏洞，肯塔基州路易斯維爾大學獨立研究者 Federico Pistono 和 Roman Yampolskiy 說：“就我們所知，在如何設計惡意機器的方面還沒任何東西發表。”

這是一個顯著的問題，因為在計算機安全專家在有希望打敗惡意的機器之前，他們必須先了解它們。

Pistono 和 Yampolskiy 現在決定填補這一空白——至少是部分填補：他們開發的關鍵點是在某些特定的環境中最有可能出現的惡意人工智能。因此，他們預設了惡意人工智能系統可能出現的條件。而他們的結論對某一兩家公司來說不是好新聞。

所以哪些跡象表明有可能會開發出惡意的人工智能系統？Pistono 和 Yampolskiy 說可能會有一些明顯的跡象。

其中最明顯的一個是人工智能系統開發過程中監督的缺乏。

“如果一個團隊決定開發一個惡意人工智能，它會阻止一個全局性監督委員會的存在，從而增加自己成功的可能性。”

為了做到這一點，這樣一個團隊會通過散布混亂的信息淡化其工作所帶來的影響和危險。“策略是傳播相互矛盾的信息，使之在公眾的想象中創造關于通用人工智能研究的危險和機遇的疑問。”

另一個重要的跡象是人工智能系統背后閉源代碼的存在。Pistono 和 Yampolskiy 說：

“密碼技術和計算機安全的專家都很清楚閉源軟件和算法沒有它們自由且開源的競爭對手那樣安全。非自由軟件和硬件的存在將人類置于了更大的危險中。”

事實上，他們說盡管人工智能也可以使用開源軟件開發，但這是否更安全仍然是未知的。開源過程可以讓更多人尋找和修復漏洞，但也將這些軟件的權限賦予了罪犯、恐怖分子等可能將其用于邪惡目的的人。

目前，這兩種方式開發的人工智能都存在。其中閉源系統已經取得了一些廣為人知的成就。比如，谷歌的人工智能系統最近在古老的圍棋游戲中擊敗了人類。Facebook 也擁有一個有很高知名度的人工智能研究團隊，盡管該團隊公開的成果要少一些。

兩家公司都沒有明確公開其研究的管理方式。比如，谷歌的子公司 DeepMind 聲稱其擁有一個人工智能倫理委員會，但卻一直拒絕披露誰在管理這個機構。Facebook 只是說對人工智能的擔憂被夸大了。

開源人工智能的發展沒有那么先進；但至少部分在對商業對手的恐懼的驅動下，開源人工智能也開始獲得發展的勢頭。其中最引人注目的是 OpenAI，這是一個創立于 2015 年的非營利性人工智能組織，其目標是“以利于人類整體福祉的方式推進數字智能的發展，而不受到經濟回報需求的限制。”

該組織目前已經獲得了多達 10 億美元的資助，其中包括一再警告人工智能的危險的科技企業家伊隆·馬斯克。（Musk 也是本文提到的研究的作者之一 Roman Yampolskiy 的資助者之一。）

OpenAI 是否將增加或減少惡意人工智能系統出現的可能性仍尚不明朗。但其目標至少是確保一切發展都處在公眾的視野之中。

人工智能安全上還存在一個短板：用于人工智能系統的網絡安全應用的發展沒有用于普通軟件的好。計算機安全專家早就認識到惡意軟件是現代社會的一個顯著威脅。許多重在安全的應用——核電站、空中交通管制、生命支持系統等——的設計最多不過是避免災難而已。這種情況會因惡意軟件（病毒和木馬等）的設計者有意尋找和利用這些應用的漏洞而加劇。

為了解決這個問題，安全專家已經開發出了一個強有力的生態系統，以在漏洞被利用之前就將其識別出來并進行修復。他們研究惡意軟件并尋找中和它們的方法。

他們也有一個用于僅在圈內傳播這種信息的通信系統，這可以使漏洞在被傳播開之前就迅速得到糾正。

但在人工智能研究方面卻并不存在一個類似的系統。在目前人工智能系統還相對良性時，這可能并不重要——目前的人工智能關注的主題大都是自然語言處理、對象識別和駕駛等任務。但在未來幾年內，這種情況可能會迅速改變，總會有人開始主動研發惡意人工智能。

人類應該怎樣應對可能給人類帶來可怕后果的惡意人工智能？這是一個很重要的問題，這是一個值得我們現在就開始深入思考的問題。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！