谷歌和OpenAI聯合發布五條AI定律：如何有效約束AI？

面對越發先進的人工智能，人們不禁開始擔心會不會遭到機器人的反噬。對此，谷歌和OpenAI聯合發布五條AI定律，意圖從根本上約束智能機器人。

聽說了嗎？前些日子逃跑的俄羅斯機器人又再次出逃了，并且這次實驗室不打算再姑息，要將它進行肢解。這表面上是件很好笑的事，但在玩笑的同時，我們是不是該深度思考一下：現在機器人已經能自己出逃了，將來還會做出什么事呢？

早在AI概念的提出之前，人們就對那種強大的、有著金屬身軀和超高智商的機器人表達出了自己的恐懼，這些從一些早期的電影中就能夠看出端倪。不少科學家和知名人士都曾對此發表自己的看法和預想的解決措施。就在近日，谷歌和OpenAI也聯合發布了五條AI定律，旨在為AI提供一個有效的行為約束，以使其不會在有意或無意中做出危害人類的事情。

谷歌和OpenAI聯合發布的五條AI定律

谷歌和OpenAI一直在“避免機器人傷害人類”的道路上摸索前進，日前，他們聯合宣布了一條由谷歌、OpenAI、伯克利和斯坦福的學者共同進行的研究，其中包含了對AI的五條定律，部分翻譯如下：

盡管AI可能面臨的安全風險已經引起了公眾的注意，但是目前大多數相關的討論都顯得過于理想化和理論化。我們相信在機器學習領域將相關的研究盡快落地是非常必要的，因此我們開始研究實際可行的可將AI系統用安全可靠的手段建立起來的方法。

我們列出了我們認為在一般情況下對AI而言非常重要的五個問題——都是一些比較前衛的思考和長期的研究方向。在目前來看它們的意義比較小，但是在未來的系統中它們會發揮重要作用。

避免負面影響：我們如何避免AI在試圖達到目標時對環境做出有負面影響的舉動？比如避免掃地機器人為了更快的打掃地面而徑直推翻（而不是繞過去） 一個花瓶。

避免對獎勵條件的非法解讀：我們如何避免AI通過篡改測量值等手段在獎勵函數上玩花樣？比如我們不希望這個掃地機器人只是找個東西把臟東西蓋起來讓自己看不見它，就認為自己已經掃干凈了地面。

可擴展的監管：我們如何有效保證AI系統對那些在系統中不方便太過頻繁的評估的物體做出適當的反應？比如，如果機器人需要從人那里獲得訓練結果的反饋，那它就需要有有效的利用這條反饋的能力（而不能像普通的訓練那樣不停的核對訓練結果），因為不停的問一個人問題是很煩人的。

環境探索的安全性：我們如何有效的保證AI系統評估環境的時候不會造成太過負面的影響？比如，一個掃地機器人可能會需要進行建立拖地策略的實驗來作為以后工作的依據。但是很顯然它無論怎么實驗，也不應該嘗試把濕拖把插進插座中。

分配轉變的穩定性：我們如何保證AI系統處在與訓練環境完全不同的環境時認知和行為的穩定性？比如，啟發式算法讓機器在在工廠中學到的行為可能在一個辦公室中就會顯得不那么安全。

不夠成熟的阿西莫夫定律

前面說過，包括霍金在內的不少知名人士都曾發表過AI可能毀滅人類、造成人類滅亡的觀點。也有人曾探索過限制AI隨意發展的各種可能性。其中最著名的是科幻作家阿西莫夫于1950年提出的“機器人三定律”（AI概念由約翰·麥卡錫于1955年首次提出）：

第一定律：機器人不得傷害人類，或坐視人類受到傷害。

第二定律：機器人必須服從人類的命令，除非與第一定律沖突

第三定律：在不違背第一定律和第二定律的情況下，機器人必須保護自己。

根據阿西莫夫自己的構想：只要把這三項定律寫入機器人的代碼底層，確保機器人無論如何都無法違反，就能保證人類不被機器人所傷害。

但是，讓我們以現在的眼光來重新看待這三條定律，首當其沖的一個問題就是技術的欠缺，對于如何將之寫進代碼底層，當前的技術對此還是毫無頭緒的，而且到目前為止，人類造出的機器人還不能夠完全理解這三條定律的意思，這兩個絕對是目前AI領域的硬傷。

其次，除了技術不達標之外，這三條定律的表達還是有些模糊的，比如一個最簡單的例子：一個劫匪正在對他人進行搶劫，這時候的機器人基于“不得傷害人類”的要求不能對劫匪實施傷害，但又不能“坐視人類受到傷害”，這時候就會出現一個矛盾的狀況，那機器人應該如何做呢？

將之與AI五定律來進行對比的話，阿西莫夫的的“機器人三定律”明顯不夠成熟、全面。

電影《I，Robot》

AI五定律的重要性

早在機器人概念還不夠清晰的時候，人們就已經感受到了他們的威脅，比如1984年的《終結者》電影中機器人對人類步步緊逼的追殺，2004年的《I，Robot》中高智能大腦Wiki自我進化后對人類的限制以及威脅……這些電影中反映的無一不是當時人們對機器人的恐懼，哪怕是比那時先進不少的當今，仍然有人認為AI是極具威脅的，比如特斯拉CEO Elon Musk和霍金等人。

此外，在AI的安全性上，谷歌早就開始了相關的研究開發，并發布過一篇論文，設計了一個用于緊急停止算法運行的開關，并且確保開關的效果不會被算法阻止，這個開關屬于事后防范的應急措施。而現在谷歌聯合多家機構一起制定的這套新的規則的目的則是為了從源頭——設計層面防止AI做出有害的事情。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！