為防止AI亂說話，英偉達推出開源工具包協助大模型

AI還會翻車嗎？

隨著ChatGPT等生成式AI的爆火，越來越多人享受AI帶來的便利。但與此同時，這些AI工具并不是無所不能的，在一些情況下，AI經常會出現“一本正經亂說”的情況，甚至會出現原則性錯誤。

為了讓AI工具減少不必要的錯誤，英偉達在當地時間周二推出了一款名為NeMo Guardrails的開源工具包，它能為人工智能模型設置安全“護欄”，避免AI輸出一些不良的內容。

據官方介紹，NeMo Guardrails主要提供三種“護欄”模式，分別是：

1、主題護欄：可以避免應用程序偏離到不想要的領域。 

2、安全護欄：確保應用程序回復準確、適當的信息。

3、保全護欄：限制應用程序僅與已知為安全的外部鏈接建立連接。

簡單來說，該軟件可以在模型輸出不良內容之前進行攔截和修改，從而限制模型的輸出范圍，并防止模型產生錯誤或有害的輸出。此外，該軟件還能夠利用一個 AI 模型來檢測另一個 AI 模型”，從而提高模型的準確性和可靠性。

英偉達方面表示，受益于開放源代碼的特性，NeMo Guardrails可以與企業應用程序開發人員使用的所有工具配合使用，有利于縮端開發時間，整合第三方應用程序與大型語言模型的強大功能，發揮更大的生產力。

換句話說，該工具軟件以開源方式推出，可以搭配多種大型語言模型使用。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！