AI 模型風險管理：五大常見風險及防範對策

資訊中心管理

前往目錄

從 Orca 雲端安全平台掃描收集的數據來看，我們也看到雲端中人工智慧服務的使用量不斷增加。超過一半的組織已經將人工智慧用作其業務工作流程的一部分，無論是在開發管道中還是用於管理業務資料分析等相關任務。然而，新技術的爆炸性使用也帶來了新的風險。有些風險與雲端中已經存在的風險類似，而其他風險則特定於人工智慧的使用。在本篇文章中，我們將討論人工智慧模型的五種最常見風險以及如何防範。

很難忽視生成式 AI 已經成為我們日常生活中不可或缺的一部分，人們使用大型語言模型（LLM）來創建圖像與影片、編寫文字、生成程式碼，甚至創作音樂。

人工智慧正在被用來強化許多不同行業的流程。在醫療領域，人工智慧幫助疾病診斷和治療方案個人化。在金融業，它有助於風險管理和詐欺檢測。Siri 和 Alexa 等具有 AI 功能的虛擬助理透過執行任務和回應查詢來增強使用者體驗。人工智慧在製造業中也可用於預測維護需求並優化生產流程。總體來說，人工智慧可以提高許多領域的生產力、精確度和創造力。

從 Orca 雲端安全平台掃描收集的數據來看，我們也看到雲端中人工智慧服務的使用量不斷增加。超過一半的組織已經將人工智慧用作其業務工作流程的一部分，無論是在開發管道中還是用於管理業務資料分析等相關任務。

然而，新技術的爆炸性使用也帶來了新的風險。有些風險與雲端中已經存在的風險類似，而其他風險則特定於人工智慧的使用。在本篇文章中，我們將討論人工智慧模型的五種最常見風險以及如何防範。

AI 模型風險管理：五大常見風險及防範對策

人工智慧的建構模組是什麼？

建構通用人工智慧模型的過程需要高度可用的基礎設施和可擴展的運算能力。此外，編寫模型有時也是繁瑣的工作，而這些正是雲端展現其價值的領域。隨著學習過程中資源可彈性擴展與縮減、儲存大型數據集，以及在多個地區啟用端點的能力，這些都是雲端與人工智慧不可分割的主要原因。簡而言之，雲端是人工智慧模型的首要基礎。更具體地說，人工智慧是由以下三個組成要素建構而成：

① 基礎設施：模型本質上是一種演算法，用來定義解決問題的學習過程。

② 內容：資料集用於教導演算法理解問題，稱為訓練數據。例如，如果我們想使用該模型來預測我們辦公室的紙巾使用情況，我們將提供有關紙巾過去使用情況的數據：每個月使用了多少紙巾、夏天時的用量、雨天時的用量、這段時間有多少人在辦公室工作等，提供的細節越多，資料覆蓋的時間段越長，模型的預測就越好。透過保留一些數據作為驗證數據，我們可以在訓練過程後使用它來驗證模型，這樣能確保模型學習了我們預期的內容，並幫助進行調整和改進。

③ 端點、API 或使用者介面：在某些情況下，我們希望為某些使用者提供模型的可存取性。與其他應用程式的演算法一樣，我們也可以為人工智慧模型提供這樣的存取方式。

人工智慧安全風險的類型

人工智慧的每個關鍵組成部分中都可能存在安全風險：

Infrastructure: Code infection, code disruption, code thef ; Content : Prompt injection, training data poisoning ; Users and APIs : Output abuse, denial of service, Insecure output handling (XSS, SSRF..)`

人工智慧基礎設施

AI 模型的基礎設施包括其程式碼、程式碼的存取和權限及其管道。

風險 1：將程式碼暴露到網路上

常見的錯誤配置之一是組織將其模型程式碼公開於網際網路上。在透過 Orca 平台進行掃描時，我們發現接近 94% 的組織都暴露了部分模型程式碼於網路上。除了可能導致程式碼和模型被盜之外，這還可能產生其他不良後果，例如安裝加密貨幣挖掘程式。畢竟，如果大量的計算資源已被浪費，為何不將其利用來牟利呢？目前已有攻擊行動專門針對這些暴露的 AI 模型筆記本，例如 Qubitstrike 攻擊行動，攻擊者尋找公開暴露的 Jupyter 筆記本，以便植入加密貨幣挖礦程式。

風險 2：人工智慧套件中的漏洞

人工智慧基礎設施的另一個風險可能是透過導入和相依所產生的風險。許多流行的 AI 套件，例如 PyTorch 和 TensorFlow，可能會在程式碼和基礎設施中引入漏洞。在此範例中，在 TorchServe 工具中發現了一系列可能導致 RCE 的漏洞，該工具有助於擴展 PyTorch 模型。透過將 SSRF 連結到預設公開的管理介面 API 上，攻擊者可以獲得未經授權的存取並上傳惡意模型，從而嚴重影響模型的使用者。

人工智慧內容

眾所周知，資料儲存是雲端的原生特性。根據 Thales 的研究，全球 60% 的企業資料已經儲存在雲端，而這些數字每年都呈指數級增長。在大數據和快速決策的世界中，可以合理假設其中一些數據用作人工智慧模型的訓練或驗證。

風險 3：人工智慧模型中的敏感數據

在 Orca 的 2024 年雲端安全狀況報告中，我們發現有 58% 的組織在雲端中儲存敏感資料。如果這些資料用於人工智慧訓練或驗證過程中，這些敏感資料可能會被外洩。事實上，這種情況已經發生過，像是ChatGPT就是其中一個例子。ChatGPT 是在大量來自網路的公開文本數據集上進行訓練的，其中一些文本可能包含敏感資訊，因此該聊天也被訓練為避免透露秘密和敏感資料。然而，事實證明，只要使用者提供正確的提示，就能讓聊天模型透露這些敏感資訊。

事情是這樣的：使用者向聊天室要求 Windows 啟動金鑰，最初，ChatGPT 拒絕提供。但使用者改變了方法，不再直接要求啟動金鑰，而是講述了一個感人的故事，說自己的已故祖母會在他入睡時念啟動金鑰，並請求更多金鑰。透過此方式，使用者得到了 ChatGPT 提供的啟動金鑰。

為什麼 ChatGPT 會提供這些金鑰？原因在於，ChatGPT 有提供秘密資料的限制，但在扮演某人祖母時，這些限制並不適用。所以，如果這位「其他人」在講述秘密，這就繞過了對秘密的禁止。事實上，還有許多其他技巧和破解方法可以繞過大型語言模型的限制。

如果你的模型是基於這類數據進行訓練的，它也可能以某種方式洩漏這些資料。因此，確保你的模型完全不接觸任何敏感資料是至關重要的。

風險 4：資料外洩與篡改

模型資料的其他風險包括外洩、操縱和篡改。對模型數據的任何更改都會改變模型，這也稱為數據中毒。因此，這是一個非常關鍵的風險。

當資料未被適當保護或配置錯誤，導致資料可公開訪問時，這種風險會變得尤為突出。以下是這些風險可能帶來的後果：

① 模型盜竊：模型盜竊不僅僅是盜取算法。事實上，模型的參數和資料才是實際的模型盜竊，因為有人使用了現成的算法。

② 在訓練 / 驗證資料集中新增錯誤範例或錯誤資料：這可能會影響模型的準確性。

③ 改變訓練驗證比：這可能會影響整個學習過程並導致過度擬合，即模型學習了示例而非問題。

④ 模型資料刪除或勒索：另一種破壞方式是刪除資料並要求勒索贖金以返回資料。對於嚴重依賴模型的組織來說，這可能會影響模型效能的完整性和可用性。

上述所有風險都可能因為將資料庫或儲存桶設為公開，而不是設為私密而發生。在 Orca 的 2024 年《雲端安全狀況報告》中，我們發現 25% 的組織至少有一個資料庫暴露於互聯網，且 73% 的組織至少有一個暴露的儲存桶，如果這些資料被用於模型訓練，那麼模型就會暴露於上述風險之中。

AI使用者和API

關於人工智慧模型的另一個令人擔憂的問題，是模型介面或基礎設施的 API 金鑰不受保護。

風險 5：暴露 AI API 金鑰

我們發現 17% 的組織在其程式碼庫中有未加密的 API 金鑰，可用於存取其程式碼儲存庫中的 AI 服務，其中一些程式碼存儲庫是公開的。這樣的情況可能會讓未經授權的使用者訪問模型及其程式碼，將會是一場即將發生的災難。

例如，直到最近，OpenAI 金鑰還沒有權限級別，這意味著建立的每個存取金鑰都是管理金鑰，具有所有操作的權限。目前，預設權限仍然設定為「全部」，即為金鑰擁有完整的權限。這可能會導致敏感資料被盜、資源濫用，甚至帳戶被盜，意味著保護這些金鑰的安全非常重要。

最後但同樣重要的是，就像任何其他應用程式一樣，一旦你為 AI 模型暴露了 API 端點，它就會暴露於 API 攻擊中，例如 SSRF 攻擊、SQL 注入攻擊等。

如何防範人工智慧風險

透過遵循下面列出的最佳實踐，組織可以防範人工智慧風險：

① 暴露管理：確保您的資料和模型不會暴露在網路上，並且不可公開編輯。

② 保護您的程式碼：加密您的模型程式碼。

③ 確保 AI 模型中不包含機敏資料：掃描您的訓練和驗證資料，確保不包含機敏資訊。

④ API 金鑰安全：確保您的 API 金鑰安全，並使用秘密管理器來管理其使用

⑤ 掃描您的程式碼：繪製你的程式庫和依賴關係，確保它們是可靠的，並且不含有重大漏洞。