能夠生成程式碼的 AI 模型,同時也最擅長找出並利用其中的弱點。這也意味著,企業不能只依賴 AI 模型自己驗證自己的產出,而需要一套獨立的安全驗證機制。
本月,美國政府以國家安全為由,要求 Anthropic 暫停所有外國公民使用其最強大的模型 Mythos 5,以及最新推出的 Fable 5。事件起因於一次被報導的越獄攻擊(Jailbreak),其中一個模型在執行資安相關任務時突破了原有的安全防護機制(Guardrails)。Anthropic 隨後遵從政府要求,但也公開對此決定提出異議,警告稱若將相同標準套用至整個 AI 產業,恐將導致 AI 模型的部署全面停擺。
一個月前,OpenAI 則採取了完全不同的方向。他們的 Daybreak 計畫,透過分級存取、身份驗證,以及與多家資安夥伴合作的安全生態系,讓先進資安能力能夠更廣泛地被使用。
全球最強大的兩間 AI 研究機構,面對同一個問題卻採取兩種截然不同的策略。一方選擇嚴格限制這項能力,卻仍被要求暫停提供;另一方則選擇擴大開放,並承擔隨之而來的風險。而這兩者其實都圍繞著相同的一個難題,這個難題也應該成為所有企業看待 AI 所生成軟體時的重要考量。
最擅長生成程式碼的模型,同時也是最擅長找出程式碼弱點的模型。這並不是兩種剛好存在於同一個系統中的不同能力,而是同一種能力朝向兩個不同方向運作。一個模型如果能夠深入理解整個程式碼架構,足以協助擴充功能與修改系統,那麼它同樣也能理解其中的漏洞與可能被攻擊的位置。
這正是 AI 最棘手的「雙重用途(Dual-use)」問題:讓模型如此強大的能力,同時也可能成為攻擊者手中的利器。這也解釋了為什麼政府在發現模型越獄事件後,開始考慮採取出口管制措施。讓這些模型具有價值的能力,同時也是帶來風險的原因;無論如何調整安全防護機制,都難以完全切割這兩種用途。
對於正在大規模使用 AI 生成程式碼的企業而言,有一個非常單純的問題:如果生成程式碼的模型,同時也是最能找到其中漏洞的模型,那麼企業應該信任誰來判定這些程式碼是否安全?
答案不能是產生這段程式碼的模型本身。一個系統替自己的輸出進行評分,並不能被視為驗證,而只是一種自我認證(Self-Attestation)。當生成程式碼與資安審查由同一個系統負責時,企業實際上仍然是在相信原始產出者對自身結果的判斷。同樣地,企業也不能依賴開發該模型的供應商,因為他們的目標是證明自己的模型能產生安全程式碼,而不是主動找出所有可能存在的問題。
這正是 Mythos 事件與 Daybreak 計畫所突顯的重要議題。當 AI 能力如此強大且受到高度關注時,企業能夠信任的安全驗證,必須來自一個不屬於模型生成者、供應商也無法控制的獨立層。獨立性不再只是額外優勢,而是建立可信任安全架構的必要條件。
CISO 們多年來其實早已理解這項原則。企業不會讓負責建置系統的團隊執行唯一的安全審查。前沿 AI 時代並沒有改變這項原則,而是將它擴展到模型本身,以及擴展到背後 AI 研究機構的層級。
這是目前關於前沿 AI 討論中經常被忽略的一點。這些模型不只是產生更多程式碼,它們也能比過去任何掃描工具都更快速、更大量地找出安全問題,而且這個過程會持續不斷地進行。AI 正在大幅降低漏洞發掘的門檻。如今,找到漏洞已不再是最困難的事;真正的挑戰,是如何從大量發現中判斷哪些問題真實存在、哪些確實可被利用,以及哪些已經完成修復。
因此,企業最終會面臨同一個困境:比過去更多的程式碼、比過去更多的弱點發現,但能處理這些問題的時間卻比過去更少。漏洞清單在每一次迭代中持續累積。此時,問題已不再是「我們能找到漏洞嗎?」,而是「接下來該怎麼做?」
當漏洞數量快速增加,企業真正的挑戰就變成:哪些問題該優先處理?哪些真的能被利用?哪些能立即修復?又有哪些只是雜訊?分類(Triage)、排序(Prioritization)、驗證(Verification)與修復(Remediation)的速度,必須跟得上 AI 生成程式碼的速度。
這正是代理式 AI 時代的核心瓶頸,也是 Mend.io 致力解決的問題。
AI 研究機構其實也觀察到了這項問題。目前 Mythos 與 Daybreak 都開始將重點放在修復能力上,包括自動產生修補方案(Patch Generation)與修復結果驗證(Fix Validation),而不再只是單純進行漏洞發掘。
但這又直接回到了獨立性的問題。當生成程式碼的系統同時負責修復自身產出的內容時,企業再次面臨同樣的信任問題:你仍然是在相信撰寫這段程式碼的同一套系統,來證明自己的修復結果是正確的。
快速完成修復確實是正確方向,但由一個未參與產生成程式碼的獨立層來快速完成修復與驗證,才是真正值得信任的方式。
這正是 AI 時代對獨立安全機制提出的新要求。而近期兩家領先 AI 業者所採取的不同策略,也進一步凸顯了獨立安全驗證的重要性。
一個獨立的驗證與修復層,不受任何程式碼生成工具影響,能夠適用於各種程式碼生成來源;它不依賴單一模型的輸出,而是透過來自數千個企業軟體專案的安全訊號進行判斷。這才是能成為解決前沿 AI 模型無法處理問題的長期方案。
找到漏洞只是第一步,真正創造價值的是快速修復,而且無論程式碼由哪一種 AI 工具生成,都能一致地完成驗證與修復。AI 研究機構打造了世界上最強大的程式碼生成模型,也打造了前所未有的漏洞探索能力。但他們無法打造的是一個位於兩者之外,並且正因為它不屬於任何一方而值得企業信任的安全驗證機制。
基於同樣的邏輯,這個獨立安全層還必須具備另外兩項關鍵能力。首先,它必須涵蓋完整的企業軟體環境,而不是只檢查上週由 AI 產生與提交的程式碼。企業大部分的安全風險,往往存在於多年累積的系統架構、間接依賴套件(Transitive Dependencies),以及不由任何單一模型產生,也不由團隊負責維護,但仍持續存在於企業環境中的既有程式碼。
其次,這個安全層的成本必須足夠低,才能持續運作。因為如果一個安全驗證層的成本高到企業只能偶爾檢查部分程式碼,那就不是驗證,而只是抽樣。
無論是涵蓋整個企業軟體資產的廣度,或是支援全天候持續掃描的成本效益,都不是前沿 AI 模型供應商試圖解決的問題。這兩項能力,正是獨立安全層應該承擔與發展的方向。
獨立安全層的價值,不在於技術上勝過 AI 模型供應商,而在於它始終站在模型之外,提供客觀的驗證。模型能力越強,這層獨立驗證反而越重要。
代理式 AI 時代需要的不是更少的信任,而是一套能跟上程式碼生成速度、並隨規模擴展的可信驗證機制。過去一個月發生的事件,正預示了一個問題:當程式碼生成者、稽核者與監管者都圍繞同一個 AI 模型進行爭論時,這份信任將變得更加不穩定。
真正的答案,不是打造一個更強大的 AI 模型,而是在模型之外建立一層獨立的安全機制,持續驗證並修復 AI 生成的程式碼。
這就是專責且獨立的應用程式安全(Dedicated, Independent Application Security)。它一直都很重要,只是在前沿 AI 快速發展的今天,企業已經無法再忽視它。
若對 Mend.io 有興趣歡迎留下資訊,將會有專人與您聯繫 ➤ https://www.gss.com.tw/mend-io