在代理式AI中構(gòu)建信任

作者：紅帽亞太區(qū)首席技術(shù)官Vincent Caldeira

隨著AI系統(tǒng)從獨立模型向自主、代理式系統(tǒng)轉(zhuǎn)型，對信任、透明度和風險感知設(shè)計的需求從未如此迫切。這些由大語言模型（LLM）和多代理編排技術(shù)驅(qū)動的智能代理，正越來越多地做出影響企業(yè)、個人及整個社會的決策。然而，我們不能假定這些系統(tǒng)的可信度：它必須在系統(tǒng)層面進行設(shè)計、測量和持續(xù)強化，而不僅僅是模型層面。

AI可信度的關(guān)鍵驅(qū)動力之一是模型供應鏈透明度——一個允許企業(yè)評估和驗證復雜系統(tǒng)中使用的AI組件的來源、安全性和一致性的框架。如果無法清晰了解AI模型是如何構(gòu)建、訓練和部署的，就幾乎不可能對系統(tǒng)需求進行風險分析。本文探討了模型供應鏈透明度為何至關(guān)重要，它如何支持代理式AI中的風險對齊，以及設(shè)計可信AI生態(tài)系統(tǒng)的最佳實踐。

AI供應鏈日益增長的復雜性

現(xiàn)代AI系統(tǒng)不再是一個單一體，而是由多個相互關(guān)聯(lián)的模型、API和組件（包括外部數(shù)據(jù)源和工具）組成。這種復雜性引入了新的風險因素，包括：

·數(shù)據(jù)來源不確定性：訓練數(shù)據(jù)來自哪里？是否存在偏見或不完整？

·第三方模型風險：外部AI模型是否符合倫理和監(jiān)管標準？

·API依賴關(guān)系：如果函數(shù)調(diào)用返回不可靠或不安全的輸出，會發(fā)生什么？

·自動化決策不透明性：利益相關(guān)者能否審計并干預AI驅(qū)動的決策？

這些挑戰(zhàn)凸顯了模型供應鏈透明度的重要性。這就是為什么行業(yè)需要標準化AI供應鏈可見性，確保模型在構(gòu)建時考慮了問責制和風險對齊。

為什么風險分析對代理式AI至關(guān)重要

與傳統(tǒng)AI模型按要求提供輸出不同，代理式AI系統(tǒng)基于高級目標自主行動。這種從反應式到主動式AI的轉(zhuǎn)變要求新的風險評估方法。部署多代理編排和函數(shù)調(diào)用框架的企業(yè)必須評估：

1.可預測性與可靠性——系統(tǒng)能否產(chǎn)生一致且可解釋的結(jié)果？

2.人機回圈控制——是否存在人類干預和對齊的機制？

3.倫理護欄——系統(tǒng)如何與人類價值觀和政策對齊？

4.自適應風險緩解——AI能否根據(jù)不斷變化的風險調(diào)整其行為？

風險對齊的AI系統(tǒng)不僅簡單地執(zhí)行功能——它理解自己的局限性，溝通不確定性，并在必要時允許人類監(jiān)督。

提升AI系統(tǒng)可信度的最佳實踐

為確保AI系統(tǒng)可信，企業(yè)必須在AI生命周期的每個階段嵌入安全措施。以下最佳實踐可提供幫助：

1.模型沿襲（model lineage）與可解釋性：模型沿襲通過追蹤AI模型的整個生命周期（從數(shù)據(jù)源到部署）確保透明度，支持偏見檢測與問責制。可解釋性為AI決策提供清晰可理解的洞察，幫助用戶理解并信任系統(tǒng)輸出。

2.風險感知的代理式編排：為防止意外行為，代理式AI系統(tǒng)必須包含安全措施，如提示調(diào)解（驗證輸入）、輸出調(diào)解（過濾響應）和任務錨定（確保AI保持在一定范圍之內(nèi)）。這些機制有助于將AI行為與人類期望和安全標準對齊。

3.人機回圈治理：即使在自主AI中，人類監(jiān)督對于防止錯誤和意外后果也至關(guān)重要。實施實時干預控制和故障安全機制，確保AI行為可被監(jiān)控、糾正或在必要時覆蓋。

4.透明的AI供應鏈：AI系統(tǒng)應基于可驗證、可審計的組件構(gòu)建，以確保信任和問責制。企業(yè)必須追蹤模型來源、評估第三方AI風險，并使用開源框架提升AI開發(fā)和部署的透明度。

通過整合這些實踐，企業(yè)可以主動設(shè)計信任機制，而非在部署后補救安全功能。從已建立的實施模式來看（例如ThoughtWorks的Martin Fowler和Bharani Subramaniam的《構(gòu)建生成式AI產(chǎn)品的新興模式》），在未來幾年中，將信任設(shè)計元素融入其中并采用相關(guān)最佳實踐，對于在企業(yè)規(guī)模成功部署AI而言，將會變得愈發(fā)重要。

結(jié)論：信任是系統(tǒng)級重要任務

隨著AI從模型向系統(tǒng)過渡，企業(yè)必須采用整體方法來處理信任和透明度。這需要：

·模型供應鏈透明度，以評估和驗證AI組件。

·系統(tǒng)風險分析，以預見故障并緩解偏見。

·主動設(shè)計模式，以落實安全、公平和問責制。

歸根結(jié)底，信任不是功能，而是基礎(chǔ)。為了確保AI系統(tǒng)安全、有效并與人類價值觀對齊，我們必須在每個層面為信任展開設(shè)計——從數(shù)據(jù)和模型到?jīng)Q策和部署。