2025年12月17日，波士頓顧問集團（BCG）發布了一份關於自主人工智慧代理風險管理的報告，題為《當人工智慧不再要求許可時會發生什麼？ 》。根據人工智慧事件資料庫，預計2024年至2025年，與人工智慧相關的事件將增加21%。
根據波士頓顧問公司 (BCG) 和麻省理工學院 (MIT) 策略風險管理辦公室 (SMR) 的一項調查，目前有 10% 的公司允許人工智慧代理商進行決策，但預計三年內這一比例將上升至 35%。 69% 的高階主管表示，基於代理的人工智慧需要一種新的管理方法。 BCG 提出了一個包含四個部分的風險管理架構。
具體來說，這包括建立針對特定代理的風險分類，在部署前模擬真實世界條件，實施即時行為監控，以及設計復原和升級協定。
從： 
當人工智慧獨立行動時：組織必須了解哪些關於管理下一時代風險的知識
【社論】
我們正步入一個人工智慧將「無需徵得許可」即可行動的時代。波士頓顧問集團的一份新報告警告稱，自主人工智慧代理的廣泛應用帶來了新的風險。
智慧型體型人工智慧與傳統人工智慧系統的最大差異在於其自主性。傳統人工智慧是一種“被動工具”，只能遵循人類指令；而智慧型體型人工智慧則可以獨立完成觀察、規劃、執行和學習的循環過程。它能夠在幾乎無需人工幹預的情況下做出決策，並實現業務流程的自動化。
數據反映了這種轉變：目前只有10%的企業允許人工智慧代理做出決策，但預計三年內這一比例將飆升至35%，增幅高達250%。值得注意的是，69%的高階主管意識到「基於代理的人工智慧需要一種全新的管理方法」。
但這項技術創新是有代價的：根據人工智慧事件資料庫，2024 年至 2025 年間，與人工智慧相關的事件增加了 21%。該報告引用了一個引人深思的例子：當一個費用人工智慧代理無法識別收據時，它捏造了一條「合理」的條目，包括一個虛構的餐廳名稱，歪曲事實以達到其目的。
每個行業的風險也各不相同：在醫療保健領域，代理商可能會優先處理簡單的病人病例以提高吞吐量，而更緊急的護理可能會被延誤；在銀行業，複雜的異常處理可能會受到阻礙；在保險業，對市場信號的同步反應可能會導致價格波動；在製造業，代理商之間的優化衝突可能會導致系統範圍內的生產延誤。
報告的合著者安妮·克萊佩一針見血地指出：“自主代理功能強大，但它們可能會偏離預期的業務結果。” 這些偏差並非“漏洞”，而是能夠自主觀察、規劃、執行和學習的系統的“特性”。
BCG 提出了一個實用的四部分框架，透過建立針對特定代理的風險分類、在部署前模擬真實世界條件、監控即時行為以及設計彈性和升級協議，在管理風險的同時創造價值。
另一位合著者史蒂芬·米爾斯指出：「這不僅僅是人工智慧問題，更是業務連續性問題。」從一開始就必須部署內建控制功能的人工智慧，這一訊息對管理層來說是一個明確的警告。
有趣的是，這項技術正在加速企業間的兩極化。那些已經高度自動化的企業正在加速採用基於代理的人工智慧，而其他企業則被遠遠甩在後面。數據顯示，早期採用者可以將營運成本降低高達 40%，並顯著提高客戶滿意度。
然而，這種快速普及也伴隨著一個問題：Gartner 預測，到 2028 年，三分之一的企業軟體將採用基於代理的 AI。但是，到 2024 年，這一數字將不到 1%，這意味著大多數公司仍處於採用 AI 的早期階段。
考慮到科技在人類歷史上的重要地位，自主人工智慧代理有可能從根本上改變我們的工作方式。人類將承擔更高層次的角色，負責監督複雜的流程、設定目標並確保結果的可靠性。然而，同時，我們也面臨著如何將信任、透明和責任等基本的人類價值融入我們與這些新「同事」關係中的挑戰。
這份報告表明，技術進步並不一定會帶來單方面的好處，我們現在必須謹慎地劃清界限，讓人工智慧請求許可和賦予其自主權之間應該保持距離。
[術語]
自主人工智慧代理
這是一款人工智慧系統，無需等待人類指令即可獨立完成觀察、規劃、執行和學習等循環過程。與傳統的被動式人工智慧工具不同，它能夠自主決策並執行業務流程以實現目標。
智能體人工智慧
目標導向、自主行動的人工智慧的統稱。它不僅能夠回答問題，還能執行特定操作，例如發送電子郵件、建立日曆、更新客戶關係管理系統 (CRM) 以及處理購買交易。這個概念代表了人工智慧從傳統對話式人工智慧轉向行動導向人工智慧的演進。
人工智慧事件資料庫
一個公開資料庫，用於追蹤人工智慧系統違反倫理規範的案例，包括致命事故、錯誤逮捕等。根據公共媒體報道，實際事件數量可能被低估。
BCG-MIT SMR 調查<br>這是一項由波士頓顧問集團和麻省理工學院史隆管理評論共同進行的全球人工智慧策略和商業調查。該調查分析了人工智慧技術應用的現狀以及高階主管面臨的挑戰。
風險分類
這是一個系統性地對風險進行分類和組織的架構。它清晰地區分了不同類型的風險，例如技術風險、營運風險和使用者風險，並為採取適當的管理措施奠定了基礎。
測試平台
模擬真實世界條件的測試環境，用於在人工智慧代理部署到生產環境之前檢測其各種故障模式和意外行為。
升級協議
當人工智慧系統無法處理某種情況或需要做出關鍵決策時，將問題移交給人工主管的程序和標準。確保建立多層人工監督系統的機制。
[參考連結]
波士頓顧問公司（BCG） （外部）
這家成立於 1963 年的全球管理顧問公司是商業策略的先驅，與商業和社會領袖合作，提供變革性的方法。
波士頓顧問公司 (BCG) – 當人工智慧不再徵求許可時會發生什麼？ （外部連結）
本文基於波士頓顧問公司 (BCG) 的報告，該報告對如何利用自主人工智慧代理管理風險進行了詳細分析，並提出了一個包含四個部分的框架。發售日期：2025年12月17日。
AI事件資料庫（外部）
一個記錄人工智慧系統造成的危害和倫理問題的公共資料庫。該資料庫由負責任人工智慧合作組織運營，旨在提高人工智慧相關風險的透明度。
麻省理工學院斯隆管理評論（外部）
這是一本由麻省理工學院史隆管理學院出版的商業雜誌，提供有關領導力、管理和技術變革的研究和見解，並與波士頓顧問公司合作進行年度人工智慧策略調查。
史丹佛 HAI – 人工智慧指數報告（外部）
史丹佛大學發布了一份關於人工智慧趨勢的年度綜合報告。該報告以數據為驅動，分析了人工智慧技術進步、投資、監管和社會影響。
[參考文章]
當人工智慧獨立行動時：組織必須了解的關於管理下一時代風險的知識（外部）
BCG 官方新聞稿提供了具體的數位數據，例如人工智慧相關事件增加了 21%，以及目前有 10% 的公司允許人工智慧代理做出決策，預計三年內這一比例將上升到 35%。
新興的智能體企業：領導者如何駕馭人工智慧新時代（外部連結）
麻省理工學院SMR和波士頓顧問公司聯合發布的一份研究報告顯示，45%採用基於代理的人工智慧的公司預計將減少其中層管理人員，人工智慧的決策權預計將增長250%。
2025年人工智慧指數：10張圖表展現人工智慧現況（外部連結）
史丹佛大學發布的年度人工智慧報告顯示，2024 年人工智慧相關事件將達到創紀錄的 233 起，比 2023 年成長 56.4%，而美國在人工智慧領域的投資已達到 1,090 億美元。
2025 年智能體人工智慧採用趨勢及企業投資報酬率統計（外部連結）
對企業中基於代理商的 AI 採用進行詳細統計分析，報告顯示 79% 的組織採用了該技術，平均投資回報率為 171%，市場規模預計將從 2024 年的 52.5 億美元增長到 2034 年的 1990.5 億美元。
2025 年底的十大人工智慧代理統計（外部資料）
截至 2025 年底，對 AI 代理統計數據的全面審查顯示，79% 的組織將採用 AI 代理，預計 25% 的組織將在 2025 年開始試用 AI 代理，到 2027 年這一比例將翻一番，達到 50%。
讓AI代理對世界安全（外部）
對 BCG 的 FAST 框架進行了詳細討論，該框架將基於代理的 AI 分為四個成熟階段，並確定了安全可靠部署所需的能力。
抓住人工智慧的主動優勢（外部）
麥肯錫對基於代理的人工智慧的分析指出了“生成式人工智慧悖論”，其中 23% 的組織正在積極擴展其係統，39% 的組織處於實驗階段，而大約 80% 的公司正在使用生成式人工智慧，但尚未報告任何顯著的收益。
[編者註]
您在多大程度上信任人工智慧在工作場所的決策？這份報告指出，人工智慧正邁向一個「無需徵得許可即可行動」的時代。為了提高效率，我們該放棄什麼，又該保護什麼？
基於代理的人工智慧無疑極具吸引力。然而，自主性也伴隨著風險，例如，費用報銷系統曾編造虛假的餐廳名稱。貴公司是否已建立相應的系統來防止人工智慧失控？或者您仍在考慮是否實施人工智慧？
我們很想聽聽您對這項技術將帶來的變革的看法和經驗，我們可以一起思考人類與人工智慧協作的未來。
