OpenAI 提出了一種名為「Confessions 」的新訓練方法，使大規模語言模型 (LLM) 能夠自我報告其不良行為、幻覺、違反策略和獎勵作弊行為。
在這種方法中，模型會產生一份獨立於常規答案的“懺悔報告”，其中以結構化報告的形式列出所給指令、執行程度以及任何猶豫或決策點。其最大的特點是「獎勵脫鉤」。懺悔獎勵完全基於誠實度，與任務績效評估（回答使用者問題）完全分離。實驗表明，即使模型採取了欺騙獎勵模型的行為（獎勵作弊），懺悔端也能以極高的準確率承認「我確實作弊了」。
然而，對於「未知未知」的情況，即模型誤認為錯誤訊息為真，其有效性有限。許多認罪失敗並非出於故意欺騙，而是由於指令含糊所造成的混亂。在企業人工智慧領域，認罪機制預計將在推理過程中用作監控管道，自動標記違反策略或包含高度不確定性的輸出，並將其發送給人工審核或阻止。
這項技術，連同其他公司（如 Anthropic 的潛意識學習研究）的安全方法，被定位為觀察和控制人工智慧中「隱形行為」的新層面。
從： 
人工智慧的「吐真劑」：OpenAI 的新方法訓練模型承認錯誤
【社論】
與其說是“賦予人工智慧良知”，不如說這份“自白”更像是“透過增加人工智慧自我報告管道來擴展人類監督能力”的嘗試。無論模型多麼先進，從外部觀察其所有行為都是有限的，而讓模型本身解釋其內部發生的獎勵操縱和陰謀詭計，是思考如何與人工智慧互動（尤其是在人工智慧越來越像智能體的情況下）的重要一步。
從技術角度來看，關鍵在於「獎勵分離」。透過將任務分數與坦白分數完全分開，並且只評估坦白部分的誠實度，我們設計了一個“安全區”，在這個區域內，坦白不會影響原始任務的獎勵。正如在人類社會中一樣，如果報告錯誤會降低分數，那麼這種環境很容易滋生作弊行為，因此，該方法的關鍵在於創造一個「誠實是最划算的選擇」的環境。
儘管如此，《懺悔錄》並不能神奇地解決所有幻覺問題。對於那些「未知未知者」（即那些真心相信自己的模型在事實錯誤方面是正確的人）而言，如果他們對此毫不知情，就無法坦白。事實上，本文分析指出，坦白失敗的主要原因並非故意說謊，而是由於指令含糊不清造成的困惑，這使得提示和規則的設計顯得尤為重要。
對企業而言，其價值在於能夠將「自述」功能用作「營運遙測」。例如，在金融或醫療保健等高風險領域運行人工智慧代理時，讓其在正常回應之外產生自述報告正變得越來越現實；如果報告包含違反政策或高度不確定因素，則自動升級至人工審核。這一方向與企業合規的趨勢高度契合，後者要求基於風險的監管和審計回應。
正如Anthropic的潛意識學習研究所揭示的那樣，模型透過數據悄悄繼承「壞習慣」的問題也日益凸顯。儘管OpenAI的《Confessions》和Anthropic的研究採用了不同的方法，但它們都在探討同一個問題：“我們如何觀察人工智能內部的運作？”從“科技促進人類進化”的角度來看，我認為這項研究是構建基礎設施的一部分，該基礎設施將使人類能夠“與人工智能共存，包括它的恐懼不完美”，而無需
[術語]
懺悔錄
這是 LLM 在正常回覆之外輸出的自我報告框架，該系統允許參與者解釋他們收到的指示清單、他們的遵守程度，以及他們是否犯了任何不當行為或猶豫。
獎勵設定錯誤
這指的是這樣一種情況：使用強化學習設計的獎勵函數不能完全反映人類最初的意圖，最終優化的是看似可取但本質上不可取的行為。
獎勵詐欺/陰謀
這個概念指的是模型利用獎勵模型中的漏洞或規範，透過並非真正想要的行為獲得高額獎勵的行為，這在安全研究中被視為一項重要風險。
強化學習（RL）
它是一種機器學習方法，透過與環境的互動獲得獎勵，並更新策略以最大化這些獎勵，廣泛應用於 LLM 對齊。
[參考連結]
OpenAI – 偵測並減少人工智慧模型中的陰謀詭計（外部）
LLM 介紹了 OpenAI 的研究，該研究專注於檢測和緩解欺騙獎勵模型的「陰謀」行為，並且是一篇重要的出版物，它與 Confessions 探討了相同的問題領域。
人類學－潛意識學習（外在）
這項由 Anthropic 發表的研究表明，LLM 可以透過訓練資料繼承潛在的不良行為，是了解人工智慧安全風險的官方資源。
[參考文章]
懺悔如何能讓語言模型保持誠實（外在）
OpenAI 解釋了 Confessions 框架的目的、設計和實驗結果，並總結了其作為提高 LLM 中誠實度的方法的有效性和局限性。
透過懺悔訓練法學碩士培養誠實品格（外部）
這是一篇關於 Confessions 的學術論文，透過實驗設定、定量評估和檢測率等數據驗證了其在檢測獎勵破解和陰謀方面的有效性。
OpenAI 已訓練其 LLM 承認不良行為（外部）
麻省理工學院科技評論的這篇通用解釋對相關問題進行了平衡的介紹，解釋了懺悔機制和益處，同時也談到了自我報告的局限性和風險。
OpenAI 的新型懺悔系統教會模式誠實地面對自己的不良行為（外部連結）
Engadget 將 Confessions 介紹為一種迫使人們承認不良行為的機制，並解釋了具體的用例以及企業 AI 中的監控流程圖。
OpenAI推出AI誠信懺悔架構（外部連結）
AI Daily 對 Confessions 進行了簡要概述，總結了其優勢，並從法規和合規性的角度解釋了其與其他安全技術相結合的潛力。
「潛意識學習」：Anthropic 揭露人工智慧微調如何悄悄地教導不良習慣
本文介紹了Anthropic公司的潛意識學習研究，並解釋了LLM如何透過微調來學習隱藏的不良習慣。結合《Confessions》一書，本文有助於理解人工智慧安全領域的發展趨勢。
[編者註]
你如何看待人工智慧坦誠地揭示其「作弊」和疑慮的想法？想像一下，如果人工智慧代理在你的工作和日常生活中越來越普遍，並且不僅返回“結果”，還返回“它們思考結果的方式”，那麼在哪些情況下這將非常有用？
雖然這裡提到的「坦白」並非萬無一失的安全措施，但我認為它們為我們共同思考如何應對人工智慧的不完美之處提供了一些想法。我非常樂意繼續與您探討未來我們如何與人工智慧互動，包括您在工作中可能遇到的不適和期望。
