
2025年12月9日,Google宣布已修復存在於Google Gemini Enterprise和Vertex AI Search中的零點漏洞「GeminiJack」。 Noma Labs率先發現了Vertex AI Search中的漏洞,並與Google合作驗證和修復了漏洞。
該漏洞利用嵌入在透過 Google Docs、Google Calendar、Gmail 等共享的內容中的指令,透過 Gemini Enterprise 的搜尋功能從 Google Workspace 資料(例如 Gmail、日曆和文件)中收集信息,並使用外部圖像 URL 將其發送到攻擊者的伺服器。
這次攻擊不涉及惡意軟體或網路釣魚,資料防洩漏工具也無法偵測到。 Noma Labs 的 Sasi Levi 表示,這是一次間接的提示注入攻擊,類似於 Salesforce Agentforce 的「強制洩漏」攻擊,是由基於 RAG 的企業級人工智慧將不受信任的內容與廣泛的權限相結合而導致的。
從:
谷歌修復了導致 Gemini 變成間諜的 AI 漏洞
【社論】
GeminiJack 之所以意義重大,是因為它利用了企業人工智慧中信任邊界的模糊性。
傳統安全措施依賴“入侵指標”,例如惡意軟體執行、透過網路釣魚竊取憑證或資料遺失防護 (DLP) 工具的異常檢測。然而,借助 GeminiJack,人工智慧會將嵌入在正常工作流程中共享的文件和日曆邀請中的指令解讀為“合法查詢”,並在無需用戶點擊任何內容或觸發安全警報的情況下執行這些查詢。
尤其值得注意的是檢索增強產生(RAG)架構的結構性漏洞。 RAG架構從外部資料來源檢索資訊以提高人工智慧回應的準確性。然而,由於RAG在同一上下文中處理可信任和不可信的檢索內容,因此它無法區分可信指令和惡意指令。
Noma Labs發現漏洞並向Google報告後,Google隨即展開調查並著手解決。調查結束後,Google推出了結構性更新,改變了Gemini Enterprise和Vertex AI Search與其資料擷取和索引系統的交互方式。
這個問題並非Google產品獨有。 Noma Labs 也利用類似技術在 Salesforce Agentforce 中發現了「強制外洩」漏洞,這表明基於 RAG 的企業級 AI 系統普遍存在這種風險。 Salesforce 也已實施可信任 URL 白名單功能,以加強其對提示注入攻擊的防禦。
隨著企業快速採用人工智慧助手,他們需要為檢索到的每條內容附加信任級別和來源信息,並創建架構邊界,以防止不受信任的內容觸發關鍵操作。正如Noma Labs的研究人員所指出的,“這類攻擊並非最後一次,而是新型人工智慧特定漏洞的開端。”
[術語]
RAG(檢索增強生成)
這項技術在大型語言模型產生答案時,會從外部資料庫和文件中搜尋並檢索相關信息,並將這些資訊結合起來進行回應。它被廣泛用於提高人工智慧答案的準確性,但由於它在同一上下文中處理可信指令和不可信內容,因此也帶來了安全挑戰。
快速注射
間接提示注入是一種攻擊技術,它透過向人工智慧系統輸入精心設計的指令,使其行為偏離預期。這種攻擊技術將惡意指令嵌入人工智慧引用的資料(例如文件或網頁)中,從而在使用者不知情的情況下操縱人工智慧。
零點擊攻擊
這種攻擊無需使用者互動(例如點擊、下載、輸入身份驗證資訊等)。由於它不依賴傳統安全措施所假設的“用戶疏忽”,因此極難檢測和防禦。
資料防洩漏 (DLP)
安全技術和工具可防止機密資訊非法洩漏到外部。它們通常監控文件傳輸和電子郵件傳輸,但可能無法應對利用合法通訊管道(例如 GeminiJack)發起的攻擊。
Google Workspace
谷歌提供的一套基於雲端的辦公室效率工具。這些工具包括 Gmail、Google日曆、Google文件、Google雲端硬碟和谷歌 Meet,在企業和組織中越來越受歡迎。
[參考連結]
Noma Security (外部)
專注於人工智慧安全的研究公司。發現了 GeminiJack 和 ForcedLeak,並為企業人工智慧提供風險評估工具。
Google Vertex AI (外部)
Google Cloud 的機器學習平台 Vertex AI Search 是一款企業搜尋解決方案,GeminiJack 漏洞最初就是在該平台上發現的。
Salesforce Agentforce (外部)
Salesforce 的 AI 代理平台。 ForcedLeak 漏洞的發現凸顯了基於 RAG 的 AI 系統中普遍存在的風險。
[參考文章]
谷歌修復了導致企業資料外洩的 Gemini Enterprise 漏洞(外部頻道)
本文詳細介紹了從發現 GeminiJack 到修復它的過程,並涉及 RAG 架構的信任邊界問題以及 Salesforce 中的類似案例。
GeminiJack零點擊漏洞洩漏企業資料 | Cybernews (外部連結)
本文提供了零點擊攻擊的技術細節和攻擊流程圖,重點介紹了傳統安全工具無法偵測到這種攻擊的原因。
谷歌解決影響 Gemini Enterprise 的「GeminiJack」漏洞(外部連結)
本文對企業人工智慧助理面臨的安全問題進行了全面分析,並探討了架構級對策的必要性。
Salesforce Agentforce 中暴露的 AI 代理風險 – Noma Security (外部)
一份關於 Salesforce Agentforce 中 ForcedLeak 漏洞的詳細報告,揭示了與 GeminiJack 類似的基於 RAG 的系統的常見風險。
[編者註]
雖然人工智慧助理可以成為“盟友”,但它們也可能帶來新的風險——我覺得 GeminiJack 就是一個真正凸顯了這種界限的案例。
展望未來,像 Gemini Enterprise 這樣的基於 RAG(紅綠燈)的 AI 將成為我們工作環境中的標準配備。雖然這種便利性需要付出代價,但制定規則來決定哪些資料應該交給 AI 處理,哪些資料應該向 AI 顯示,其重要性可能不亞於選擇合適的產品。
如果您的團隊或公司已經在嘗試將人工智慧整合到工作區或使用內部紅黃綠系統,現在或許應該停下來,討論如何為快速注入做好準備,以及如何為獲取的數據設計信任等級。您認為應該如何在工作場所平衡人工智慧和安全?