加州北部內華達縣地方檢察官辦公室被發現使用人工智慧技術撰寫刑事訴狀，提交的文件中包含不準確的引證資訊。地方檢察官傑西威爾森證實，錯誤被發現後，這些訴狀已被撤回。
被告凱爾喬勒的律師，連同公設辯護人和非營利組織「民權團」（Civil Rights Corps），於10月向加州第三巡迴上訴法院提交了一份制裁動議，理由是檢方提交的文件存在典型的人工智慧生成錯誤。隨後，他們在另外三起案件中也發現了類似的錯誤，並向加州最高法院提交了請願書。上週五，22位學者、律師和刑事司法倡議者提交了一份支持喬勒的簡報。
檢察官辦公室承認曾在某個案件中使用過人工智慧，但表示在克約勒案中並未使用該技術，並已為工作人員制定了相關的培訓和人工智慧政策。巴黎高等商學院的研究人員表示，這很可能是美國檢察官辦公室首次使用生成式人工智慧。
從： 
加州檢察官辦公室利用人工智慧在刑事案件中提交了不準確的動議。
【社論】
加州內華達縣的這起案件凸顯了在執法中使用人工智慧的風險。檢察官辦公室這樣的公共機構提交的文件中包含人工智慧生成的幻覺，而這些文件又與剝奪被告自由的決定相關，這是一個嚴重的問題，絕不能簡單地將其視為技術錯誤。
57歲的焊工凱爾·喬勒（Kyle Kjoller）於4月因多項非法持有槍支罪名被捕。他申請保釋，但檢方提交了一份長達11頁的反對意見書，主張不得保釋。然而，這份意見書充斥著生成式人工智慧常見的錯誤，包括引用不存在的案例、引用根本不存在的文本以及曲解法律。
根據巴黎高等商學院（HEC Paris Business School）研究員達米安·夏洛坦（Damien Charlotin）維護的資料庫，全球法庭文件中已確認超過590起人工智慧（AI）幻覺的案例，且自2025年初以來，這一數字急劇上升。然而，僅有一例發生在以色列的案件是由檢察官犯下的，而這很可能是美國首例此類案件。這與律師的失誤有著本質區別，因為檢察官的言論對法官和陪審團有著巨大的影響，甚至可能決定被告的命運。
地方檢察官傑西威爾森承認在另一起毒品案卡倫特納案中使用了人工智慧，但他聲稱在喬勒案中沒有使用人工智慧，儘管喬勒的辯護團隊指出，他們在至少其他三起案件中發現了類似的人工智慧幻覺的證據。
11 月 22 日，22 位學者、律師和刑事司法倡導者向加州最高法院提交了一份支持 Kjoller 的簡報，其中包括「清白計畫」聯合創始人 Barry Scheck，他警告說，不受限制地使用人工智慧可能會導致冤假錯案。
地方檢察官威爾遜表示，針對這起事件，他已對員工進行了新的培訓，並實施了人工智慧政策，但他以「案件繁重、時間緊迫」為由拒絕承認，這種做法在被告基本人權受到威脅的情況下是不可接受的。
人工智慧工具在法律實務中固然有用，但即使是專業的法律研究工具（例如 Westlaw AI 和 Lexis+ AI）也並非完美無缺。正如夏洛特的資料庫顯示，2025 年出現的問題尤其突出，光是 5 月就報告了 32 起案例。這種加速成長的趨勢表明，許多法律專業人士在使用人工智慧時並未充分了解其限制。
本案提出的根本問題是：「誰應該為人工智慧的輸出結果負責？」檢察官有義務維護道德規範和被告的正當程序權利。雖然使用人工智慧本身並不被禁止，但確保提交文件的準確性始終是人的責任。尤其是在刑事司法領域，任何一個錯誤都可能導致無辜者失去自由。
[術語]
人工智慧幻覺
這指的是人工智慧產生的看似合理但實際上並不存在的資訊或虛假內容。在法律領域，這可能表現為引用不存在的先例、捏造根本不存在的引文或曲解法律。眾所周知，大規模語言模型（LLM）在回答複雜的法律問題時尤其容易出現「幻覺」。
民權團
該非營利組織旨在改革刑事司法系統，尤其關注減少審前羈押，目前正與 Kjoller 案件中的公設辯護人合作，推動內華達縣地方檢察官辦公室使用人工智慧。
無罪計劃
這家非營利組織利用DNA檢測和其他方法來證明被冤枉定罪者的清白，並支持他們獲得釋放。自1992年成立以來，該組織已幫助近400名無辜者重獲自由。聯合創始人巴里·謝克參與了向加州最高法院提交的訴訟摘要。
第 11 條（聯邦民事訴訟規則第 11 條）
這是美國聯邦法院的一項程序規則，要求律師確保提交給法院的文件的準確性和真實性。如果違反此規則，法院可以實施制裁。許多與人工智慧相關的製裁案件都依據此規則。
生成式人工智慧
人工智慧系統能夠產生文字、圖像和音訊等內容，例如 ChatGPT、Claude 和 Gemini。在法律領域，它們被用於文件創建、研究、摘要等，但輸出驗證至關重要。
[參考連結]
人工智慧幻覺案例資料庫（外部）
由巴黎高等商學院（HEC Paris）研究員達米安·夏洛坦（Damien Charlotin）管理的全球人工智慧幻覺相關法律案例資料庫。
民權團（外部）
一個致力於改革刑事司法系統、減少審前羈押和改善公設辯護人制度的非營利組織。
無罪計劃（外在）
一個非營利組織，利用DNA檢測等科學證據來證明被錯誤定罪的人的清白，並幫助他們獲得釋放。
美國律師協會職業行為準則（外部連結）
美國律師協會的《律師道德規範》對人工智慧的使用提供了指導。
[參考文章]
北加州檢察官稱人工智慧在刑事案件中造成錯誤（外部連結）
威爾森地方檢察官批准在特納案中使用人工智慧的細節以及喬勒辯護團隊的論點均有報導。
報導稱，加州檢察官在刑事案件中使用了有缺陷的人工智慧（外部連結）
Kjoller詳細描述了他被拒絕保釋的經過，以及導致檢察官簡報生成的AI錯誤。
律師稱，檢察官利用有缺陷的人工智慧系統將一名男子繼續關押在監獄中（外部連結）
夏洛特資料庫包含超過590個案例，但據報導只有一起案例被以色列檢察官使用。
最近一起備受矚目的人工智慧幻覺案例敲響了警鐘（外部連結）。
自 2025 年 4 月以來，人工智慧幻覺病例急劇增加，幾乎每天都有病例發生。
人工智慧在法律實踐中的幻覺：當技術誤解法律時（外部連結）
解釋律師依賴人工智慧幻覺時所涉及的倫理和法律責任及製裁
隨著越來越多的律師被人工智慧的幻覺所蒙蔽，ChatGPT 說：檢查我的工作（外部）
夏洛特資料庫追蹤了500多例病例，顯示自2025年春季以來，每天新增病例2-3例。
人工智慧幻覺如何讓律師和新手都束手無策（外部連結）
分析：2025年律師濫用人工智慧案件達19起，法院開始採取更嚴格的立場
[編者註]
這個案例引發了我們所有人都關心的問題。人工智慧不僅在法律實踐中，而且在包括醫療、教育和商業在內的各個領域都得到了迅速應用。然而，檢察官使用人工智慧的案例表明，盲目信任其輸出結果存在風險。尤其當擁有公共權力的機構使用人工智慧時，其影響將直接波及個人自由和權利。我們需要更加關注人工智慧的使用方式、誰對其輸出結果負責以及需要何種驗證程序。在歡迎科技進步的同時，作為未來世界的一份子，我們也必須了解其限制和風險。
