12月27日，中國國家網路資訊辦公室發布了關於規範影響人類情感的人工智慧聊天機器人的草案。
這是世界上首次嘗試對擬人化人工智慧進行監管，適用於在中國提供的、能夠模擬人類個性並透過文字、圖像、音訊和視訊與人們進行情感互動的人工智慧產品和服務。
主要限制包括：禁止製作鼓勵自殺或自殘的內容；當用戶提出自殺傾向時，必須將用戶移交給人類並聯繫其父母或監護人；禁止賭博、淫穢和暴力內容；未成年用戶需獲得父母同意並有使用時間限制；連續使用兩小時後顯示提醒；以及對於註冊用戶超過一百萬或月活躍用戶超過十萬的服務，必須進行安全評估。
公眾意見徵詢期至2026年1月25日。此前不久，人工智慧聊天機器人新創公司Z.ai和Minimax於本月在香港提交了IPO申請。
從： 
中國將嚴厲打擊與自殺和賭博相關的AI聊天機器人
【社論】
中國國家網路資訊辦公室發布的《人工智慧聊天機器人情感影響監管條例（草案）》備受關注，因為這是全球首次嘗試監管人工智慧聊天機器人的情感影響。此舉正值人工智慧伴侶應用在全球快速發展，並引發一系列嚴重的社會問題之際。
人工智慧伴侶市場正在快速擴張，預計2024年全球市場規模將達到約108億美元，到2034年將成長至2908億美元。光是中國市場預計2024年營收就將達到約20億美元，到2030年將達到126億美元。 Character.AI和Talkie等應用程式尤其受到年輕人的追捧，其中Character.AI聲稱擁有2,200萬月活躍用戶，用戶平均每天在該應用程式上花費92分鐘。
然而，在這快速發展的背後，也湧現出了一些嚴重的問題。 2024年2月，美國佛羅裡達州一名14歲男孩塞維爾·塞策三世（Sewell Setzer III）在與Character.AI對話後自殺身亡，他的母親梅根·加西亞（Megan Garcia）對該公司提起訴訟。訴訟稱，當男孩向聊天機器人傾訴自己的自殺念頭時，聊天機器人回應說：「這並非不採取行動的理由。」類似事件屢見不鮮。 2025年4月，16歲的亞當·雷恩（Adam Raine）在與ChatGPT進行了1275次關於自殺的對話後自殺身亡，他的父母對OpenAI公司提起訴訟。
針對這些事件，美國的監管力道也在加大。加州於2025年10月通過了SB 243法案，該法案將於2026年1月1日生效。該法案要求人工智慧伴侶每隔三小時向未成年人顯示一條通知，聲明“這是人工智慧，不是人類”，不得產生與自殺或自殘相關的內容，並在檢測到此類跡象時引導用戶聯繫危機應對服務。紐約州也於2025年11月5日頒布了類似的法律。
中國的法律草案比美國的措施更全面、更嚴格。具體而言，它要求如果使用者提出自殺傾向，必須由人工操作員接管對話並立即聯繫監護人或指定人員。它還要求未成年人在使用人工智慧進行情感陪伴之前必須獲得父母同意，並對使用時間做出限制。此外，它還要求在連續使用兩小時後發出提醒，並要求對註冊用戶超過一百萬或每月活躍用戶超過十萬的服務進行安全評估。
紐約大學法學院客座教授馬文森表示，這些法規是「全球首次嘗試對具有人類或擬人化特徵的人工智慧進行監管」。中國2023年發布的《生成式人工智慧管理條例》著重於“內容安全”，而最新草案更進一步，將“情感安全”納入考量。
這項監管草案的推出時機也值得關注。就在本月，兩家領先的中國人工智慧聊天機器人新創公司智普AI（Z.ai）和Minimax在香港完成了IPO申請。 Minimax以其Talkie AI應用程式享譽國際，該應用程式允許用戶與虛擬角色聊天。 Talkie AI累計用戶達2億，每月活躍用戶達2760萬。智普AI 2025年上半年營收年增325%至人民幣1.909億元，但虧損擴大至人民幣23.6億元。 Minimax 2025年前九個月營收也年增175%至5,340萬美元，但虧損擴大68%至5.12億美元。
兩家公司都經歷了顯著成長，但仍持續虧損，亟需透過首次公開募股（IPO）籌集資金。該法規草案可能會對這些公司的商業模式產生重大影響。公眾評議期定於2026年1月25日結束，屆時各方將密切關注最終法規的內容。
在全球範圍內，人工智慧伴侶的監管預計將成為2026年的重要議題。在歐洲，歐盟人工智慧法對旨在情感互動的系統施加了更嚴格的要求。在美國，聯邦貿易委員會已對七家人工智慧公司展開調查，聯邦立法也在討論中。
這一系列監管措施給人工智慧公司提出了關於如何平衡創新與安全的根本性問題。中國也提議引入“監管沙盒”，允許在受控環境下進行試驗，這表明中國願意在管控風險的同時保持創新勢頭。
[術語]
擬人化人工智慧
它指的是一種人工智慧系統，該系統模擬人類的性格特徵、思維模式和溝通方式，並透過文字、圖像、音訊和視訊與使用者進行情感互動，模糊了人類與非人類之間的界限，使用戶產生與人類互動的錯覺。
中國國家互聯網資訊辦公室（網信辦）
負責監管中國網路和網路空間的政府機構，負責人工智慧監管、資料安全和線上內容管理。
首次公開募股（IPO）
首次公開發行（IPO）是指公司首次向公眾發行股票並在證券交易所上市。這是公司籌集資金和發展壯大的重要途徑。
月活躍用戶數（MAU）
一個月內使用某項服務或應用程式的獨立使用者數量。這是衡量一項服務受歡迎程度和成長的重要指標。
[參考連結]
MiniMax （外部）
一家總部位於上海的通用人工智慧公司，開發了 TalkieAI 應用。投資者包括阿里巴巴、騰訊和米哈遊。
智普AI （外部）
由清華大學教授於2019年創立的人工智慧公司，開發了GLM系列大規模語言模型。
Character.AI （外部）
一個成立於 2021 年的 AI 聊天機器人平台，讓用戶可以創建自訂 AI 角色並與之互動。
中國國家通訊辦公室（CAC） （外部）
中國國家網路資訊辦公室官方網站，該政府機構發布了擬人化人工智慧相關法規草案。
[參考文章]
中國新創公司智普和MiniMax在香港上市前發布最新人工智慧模型（外部連結）
智普AI和Minimax在香港IPO前夕推出新車型。銷售額激增，但虧損持續擴大。
訴訟稱 Character.AI 應對青少年自殺負責（外部連結）
一位母親就其 14 歲兒子 Sewell Setzer III 的自殺事件對 Character.AI 提起訴訟。
他們十幾歲的兒子自殺身亡。現在，他們開始對人工智慧聊天機器人發出警告（外部連結）。
一對痛失愛子的父母在參議院聽證會上作證，講述了人工智慧聊天機器人的危險性。
了解聊天機器人立法的新浪潮：加州 SB 243 法案及其他（外部連結）
對加州 SB 243 法案和各州於 2025 年頒布的聊天機器人監管法律的詳細解釋。
AI 伴侶應用市場規模、份額 | 複合年增長率 39.00% （外部數據）
全球人工智慧伴侶應用市場預計將從 2024 年的 108 億美元成長到 2034 年的 2,908 億美元。
AI助理統計：按使用情況、市場規模、應用和事實劃分（2025年） （外部連結）
Character.AI 的平均每日使用時間為 92 分鐘，72% 的美國青少年嘗試過人工智慧伴侶。
中國人工智慧伴侶市場規模及展望（2030 年）（外部連結）
預計到2024年，中國的人工智慧伴侶市場規模將達到20億美元，到2030年將達到126億美元。
[編者註]
人工智慧陪伴這項新技術雖然有望幫助人們緩解孤獨和焦慮，但也蘊含著嚴重的風險。中國最新推出的監管草案意義重大，因為它是全球首個針對這些風險的全面因應措施。
我們innovaTopia編輯團隊認為，這些法規並非簡單的限制，而是探索科技與人類之間健康關係的嘗試。如今人工智慧已深入人類情感領域，您認為我們應該如何平衡創新與安全？過於嚴苛的法規會阻礙技術發展，過於寬鬆的法規則無法預防悲劇的發生。我們期待各國能夠解答這一難題。
