總部位於巴黎的非營利組織AI Forensics報告稱，TikTok上354個專注於人工智慧的帳號在一個月內發布了4.3萬條帖子，獲得了45億次瀏覽。這些帳號發布了大量人工智慧產生的內容，包括反移民和色情內容。
在活躍度最高的帳號中，有一半專注於與女性身體相關的內容，部分帳號也包含將看似未成年少女性化的內容。一半的貼文沒有標籤，只有不到2%的貼文有TikTok的AI內容標籤。
部分內容以虛假新聞片段的形式出現，使用了天空新聞和ABC等知名廣播品牌。
該研究分析了8月中旬至9月中旬的數據。 TikTok駁斥了該報告的說法，稱其“毫無根據”，並表示正在努力刪除有害的AI生成內容並封禁機器人帳戶。
從： 
在 TikTok上，人工智慧產生的反移民內容獲得了數十億次的觀看量。
【社論】
人工智慧生成的內容正在從根本上改變我們被稱為社交媒體的資訊空間。這項調查顯示，這不僅僅是一個技術問題，而是平台經濟的結構性扭曲。
AI Forensics 在 8 月中旬至 9 月中旬進行的一項調查量化了 TikTok 上人工智慧內容的普遍程度：354 個帳戶在一個月內發布了 43,000 條帖子，獲得了 45 億次的瀏覽量。這並非巧合，而是有人蓄意操縱演算法。
尤其值得注意的是一種被稱為「人工智慧代理帳戶」的新型帳戶的出現。這些帳戶專門用於自動批量生成人工智慧生成的內容，而不是依賴人類偶爾使用人工智慧工具。我們發現有些帳戶每天發布多達70條內容，有些帳戶每天在同一時間發佈內容，這顯然表明存在自動化系統。
內容也令人擔憂。活躍度最高的帳號中有一半專注於與女性身體相關的內容，有些甚至包含將疑似未成年女孩性化的內容。此外，模仿天空新聞和美國廣播公司等知名新聞機構的假新聞片段正在流傳，散佈反移民言論，並有可能加劇社會分裂。
標籤問題也不容忽視。研究表明，一半的貼文沒有標籤，而帶有TikTok官方AI內容標籤的貼文不足2% 。 TikTok在11月宣布，平台上至少有13億條AI產生的內容，但考慮到每天上傳的內容超過1億條，這只是冰山一角。
這種現象與獲利機制密切相關。在越南和印度等國家，利用TikTok創作病毒式人工智慧內容已成為一項新興的副業。一項研究發現，一位經營六個TikTok帳號的創業家僅在7月就賺了超過5500美元。
此外，人工智慧垃圾內容也越來越多，這些內容毫無意義且荒誕無稽。這些看似無害的內容，例如動物參加奧運跳水比賽或嬰兒會說話，其目的都是為了操縱演算法並賺取廣告收入。
各平台反應遲緩。 TikTok在11月推出了一項功能，讓用戶可以調整看到的AI內容數量，但這只是「減少」而非徹底消除AI內容的選項。 TikTok也採取了一些技術應對措施，例如C2PA元資料和隱形浮水印，但專家指出，這些措施很容易被繞過。
更嚴重的是，這種人工智慧生成的內容也被用於政治操弄。德國極右翼政黨德國另類選擇黨（AfD）在其競選活動中使用了人工智慧產生的圖像，虛構了移民人群和理想化的德國家庭形象。一些針對西班牙語社區的假新聞帳號則利用人工智慧生成的知名拉丁裔記者的虛擬形象來散佈有關移民的虛假資訊。
問題的根源不在於技術本身，而是以最大化使用者參與度為首要目標的平台設計概念。人工智慧工具只是實現目標的手段；問題的根源在於依賴廣告的商業模式和驅動病毒式傳播的演算法的結合。
我們正處於一個內容幾乎無限增長，而人類注意力有限的時代。這種不對稱性造成了結構性問題，降低了資訊環境的品質。平檯面臨著一個根本性的挑戰：如何在使用者參與度和真實性之間取得平衡。
[術語]
人工智慧取證
這是一個總部位於巴黎的非營利研究組織，致力於促進社交媒體平台的演算法透明度和問責制，它監督《歐洲數位服務法案》(DSA) 的遵守情況，並對人工智慧生成的內容和演算法偏見進行研究。
智能體人工智慧帳戶
這類社群媒體帳號專門用於自動化大規模生產人工智慧產生的內容。它們並非零星地使用人工智慧工具，而是利用生成式人工智慧技術大規模地創建和分發合成影像和影片。 AI Forensics 的調查發現了 153 個此類帳號。
AI Slop
這是一個貶義詞，指的是人工智慧生成式技術（GI）製作的低品質、大量生產的數位內容。這類內容的特徵是毫無意義、怪誕或重複，旨在吸引用戶參與和獲取廣告收入。典型的例子包括旨在病毒式傳播的不切實際的內容，例如動物參加奧運會或會說話的嬰兒。
C2PA（內容來源與真實性聯盟）
它是驗證數位內容來源和真實性的行業標準。透過將製作方法的詳細資訊嵌入圖像和影片的元資料中，可以識別內容是否由人工智慧產生。然而，由於元資料很容易被刪除，因此它並非完美無缺的解決方案。
演算法遊戲
這指的是故意操縱平台的推薦演算法，以最大限度地提高內容曝光率，包括大量發佈內容、在特定時間集中發佈內容以及使用病毒式傳播的標籤。
歐洲數位服務法案（DSA）
歐盟一項將於 2024 年生效的法規對大型線上平台施加了內容審核、透明度和問責義務，其中包括對人工智慧生成的內容進行正確標記的要求。
[參考連結]
人工智慧取證（外部）
總部位於巴黎的非營利研究機構，專門研究社群媒體平台上的演算法透明度和人工智慧生成內容的問題。
TikTok （外部連結）
這是一個由位元組跳動營運的短影片分享平台，在全球擁有超過16億月活躍用戶。管理人工智慧生成的內容是一項挑戰。
C2PA（內容來源與真實性聯盟） （外部）
由 Adobe、微軟、英特爾等公司組成的聯盟，正在製定用於認證數位內容來源的技術標準。
[參考文章]
人工智慧產生的演算法病毒式傳播 | 人工智慧取證（外部連結）
2025 年 6 月的一項針對 TikTok 和 Instagram 上 AI 生成內容的研究發現，25% 的搜尋結果包含合成的 AI 影像。
新型人工智慧視訊工具正在助長TikTok上的暴力種族主義（外部連結）
該報告發現，使用Google Veo 等人工智慧影片產生工具產生的反移民內容已被觀看近 850 萬次。
「AI垃圾」影片或許令人厭煩，但它們卻獲得了大量的觀看次數——以及廣告收入（外部連結）。
我們調查了人工智慧驅動的垃圾影片如何產生數百萬次的觀看次數和廣告收入，有些影片的月收入超過 5500 美元。
「兼職、自由工作、高薪」：人工智慧垃圾充斥TikTok和Facebook背後的真相（外部連結）
報告指出，人工智慧生成內容製作正在印度、越南和中國等國家發展成為一個新興產業。
TikTok 上那些使用人工智慧產生的拉丁裔記者形象的帳號背後究竟隱藏著什麼？ （外部連結）
大約有 90 個 TikTok 帳號使用人工智慧生成的知名拉丁裔記者的虛擬形象來傳播虛假訊息。
TikTok新增限制資訊流中AI內容顯示的選項（外部連結）
TikTok 將於 2025 年 11 月增加限制 AI 內容的選項，並推出隱形浮水印技術。
[編者註]
我們每天看到的社群媒體訊息流不再完全由人類產生。這項研究凸顯了一個現實：人工智慧不再只是一種工具，它擁有改變資訊空間本身的力量。
尤其令人擔憂的是，諸如反移民內容之類的有害資訊正被人工智慧大規模生產，並透過演算法傳播給數億人。這不僅僅是“虛假信息”問題。人工智慧驅動的大規模仇恨言論生產正在加劇社會分裂，助長對少數族裔的偏見，並威脅民主的根基。而這一切的背後，很大程度是廣告收入帶來的經濟利益驅動。
病毒式傳播的內容背後是什麼？是誰在創作？其目的又是什麼？我們innovaTopia編輯團隊正與您一起，認真思考如何解讀和應對這個全新的資訊環境。科技發展不可阻擋，但我們不能袖手旁觀，任由這種力量用來傷害人類。維護更美好的資訊空間，不僅是平台公司的責任，也是我們每個人的責任。
