ITEC公司發布了名為「CompreSeed AI」的壓縮搜尋和推理人工智慧技術，該技術無需GPU即可在標準筆記型電腦上運作。這項技術採用了一種特殊的結構，無需解壓縮即可在壓縮狀態下搜尋和推理數據，從而將計算成本降低到傳統水平的1/50到1/70。
在NEC消費級筆記型電腦「Lavie NS150」的實際測試中，確認了其運行穩定，響應速度為0.2至0.8秒，處理300萬條維基百科條目時內存使用量為2至3GB（壓縮後為1.8GB）。
該公司還發布了一份15頁的白皮書，詳細介紹了技術細節和複製流程，並已申請國內專利。此外，該公司也將開始向海外提交專利申請，並為企業和地方政府開展示範實驗。
從： 
[CompreSeed AI，一種“壓縮搜尋推理人工智慧”，無需GPU即可在標準筆記型電腦上快速推理300萬條維基百科條目]
【社論】
ITEC 公司發布的「CompreSeed AI」是一項重要新聞，因為它為人工智慧產業目前面臨的雙重挑戰——運算資源短缺和實施成本上升——提供了一個解決方案。
首先，這項技術最引人注目之處在於其「無需擴展數據即可進行推理」的方法。傳統的向量搜尋（例如 RAG 等技術）需要將高維向量資料擴展到記憶體中，這需要昂貴的 GPU 進行計算。然而， CompreSeed AI 在執行搜尋的同時，將資料壓縮成語意區塊，從而能夠在普通的商用筆記型電腦（僅 CPU）上高速運作。這可以被視為一種範式轉變，它將 AI 執行環境從「資料中心」帶回了「個人手中」。
如果這項技術得到廣泛應用，它將極大地推動地方政府和中小企業的數位轉型，這些企業此前由於預算和基礎設施的限製而放棄了採用人工智慧。例如，它可以為「本地環境下的高級智慧搜尋」開闢一個新市場，例如，對於因保密性問題而無法上傳到雲端的內部文檔，或在通訊環境不穩定的災害現場進行離線搜尋。
另一方面，技術驗證必須客觀進行。未來能否廣泛應用的關鍵在於，與傳統的向量搜尋（如FAISS等）相比，壓縮導致的「精度下降」程度如何，以及「語義壓縮」演算法對通用資料（例如包含大量技術術語的醫療文件或專利文件）是否有效。我們期待第三方基於已發布的白皮書進行進一步的測試和評估。
此外，這項技術將挑戰目前由英偉達主導的人工智慧硬體市場，因為它無需在推理階段使用GPU。如果這種方法得以標準化，人工智慧開發的主要競爭領域可能會從「硬體規格之爭」轉變為「演算法效率之爭」。
總而言之，CompreSeed AI 有潛力將人工智慧從少數大型企業專屬的技術轉變為人人都能使用的技術。 innovaTopia 將持續關注這項技術在現實世界中創造的價值。
[術語]
向量搜尋<br>一種將資料轉換為數字數組（向量）並按語義相似性進行搜尋的技術。它可以找到傳統關鍵字搜尋無法找到的“含義相似的資訊”，但計算量很大。
推理
這是人工智慧模型根據其已學習的數據，對新輸入輸出答案或預測的過程。
FAISS（Facebook 人工智慧相似性搜尋）
Meta（前身為 Facebook）開發的用於高速搜尋大量向量資料的函式庫。它目前是標準技術，但對於大規模數據，建議使用 GPU。
語意壓縮
這項技術提取並壓縮資料的“意義”和“本質”，而不僅僅是其表面資訊（例如字元序列）。它可以在顯著減少資訊量的同時，保留人工智慧理解和推理所需的基本要素。
[參考連結]
NVIDIA cuVS（向量搜尋） （外部）
NVIDIA提供的GPU加速向量搜尋庫。一個用於學習「使用GPU進行高速搜尋」技術標準的參考網站，這些標準目前已成為主流。
[參考文章]
人工智慧中的語義壓縮：以更少的儲存空間學習更多知識（外部連結）
本文解釋了人工智慧中的「語義壓縮」概念。了解其理論背景：透過抽象資料並保留其含義，而不是簡單地減少資料量，可以實現高效的推理。
性價比之選：雲端 CPU 上的向量搜尋（外部連結）
一項關於雲端CPU上向量搜尋成本效益的研究。探討了在不使用GPU的環境中搜尋效能所面臨的挑戰和可能性，是比較和檢驗CompreSeed AI優勢的重要參考資料。
ON-NSW：利用GPU加速高維向量搜尋（外部）
本文探討了利用GPU加速高維向量搜尋的最新技術（ON-NSW）。了解目前「依賴GPU」的搜尋技術所採用的方法，有助於更清晰地理解ITEC「無GPU」方法的獨特性。
[編者註]
“人工智慧屬於大型科技公司”
如果你是這麼想的，這項技術可能會顛覆你的這種常識。
即使在沒有網路或昂貴GPU伺服器的地方，只需一台筆記型電腦也能獲得大量知識。這表明，在災難期間的避難所或處理機密資訊的辦公室角落，有可能建造一種新的「知識基礎設施」。
「如果你的電腦裡有完整的維基百科條目，而且它可以立即回答你的問題，你會用它做什麼？”
請在社交媒體上告訴我們您的想法。
科技只有在人們使用時才會發展。而你，親愛的讀者，正是塑造未來的人。
