隨著人工智能（AI）的快速發展，從邊緣人工智能（物聯網設備）到為深度學習模型提供動力的大型數據中心，對更高性能、更低功耗和高效內存解決方案的需求涵蓋了廣泛的應用。盡管人工智能發展迅速，但內存仍然是其致命弱點。如果內存技術沒有突破，人工智能性能提升將停滯不前。傳統的內存架構難以跟上日益增長的人工智能工作負載，因此必須重新考慮下一代人工智能系統的內存技術。
人工智能中日益嚴峻的內存挑戰
人工智能工作負載需要實時處理大量數據，無論是節能的邊緣人工智能應用還是高性能數據中心人工智能訓練。然而，傳統的內存技術，如 SRAM、基于低功耗雙倍數據速率 (LPDDR)-DRAM 和基于高帶寬內存 (HBM)-DRAM，都存在重大局限性：
SRAM 速度快，但泄漏功率高，對于大千兆字節分立內存芯片而言可擴展性差。
LPDDR-DRAM 提供更大的容量，但存在延遲和功率效率低下的問題。
HBM-DRAM 提供高帶寬，但消耗大量功率，影響整體系統效率。
DRAM 功耗的隱性成本
AI 內存中最緊迫的挑戰之一是 DRAM 的功耗，DRAM 仍然是數據中心的主要內存技術。由于 DRAM 消耗的功率高達數據中心總功率的 30% 以上，因此提高內存效率對于可持續的 AI 計算至關重要。造成這種高功耗的因素有幾個：
能源消耗巨大：隨著 AI 工作負載需要更大的內存容量，DRAM 功耗也相應增加。
后臺功耗：DRAM 功耗的很大一部分來自“后臺功耗”，包括保持數據完整性所需的刷新周期。
與工作負載相關的能耗：DRAM 的實際功耗根據工作負載強度而波動，內存訪問越頻繁，功耗就越高。
這種不斷增長的能源需求對可持續的 AI 計算提出了重大挑戰，因此探索能夠降低功耗同時保持高性能的新型內存解決方案至關重要。
大型 AI 模型的內存挑戰
隨著 AI 模型（尤其是大型語言模型 (LLM)）的規模不斷擴大，訓練和推理對內存的需求也變得越來越極端。理想的 AI 內存應具有：
更快的讀/寫延遲 - 匹配或超過 SRAM 速度以實現實時 AI 處理
比 HBM 更高的帶寬 - 以跟上 AI 工作負載所需的大量數據
超低功耗 - 最好是非易失性的，以減少邊緣和數據中心 AI 的能源負擔
可擴展性和可制造性 - 確保更高的密度和具有成本效益的大規模生產
成本效益 - 對于新技術而言，成本結構始終是一個挑戰。我們需要強大的總擁有成本 (TCO) 故事和持續努力降低硅片成本，無論是通過減小存儲單元尺寸實現長期可擴展性，還是通過開發存儲單元堆疊技術。
新興內存解決方案：AI 計算的未來
為了擺脫這些限制，新的內存架構必須提供高速、高帶寬和節能的解決方案。幾種新興技術正在引領這一轉變：1. 磁阻 RAM (MRAM)
重要性：與 DRAM 和 SRAM 相比，MRAM 提供快速讀取速度、非易失性和顯著降低的功耗。進步：新的 STT-MRAM 正在提高寫入耐久性、帶寬和可擴展性，使其適用于 AI 加速器和邊緣設備。影響：MRAM 降低了待機功耗，實現了內存計算，并降低了 AI 系統的 TCO。2. 電阻式 RAM (RRAM)
重要性：RRAM 是一種超低功耗非易失性存儲器，具有高密度和快速切換速度。進步：耐久性和保留性的提高使 RRAM 成為 AI 推理工作負載和神經形態計算的候選者。影響：RRAM 支持節能的 AI 模型存儲和邊緣 AI 應用。3. 3D DRAM 和 HBM 演進
重要性：傳統 DRAM 擴展正在放緩，但 3D DRAM 堆疊和下一代 HBM（如 HBM4 及更高版本）正在提高性能。進步：未來的 HBM 迭代旨在降低每瓦功率和提高帶寬，解決一些 AI 瓶頸。影響：這種演進增強了大規模 AI 模型的訓練和推理能力，但仍然面臨功率限制。4. 內存計算 (CIM) 和內存處理 (PIM)
重要性：AI 推理受到內存移動的瓶頸限制，因此 CIM/PIM 對于加速 AI 性能至關重要。進步：MRAM、RRAM、相變存儲器 (PCM) 和 DRAM 正在適應內存計算架構。影響：這些方法減少了數據傳輸延遲、提高了 AI 加速器效率并支持實時 AI 工作負載。超越內存技術：生態系統和基礎設施協調
除了對創新內存技術的期望之外，其他關鍵因素在 AI 性能進步中也發揮著至關重要的作用：
生態系統協調——內存技術必須與行業標準一起發展，包括 HBM 和新興互連技術，如通用小芯片互連 Express (UCIe)，確保與 AI 加速器的無縫集成。
更高的芯片堆疊技術——為了滿足不斷增長的 AI 內存容量需求，高密度芯片堆疊的進步對于提高可擴展性和效率至關重要。
內存計算可提高 AI 效率 — 通過內存計算減少 AI 芯片與內存之間的交互有助于降低處理負載、提高能效并縮短 AI 處理時間。
SoC 功能可優化芯片布局 — 為了在包括內存在內的各種 AI 組件中實現最佳效率，必須優化 SoC 設計以實現無縫集成、減少瓶頸并提高整體系統性能。
邊緣 AI 中的內存挑戰
對于邊緣 AI 應用（包括可穿戴設備、電池供電設備（如智能手表）、電動汽車和智能相機）而言，關鍵挑戰是延長電池壽命并保持高性能。當前的內存架構通常依賴于 NOR 閃存用于代碼存儲和 LPDDR 用于快速數據訪問的組合。但是，這種方法會增加系統復雜性、功耗和電路板空間。需要統一的內存解決方案來簡化架構，降低功耗和空間，同時提高效率。新興的非易失性內存技術結合了快速的讀寫速度和超低功耗，可以顯著增強邊緣 AI 設備，在不犧牲性能的情況下延長電池壽命。AI 計算正走到一個十字路口，傳統的內存技術已不足以滿足功率和性能需求。隨著 LLM 變得越來越大，內存必須不斷發展，以滿足對 SRAM 般的速度、HBM 級帶寬、超低功耗、非易失性和可擴展性的需求。通過集成下一代內存解決方案，包括 MRAM、RRAM 和內存計算架構，可以克服當前的內存瓶頸并解鎖 AI 系統的新效率水平。下一波內存創新將是釋放 AI 全部潛力的關鍵，推動從邊緣 AI 到超大規模數據中心的新突破。隨著行業不斷創新，重新思考內存設計對于塑造 AI 性能的下一個前沿至關重要。