|
SOCAMM2解决的是AI数据中心内存墙在三个维度上的约束:容量、功耗和物理空间。256GB SOCAMM2基于业界首款单晶粒32Gb LPDDR5X设计,相较同容量RDIMM,功耗降至三分之一,尺寸缩小至三分之一。每颗8通道服务器CPU可配置2TB LPDRAM容量,这使得大语言模型的长上下文窗口和持久性键值(KV)缓存得以在更紧凑的功耗和空间预算内实现部署。 从推理性能的实测表现看,256GB SOCAMM2在统一内存架构中用于KV缓存卸载时,长上下文LLM推理的首个token生成时间加速2.3倍。在独立CPU应用的高性能计算负载中,LPDRAM每瓦性能相较主流内存模块提升超过3倍。模块化设计同时带来运维层面的优势:可拆卸模组提升了设备可维护性,外形兼容液冷服务器架构,并预留了随AI负载增长而灵活扩展容量的能力。 美光与NVIDIA围绕SOCAMM开展了长期技术合作。192GB SOCAMM2已面向NVIDIA Vera Rubin平台进入大规模量产;256GB SOCAMM2目前处于客户送样阶段,专为Vera Rubin NVL72系统及独立Vera CPU平台设计,每颗CPU支持高达2TB内存容量和1.2TB/s带宽。美光SOCAMM2产品线容量覆盖48GB至256GB。 192GB SOCAMM2在此前已完成送样,速率为9.6 Gbps。从产业链标准层面看,美光在JEDEC SOCAMM2规范制定过程中持续发挥推动作用,并与系统设计人员保持深度技术合作。SOCAMM2作为LPDRAM进入数据中心的关键载体,其标准化与协同设计有助于推动下一代数据中心平台在能效和性能方面实现全行业性提升。 在AI数据中心内存架构中,HBM为GPU提供近存高带宽,DDR5 RDIMM承担服务器CPU主内存,SOCAMM2则把LPDDR5X的低功耗和高带宽特性带入CPU附加内存。256GB SOCAMM2相较标准RDIMM功耗和尺寸均降至三分之一,适用于需要高容量、低功耗CPU附加内存的AI及高性能计算平台。 Q: SOCAMM2是什么?它的全称是什么? A: SOCAMM2全称Small Outline Compression Attached Memory Module 2,是一种小型压缩附加内存模块,将LPDDR5X低功耗DRAM封装为服务器可用的模块化形态,用于AI数据中心的CPU附加主内存。 Q: SOCAMM2相比传统RDIMM的核心优势体现在哪些方面? A: 功耗降至RDIMM的三分之一,尺寸缩小至三分之一;HPC负载下每瓦性能提升超3倍;LLM推理中KV缓存卸载时首个token生成时间加速2.3倍。 Q: SOCAMM2的容量和带宽上限是多少? A: 美光 SOCAMM2 单模块容量最高 256GB,完整产品线覆盖 48GB 至 256GB;面向 NVIDIA Vera Rubin NVL72 系统及独立 Vera CPU 平台时,每颗 CPU 可支持最高 2TB 内存和 1.2TB/s 带宽。192GB 版本已公布的模块速率为 9.6Gbps,与每颗 CPU 的总带宽属于不同口径。 Q: SOCAMM2与NVIDIA平台的适配关系是怎样的? A: 256GB SOCAMM2专为NVIDIA Vera Rubin NVL72系统和独立Vera CPU平台设计,每颗CPU支持2TB内存和1.2TB/s带宽。美光与NVIDIA在SOCAMM2上有五年技术合作。 Q: SOCAMM2的模块化设计对数据中心运维有什么实际价值? A: 可拆卸模组提升设备可维护性,支持液冷服务器架构,并可根据AI负载内存需求的增长灵活扩展容量。 Q: SOCAMM2在AI数据中心内存架构中与HBM、DDR5 RDIMM如何分工? A: HBM面向GPU提供2.8TB/s级近存高带宽;DDR5 RDIMM承担服务器CPU主内存;SOCAMM2提供低功耗CPU附加LPDRAM,256GB模块相较标准RDIMM功耗和尺寸均降至三分之一。三者应按GPU带宽、CPU主内存和低功耗附加内存需求分别选择。 |
SOCAMM2在AI服务器内存扩展中的角色与优势
2026-08-14 12:16
出处:其他
责任编辑:侯宪勇

西门子(SIEMENS)274升大容量家用三门冰箱 混冷无霜 零度保鲜 独立三循环 玻璃面板 支持国家补贴 KG28US221C
5399元
苏泊尔电饭煲家用3-4-5-8个人4升电饭锅多功能一体家用蓝钻圆厚釜可做锅巴饭煲仔饭智能煮粥锅预约蒸米饭 不粘厚釜 4L 5-6人可用
329元
绿联65W氮化镓充电器套装兼容45W苹果16pd多口Type-C快充头三星华为手机MacbookPro联想笔记本电脑配线
99元
KZ Castor双子座有线耳机入耳式双单元HM曲线发烧HiFi耳返耳麦
88元
格兰仕(Galanz)【国家补贴】电烤箱 家用 40L大容量 上下独立控温 多层烤位 机械操控 烘培炉灯多功能 K42 经典黑 40L 黑色
260.9元
漫步者(EDIFIER)M25 一体式电脑音响 家用桌面台式机笔记本音箱 蓝牙5.3 黑色 520情人节礼物
109元