三星计划在DDR5和HBM3内存集成PIM AI引擎

  【天极网DIY硬件频道】三星在2月出对外公布，他们将在新的HBM2内存中集成AI引擎，HBM-PIM(Aquabolt-XL)芯片最高可提供1.2 TFLOPS嵌入式计算能力，使内存芯片可以执行CPU、GPU、ASIC或FPGA的操作。三星在8月的Hot Chips 33上介绍未来更为庞大的开发计划，会将PIM (processing-in-memory) 技术扩展到DDR4、DDR5、LPDDR5X、GDDR6和HBM3内存上。 

  三星将HBM-PIM芯片直接加入到堆栈中，可以与符合JEDEC标准的HBM2内存控制器配合使用。性能方面，三星使用赛灵思(Xilinx)Alveo FPGA进行测试，确认这款AI加速器有2.5倍的性能提升，同时降低超过60%的能耗。 

  三星表示：PIM技术目前已经可以和任何标准的内存控制器兼容，但如果CPU厂商能够提供优化，某些情况下的性能提升会更大。三星已经与一家CPU厂商测试HBM2-PIM，以便在未来产品中使用。由于英特尔Sapphire Rapids、AMD的Genoa、Arm的Neoverse平台在内的新一代处理器都支持HBM内存，未来应用范围会相当大。 

  从性能表现来看，三星的PIM技术很适合数据中心使用，而三星进一步将该技术转向更为标准的内存。三星在本次活动中演示AXDIMM内存，对现有内存的优化，在缓冲芯片内集成AI引擎，尽可能减少CPU和DRAM之间的大量数据交换，以提高效率。AXDIMM内存插入到标准的DDR4服务器内存插槽就能使用，无需大幅度改变现有的硬件架构。 

  三星表示：已经有厂商使用AXDIMM内存在客户的服务器上进行测试，在特定的AI应用中，性能提升1.8倍，同时并降低超过40%的功耗。考虑内存很快会迭代到DDR5，三星应该会快速跟进，让这项技术会在不久的将来推向市场。

  三星的PIM技术不仅局限于高端的领域，它也可以转向贴近消费者的普通产品，比如笔记本电脑、平板电脑甚至手机。三星已经计划在LPDDR5内存中引入PIM技术，只是目前仍处于早期阶段。在LPDDR5-PIM内存(6400 MHz)的模拟测试中，语音识别工作负载的性能提高2.3倍，基于转换器的翻译性能提高1.8倍，GPT-2文本生成能力提高2.4倍，同时功耗降低60%以上。

  三星表示，将从HBM2的FP16向前推进到HBM3的FP64，意味着芯片会具有扩展的功能。FP16和FP32将保留供数据中心使用，而INT8和INT16将服务于LPDDR5、DDR5和GDDR6内存，更好地适应不同的应用场景。 

  三星今年发布业界首款CXL内存模块，基于Compute Express Link标准的新型存储产品，或许未来也会引入PIM技术。随着AI技术的兴起，PIM技术或许比普通人表面看来更能改变现有的游戏规则，未来GPU使用的显存协助处理一些工作负载，以提升性能并降低功耗是有可能的。

  虽然三星的PIM技术进展迅速，能够实现与标准的内存控制器配合使用，但由于没有获得JEDEC的认证，PIM技术被广泛使用仍存在障碍。三星希望PIM规范可以标准化，进一步扩展内存产品的组合，比如加入到HBM3标准规范里。