据报道，自提出存储计算概念以来，人工智能被选为主要应用领域，但当时的需求并不高，技术仍在改进和成熟。我们在一些学术论坛和行业会议上看到了存储制造商和BUD42D人工智能芯片制造商。
但谁知道，2023年，我们迎来了消费级存储市场的低迷，但在ChatGPT的支持下，我们带来了高带宽内存。三星、SK海力士等厂商迎来了HBM订单和单价的飙升，这也使得他们计划加快PIM的发展。
SK海力士AiM方案
SK海力士最近提出了他们的第一个PIM方案，Aim是一种基于GDDR6的存储计算方案，专门为加速机器学习和应用内存负载密集而设计的。作为目前GPU产品的主要存储形式之一，GDDR6提供了足够的带宽，但不提供额外的计算能力，更不用说卸载CPU了、GPU的操作任务已经完成。
AiM存储加速器方案/SK海力士
在机器学习应用中，SK海力士的AiM方案可以卸载96%的计算任务，由DRAM的存储计算单元完成，实现了超高的内存bank并行性，显著减少了CPU与内存之间的数据移动。与HBM相比，GDDR6显然是一个成本较低的方案。
正是因为这些优势，AiM可以说是专门为GPT应用程序设计的，SK海力士在GPT模型下也给出了性能评估。对于GPT-2、GPT-3甚至现在的GPT-4来说，它们都是内存负载密集型应用程序，因此更容易遇到内存墙的问题。
SK海力士AiM的另一大优势是，它们已经实现了一整套软件栈，包括设备驱动、runtime库、框架和应用程序还支持AIM软件仿真器，支持用户在没有硬件评估板的情况下开发AI应用程序。
三星的PIM进程
其实其他厂商早就在PIM上布局了，尤其是三星。早在2021年初HBM2E推出后，三星就开始计划如何充分利用这些高带宽内存的性能，其中之一就是PIM。与SK海力士不同的是，三星打造的第一个PIM是HBM-PIM，在内存核心中，集成了一个叫做可编程计算单元的人工智能引擎，用于处理部分逻辑功能。
在同年的HotChips大会上，三星展示了将其HBM-PIM集成到Xilinx的AlveoAI加速器系统中。根据三星提供的数据，该方案提供了2.5倍的系统性能提升，功耗降低了60%。从三星半导体的PIM技术展示来看，他们还计划将该技术应用于GDDR和LPDR，但近年来主要技术的公开展示都集中在HBM-PIM上。
除了将PIM集成到商用AI加速器的方案外，三星还推出了将PIM直接集成到DRAM模块中的AXDIMM方案。通过DRAM模块中多组内存芯片的直接并行运算，减少了CPU和DRAM之间的大量数据移动。
三星表示，在基于人工智能的推荐应用中，AXDIMM可以将整个系统的能效提高40%，但我们不知道GPT的生成人工智能应用能带来多大的改进。毕竟，当三星的PIM方案推出时，大多数人工智能应用仍然停留在图像分类、文本翻译和语音识别上。
小结
从这些PIM产品的布局来看，集成方案可能对人工智能加速器制造商更有吸引力，无论这些计算单元是CPU、GPU、FPGA或ASIC芯片。但无论是三星还是SK海力士，这些解决方案都需要一段时间才能在产品上实施，所以我们可能要等到下一代产品才能看到存储计算的存在。
但不得不说，对于已经布局存储计算的存储制造商来说，这无疑是一个很大的好处。过去，负责计算的逻辑芯片的设计无疑是一个自砸招牌，但现在似乎已经成为一种趋势，这些存储制造商对市场波动的抵抗力会更强。但目前，这种PIM技术似乎仍优先考虑功耗相对较高的内存。如果他们想在未来的移动市场上取得成就，这取决于这些存储制造商将在未来推出什么样的LPDR-PIM方案。