本报讯 近日,在美国加利福尼亚州圣克拉拉举行的FMS 2024(内存和存储的未来)会议上,NEO半导体公司(NEO Semiconductor)创始人兼首席执行官Andy Hsu宣布,将推出一款改变游戏规则的3D DRAM——3D X-AI芯片,其具有AI处理功能,将数据存储和数据处理结合在单个芯片中,将神经网络(ANN)性能提高100倍,功耗降低99%。
Andy Hsu表示,基于NEO的3D X-DRAM技术,3D X-AI模拟人工神经网络,包括用于权重数据存储的突触和用于数据处理的神经元,使其非常适合加速下一代AI芯片和应用。3D X-AI可替代高带宽内存(HBM),有望显著推动AI芯片设计和AI工作负载优化。
据介绍,单个3D X-AI芯片包括300层3D DRAM,容量为128Gb,以及1层神经网络电路,具有8000个神经元,每个芯片支持高达10TB/s的AI处理吞吐量。使用12个堆叠HBM封装的3D X-AI芯片,只需一个3D X-AI芯片,即可将其容量和性能提升12倍,达到1536Gb(192GB)容量和120TB/s的处理吞吐量。
“典型的人工智能芯片使用基于处理器的神经网络。这涉及结合高带宽内存来模拟用于存储权重数据的突触和图形处理单元(GPU)来模拟用于执行数学计算的神经元。性能受到HBM和GPU之间数据传输的限制,来回数据传输会降低AI芯片性能并增加功耗。”Andy Hsu说道,“具有 3D X-AI的AI芯片使用基于内存的神经网络。这些芯片具有神经网络功能,每个3D X-AI芯片中都有突触和神经元。在执行AI操作时,它们用于大幅减少GPU和HBM之间数据传输数据的繁重工作负载。我们的3D DRAM极大地提高了AI芯片的性能和可持续性。”
(海 文)