考虑到FPGA的发展现状、未来趋势以及中国的产业发展状况，微软根据多年的经验，总结出一些创新点与大家分享。首先，随着摩尔定律渐渐地进入暮年，不管是功耗还是频率，或是片上的计算资源，都受到了很大的挑战。但是，我们的应用需求却不断地增加。因此，如何进一步提升数据中心的计算能力和规模，成为微软的思考重点。

众所周知，微软在2012年年底就开始了FPGA方面的探讨研发。到目前为止，微软在数据中心已经部署了25万台FPGA。在互联网公司中，微软是部署FPGA最多的一家公司，也是投入最多的一家公司。为什么微软会选择FPGA而不是选择其他的器件呢？张宸表示，首先要从人工智能或者说新的机器学习应用开始说起。机器学习的成功全部依赖于巨大的模型和多层的神经网络。这样的神经网络需要几十亿，甚至几百亿的运算，因此需要极低的延迟，这就意味着在线上实时计算的能力要达到每秒万亿次至几百万亿次的运算能力。而FPGA高效、低延迟、低开销和规模化等优点，完全迎合上面所有需求。

除此之外，FPGA良好的可重构性也是原因之一。张宸表示，可重构性可以在同样的数据中心部署相同的硬件资源。“在实际使用的时候，可以重新配置成不同的硬件电路，这样可以提升规模化，同时可以保护我们的投资。”张宸说。

目前，市场上的FPGA需要通过PCle访问CPU才能够连接到计算机网络。“早期神经网络的加速也是与FPGA的集成方式相关。把神经网络，或者说人工智能的模型放在FPGA的内存中，这样的实现方式带来了一些问题：网络带宽需求增大，而FPGA的带宽是非常有限的。除此之外，FPGA在神经网络的计算和种类非常多，因此，加速比受到非常大的影响。针对这些问题，微软提出了分布式FPGA的架构，解决了CPU和网络的连接关系。”张宸说。

微软除了提出分布式FPGA架构，还对计算机网络进行了优化。张宸介绍，目前微软的计算机网络只需要4毫秒，就可以传输完一个机架上所有的FPGA。“在这样的架构支持下，FPGA在神经网络上实现了非常新颖的方式，也就是持久化。这种方式把神经网络切割成很多子图，这些子图可以在不同的FPGA上运行。”张宸说。

这种解决方案，对神经网络的加速效果是超线性的。张宸表示，神经网络被切割到多块的FPGA上，因此FPGA不需要访问本地内存，节省了很多缓存带宽。“在这种情况下，会收到超线性的效果。”张宸说。

对于人工智能，张宸表示，FPGA加速器不仅需要通过硬件来分析计算性能，同时还需要充分利用FPGA的软件可通过性。“我们希望即使在同一个场景中的人工智能，也可以有不同的运行参数。因为，我们希望节省FPGA的重构时间，通过软件定义硬件运行方式，也就是利用我们的软件可定义的神经网络加速器，达到比较好的效果。”张宸说。