Nvidia公司正在通过发布用于高性能深度学习推理的TensorRT软件平台的新版本来增强其人工智能游戏。

TensorRT是一个结合了高性能深度学习推理优化器和可为AI应用程序提供低延迟，高吞吐量推理的运行时的平台。

推理是AI的重要方面。AI培训与算法理解数据集的能力的发展有关，而推理则是指算法对数据采取行动以推断出特定查询答案的能力。

最新版本在性能方面进行了一些重大改进。这些措施包括大大缩短了最先进的AI语言模型之一的推理时间，该模型称为“大型变形金刚的双向编码器表示法”。 众所周知，BERT-Large是一种自然语言处理培训的方法。它涉及在大型文本语料库(如Wikipedia)上训练通用语言理解模型，然后将其用作下游NLP任务的基础。

Nvidia表示TensorRT 6带有新的优化功能，可将带有T4图形处理单元的BERT的算法推理时间减少到5.8毫秒，而之前的性能阈值为10毫秒。

Nvidia表示，这种改进的性能足够快，以至于BERT现在对于企业首次在生产中进行部署是切实可行的。传统观点认为，NLP模型需要在不到10毫秒的时间内执行才能提供自然而引人入胜的体验。

英伟达表示，该平台还进行了优化，以加快对与语音识别，医疗应用的3D图像分割以及工业自动化中基于图像的应用有关的任务的推断。

Nvidia表示，TensorRT 6还增加了对动态输入批处理大小的支持，这应该有助于加快AI应用程序(例如具有变化的计算需求的在线服务)的速度。TensorRT开源存储库也不断发展，提供了新的培训样本，这些样本应有助于加快基于语言和图像的应用程序的推理速度。

Constellation Research Inc.分析师Holger Mueller表示，由于目前对话式AI平台的竞赛如火如荼，今天的改进是及时的。

“但是Nvidia仍然需要解决下一代应用程序的本地部署，除非它设法将TensorRT平台引入公共云，” Mueller说。“ Nvidia在此方面拥有良好的业绩记录，但是这需要时间才能实现。”