Nvidia 通过 TensorRT 提升 AI 性能

发布时间：2023-10-18 15:13:11 栏目：滚动要闻

导读 Nvidia 一直忙于进一步改进其 AI/ML(人工智能/机器学习)和 LLM(大型语言模型)工具套件。最新添加的是 TensorRT 和 TensorRT-LLM，旨...

Nvidia 一直忙于进一步改进其 AI/ML(人工智能/机器学习)和 LLM(大型语言模型)工具套件。最新添加的是 TensorRT 和 TensorRT-LLM，旨在优化消费类 GPU 和许多用于运行稳定扩散和Llama 2 文本生成等任务的最佳显卡的性能。我们使用 TensorRT 测试了 Nvidia 的一些最新 GPU，发现稳定扩散的性能提高了高达 70%。



TensorRT 现在应该可以在Nvidia 的 Github 页面下载，尽管我们为了初步了解而提前访问了它。在过去一年左右的时间里，我们看到稳定扩散方面发生了很多变化。我们首先使用的是Automatic1111的webui，它最初只支持Windows下的Nvidia GPU。

从那时起，图像人工智能生成工具的分支和替代文本的数量呈爆炸式增长，AMD 和英特尔都发布了更精细调整的库，在一定程度上缩小了与 Nvidia 性能的差距。您可以在AMD RX 7800 XT和RX 7700 XT评测中查看我们最新的稳定扩散基准测试综述。现在，Nvidia 准备通过 TensorRT 再次拉大差距。基本思想与 AMD 和 Intel 已经做过的类似。利用 ONNX(一种针对 AI 和 ML 模型和运算符的开放格式)，基本 Hugging Face 稳定扩散模型可转换为 ONNX 格式。

从那里，您可以进一步优化您正在使用的特定 GPU 的性能。TensorRT 需要几分钟(有时甚至更长时间)进行调整，但一旦完成，您应该会获得性能的大幅提升以及更好的内存利用率。我们通过调优过程运行了所有 Nvidia 最新的RTX 40 系列 GPU (每个调优过程都必须单独完成才能获得最佳性能)，并测试基本稳定扩散性能和使用 Xformers 的性能。我们还没有准备好进行全面更新，比较 AMD、Intel 和 Nvidia 在稳定扩散中的性能，因为我们正在使用最新的优化工具重新测试一堆额外的 GPU，因此最初的外观仅关注 Nvidia GPU。我们提供了一款 RTX 30 系列 (RTX 3090) 和一款 RTX 20 系列 (RTX 2080 Ti)，以展示 TensorRT 增益如何应用于 Nvidia 的所有 RTX 系列。