NVIDIA 为运行 RTX 40 和 RTX 30 GPU 的 Windows 11 PC 带来高达 5 倍的 AI 加速

发布时间：2023-11-16 14:51:05 栏目：科技

导读 NVIDIA 正在为数百万台由其最新 RTX GPU 提供支持的 Windows 11 PC 带来人工智能工作负载的巨大加速。借助适用于 RTX GPU 的 T...

NVIDIA 正在为数百万台由其最新 RTX GPU 提供支持的 Windows 11 PC 带来人工智能工作负载的巨大加速。



借助适用于 RTX GPU 的 TensorRT-LLM，超过 1 亿台 Windows PC 将受益于 NVIDIA 加速的 AI 性能

继之前的公告之后，NVIDIA 现在透露，TensorRT-LLM 正在添加到 Windows 11 中，并将在 11 月 21 日在最新驱动程序套件中发布时为超过 1 亿 RTX 用户启用。这一消息是在 Microsoft 的 Ignite 大会上宣布的，这是一个讨论人工智能的未来以及随着我们的发展它将如何改变 Windows 生态系统的重要活动。

TensorRT-LLM 为 RTX 40 和 RTX 30 GPU 所有者提升 AI 能力

今天，NVIDIA 确认 TensorRT-LLM AI 加速将适用于所有具有超过 8 GB VRAM 的 RTX 台式机和笔记本电脑。除了 TensorRT-LLM 之外，NVIDIA 和 Microsoft 还带来了 DirectML 增强功能，以推动稳定扩散和 Llama 2 等流行的 AI 模型。

拥有支持 TensorRT-LLM 的 NVIDIA RTX GPU 意味着您可以在本地使用所有数据和项目，而不是将它们保存在云中。这将节省时间并提供更精确的结果。RAG 或检索增强生成是通过使用本地化库来更快地获得 AI 结果的技术之一，该库可以填充您希望 LLM 经历的数据集，然后利用该 LLM 的语言理解功能为您提供准确的结果结果。