几周前,当微软宣布Copilot+PC时,一个问题占据了主导地位:为什么我不能在我的GPU上运行这些AI应用程序?在Computex 2024,英伟达终于提供了答案。
英伟达和微软正在合作开发应用程序编程接口(API),该接口将允许开发人员在RTX显卡上运行他们的人工智能加速应用程序。这包括作为Copilot运行时一部分的各种小型语言模型(SLM),它们被用作召回和实时字幕等功能的基础。
有了这个工具包,开发人员可以允许应用程序在你的图形处理器而不是NPU上本地运行。这不仅为更强大的人工智能应用程序打开了大门,因为图形处理器的人工智能能力通常高于NPU,而且还能在目前不属于Copilot+保护伞的个人电脑上运行。
这是一个伟大的举措。副驾驶+个人电脑目前需要一个神经处理单元(NPU),能够每秒至少40 Tera运算(TOPS)。目前,只有Snapdragon X Elite满足这一标准。尽管如此,图形处理器具有更高的人工智能处理能力,即使是低端型号也能达到100 TOPS,高端选项的扩展速度更高。
除了在图形处理器上运行之外,新的应用编程接口还为副驾驶运行时增加了检索增强生成(RAG)功能。RAG使人工智能模型能够在本地访问特定信息,从而提供更有帮助的解决方案。今年早些时候,我们在英伟达与RTX的聊天中看到了RAG的全面展示。
在应用编程接口之外,英伟达在电脑展上宣布了RTX人工智能工具包。这个开发者套件于6月推出,结合了各种工具和软件开发工具包,允许开发者针对特定应用调整人工智能模型。英伟达表示,与使用开源解决方案相比,通过使用RTX人工智能工具包,开发者可以使模型快四倍,小三倍。
我们看到了一波工具浪潮,使开发人员能够为最终用户构建特定的人工智能应用程序。其中一些已经出现在Copilot+PC上,但我怀疑明年这个时候我们会看到更多的人工智能应用程序。毕竟,我们有运行这些应用程序的硬件;现在我们只需要软件。
- GPT-4:关于 ChatGPT 标准人工智能模型您需要了解的一切 07-25
- 车内新型摄像头可检测您是否饮酒 07-19
- OpenAI 刚刚解除了 ChatGPT 免费版的限制 07-19
- 适用于 macOS 的 ChatGPT 应用程序正式向所有用户免费开放 07-15
- 人工智能生成的答案愚弄教授,成绩比人类撰写的更好 07-04
- 微软人工智能首席执行官称在开放网络上偷任何东西都没关系 07-04
- 马斯克从 OpenAI 挖走的研究员后又回到OpenAI 07-04
- GPT-5将拥有博士学位-智力水平 07-04