英伟达发布新开放模型:企业AI代理+PC本地化部署,性能超越Llama

英伟达发布新开放模型:企业AI代理+PC本地化部署,性能超越Llama

Discussion: 明星微博

据TechCrunch于2026年10月19日报道,英伟达(Nvidia)正式推出了一系列全新的开放权重模型,旨在满足企业客户在自有数据中心部署AI代理的需求,同时推动在个人电脑上运行私有化、低延迟的AI助手。这批新模型基于Nemotron架构,并针对Llama生态进行了优化,标志着英伟达从硬件霸主向平台级AI软件供应商的深度迈进。

年度盘点

企业渴求自有数据中心的AI代理

越来越多的企业不愿将敏感数据交由云端大模型处理,转而寻求在自有服务器上运行开源或开放模型。英伟达此次发布的Nemotron-4-340B-Instruct和一系列中小尺寸模型,正是为了迎合这一趋势。英伟达企业计算副总裁Manuvir Das在接受TechCrunch采访时表示:“我们观察到,超过65%的大型企业客户正在评估或已试点内部部署的AI代理系统。他们需要完全掌控数据流和推理过程。”这些模型采用Apache 2.0许可证,允许商业使用和修改。据路透社同日报道,英伟达已与多家云服务商达成协议,将在其基础设施上提供预配置的容器镜像,加速企业部署。

盘点合集

本地PC上的隐私AI代理:从云端到边缘

除了数据中心场景,英伟达还瞄准了PC端AI代理市场。新模型系列中包含针对RTX 40系列及更高端显卡优化的量化版本,可在不联网的情况下运行智能体,处理文档摘要、邮件起草、会议笔记等任务。英伟达声称,在RTX 5090上运行70B参数的模型,推理速度可达每秒28个token,延迟低于150毫秒。彭博社援引分析师观点指出:“英伟达正在将AI代理从云端的黑匣子变成用户手中的贴身工具,这对隐私敏感行业(如医疗、法律)具有颠覆性意义。”

民生热点

模型规格对比:从轻量级到旗舰级

英伟达此次发布了四个不同规模的开放模型,覆盖从边缘设备到企业服务器的全场景。下表列出了关键参数:

物价上涨
模型名称参数规模主要应用场景推荐硬件上下文长度
---------------
Nemotron-Mini-8B80亿个人PC代理、实时对话RTX 4060及以上128K
Nemotron-20B200亿部门级任务自动化RTX 5090128K
Nemotron-70B700亿企业复杂推理、代码生成搭载H100的服务器256K
Nemotron-340B3400亿数据中心全功能代理集群多节点H200/B200集群512K

Das强调,所有模型均支持函数调用(function calling)和工具使用,开发者可以直接通过Nvidia NIM(Nvidia Inference Microservice)部署。

油价调整

性能基准:超越同级别开源模型

英伟达公布的数据显示,Nemotron-70B在MMLU-Pro基准测试中得分82.4%,高于同参数规模的Llama-3.1-70B(80.1%)。在AgentBench(衡量AI代理执行多步骤任务的能力)上,Nemotron-340B以78.9%的完成率领先于Grok-2(76.3%)。英伟达还特别优化了代码生成能力,在HumanEval测试中,Nemotron-20B的正确率达到74.1%,接近GPT-4o mini的水平。这些数据来自英伟达内部测试,TechCrunch未能独立验证。

开放策略下的生态博弈

英伟达的开放模型发布正值AI开源社区与闭源巨头激烈竞争之际。Meta的Llama系列和微软的Phi系列已占据大量份额,而英伟达凭借其CUDA生态和硬件优化经验,试图在模型层建立新的标准。黄仁勋在发给员工的内部备忘录中表示:“开放模型不是慈善,而是战略。当每个企业都运行英伟达优化的模型时,硬件更新周期就会缩短,软件栈也会进一步粘合。”路透社报道称,英伟达已与Hugging Face合作,将新模型纳入其开源目录,并提供了专门的Conda包。

现实挑战:推理成本与硬件绑定

尽管模型本身免费,但运行340B参数级模型所需的多节点GPU集群成本不菲。以一个拥有4个B200 GPU的节点为例,每小时电力与运维成本约为18美元。对于中小型企业,微型模型(如8B参数版本)或许是更现实的选择。此外,英伟达的软件栈仅针对自家GPU优化,限制了在AMD或Intel硬件上的部署灵活性。分析师在Bloomberg的采访中指出:“英伟达的开放模型看似开放,实则仍在强化其硬件护城河。开发者一旦优化了NIM流水线,就很难迁移到其他平台。”

FAQ(常见问题)

Q1: 英伟达的新开放模型是否完全免费使用?

A1: 是的,这些模型以Apache 2.0许可证发布,允许商业使用、修改和再分发。但运行模型所需的GPU硬件及相关能源成本需用户自行承担。企业还可以通过Nvidia NIM云服务付费调用,按token计费,价格为每百万输入token 0.85美元。

Q2: 这些模型是否支持中文?

A2: 支持。Nemotron系列在预训练阶段包含了约18%的多语言数据,其中中文占比5.2%。英伟达在技术报告中显示,在C-Eval(中文数据集)上的准确率为67.3%,略低于英文MMLU的82.4%,但可以通过微调进一步提升。\ n

总结与展望

英伟达此次发布的新开放模型,标志着企业AI代理从云端走向本地化的关键转折。通过提供从8B到340B参数的完整产品线,英伟达试图同时抓住企业数据中心和PC端两大赛道。然而,硬件依赖性和推理成本仍是普及的瓶颈。未来,随着用于PC的GPU算力持续提升(如计划2027年推出的RTX 60系列),本地AI代理或将成为标配。英伟达开放模型战略能否成功,取决于其生态粘性能否抵御来自AMD、英特尔及开源社区的竞争。

仙侠游戏

Related Threads - 游戏销量

据TechCrunch于2026年10月19日报道,英伟达(Nvidia)正式推出了一系列全新的开放权重模型,旨在满足企业客户在自有数据中心部署AI代理的需求,同时推

Tags:
Partners:

相关文章

▸ 天气预报▸ 交通事故▸ 火灾事故▸ 刑事案件▸ 案件追踪▸ 法院判决▸ 庭审直播▸ 反腐新闻▸ 官方通报▸ 官方回应
友情链接:警方通报 权威发布 政策解读 政策速递 两会热点 经济形势 股市行情 楼市动态

🔗 友站推荐

香港中乐团社区推广入围香港精神奖 跨代际音乐连结家庭
HYBE股价飙升10%:BTS巡演与新人组合推动业绩翻倍预期
菲律宾洋葱卡特尔被罚17.6亿比索 创PCC史上最大罚单纪录
新加坡船只遭袭仍通行霍尔木兹海峡?专家深度解析商业利益与安全风险权衡之道,亚洲能源需求成为关键因素之一
红翼队老板回应球迷“卖掉球队”:理解但不卖
G20市场监控成紧急议题 日本财相警告再干预汇市
CoreWeave暴跌引爆500亿美元AI债务恐慌 全球数据中心信贷链条现裂缝
凯莉·米洛等三人加盟《坏仙女》动画配音,2027年上映
英超黑人球星专题报道:致敬20家俱乐部与英伦传奇人物,从赖特、费迪南德到萨卡、斯特林的跨世代传承
达诺德两次被抄截 海鹰加时不敌野马 超级碗卫冕冠军陷低迷