英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

admin1天前天气预报10

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

  (来源:IT之家)

  IT之家 4 月 25 日消息,英伟达今天(4 月 25 日)发布博文,宣布其 NVIDIA Blackwell 平台已适配 DeepSeek-V4-Pro 与 DeepSeek-V4-Flash 两款模型,开发者可通过 NVIDIA NIM 微服务下载部署,或利用 SGLang 与 vLLM 框架进行定制化推理。

  英伟达在博文指出,DeepSeek-V4-Pro 拥有 1.6T 总参数量与 49B 激活参数,定位高级推理任务;DeepSeek-V4-Flash 版本则为 284B 总参数量与 13B 激活参数,主打高速高效场景。

英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

  两款模型均支持 100 万 Token 上下文窗口与最高 38.4 万 Token 输出长度,覆盖长文本编码、文档分析等核心应用,并采用 MIT 开源协议。

  实测数据显示,DeepSeek-V4-Pro 在 NVIDIA GB200 NVL72 上开箱即用性能超 150 tokens / sec / user,借助 vLLM 的 Day 0 配方,开发者可在 Blackwell B300 上快速部署。随着 Dynamo、NVFP4 及 CUDA 内核的深度优化,预期性能将进一步提升。

英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

  部署生态方面,开发者可通过 NVIDIA NIM 微服务下载部署,或利用 SGLang 与 vLLM 框架进行定制化推理。SGLang 提供低延迟、均衡及最大吞吐量三种配方;vLLM 则支持多节点扩展至 100 个以上 GPU,具备工具调用与推测解码能力。

英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

相关文章

中信金融资产去年营收增超40%,管理层:四年时光,公司已脱胎换骨

中信金融资产去年营收增超40%,管理层:四年时光,公司已脱胎换骨

  界面新闻记者 | 安震   3月31日,中国中信金融资产管理股份有限公司(下称:中信金融资产)召开2025年业绩发布会。中信金融资产总裁李子民在业绩发布会上对界面新闻等媒体表示,经过四年的时光淬炼...

操盘必读:影响股市利好或利空消息_2026年4月23日_财经新闻

登录新浪财经APP 搜索【信披】查看更多考评等级 专题:夏季攻势渐入佳境 主升逻辑沿一季报景气展开 影响股市利好与利空消息   宏观新闻   1、中办、国办发布关于更高水平更高质量做好节能降碳工作的意...

特朗普对伊最后期限逼近,以色列军方进入待命状态

  一名以色列安全消息人士向美国有线电视新闻网(CNN)透露,在美国总统唐纳德・特朗普设定的伊朗重新开放霍尔木兹海峡最后期限来临前,以色列军方已进入待命状态,随时准备对伊朗发动打击。   特朗普此前曾...

美国将封锁范围扩大至受制裁船只

  据美国海军中央司令部称,根据美国对伊朗港口的封锁令,受美国制裁的船只如今将面临登船、搜查和扣押。   该通知称:“除执行封锁外,所有伊朗船只、受外国资产管制办公室(OFAC)有效制裁的船只,以及涉...

欧洲酒企寻求印度减免关税,瓶罐短缺危机迫在眉睫

  据多位知情人士4月9日透露,欧洲多家大型酒精饮料公司正联合向印度政府施压,要求紧急减免进口关税。与此同时,受中东冲突持续影响,印度本土的玻璃瓶和铝罐供应链正面临前所未有的压力,可能很快出现包装材料...

以色列总理连续第三天发视频“自证活着”

以色列总理连续第三天发视频“自证活着”

当地时间3月17日晚,以色列总理内塔尼亚胡的社媒账号发布一段内容为“内塔尼亚胡会见美国驻以色列大使迈克·赫卡比的”视频——连续第三天通过发视频的方式证明“内塔尼亚胡还活着”。(总台记者 梁慧 王政)...