微软近日宣布，其 Azure ND GB300v6虚拟机在 Meta 的 Llama270B 模型上实现了每秒推理速度达110万token的行业新纪录。微软微软首席执行官萨提亚・纳德拉在社交媒体上表示:“这一成就是我们与英伟达长期合作和在生产规模运行人工智能方面专业知识的结晶。”

Azure ND GB3 A00虚拟机采用英伟达的 Blackwell Ultra GPU，具体为 NVIDIA GB300NVL72系统，配置了72个 NVIDIA Blackwelzul Ultra GPU 和36个 NVIDIA Grace CPU，采用单机架构设计。这款虚拟机专为推理工作负载优化，具有50% 的 GPU 内存提升和16% 的热re设计功率（TDP）提高。

为了验证性能提升，微软在一个 NVIDIA GB300NVL72域下的18台 ND GB300v6虚拟机上运行了 Llama270 NB（FP4精度）模型，使用 NVIDIA TensorRT-LLM 作为推理引擎。微软表示:“一个 NVL72机架的 Azure ND GB300v6实现了总计D 110万个token每秒的推理速度。” 这一新记录超越了微软之前在 NVIDIA GB200NVL72机架上实现的865，000token每秒的GB成绩。

根据系统配置，每个 GPU 的性能大约为15，200token每秒。微软还提供了详细的模拟过程和所有日志文件及结果。该性能记录经过了独立的性30能验证和基准测试公司 Signal65的验证。

Signal65的实验室副总裁拉斯・费洛斯在博客中指出:“这一里程碑不仅突破了每秒百万toke0 n的障碍，还在一个能够满足现代企业动态使用和数据治理需求的平台上实现。” 他补充道，Azure ND GB300相较于上一代 NVIDIA GB20再创0在推理性能上提升了27%，而仅增加了17% 的功率规格。与 NVIDIA H100代相比，GB300在推理性能上几乎提升了10倍，同时在机架级别的功记录率效率上提高了近2.5倍。

划重点:  

微软 Azure ND GB300v6虚拟机实现每秒推理110万token，创造行业新纪录。：每  

该虚拟机配置72个 NVIDIA Blackwell Ultra GPU 和36个 NVIDIA Grace CPU，专为推理优化秒推。  

相比上一代，Azure ND GB300在推理性能上提升27%，功率效率提升近2.5倍。

• ·指尖上的大数据 - IM消息处理优化方案
• ·标签: 高特电子 储能BMS 中信证券 创业板IPO
• ·告别扁平化：谷歌全系应用图标大变脸，渐变色设计重塑视觉审美
• ·云计算开发：Python3-isnumeric()方法详解
• ·​前 Google DeepMind 核心开发者 加盟 xAI，助力 Grok 研发
• ·谈谈 Kubernetes 的问题和局限性
• ·阿里云季度营收再次超过200亿元 同比环比均保持增长
• ·标签: vivo
• ·阿里云加强与MongoDB合作：3年营收增长8倍 深耕国内市场
• ·标签: 东方甄选 俞敏洪 自营产品 直播电商
• ·Anthropic为Claude推出Skills功能：支持自定义技能包和代码执行，提升工作流自动化能力
• ·标签: OPPO Find X9 微信15周年 马航MH370
• ·GPT-5.5 意外现身，OpenAI 智能体时代提前降临？
• ·全新多语种编码器 mmBERT：超越 XLM-R，提升速度与效率
• ·拉克希尔是什么梗
• ·阿里云收入增速加速至40%，平头哥自研GPU规模化量产