7月18日，在2026世界人工智能大会上，深圳云天励飞技术股份有限公司（以下简称“云天励飞”或“公司”）公布AI推理芯片路线图。公司计划推出三款面向不同推理负载的芯片，并推动三款芯片面向万卡异构集群协同设计与部署，提升Token生成效率。
大模型推理通常包括集中处理输入上下文的Prefill阶段，以及逐Token生成内容的Decode阶段。前者对计算能力要求较高，后者对内存带宽和数据访问效率更为敏感。随着长上下文、混合专家模型等技术发展，Decode内部不同环节的资源需求也进一步分化。
“人工智能走向规模化应用后，衡量算力价值要更多关注系统能够稳定、高效地产出多少Token。”云天励飞董事长兼CEO陈宁说，公司将按照不同推理阶段的负载特征配置芯片和资源池，并通过高速互联组成异构算力系统，减少不同负载之间的资源干扰。
按照规划，DeepVerse100P面向百万级上下文Prefill场景，针对传统混部架构中Prefill与Decode共享算力和带宽资源、相互抢占的问题进行优化；DeepVerse100D面向Decode，支持1024卡Scale-up及光互联系统架构；DeepVerse100L面向Decode FFN，采用3D Memory架构，相比主流HBM大幅提升内存带宽，并通过低延迟互联提高激活数据传输效率。
在软件方面，云天励飞将持续建设IFWA软件栈，覆盖模型开发、编程和系统层级，加强对主流模型架构、PyTorch ATen算子以及vLLM、SGLang等推理框架的支持。公司此前已开源Houmao多Agent异构编程框架，探索利用智能体协同完成模型和算子开发、性能优化及测试验证。
降低推理成本还需要产业链协同。今年5月，云天励飞联合芯片、软件、封装测试、算力平台、模型及应用等领域的多家单位发起“1001计划”。陈宁表示，计划将推动应用需求更早反馈到芯片与系统设计环节，促进成熟软件能力复用，加快技术在实际场景中的验证。
云天励飞2025年年报显示，公司当年实现营业收入13.39亿元，同比增长45.99%；其中企业级场景业务收入5.36亿元，同比增长115.64%；研发投入4.45亿元。
官方微信
官方微博
