大模型“造梦”，推理引擎“还债”，CTO们正在还AI的“应用账单”

　　相当于是把推理引擎打磨成了能直接用的高性能“电子电气架构”。

　　我们在和几位CTO沟通时，除了普遍焦虑的推理性能，还涉及到另一个问题——异构算力。

　　随着大模型应用的深入，以CPU为中心的架构在支持AI原生应用上面临挑战，需要以GPU为中心重塑基础设施；此外，面对激增的推理需求，计算资源持续增加，企业需要思考资源投入产出的问题，都指向需要一套AI Native的基础设施。

　　而异构算力，通俗来说就是将不同品牌的芯片“拼着用”。就像是一支临时组成的军队，语言、指令、作战逻辑全都不统一。以至于一位CTO打趣说：“我们要想打仗，得先发明统一的语言和作战地图。”

　　vLLM、SGLang等比较热门的开源引擎，目前都还停留在同类型GPU之间高效调度，对“异构”集群依然捉襟见肘。但国内的研究机构和科技大厂都已经试图解决：怎样让不同芯片“听得懂一个指挥”，各司其职、取长补短。

　　过去用GPU跑模型，就像是大锅饭，一整张显卡只能给一个任务用，哪怕只吃了一口，剩下的资源也不能被别人接着用。就像京东云JoyBuilder推理引擎的策略是把异构算力资源统一管理，把一张GPU“切成很多小份”，显存也能按MB级别来分，按需分给多个模型、多个任务使用，谁需要多少就用多少，GPU利用率最高可提升70%。

　　比如在MoE模型的部署上，京东云JoyBuilder推理引擎可以将不同专家部署在不同GPU上，让每个GPU干最擅长的活。甚至可以将“输入”部署在擅长高吞吐的昇腾集群，将“输出”部署在N卡上确保低延迟，充分利用不同算力的优势。

　　对于CTO们来说，在“推理成本决定最终胜利”的大模型竞赛中，异构算力是挑战，同样也是机会。

　　经历了一段时间的高歌猛进后，越来越多企业对大模型的诉求，正在从“不能没有”转向要落地、要价值、要增长。我们看到，大模型已经在营销推广、协同办公、客户服务等场景深度应用，成为新的增长引擎。

　　例如在零售场景，包括面向用户的AI生成商品图、AI营销内容生成、AI数字人，面向管理的AI客服与售后管理、AI经营托管、AI仓配优化，以及配送环节的自动分拣机器人、自动驾驶等需求。

　　京东透露了一组数据：

　　除了服务于京东内部，某新能源汽车头部厂商、某全球新能源科技领导企业，也在打造覆盖全集团的智能计算底座，实现千卡级AI算力集群的精细化管理。技术上一方面创新多元算力调度，显著提升GPU利用率，另一方面创建全生命周期AI开发环境，实现开箱即用，大幅提升研发效率。

　　目前，该平台已支撑起企业智能驾驶研发、人形机器人等20余个核心场景，成为集团的“数智发动机”。预计一年内，两家企业大模型训练周期将缩短40%，每年节省的算力成本相当于新建两座数据中心。

　　尽管推理引擎已经在性能压榨、资源调度和成本控制等方面取得了初步成果，但真正的竞争才刚刚开始。

　　尤其是在异构能力方面，无论是多种芯片的适配整合，还是对不同模型结构、大小、任务类型的统一支持，当前的技术体系还远未成熟。同时也意味着，谁能率先构建起灵活、高效、可持续的推理能力，谁就有可能在AI大规模落地的浪潮中占据先机。

　　这是一场跨硬件、跨模型、跨场景的系统性挑战，也将是未来十年AI竞赛的核心主战场。