【导语】人工智能大模型架构持续迭代,软件栈的兼容性与复用能力成为算力落地的关键。云天励飞(688343)近日宣布,其自研IFWA软件栈成功完成腾讯混元Hy3大语言模型的关键推理链路验证,标志着公司在模型适配效率与平台化能力上取得重要进展。

近日,腾讯混元团队开源新一代大语言模型Hy3。云天励飞基于自研IFWA软件栈,在DeepVerse云端芯片验证平台上完成Hy3模型结构接入与关键推理链路功能验证。本次验证基于BF16精度与缩小配置,覆盖模型配置解析、模型加载、Dense与MoE混合层执行、专家路由、GQA解码、KV Cache分配、Token采样及MTP投机解码等核心环节。在普通推理与MTP投机解码两种模式下,系统均实现从模型加载到Token输出的端到端功能流程,初步验证了IFWA框架及底层软件组件对Hy3架构特征的兼容性。

从基本面看,Hy3采用混合专家架构,总参数规模达295B,每次推理激活21B参数,支持256K上下文长度,并集成GQA注意力与MTP投机解码等技术,对软件栈的模型解析、算子执行、专家调度及缓存管理提出较高要求。云天励飞未为Hy3重建独立后端或开发全新核心算子,而是复用IFWA既有软件基础设施,包括MoE路由、GQA注意力、MTP投机解码等通用组件,并完成模型路由适配与GQA解码路径完善。这种平台化策略显著提升了模型适配效率,减少了重复开发工作量。

从资金面与板块轮动视角看,AI芯片与软件栈领域近期获市场关注,资金流入迹象明显。云天励飞通过IFWA软件栈持续沉淀共性能力,有望在模型架构快速演进中抢占先机,推动自研芯片产品交付效率提升,并加速进入客户业务场景。

【总结展望】随着IFWA软件栈组件复用能力增强,模型适配将从“逐个开发”转向“平台化适配”,为云天励飞在AI算力市场提供差异化竞争优势。后续需关注Hy3模型在真实业务场景中的部署进展及公司芯片产品的商业化落地。

作者 admin

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注