业界 来源:快科技 2025-11-05 17:46:07 阅读:159
近日,华为宣布针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式开源。
UCM以KV Cache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同,破解长序列推理效率低、成本高的难题,为企业提供更优的AI推理体验。

据介绍,UCM融合了多类型缓存加速算法工具,可分级管理在推理过程中产生的KV Cache记忆数据。
UCM具备四大关键能力:稀疏注意力、前缀缓存、预填充卸载、异构PD解耦。
它实现首Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展,显著提升了AI推理性能。
目前,UCM已在ModelEngine社区开放基础框架与工具链,开发者可通过社区获取UCM源代码与技术文档。

UCM产品架构
今日,支付宝宣布,AI版支付宝正式开启邀测,用户可在支付宝首页右滑进入新版,通过对话方式安排智能助手“阿宝”办事。据了解,用户可在AI版支付宝和经典版之间随时切换。相比经典版,新版界面更加简洁,进入后
Windows 11竟然隐藏了7种CPU性能模式。追求极致性能或更长续航的Windows 11用户,不妨试试。Windows 11系统内部其实内置了与硬件深度协同的处理器电源调度机制,但默认并未向普通
日前,微信输入法Windows、iOS双端迎来版本更新,新增隔空传送功能,支持跨设备及面对面秒传图片和文件。据了解,“隔空传送”可在多设备之间快速传输图片、视频和文件,用户也可以与他人扫码建立连接,实