业界 来源:快科技 2025-11-05 17:46:07 阅读:160
近日,华为宣布针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式开源。
UCM以KV Cache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同,破解长序列推理效率低、成本高的难题,为企业提供更优的AI推理体验。

据介绍,UCM融合了多类型缓存加速算法工具,可分级管理在推理过程中产生的KV Cache记忆数据。
UCM具备四大关键能力:稀疏注意力、前缀缓存、预填充卸载、异构PD解耦。
它实现首Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展,显著提升了AI推理性能。
目前,UCM已在ModelEngine社区开放基础框架与工具链,开发者可通过社区获取UCM源代码与技术文档。

UCM产品架构
据央视新闻报道,日本近期个人信息泄露事件频发,涉及零售、餐饮、金融、教育、物流等多个领域。日本国立情报学研究所教授佐藤一郎表示,掌握大量个人信息的企业更容易成为网络攻击目标。企业有必要以此为鉴,重新审
OpenClaw这样的本地小龙虾热度已经过去了,国内大批跟风产品都在关停,AI的下一个玩法是云端小龙虾,腾讯现在就推出了LightVela,免费送云端Agent。LightVela是由腾讯轻量云团队出
Windows 11已修复长期被用户诟病的强制更新行为,关机和重启按钮不再安装已下载的更新,而是直接执行关机或重启操作。此前,当Windows更新下载完成后,无论用户点击关机还是重启,系统都会先安装更