华为正式开源UCM技术:最大提升22倍 AI推理性能跃升
近日,华为宣布针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式开源。
UCM以KV Cache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同,破解长序列推理效率低、成本高的难题,为企业提供更优的AI推理体验。

据介绍,UCM融合了多类型缓存加速算法工具,可分级管理在推理过程中产生的KV Cache记忆数据。
UCM具备四大关键能力:稀疏注意力、前缀缓存、预填充卸载、异构PD解耦。
它实现首Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展,显著提升了AI推理性能。
目前,UCM已在ModelEngine社区开放基础框架与工具链,开发者可通过社区获取UCM源代码与技术文档。

UCM产品架构
-
阿里通义App重大品牌升级!正式更名为“千问”
今天,阿里巴巴旗下的人工智能应用“通义”App迎来了重大的品牌升级,正式更名为 “千问”。伴随着此次更名,软件版本号从3.60.0直接升级至5.0.0,目前“千问”App已正式登陆苹果App Stor
-
微信下架数十部违规微短剧:价值观导向不正、内容低俗擦边
今日,微信珊瑚安全微信公众号发布“关于违规微短剧类小程序的处置公告”,一批违规微短剧剧目和小程序被下架。根据国家广播电视总局和广东省广播电视局的部署要求,平台不断加大对低俗有害微短剧的巡查审核和违规侵
-
奶牛快传宣布12月8日正式停止服务:关闭登录、上传、下载等功能
奶牛快传今天发布公告称,将于2025年12月8日正式停止服务。届时,所有功能包括登录、上传、下载等都将关闭。用户需要12月8日前完成重要文件的下载和保存,以免丢失。如果剩余的会员有效期超过12月8日,
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/


关注网络尖刀微信公众号
微信扫码关注公众号