量子位· 关注前沿科技·· 3 小时前精选AI 评分78
岩山科技联合港科大、CMU 开源 EdgeRock-4B，KV Cache 减少 99.1%
内存还会跌吗？KV Cache砍掉99%，单卡吞吐飙6倍，港科大、CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU 等高校发布并开源 EdgeRock-4B，在 256K 上下文下 KV Cache 固定为 72MiB，相比源模型减少 99.1%。
推荐理由
原文给出固定内存下的吞吐与长上下文基准数据，读者可据此判断长推理场景的显存成本变化。
来源：量子位 · mp.weixin.qq.com