百度开源文心Unlimited OCR 2，峰值KV缓存从47GB降至1.77GB

百度发布并开源文心Unlimited OCR 2，通过稀疏参考滑动窗口注意力机制SR-SWA和无限解码机制，在百页级单序列测试中把峰值KV缓存从47GB降至1.77GB，减少约96%。

🔗 阅读原文

via 无言AIGC · https://aihot.wuyanshuo.cn/items/xh0nobw0jw5qrbqh09an77k4y