DeepSeek公司近日推出了一项创新技术——上下文硬盘缓存技术。这项技术通过在分布式硬盘阵列中缓存预计未来会重复使用的内容,优化了数据处理流程。当用户输入重复时,系统可以直接从缓存中读取,省去了重新计算的步骤,从而显著降低了服务延迟并大幅减少了使用成本。

DeepSeek的硬盘缓存服务现已全面开放,用户无需进行任何代码或接口的更改,即可享受自动运行的硬盘缓存服务。服务计费基于实际的缓存命中情况,每次命中的费用仅为0.1元每百万tokens,这一价格的降低,使得大模型的使用成本再次降低了一个数量级。

缓存技术的应用场景广泛,包括问答助手、角色扮演应用、数据分析工具以及代码分析与排障等。DeepSeek公布的数据显示,通过优化缓存特性,最高可节省90%的费用。即便不做任何优化,用户也能根据历史使用情况节省超过50%的费用。此外,缓存服务不会产生额外费用,且缓存占用的存储空间也是免费的。

在设计缓存系统时,DeepSeek充分考虑了用户数据的安全和隐私问题。每个用户的缓存是独立的,逻辑上互不可见,确保了数据的安全性。系统会自动清空长时间未使用的缓存,避免数据的长期保留和不当使用。这一措施进一步增强了用户对DeepSeek服务的信任度。