DeepSeek公司近日推出了一项创新技术——上下文硬盘缓存技术。这项技术通过在分布式硬盘阵列中缓存预计未来会重复使用的内容，优化了数据处理流程。当用户输入重复时，系统可以直接从缓存中读取，省去了重新计算的步骤，从而显著降低了服务延迟并大幅减少了使用成本。
DeepSeek的硬盘缓存服务现已全面开放，用户无需进行任何代码或接口的更改，即可享受自动运行的硬盘缓存服务。服务计费基于实际的缓存命中情况，每次命中的费用仅为0.1元每百万tokens，这一价格的降低，使得大模型的使用成本再次降低了一个数量级。
缓存技术的应用场景广泛，包括问答助手、角色扮演应用、数据分析工具以及代码分析与排障等。DeepSeek公布的数据显示，通过优化缓存特性，最高可节省90%的费用。即便不做任何优化，用户也能根据历史使用情况节省超过50%的费用。此外，缓存服务不会产生额外费用，且缓存占用的存储空间也是免费的。
在设计缓存系统时，DeepSeek充分考虑了用户数据的安全和隐私问题。每个用户的缓存是独立的，逻辑上互不可见，确保了数据的安全性。系统会自动清空长时间未使用的缓存，避免数据的长期保留和不当使用。这一措施进一步增强了用户对DeepSeek服务的信任度。
苏公网安备32021302001419号