A-A+
DeepSeek开源周最后一弹:超快的数据存储和访问方式3FS
2月28日消息,今日,DeepSeek开源周第五天,也是最后一天,亮出的是3FS,一种高性能并行文件系统。
3FS(Fire-Flyer File System)专为充分利用现代固态硬盘(SSD)和远程直接内存访问(RDMA)网络的带宽而设计,能够加速对数据存储和访问。
据介绍,在180节点的集群中,3FS能够提供高达6.6 TiB/s的聚合读取吞吐量。此外,在25节点的集群上,3FS通过GraySort基准测试,达到了3.66 TiB/min的吞吐量。
3FS不仅在数据吞吐量上表现突出,还在单客户端节点的KVCache查询中,达到了每秒40+ GiB的峰值吞吐量。其去中心化架构和强一致性语义,确保了在各种分布式应用场景中,数据的高效访问和一致性维护。
特别是在V3/R1版本中,3FS支持训练数据预处理、数据集加载、检查点保存与重载、嵌入向量搜索和KVCache查询等关键功能。(袁宁)
本文来自科技道,更多资讯和深度内容,关注我们。

条留言