A-A+

DeepSeek开源周最后一弹:超快的数据存储和访问方式3FS

2025-02-28 新闻 评论 阅读

  2月28日消息,今日,DeepSeek开源周第五天,也是最后一天,亮出的是3FS,一种高性能并行文件系统。

  3FS(Fire-Flyer File System)专为充分利用现代固态硬盘(SSD)和远程直接内存访问(RDMA)网络的带宽而设计,能够加速对数据存储和访问。

  据介绍,在180节点的集群中,3FS能够提供高达6.6 TiB/s的聚合读取吞吐量。此外,在25节点的集群上,3FS通过GraySort基准测试,达到了3.66 TiB/min的吞吐量。

  3FS不仅在数据吞吐量上表现突出,还在单客户端节点的KVCache查询中,达到了每秒40+ GiB的峰值吞吐量。其去中心化架构和强一致性语义,确保了在各种分布式应用场景中,数据的高效访问和一致性维护。

  特别是在V3/R1版本中,3FS支持训练数据预处理、数据集加载、检查点保存与重载、嵌入向量搜索和KVCache查询等关键功能。(袁宁)

  本文来自科技道,更多资讯和深度内容,关注我们。

延伸阅读 Waymo自动驾驶出租车周订单突破20万 大幅领先对手 美国科技巨头对决量子芯片:亚马逊紧随微软发布 没有这双“神仙”手,特斯拉机器人也难成
标签:数据   吞吐量   访问   科技   一致性

条留言  

给我留言