DeepSeek在開源周的精彩收尾之際，正式推出了其創(chuàng)新的3FS（Fire-Flyer File System）。這一文件系統(tǒng)專為現(xiàn)代SSD和RDMA網(wǎng)絡(luò)設(shè)計(jì)，旨在最大化利用這些先進(jìn)技術(shù)的帶寬優(yōu)勢。3FS的問世，為深度學(xué)習(xí)等數(shù)據(jù)密集型應(yīng)用帶來了前所未有的數(shù)據(jù)訪問性能提升。
想要深入了解3FS的開發(fā)者們，可以訪問其開源地址：https://github.com/deepseek-ai/3FS。同時(shí)，DeepSeek還開源了基于3FS的數(shù)據(jù)處理框架Smallpond，詳情可見：https://github.com/deepseek-ai/smallpond。
3FS的性能表現(xiàn)令人矚目。在一個(gè)180節(jié)點(diǎn)的集群測試中，其聚合讀取吞吐量高達(dá)6.6 TiB/s，充分展現(xiàn)了其集群高吞吐的能力。而在25節(jié)點(diǎn)集群的GraySort基準(zhǔn)測試中，3FS更是達(dá)到了每分鐘3.66 TiB的吞吐量，這一成績無疑證明了其基準(zhǔn)測試的優(yōu)異表現(xiàn)。每個(gè)客戶端節(jié)點(diǎn)的KVCache查找峰值吞吐量也超過了40 GiB/s，進(jìn)一步凸顯了3FS的單節(jié)點(diǎn)高性能。
在架構(gòu)設(shè)計(jì)上，3FS采用了去中心化的結(jié)構(gòu)，同時(shí)保證了強(qiáng)一致性語義，這使得它在處理分布式數(shù)據(jù)時(shí)更加高效和可靠。這種先進(jìn)的架構(gòu)為AI訓(xùn)練和推理工作負(fù)載提供了強(qiáng)大的支持，簡化了分布式應(yīng)用程序的開發(fā)過程。
3FS的應(yīng)用場景廣泛，主要針對AI訓(xùn)練和推理過程中的各種挑戰(zhàn)。它利用現(xiàn)代SSD和RDMA網(wǎng)絡(luò)構(gòu)建共享存儲層，有效支持了數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)加載、檢查點(diǎn)設(shè)置和推理緩存等環(huán)節(jié)。無論是訓(xùn)練數(shù)據(jù)預(yù)處理、數(shù)據(jù)集加載，還是檢查點(diǎn)保存/重新加載，甚至是嵌入向量搜索和推理過程中的KVCache查找，3FS都能提供出色的性能。
DeepSeek的V3/R1版本已經(jīng)廣泛應(yīng)用了3FS。這一文件系統(tǒng)在關(guān)鍵環(huán)節(jié)中發(fā)揮了重要作用，為DeepSeek的AI工作負(fù)載提供了強(qiáng)有力的支持。同時(shí)，基于3FS構(gòu)建的數(shù)據(jù)處理框架Smallpond也備受矚目。Smallpond是一款輕量級的數(shù)據(jù)處理框架，它結(jié)合了DuckDB和3FS的優(yōu)勢，具備高性能數(shù)據(jù)處理能力，可擴(kuò)展至PB級數(shù)據(jù)集。更重要的是，Smallpond操作簡便，無需長期運(yùn)行的服務(wù)，為用戶提供了極大的便利。
