O avanço da China no setor de inteligência artificial continua, mesmo diante das restrições impostas pelos Estados Unidos ao acesso a chips avançados e tecnologias de fabricação. A empresa DeepSeek AI, conhecida por sua inovação na área, deu um passo importante ao apresentar o Fire-Flyer File System (3FS), um sistema de arquivos distribuído projetado para otimizar cargas de trabalho de treinamento e inferência em inteligência artificial.
Este sistema de código aberto foi criado para tirar o máximo proveito das capacidades dos SSDs modernos e das redes RDMA, proporcionando um desempenho de leitura que supera os padrões atuais e melhora o acesso a grandes volumes de dados em ambientes de alto desempenho.
À medida que os modelos de inteligência artificial se tornam mais complexos, a necessidade de sistemas de armazenamento que ofereçam acesso ágil e eficiente aos dados se torna cada vez mais crucial. O 3FS foi desenvolvido com esse objetivo em mente, oferecendo uma solução de armazenamento distribuído que melhora a performance e a escalabilidade em ambientes de computação avançada.
Entre as características principais do 3FS, destacam-se:
- Arquitetura desagregada: Combina o desempenho de milhares de SSDs e centenas de nós de armazenamento, garantindo acesso eficiente aos dados, independentemente de sua localização física.
- Consistência forte: Implementa a Chain Replication com Apportioned Queries (CRAQ), o que facilita o desenvolvimento de aplicações ao assegurar a coerência nos dados armazenados.
- Interface de arquivos padrão: Permite o uso de sistemas de armazenamento sem exigir o aprendizado de novas APIs, aproveitando bancos de dados transacionais como o FoundationDB para a gestão de metadados.
Graças a essas características, o 3FS se mostra uma opção eficiente para a gestão de dados em centros de computação dedicados ao treinamento de modelos de inteligência artificial.
DeepSeek tem testado o 3FS sob diversas condições de carga intensa, obtendo resultados impressionantes. Em um cluster de 180 nós, cada um equipado com 16 SSDs NVMe de 14 TiB e redes InfiniBand de 200 Gbps, a velocidade de leitura agregada alcançou 6,6 TiB/s durante testes de estresse. Além disso, na prova GraySort, o 3FS conseguiu processar 110,5 TiB em 30 minutos, atingindo uma taxa de 3,66 TiB/minuto em um cluster de 25 nós.
A empresa também afirma que seu sistema de armazenamento permitiu atingir 80% do desempenho de um servidor NVIDIA DGX-A100, mas com apenas 50% do custo e 60% do consumo energético, oferecendo uma vantagem competitiva significativa para empresas que buscam otimizar custos sem sacrificar desempenho.
Outro ponto importante é que o 3FS foi lançado como software de código aberto, permitindo que pesquisadores e empresas explorem essa tecnologia para suas próprias aplicações de inteligência artificial.
Com o desenvolvimento do Fire-Flyer File System (3FS), a DeepSeek se posiciona como uma das empresas mais inovadoras no campo da inteligência artificial. A solução escalável, eficiente e de alto desempenho demonstra que a China não apenas alcançou seus concorrentes em IA, mas também está liderando avanço na infraestrutura tecnológica necessária para o futuro do setor. À medida que a demanda por soluções otimizadas para o treinamento de modelos cresce, o 3FS pode se tornar uma ferramenta fundamental para data centers e instituições de pesquisa que buscam aprimorar suas capacidades em inteligência artificial, sem depender de tecnologias proprietárias.
