Kioxia Lança Atualização de Software que Otimiza o Desempenho em SSD sem Usar DRAM
A Kioxia Corporation, líder global em soluções de memória, anunciou uma atualização significativa de seu software open source AiSAQ (All-in-Storage ANNS with Product Quantization). Esta nova versão tem como objetivo melhorar o desempenho de busca vetorial em sistemas de recuperação aumentada por geração (RAG), aproveitando de maneira eficaz as capacidades dos dispositivos de armazenamento SSD, sem a necessidade de memória DRAM.
A atualização introduz controles configuráveis que permitem aos arquitetos de sistemas ajustar o equilíbrio entre a quantidade de vetores armazenados e o desempenho das buscas (queries por segundo), adaptando o sistema às demandas específicas de cada carga de trabalho e sem a necessidade de modificações de hardware.
Enfoque SSD-First para Buscas Vetoriais
Apresentado inicialmente em janeiro de 2025, o AiSAQ utiliza um algoritmo otimizado para SSDs, derivado da tecnologia DiskANN da Microsoft. Ao contrário dos sistemas tradicionais que dependem da DRAM para armazenar grandes índices vetoriais, o AiSAQ realiza buscas diretamente do armazenamento, garantindo uma escalabilidade mais eficiente pela independência da memória limitada do host.
De acordo com a Kioxia, “quando a capacidade do SSD é fixa, melhorar o desempenho da busca implica em armazenar menos vetores, enquanto armazenar mais vetores pode reduzir o desempenho”. Com a nova versão, o administrador pode ajustar o sistema com precisão, encontrando o equilíbrio ideal entre desempenho e volume de dados vetoriais, essencial para aplicações como RAG, busca semântica offline e sistemas de recomendação.
Inovações do Novo AiSAQ-DiskANN
Entre as principais inovações do software estão:
- Busca escalável sem uso de DRAM: Vetores PQ (Product Quantization) lidos do disco sob demanda.
- Vetores PQ em linha: Armazenamento como parte do índice, reduzindo operações de E/S.
- Reorganização otimizada de vetores: Minimiza acessos ao disco durante as buscas.
- Múltiplos pontos de entrada: Criação de acessos diversificados ao índice, reduzindo iterações.
- Ancho de feixe vetorial: Permite a paralelização das operações de busca ajustando o número de nós por iteração.
- Caches estáticas e dinâmicas de vetores PQ: Acelera o acesso com políticas LRU por thread.
Estas melhorias solidificam o AiSAQ como uma solução robusta e escalável para buscas vetoriais, especialmente em ambientes de inteligência artificial generativa, onde a eficiência em armazenamento e latência são cruciais.
AiSAQ no Ecossistema Open Source
A Kioxia disponibilizou o software abertamente no GitHub (aisaq-diskann), promovendo o uso e contribuições da comunidade. O código se baseia no algoritmo DiskANN da Microsoft, amplamente adotado em ambientes que exigem buscas vetoriais rápidas e escaláveis. Para sua operação, o AiSAQ requer a biblioteca liburing para leituras assíncronas em sistemas Linux e bibliotecas como Intel MKL para compilação otimizada, além de versões para Windows compatíveis com o Visual Studio 2017 em diante.
Um Passo Rumo à IA Escalável e Sustentável
Com o crescimento acelerado de modelos de linguagem generativa e arquiteturas como RAG, o volume de dados vetoriais se tornou um gargalo para muitas organizações. A abordagem da Kioxia, focada em arquiteturas baseadas em SSD, busca romper a dependência da DRAM e habilitar sistemas mais escaláveis, sustentáveis e rentáveis para a próxima geração de aplicações de inteligência artificial.
Essa evolução reflete o compromisso da Kioxia com o avanço de soluções de armazenamento inteligente e o fortalecimento de infraestruturas eficientes para a era da IA, onde a integração entre hardware e software é fundamental para escalar sem comprometer o desempenho.
