A Micron Tecnologia anunciou que começou a enviar amostras de seu novo módulo de memória SOCAMM2 de 256 GB, uma solução projetada para atender à crescente demanda por capacidade, eficiência e densidade em centros de dados que suportam Inteligência Artificial. Com a crescente complexidade das cargas de trabalho, a memória se tornou um fator crítico que pode afetar o desempenho e a escalabilidade dos sistemas.
O SOCAMM2, que significa Small Outline Compression Attached Memory Module 2, utiliza tecnologia LPDDR5X, visando entregar alta capacidade em um formato compacto e substituível. A Micron está buscando aproveitar características da memória de baixo consumo, comum em dispositivos móveis, adaptando-a para plataformas de servidor onde a densidade e os limites de potência são essenciais.
O novo módulo promete consumir cerca de um terço da energia e ocupar um terço do espaço em comparação com módulos de memória RDIMM equivalentes. Isso se torna particularmente relevante em um momento em que eficiência energética se tornou um desafio crítico para a escalabilidade dos centros de dados, especialmente devido à crescente demanda por refrigeração e suprimentos de energia.
A Micron também enfatiza que o design do SOCAMM2 possibilita até 2 TB de LPDRAM por CPU, permitindo que servidores lidem com janelas de contexto maiores e cache KV, o que pode melhorar drasticamente o tempo de resposta em aplicações baseadas em Inteligência Artificial. Testes internos indicam que o uso do módulo pode resultar em um aumento de mais de 2,3 vezes na performance relativa ao tempo até o primeiro token (TTFT) em inferência de contexto longo.
Além disso, a colaboração da Micron com a NVIDIA no co-design do módulo visa otimizar a infraestrutura de Inteligência Artificial, o que pode acelerar a adoção do SOCAMM2 como um novo padrão na indústria. A Micron também está trabalhando na definição das especificações do SOCAMM2 junto ao JEDEC, o que pode facilitar a aceitação e a adoção mais ampla dessa nova tecnologia no setor.
Com a introdução do SOCAMM2, a Micron não apenas apresenta um novo módulo de memória, mas também sinaliza uma mudança significativa na forma como centros de dados podem ser projetados, focando na eficiência e na capacidade para atender às demandas crescentes de Inteligência Artificial e cargas de trabalho complexas. A empresa já está em fase de envio das amostras para clientes, onde começam agora as etapas de validação e potencial adoção em larga escala.
