A indústria da inteligência artificial está prestes a passar por uma revolução no campo da memória. A SanDisk anunciou a contratação de Raja Koduri, renomado arquiteto gráfico com passagens por Apple, AMD e Intel, para seu Conselho Técnico. O objetivo é desenvolver a nova arquitetura de memória flash, chamada High Bandwidth Flash (HBF™), que pode permitir placas gráficas com até 4 TB de VRAM, potencializando o processamento de IA em centros de dados e dispositivos na borda (edge).
A confirmação veio por meio de um comunicado oficial da empresa e postagens de Koduri em redes sociais, acompanhado da designação do lendário professor David Patterson, co-criador do design RISC e prêmio Turing 2017, como presidente do conselho.
O HBF não substitui diretamente a atual High Bandwidth Memory (HBM), mas se propõe a complementar com uma capacidade escalável a um custo reduzido, mantendo um desempenho de largura de banda competitivo. A SanDisk afirma que a nova tecnologia pode oferecer entre 8 e 16 vezes mais capacidade do que a HBM, sem aumentar os custos energéticos ou financeiros.
Para alcançar esse feito, o HBF utiliza tecnologia de memória flash 3D NAND BiCS com integração direta de CMOS a matriz, e 16 núcleos de memória empilhados. Essa arquitetura é projetada especificamente para cargas de inferência, permitindo que GPUs processem modelos de IA em tempo real, algo que se faz cada vez mais necessário em aplicações como chatbots e visão computacional.
Koduri enfatiza que o desempenho dos modelos de IA depende de capacidade de cálculo, memória e largura de banda. A inovação promete elevar a capacidade de memória em todas essas frentes. As configurações desenvolvidas buscam evitar deformações em wafers altos, assegurando eficiência no uso do espaço.
Este avanço promete um impacto significativo na IA, especialmente em centros de dados, onde possibilitará cargas de inferência em grande escala que antes eram inviáveis. Além disso, a arquitetura será desenvolvida com padrões abertos, facilitando a adoção por fabricantes de hardware e startups de IA.
Embora a SanDisk ainda não tenha divulgou uma data de lançamento exata para os primeiros módulos HBF, a expectativa é que a tecnologia chegue primeiro ao segmento profissional. Com isso, Koduri e Patterson se consolidam como figuras chave em um novo paradigma de computação que pode redefine onde e como a inferência de IA é realizada, expandindo suas capacidades para o edge, englobando desde veículos e smartphones até fábricas inteligentes. A evolução da High Bandwidth Flash pode significar uma nova era na arquitetura da inteligência artificial, alterando radicalmente o equilíbrio entre custo, capacidade e desempenho.
