A Nvidia apresenta novo acelerador para reduzir latência em inferência de IA
A luta pelo avanço da inteligência artificial (IA) não se resume mais apenas ao treinamento de modelos maiores. Conforme a demanda cresce, a inferência se destaca como um dos maiores desafios, lidando com a latência e a velocidade de resposta em sistemas interativos. Nesse cenário, a Nvidia revelou o Groq 3 LPX, um novo acelerador rack-scale projetado especialmente para cargas de inferência com baixa latência na plataforma Vera Rubin.
Segundo a empresa, o Groq 3 LPX funciona como um complemento à Vera Rubin NVL72, em vez de substituí-la. As GPUs da linha Rubin continuarão a desempenhar um papel crucial no treinamento e em tarefas que exigem alto rendimento, enquanto o LPX focará em debugar operações onde cada milissegundo conta, como assistentes de código e sistemas multiagentes.
Os números apresentados pela Nvidia impressionam: o sistema, que pode ser montado com 256 Groq 3 LPU, oferece 315 PFLOPS de inferência FP8, totalizando 128 GB de SRAM e uma largura de banda de até 40 PB/s. Além disso, o LPX é descrito como o “sétimo chip” da arquitetura Vera Rubin, enfatizando que se trata de uma nova classe de processador, distinta das GPUs tradicionais.
A novidade se destaca não apenas pela capacidade de processamento, mas pela abordagem estratégica para resolver a bifurcação nas cargas de trabalho da inferência. A Nvidia reconhece que existem dois mundos: um focado na maximização de throughput, e outro onde a latência é crucial. Isso requer um equilíbrio delicado entre hardware projetado para processamento em massa e aquele otimizado para respostas rápidas.
O Groq 3 LPX adota uma arquitetura heterogênea que combina a robustez das GPUs com a necessidade de um tempo de resposta mais previsível. O design prioriza a execução determinista e a movimentação eficiente de dados, permitindo que o sistema minimize o jitter e mantenha a estabilidade dos tempos de resposta, um aspecto crucial em aplicações de IA interativa.
A Nvidia também interliga seu novo produto a uma mudança significativa na economia da IA. À medida que a demanda por interações mais rápidas e dinâmicas aumenta, a empresa acredita que o fluxo convencional de chat por turnos está se transformando em colaborações contínuas, exigindo não apenas mais requisições, mas também uma agilidade maior nas respostas.
Utilizando o software de orquestração Dynamo, a Nvidia promete que o Groq 3 LPX será fundamental na filtragem e encaminhamento de requisições, ajudando a manter a latência sob controle durante momentos de alta demanda. Além disso, o modelo será especialmente adequado para processos de decodificação especulativa.
Embora a empresa apresente números promissores, como a promessa de até 35 vezes mais throughput por megavatio, esses dados ainda precisam de validação prática quando a nova arquitetura for implementada em cenários reais.
Em suma, o lançamento do Groq 3 LPX sinaliza a intenção da Nvidia de avançar na criação de uma infraestrutura de IA que combine throughput, latência e rentabilidade, demonstrando que a evolução da IA agêntica não diz respeito apenas aos modelos, mas também a uma nova camada de hardware especializado.
