A corrida pela inferência eficiente é intensa nas universidades
O laboratório Hao AI da Universidade da Califórnia, San Diego (UC San Diego) tem se destacado na vanguarda da inferência de modelos de linguagem, ao incorporar um sistema NVIDIA DGX B200. Essa nova infraestrutura tem como objetivo acelerar a produção e a operacionalização de grandes modelos de linguagem, uma questão cada vez mais crítica no desenvolvimento de tecnologias que exigem baixa latência.
O movimento vai além da simples adição de hardware à pesquisa acadêmica. Os conceitos desenvolvidos no Hao AI Lab têm tido um impacto significativo em soluções de inferência em produção, influenciando práticas que melhoram a eficiência sem comprometer a experiência do usuário. A NVIDIA enfatiza que iniciativas como DistServe, que se concentram em equilibrar a carga de trabalho de maneira eficiente, são diretrizes fundamentais emergentes dessa pesquisa.
Historicamente, a comparação entre motores de inferência era dominada pela métrica de throughput, que mediu a quantidade de tokens por segundo que o sistema poderia gerar. Contudo, essa métrica não reflete a experiência do usuário em tempo real. Para atender às exigências de latência mais baixas, os pesquisadores propõem a adoção do “goodput”, que considera o desempenho útil em relação a metas de latência específicas.
A nova abordagem arquitetônica do Hao AI Lab separa os processos de pré-preenchimento (prefill) e decodificação (decode) em diferentes grupos de GPUs, minimizando a concorrência por recursos. Essa disagregação, como é chamada, permite que o sistema opere de forma mais eficiente, maximizando o goodput e garantindo uma experiência de usuário consistente.
O sistema DGX B200 não é apenas uma melhoria em termos de hardware, mas representa uma capacidade de prototipagem e experimentação muito mais ágil em comparação com as gerações anteriores de equipamento. Com uma configuração robusta, incluindo 1.440 GB de memória total em GPU e interconexão de alta velocidade, o DGX B200 é projetado para atender às demandas críticas de memória e comunicação em ambientes de inferência.
Além disso, a chegada do DGX B200 auxilia em projetos inovadores, como o FastVideo, que visa treinar modelos para gerar vídeos em tempo real com um tempo de resposta igual ao tempo de espera do usuário. Outro projeto, o Lmgame-bench, utiliza jogos populares como Tetris e Super Mario Bros para testar modelos em cenários que exigem tomada de decisões rápidas e adaptação a estados variados, simulando condições que os agentes enfrentarão em aplicações reais.
Este desenvolvimento reflete uma tendência crescente: a inferência está se consolidando como uma disciplina própria, com métricas e arquiteturas que buscam garantir latência baixa sem acarretar custos astronômicos. Para o setor, essa transformação sinaliza que a vantagem competitiva não virá apenas de modelos de treinamento maiores, mas da habilidade de servir esses modelos com eficácia e controle sobre a experiência do usuário.
