A colaboração entre Arm e Alibaba elevou a inteligência artificial multimodal a um novo patamar em dispositivos móveis. Com a integração do Arm KleidiAI no framework de aprendizado profundo MNN, desenvolvido pela Alibaba, foram alcançadas melhorias de até 57% no processamento de tarefas de IA multimodal na borda. Esta inovação proporciona experiências mais rápidas e eficientes em aplicações como chatbots e busca visual em e-commerce.
As aplicações de IA multimodal, que combinam texto, imagens, áudio e vídeo para fornecer respostas mais precisas e contextualizadas, estão cada vez mais presentes. No entanto, sua execução em dispositivos móveis representa um desafio devido às limitações de potência e memória. O KleidiAI surge como uma solução, oferecendo otimizações que aceleram a inferência de modelos de IA em CPUs Arm sem requerer ajustes adicionais dos desenvolvedores. Esta tecnologia já está integrada em frameworks populares como ExecuTorch, Llama.cpp, LiteRT e MediaPipe, e agora também no MNN da Alibaba.
A otimização possibilita que o modelo Qwen2-VL-2B-Instruct, que possui 2.000 milhões de parâmetros e é projetado para compreensão de imagens e geração multimodal em diversos idiomas, opere de forma eficiente em dispositivos móveis.
A integração do KleidiAI no MNN resultou nas seguintes melhorias:
✅ 57% de melhoria no pré-preenchimento – Otimização do processamento de múltiplas entradas antes de gerar uma resposta.
✅ 28% de melhoria na decodificação – Redução do tempo necessário para gerar texto a partir da entrada processada.
✅ Menor custo computacional – Redução do consumo de recursos em dispositivos com hardware limitado.
Essas melhorias proporcionam experiências de usuário mais fluidas em chatbots, assistentes virtuais e busca de produtos por meio de imagens.
Durante o Mobile World Congress 2025, a Arm e a Alibaba apresentarão essas inovações no stand da Arm (Hall 2, Stand I60). A demonstração mostrará como o modelo Qwen2-VL-2B-Instruct interpreta texto e imagens, gerando respostas em tempo real, tudo isso operando em smartphones com o chip MediaTek Dimensity 9400.
A integração do KleidiAI no MNN representa um avanço significativo no desenvolvimento da IA na borda, permitindo que modelos complexos funcionem em dispositivos com potência limitada. Com essas otimizações, milhões de desenvolvedores poderão criar aplicações de IA multimodal mais eficientes, aproximando a inteligência artificial avançada dos usuários móveis e abrindo caminho para a próxima geração de computação inteligente.
