Estudo Revela Aumento de 19% no Tempo de Desenvolvimento com Ferramentas de IA
Um estudo recente da METR (Model Evaluation & Threat Research) trouxe à tona resultados inesperados sobre o impacto das ferramentas de inteligência artificial, como Cursor Pro, na produtividade de desenvolvedores. Ao analisar o desempenho de 16 programadores experientes em projetos de código aberto, a pesquisa indicou que o uso de tecnologia de IA não apenas falhou em acelerar o processo, mas, na verdade, atrasou o trabalho em 19%.
Os desenvolvedores, que tinham uma média de 5 anos de experiência e participaram de mais de 1.500 commits, esperavam que a IA diminuísse o tempo de implementação em até 24%. Entretanto, os dados mostraram o oposto: o tempo necessário para completar as tarefas aumentou significativamente quando usaram ferramentas de IA.
A pesquisa revelou que os programadores gastaram mais tempo interagindo com as ferramentas do que realmente programando. Escrever comandos, avaliar sugestões e corrigir códigos gerados consumiu boa parte do tempo disponível. Notou-se que menos de 44% do código produzido pela IA foi aceito sem modificações, e cerca de 9% do tempo foi dedicado a limpar resultados incorretos.
Outros fatores também contribuíram para esse fenômeno. A familiaridade com o código específico de cada desenvolvedor fez com que a IA fosse considerada menos útil, especialmente em ambientes complexos, como repositórios com mais de um milhão de linhas de código. Além disso, mesmo depois de finalizar suas tarefas, muitos desenvolvedores mantinham a crença de que a IA havia reduzido seu tempo de trabalho.
Os pesquisadores reconheceram que a tecnologia pode ser mais benéfica em projetos novos ou em tarefas menos definidas, principalmente quando manipuladas por desenvolvedores menos experientes. Eles ressaltaram que, à medida que modelos de IA evoluem, como o Claude 3.7, a questão da produtividade pode se alterar positivamente.
Por fim, o estudo sugere que o otimismo em relação à IA deve ser moderado por uma análise crítica e baseia-se em evidências concretas. A conclusão clara é que, enquanto as ferramentas de IA oferecem potencial, elas não substituem a experiência e o entendimento profundo do contexto de trabalho dos desenvolvedores.
