Pesquisadores do MIT desenvolveram um agente de inteligência artificial capaz de operar softwares de CAD simulando o fluxo de um engenheiro humano, clicando em botões, arrastando o mouse, selecionando operações e navegando pela interface para transformar um esboço 2D em um modelo 3D completo.
A tecnologia é treinada a partir do VideoCAD, um novo dataset criado pela equipe, contendo mais de 41 mil vídeos que mostram objetos sendo modelados passo a passo dentro do CAD, segundo informações da MIT News. Cada vídeo registra as ações reais realizadas pelo usuário, cliques, drags, seleções de ferramentas e comandos de teclado, permitindo que a IA aprenda a repetir essas sequências de forma autônoma.
Com esse sistema, o modelo consegue controlar o software para criar geometrias simples ou complexas, como suportes industriais ou desenhos estruturais, diretamente a partir de um rascunho bidimensional. A solução aproxima-se do conceito de um “copiloto de CAD”, capaz de automatizar rotinas repetitivas, sugerir próximos passos e acelerar a modelagem de componentes.
“Há uma oportunidade para a IA aumentar a produtividade dos engenheiros, além de tornar o CAD mais acessível para mais pessoas”, diz Ghadi Nehme, estudante de pós-graduação no Departamento de Engenharia Mecânica do MIT. “Isso é significativo porque reduz a barreira de entrada para o design, ajudando pessoas sem anos de treinamento em CAD a criar modelos 3D com mais facilidade e explorar sua criatividade”, acrescenta Faez Ahmed, professor associado de engenharia mecânica no MIT.
Ahmed e Nehme, juntamente com o estudante de pós-graduação Brandon Man e o pós-doutorando Ferdous Alam, apresentarão o trabalho na conferência Neural Information Processing Systems (NeurIPS) em dezembro.
Como o modelo foi treinado para usar o CAD passo a passo
Para desenvolver um agente capaz de operar o CAD como um humano, os pesquisadores partiram de avanços em agentes de interface (UI) movidos por IA — sistemas que executam ações reais dentro de softwares. Eles investigaram se essa abordagem poderia ser aplicada a um ambiente muito mais complexo: o CAD, que exige decisões precisas a cada clique.
O ponto de partida foi analisar comandos de design de alto nível presentes em modelos criados por humanos, como “linha”, “círculo” e “extrudar”. Mas a equipe percebeu que, para reproduzir o fluxo real de trabalho, o agente precisava aprender também as microações envolvidas em cada etapa, como onde clicar, quando ajustar o zoom e quais regiões selecionar.
“Por exemplo, digamos que desenhamos um esboço traçando uma linha do ponto 1 ao ponto 2”, diz Nehme. “Traduzimos essas ações de alto nível em ações de interface, o que significa dizer: vá até esta posição do pixel, clique, depois vá até uma segunda posição do pixel e clique, tudo isso com a operação ‘linha’ selecionada.”
Para isso, os pesquisadores converteram cada comando em ações exatas da interface — movimentos de cursor, cliques e seleções — e geraram mais de 41 mil vídeos registrando esse processo em tempo real. Esse material alimentou o VideoCAD, que aprendeu a relacionar essas interações à construção de objetos 3D. Com o modelo treinado, a IA passou a transformar esboços 2D em modelos completos dentro do software, avançando em direção ao futuro “copiloto de CAD” imaginado pela equipe.
Gostou? Então compartilhe:
