Usando fotos ou vídeos, esses sistemas de IA podem criar simulações que treinam robôs para funcionar em espaços físicos

Pesquisadores trabalhando em grandes modelos de inteligência artificial como o ChatGPT têm vastas faixas de texto, fotos e vídeos da internet para treinar sistemas. Mas roboticistas treinando máquinas físicas enfrentam barreiras: dados de robôs são caros e, como não há frotas de robôs vagando pelo mundo em geral, simplesmente não há dados suficientes facilmente disponíveis para fazê-los ter um bom desempenho em ambientes dinâmicos, como as casas das pessoas.

Alguns pesquisadores recorreram a simulações para treinar robôs. No entanto, mesmo esse processo, que geralmente envolve um designer gráfico ou engenheiro, é trabalhoso e custoso.

Dois novos estudos de pesquisadores da Universidade de Washington apresentam sistemas de IA que usam vídeo ou fotos para criar simulações que podem treinar robôs para funcionar em cenários reais. Isso pode reduzir significativamente os custos de treinar robôs para funcionar em cenários complexos.

No primeiro estudo, um usuário escaneia rapidamente um espaço com um smartphone para registrar sua geometria. O sistema, chamado RialTo, pode então criar uma simulação de “gêmeo digital” do espaço, onde o usuário pode inserir como diferentes coisas funcionam (abrindo uma gaveta, por exemplo).

Um robô pode então repetir virtualmente movimentos na simulação com pequenas variações para aprender a fazê-los efetivamente. No segundo estudo, a equipe construiu um sistema chamado URDFormer, que pega imagens de ambientes reais da internet e rapidamente cria ambientes de simulação fisicamente realistas onde os robôs podem treinar.

As equipes apresentaram seus estudos — o primeiro em 16 de julho e o segundo em 19 de julho — na conferência Robotics Science and Systems em Delft, Holanda.

“Estamos tentando habilitar sistemas que passem do mundo real para a simulação de forma barata”, disse Abhishek Gupta, professor assistente da UW na Escola de Ciência da Computação e Engenharia Paul G. Allen e coautor sênior de ambos os artigos.

“Os sistemas podem então treinar robôs nessas cenas de simulação, para que o robô possa funcionar de forma mais eficaz em um espaço físico. Isso é útil para a segurança — você não pode ter robôs mal treinados quebrando coisas e machucando pessoas — e potencialmente amplia o acesso. Se você pode fazer um robô trabalhar em sua casa apenas escaneando-o com seu telefone, isso democratiza a tecnologia.”

Embora muitos robôs atualmente sejam adequados para trabalhar em ambientes como linhas de montagem, ensiná-los a interagir com pessoas e em ambientes menos estruturados continua sendo um desafio.

“Em uma fábrica, por exemplo, há muita repetição”, disse a autora principal do estudo URDFormer, Zoey Chen, uma estudante de doutorado da UW na Allen School. “As tarefas podem ser difíceis de fazer, mas uma vez que você programa um robô, ele pode continuar fazendo a tarefa repetidamente. Enquanto as casas são únicas e mudam constantemente. Há uma diversidade de objetos, tarefas, plantas baixas e pessoas se movendo por elas. É aqui que a IA se torna realmente útil para os roboticistas.”

Os dois sistemas abordam esses desafios de maneiras diferentes.

RialTo — que Gupta criou com uma equipe do Instituto de Tecnologia de Massachusetts — faz alguém passar por um ambiente e gravar um vídeo de sua geometria e partes móveis. Por exemplo, em uma cozinha, eles abrirão armários, a torradeira e a geladeira.

O sistema então usa modelos de IA existentes — e um humano faz um trabalho rápido por meio de uma interface gráfica de usuário para mostrar como as coisas se movem — para criar uma versão simulada da cozinha mostrada no vídeo. Um robô virtual treina a si mesmo por tentativa e erro no ambiente simulado, tentando repetidamente tarefas como abrir aquela torradeira — um método chamado aprendizado por reforço.

Ao passar por esse processo na simulação, o robô melhora nessa tarefa e trabalha em torno de perturbações ou mudanças no ambiente, como uma caneca colocada ao lado da torradeira. O robô pode então transferir esse aprendizado para o ambiente físico, onde é quase tão preciso quanto um robô treinado na cozinha real.

O outro sistema, URDFormer, é menos focado em precisão relativamente alta em uma única cozinha; em vez disso, ele conjura centenas de simulações genéricas de cozinha de forma rápida e barata. O URDFormer escaneia imagens da internet e as pareia com modelos existentes de como, por exemplo, aquelas gavetas e armários de cozinha provavelmente se moverão.

Ele então prevê uma simulação a partir da imagem inicial do mundo real, permitindo que pesquisadores treinem robôs de forma rápida e barata em uma grande variedade de ambientes. A desvantagem é que essas simulações são significativamente menos precisas do que aquelas geradas pelo RialTo.

“As duas abordagens podem se complementar”, disse Gupta. “URDFormer é realmente útil para pré-treinamento em centenas de cenários. RialTo é particularmente útil se você já pré-treinou um robô e agora quer implantá-lo na casa de alguém e ter talvez 95% de sucesso.”

No futuro, a equipe da RialTo quer implantar seu sistema nas casas das pessoas (ele foi amplamente testado em laboratório), e Gupta disse que quer incorporar pequenas quantidades de dados de treinamento do mundo real aos sistemas para melhorar suas taxas de sucesso.

“Espero que apenas uma pequena quantidade de dados do mundo real possa consertar as falhas”, disse Gupta. “Mas ainda temos que descobrir a melhor forma de combinar dados coletados diretamente no mundo real, o que é caro, com dados coletados em simulações, o que é barato, mas ligeiramente errado.”

No artigo do URDFormer, coautores adicionais incluem Aaron Walsman, Marius Memmel, Alex Fang da UW — todos alunos de doutorado na Allen School; Karthikeya Vemuri, uma graduanda na Allen School; Alan Wu, um aluno de mestrado na Allen School; e Kaichun Mo, um cientista pesquisador na NVIDIA. Dieter Fox, um professor na Allen School, foi um coautor sênior.

No artigo do URDFormer, coautores adicionais incluem Marcel Torne, Anthony Simeonov, Tao Chen do MIT — todos alunos de doutorado; Zechu Li, assistente de pesquisa; e April Chan, graduanda. Pulkit Agrawal, professor assistente do MIT, foi coautor sênior. A pesquisa do URDFormer foi parcialmente financiada pelo Amazon Science Hub.