Aprendendo uma política do mundo real a partir de imagens geradas. Esquerda: geramos dados visuais diversos e de acordo com as políticas, combinando prompts de imagem estruturados com controle geométrico e semântico de um simulador de física subjacente. Certo: a política é suficientemente robusta para ser transferida para uma variedade de terrenos desafiadores no mundo real, apesar de nunca ter visto dados reais durante o treinamento. Crédito: arXiv (2024). DOI: 10.48550/arxiv.2411.00083
Uma equipe de roboticistas e engenheiros do MIT CSAIL, Instituto de IA e Interações Fundamentais, desenvolveu uma abordagem generativa de IA para ensinar robôs a atravessar terrenos e mover-se em torno de objetos no mundo real.
O grupo publicou um artigo descrevendo seu trabalho e possíveis usos para ele no arXiv servidor de pré-impressão. Eles também apresentaram suas ideias na recente Conferência sobre Aprendizagem de Robôs (CORL 2024), realizada em Munique, de 6 a 9 de novembro.
Fazer com que os robôs naveguem no mundo real em algum momento envolve ensiná-los a aprender na hora ou treiná-los com vídeos de robôs semelhantes em um ambiente do mundo real. Embora esse treinamento tenha provado ser eficaz em ambientes limitados, ele tende a falhar quando um robô encontra algo novo. Neste novo esforço, a equipe do MIT desenvolveu um treinamento virtual que se traduz melhor no mundo real.
O trabalho envolveu o uso de IA generativa e um simulador de física para permitir que um robô navegasse em um mundo virtual como meio de aprender a operar no mundo real. Eles chamam o sistema de LucidSim e o usaram para treinar um cão robótico no parkour, um esporte em que os jogadores tentam atravessar obstáculos em território desconhecido o mais rápido possível.
A abordagem envolve primeiro solicitar ao ChatGPT milhares de consultas projetadas para fazer com que o LLM crie descrições de uma ampla variedade de ambientes, incluindo clima externo. Em seguida, as descrições fornecidas pelo ChatGPT são alimentadas em um sistema de mapeamento 3D que as utiliza (juntamente com imagens geradas por IA e simuladores de física) para gerar um vídeo que também fornece uma trajetória a ser seguida pelo robô.
O robô é então treinado para percorrer o terreno no mundo virtual e aprender habilidades que pode usar em um ambiente real. Robôs treinados com o sistema aprenderam a escalar caixas, subir escadas e lidar com tudo o que encontrassem. Após o treinamento virtual, o robô foi testado no mundo real.
Os pesquisadores testaram seu sistema usando um pequeno robô de quatro patas equipado com uma webcam. Eles descobriram que ele teve um desempenho melhor do que um sistema semelhante treinado da maneira tradicional. A equipe sugere que melhorias em seu sistema poderiam levar a uma nova abordagem para o treinamento de robôs em geral.
Alan Yu et al, Aprendendo Parkour Visual a partir de Imagens Geradas, arXiv (2024). DOI: 10.48550/arxiv.2411.00083
LucidSim: lucidsim.github.io/
arXiv
© 2024 Science X Network
Citação: O treinamento virtual usa IA generativa para ensinar robôs como atravessar terrenos do mundo real (2024, 12 de novembro) recuperado em 12 de novembro de 2024 em https://techxplore.com/news/2024-11-virtual-generative-ai-robots-traverse. HTML
Este documento está sujeito a direitos autorais. Além de qualquer negociação justa para fins de estudo ou pesquisa privada, nenhuma parte pode ser reproduzida sem permissão por escrito. O conteúdo é fornecido apenas para fins informativos.
