Uma plataforma de simulação multissensorial para treinar e testar robôs domésticos

Os robôs alimentados por IA tornaram-se cada vez mais sofisticados e estão gradualmente sendo introduzidos em uma ampla variedade de ambientes do mundo real, incluindo shoppings, aeroportos, hospitais e outros espaços públicos. No futuro, esses robôs também poderão ajudar os humanos nas tarefas domésticas, no escritório e em outras tarefas tediosas ou demoradas.

Antes que os robôs possam ser implantados em ambientes do mundo real, no entanto, os algoritmos de IA que controlam seus movimentos e permitem que eles realizem tarefas específicas precisam ser treinados e testados em ambientes simulados. Embora existam agora muitas plataformas para treinar esses algoritmos, muito poucas delas consideram os sons que os robôs podem detectar e interagir ao concluir tarefas.

Uma equipe de pesquisadores da Universidade de Stanford criou recentemente o Sonicverse, um ambiente simulado para treinar agentes de IA incorporados (ou seja, robôs) que inclui elementos visuais e auditivos. Esta plataforma, apresentada em artigo apresentado no ICRA 2023 (e atualmente disponível no arXiv servidor de pré-impressão), pode simplificar muito o treinamento de algoritmos que devem ser implementados em robôs que dependem de câmeras e microfones para navegar em seus arredores.

“Embora nós, humanos, percebamos o mundo olhando e ouvindo, muito poucos trabalhos anteriores abordaram o aprendizado incorporado com áudio”, disse Ruohan Gao, um dos pesquisadores que realizou o estudo, ao Tech Xplore. “Os simuladores de IA incorporados existentes assumem que os ambientes são silenciosos e os agentes incapazes de detectar som ou implantam agentes audiovisuais apenas em simulação. Nosso objetivo era introduzir uma nova plataforma de simulação multissensorial com simulação audiovisual integrada realista para treinar agentes domésticos que pode ver e ouvir.”

Sonicverse, a plataforma de simulação criada por Gao e seus colegas, modela tanto os elementos visuais de um determinado ambiente quanto os sons que um agente detectaria ao explorar esse ambiente. Os pesquisadores esperavam que isso ajudasse a treinar robôs de forma mais eficaz e em espaços virtuais mais “realistas”, melhorando seu desempenho subsequente no mundo real.

“Ao contrário do trabalho anterior, esperamos demonstrar que os agentes treinados em simulação podem realizar com sucesso a navegação audiovisual em ambientes desafiadores do mundo real”, explicou Gao. “Sonicverse é uma nova plataforma de simulação multissensorial que modela a renderização contínua de áudio em ambientes 3D em tempo real. ”

Para avaliar sua plataforma, os pesquisadores a usaram para treinar uma versão simulada do TurtleBot, um robô criado pela Willow Garage, para se movimentar efetivamente em um ambiente interno e alcançar um local de destino sem colidir com obstáculos. Eles então aplicaram a IA treinada em suas simulações a um TurtleBot real e testaram seus recursos de navegação audiovisual em um ambiente de escritório.

“Demonstramos o realismo do Sonicverse por meio da transferência de simulação para real, o que não foi alcançado por outros simuladores audiovisuais”, disse Gao. “Em outras palavras, mostramos que um agente treinado em nosso simulador pode realizar com sucesso a navegação audiovisual em ambientes do mundo real, como na cozinha de um escritório.”

Os resultados dos testes realizados pelos pesquisadores são altamente promissores, sugerindo que sua plataforma de simulação poderia treinar robôs para lidar com tarefas do mundo real de forma mais eficaz, usando estímulos visuais e auditivos. A plataforma Sonicverse agora está disponível online e em breve poderá ser usada por outras equipes de robótica para treinar e testar agentes de IA incorporados.

“A aprendizagem incorporada com múltiplas modalidades tem grande potencial para desbloquear muitos novos aplicativos para futuros robôs domésticos”, acrescentou Gao. “Em nossos próximos estudos, planejamos integrar ativos de objetos multissensoriais, como aqueles em nosso recente trabalho ObjectFolder no simulador, para que possamos modelar os sinais multissensoriais tanto no nível do espaço quanto no nível do objeto, e também incorporar outras modalidades sensoriais. como a sensação tátil.”

© 2023 Science X Network