Uma estrutura para treinar robôs multiqualificados para uso doméstico

Os roboticistas têm tentado desenvolver robôs que possam realizar várias tarefas domésticas diárias, como lavar pratos ou arrumar, há vários anos. Porém, até o momento nenhum dos robôs criados foi comercializado em larga escala.

Pesquisadores da Universidade de Nova York apresentaram recentemente o Dobb-E, uma nova estrutura projetada especificamente para treinar efetivamente robôs móveis em tarefas domésticas, contribuindo em última análise para seu futuro uso generalizado. Esta estrutura, descrita em um artigo pré-publicado no servidor arXivpoderia ser aplicado a vários robôs projetados para auxiliar humanos em suas casas.

“Este artigo nasceu da nossa visão de introduzir robôs nas famílias americanas médias num futuro próximo”, disse Lerrel Pinto, co-autor do artigo, ao Tech Xplore. “Já temos ‘robôs’ especializados em nossas casas, como máquinas de lavar louça ou de lavar roupa, mas um robô generalista que possa aprender como realizar cada tarefa de casa e como pode ajudar melhor nessa situação tem sido um objetivo distante para já faz muito tempo.”

O trabalho recente de Pinto e dos seus colegas tinha uma série de objetivos primários, todos os quais teriam de ser alcançados para que os robôs fossem integrados com sucesso nos ambientes domésticos. Em primeiro lugar, a equipe desejava desenvolver uma abordagem eficiente que permitisse aos usuários ensinar rapidamente novas habilidades aos robôs.

Esta abordagem também deve garantir a segurança dos robôs, garantindo que não causem nenhum dano enquanto aprendem a realizar novas tarefas. Por último, não deve ser particularmente exigente para os utilizadores finais, garantindo assim que simplifica em vez de complicar a sua vida.

“Para alcançar eficiência, contamos com sistemas de aprendizagem baseados em dados, cujo sucesso é facilmente visível nos maiores modelos de aprendizagem de máquina em implantação atualmente”, disse Pinto. “Alcançamos segurança formulando nosso sistema em torno do aprendizado com supervisão do usuário, em vez de aprender por tentativa e erro. Por fim, desenvolvemos uma ferramenta ergonômica de coleta de demonstrações, que nos permite reunir demonstrações específicas de tarefas em casas desconhecidas, sem operação direta do robô .”

A estrutura Dobb-E tem quatro componentes principais, nomeadamente uma ferramenta de recolha de dados, um modelo pré-treinado, um conjunto de dados diversificado e um esquema de implantação. O primeiro desses componentes, denominado “Stick”, foi projetado para simplificar a coleta de dados, aproveitando o smartphone do usuário.

“O Stick é a nossa ferramenta de coleta de dados barata, mas ergonômica, que construímos a partir de uma ferramenta de alcance, montagens impressas em 3D e um iPhone Pro”, disse Pinto. “Uma simples lista de ingredientes torna esta ferramenta acessível e barata, enquanto o iPhone montado nos permite gravar vídeo de alta resolução, profundidade e informações de movimento das demonstrações.”

Usando a ferramenta de coleta de dados Stick, Pinto e seus colegas compilaram um novo conjunto de dados para treinar robôs domésticos, que chamaram de conjunto de dados Homes of New York (HoNY). Este conjunto de dados contém imagens coletadas usando a configuração baseada em smartphone em 216 ambientes domésticos em Nova York.

Ao contrário de outros conjuntos de dados para treinamento de robôs desenvolvidos no passado, o conjunto de dados HoNY concentra-se em um conjunto mais diversificado de cenas e comportamentos de robôs. Além disso, a ferramenta de coleta Stick permitiu compilar uma ordem de magnitude a mais de cenas do que aquelas apresentadas em conjuntos de dados anteriores.

O terceiro componente do sistema Dobb-E é um modelo de percepção pré-treinado. Este modelo foi treinado no conjunto de dados HoNY, empregando uma abordagem de aprendizagem auto-supervisionada.

“Treinamos Home Pretrained Representations (HPR) como nosso modelo de reconhecimento visual usando o conjunto de dados HoNY e um algoritmo de aprendizagem auto-supervisionado de última geração, MoCo-v3”, explicou Pinto. “O HPR permite que nosso método seja dimensionado em cenas muito diferentes em casas diferentes.”

Pinto e seus colegas avaliaram o potencial de sua ferramenta de coleta de dados, o conjunto de dados HoNY e o modelo de reconhecimento visual pré-treinado em uma série de experimentos em ambientes domésticos reais. Nesses experimentos, eles implantaram seu algoritmo treinado no Hello Robot Stretch, um promissor robô doméstico móvel multifuncional.

Notavelmente, o robô foi ensinado a realizar 109 tarefas domésticas diferentes. Para cada uma dessas tarefas, os pesquisadores aperfeiçoaram seu modelo com, em média, cinco minutos de novos dados de vídeo.

“O resultado mais emocionante deste artigo é a confirmação de que, com o nosso nível atual de tecnologia, podemos construir agentes robóticos aprendidos que podem realizar uma ampla gama de tarefas em uma variedade igualmente grande de residências”, disse Pinto.

“Dobb-E é um projeto de pesquisa de ponta, mas ao ampliar este projeto e construir andaimes adequados em torno dele, podemos esperar que ele se transforme nos primeiros passos em direção a um assistente doméstico geral que possa ajudar idosos, pessoas afetadas por deficiências , ou apenas pais ocupados. No entanto, para chegar onde estamos, é necessário muito mais trabalho, tanto para melhorar as capacidades, como para [polishing] para torná-lo mais amigável.”

A estrutura Dobb-E é uma grande contribuição para os esforços contínuos que visam permitir a implantação generalizada de robôs domésticos multifuncionais. Os experimentos iniciais da equipe produziram resultados muito promissores, ao mesmo tempo em que destacaram alguns dos principais fatores que afetam o desempenho dos robôs domésticos.

No futuro, este trabalho recente poderá informar o desenvolvimento de sistemas robóticos domésticos cada vez mais avançados. Pinto e os seus colegas divulgaram publicamente a sua ferramenta de recolha de dados, conjunto de dados e modelo pré-treinado, pelo que outras equipas de investigação poderão em breve utilizá-los ou adaptá-los como parte dos seus próprios estudos.

“Embora o Dobb-E aborde a aprendizagem de competências de baixo nível numa variedade de cenários diferentes, não aborda a necessidade de um planeador ou política de nível superior que reúna essas competências para realizar uma variedade de tarefas nas casas”, acrescentou Pinto.

“Uma de nossas direções futuras deve ser a busca de habilidades de encadeamento para completar tarefas significativas e de longo horizonte nas residências. Outra direção que queremos investigar é melhorar os sensores do Stick e do robô, e potencialmente iterar em nossa detecção de profundidade , adicionando mais visualizações de câmera e mais modalidades de sensores, como toque e sons.”

© 2023 Science X Network