Um novo modelo que permite que robôs reidentifiquem e sigam usuários humanos

Nos últimos anos, roboticistas e cientistas da computação introduziram várias novas ferramentas computacionais que poderiam melhorar as interações entre robôs e humanos em ambientes do mundo real. O objetivo abrangente destas ferramentas é tornar os robôs mais responsivos e sintonizados com os utilizadores que estão a ajudar, o que poderia, por sua vez, facilitar a sua adoção generalizada.

Pesquisadores do Leonardo Labs e do Instituto Italiano de Tecnologia (IIT) na Itália introduziram recentemente uma nova estrutura computacional que permite aos robôs reconhecer usuários específicos e segui-los dentro de um determinado ambiente. Esta estrutura, introduzida em um artigo publicado como parte do Conferência Internacional IEEE 2023 sobre Robótica Avançada e seus Impactos Sociais (ARSO)permite que os robôs identifiquem novamente os usuários em seu entorno, ao mesmo tempo que executam ações específicas em resposta aos gestos manuais realizados pelos usuários.

“Nosso objetivo era criar uma demonstração inovadora para atrair as partes interessadas aos nossos laboratórios”, disse Federico Rollo, um dos pesquisadores que realizou o estudo, ao Tech Xplore. “O robô que segue pessoas é uma aplicação predominante encontrada em muitos robôs móveis comerciais, especialmente em ambientes industriais ou para auxiliar indivíduos. Normalmente, esses algoritmos usam emissores externos de Bluetooth ou Wi-Fi, que podem interferir em outros sensores e o usuário é obrigado carregar.”

O principal objetivo do trabalho recente de Rollo e seus colegas foi criar um modelo de reidentificação que pudesse reconhecer alvos específicos em imagens gravadas por uma câmera RGB. As câmeras RGB estão entre os sensores mais utilizados na área de robótica, portanto são muito fáceis de fornecer e integrar com sistemas robóticos existentes.

“O módulo de reidentificação que desenvolvemos compreende duas etapas consecutivas: uma etapa de calibração e uma etapa de reidentificação”, explicou Rollo.

“Durante a etapa de calibração, a pessoa alvo é solicitada a se mover aleatoriamente na frente do robô. Nesta fase, o robô utiliza uma rede neural para detectar a pessoa e aprender sua aparência na forma de incorporações de rede (pense em um vetor abstrato representando as características da pessoa). Essas incorporações são então usadas para criar um modelo estatístico que representa o alvo.”

Na segunda etapa de seu processamento, o módulo criado pelos pesquisadores reidentifica os alvos enquanto eles se movem naturalmente em seu entorno. A estrutura consegue isso analisando imagens adquiridas por uma ou mais câmeras RGB, detectando pessoas nessas imagens, computando suas características e comparando essas características com aquelas delineadas em um modelo do usuário alvo criado durante a fase de calibração.

“Se certas características correspondem estatisticamente ao modelo, a pessoa com essas características é selecionada como alvo”, disse Rollo. “Essa informação é então enviada para um módulo de localização, que calcula a posição 3D do usuário alvo e envia comandos de velocidade para o robô se mover em direção a ele. Além disso, o aplicativo inclui um módulo de detecção de gestos.”

O modelo de detecção de gestos criado por Rollo e seus colegas detecta gestos específicos das mãos de um usuário alvo e envia comandos ao robô alinhados com esses gestos. Por exemplo, se um usuário colocar a mão aberta na frente do campo de visão do robô, isso acionará o comando de parada, instruindo o robô a parar. Ao contrário, se o usuário apresentar a mão fechada, o robô voltará a operar.

Até agora, os pesquisadores testaram sua estrutura em uma série de experimentos usando o robô Robotnik RB-Kairos+. Este é um manipulador robótico móvel projetado para ser introduzido principalmente em ambientes industriais, como armazéns e locais de fabricação.

“O módulo de reidentificação demonstrou notável robustez durante os testes, mesmo em áreas lotadas”, disse Rollo. “Este comportamento robusto abre várias aplicações práticas. Por exemplo, poderia ser utilizado para mover objetos de alta carga em ambientes industriais, guiar um robô para diferentes estações em um ambiente colaborativo ou industrial, ou ajudar idosos a realocar seus pertences dentro de um ambiente lar.”

A nova estrutura de reidentificação e detecção de gestos desenvolvida por esta equipe de pesquisadores poderá em breve ser aplicada e testada em vários cenários do mundo real que exigem que robôs móveis sigam humanos e transportem itens de forma autônoma. Antes que possa ser implantado em grande escala, no entanto, Rollo e seus colegas planejam superar algumas limitações do modelo identificadas durante seus experimentos iniciais.

“Uma limitação notável é que o modelo estatístico adquirido durante a fase de calibração permanece constante durante a reidentificação”, acrescentou Rollo.

“Isso significa que se o alvo mudar de aparência, por exemplo, ao usar roupas diferentes, o algoritmo não será capaz de se adaptar e exigirá recalibração. Além disso, há um interesse expresso em explorar novas abordagens para adaptar a própria rede neural para reconhecer o alvo. , potencialmente aproveitando métodos de aprendizagem contínua. Isso poderia melhorar a correspondência estatística entre o modelo alvo e os recursos extraídos das imagens RGB, fornecendo um sistema mais adaptável e flexível.”

© 2023 Science X Network