Um novo sistema de captura de movimento com marcador robótico que poderia melhorar as interações humano-robô

Sistemas de captura de movimento (mocap), tecnologias que podem detectar e registrar movimentos de humanos, animais e objetos, são amplamente utilizados em diversos ambientes. Por exemplo, têm sido utilizados para filmar filmes, para criar animações com movimentos realistas dos lábios e do corpo, em consolas de videojogos interactivas ou mesmo para controlar robôs.

Pesquisadores do Instituto Skolkovo de Ciência e Tecnologia (Skoltech), na Rússia, desenvolveram recentemente um novo sistema de captura de movimento que poderia permitir interações homem-robô mais seguras e eficazes. Este sistema, apresentado num artigo pré-publicado em arXivé baseado em um sistema robótico vestível e uma câmera para rastrear os movimentos do braço do usuário.

“Este trabalho foi o resultado de muitos anos de pesquisa no domínio da interação Humano-Robô no Laboratório de Robótica Espacial Inteligente (ISR)”, disse Ali Alabbas, pesquisador-chave do projeto, ao Tech Xplore. “A interação Humano-Robô lida com tarefas colaborativas nas quais humanos e robôs participam, portanto a segurança do operador humano é uma prioridade máxima em tais aplicações. O trabalho foi construído com base nas experiências e tecnologias anteriores desenvolvidas em nosso Laboratório.”

O sistema mocap introduzido por esta equipe de pesquisadores inspira-se em duas tecnologias anteriores que desenvolveram. O primeiro é um sistema chamado CobotGear, que usa uma câmera vestível de 6-DoF para rastrear o movimento do braço humano. O segundo, CoHaptics, aproveita o feedback tátil (relacionado ao toque) para fornecer aos usuários informações sobre a distância até um robô e alertá-los quando um robô estiver criticamente próximo deles.

“Um dos objetivos do nosso trabalho é desenvolver um sistema mocap de baixo custo e fácil instalação que detecte e localize a mão do usuário no ambiente de trabalho, empregando o algoritmo que sustenta o funcionamento do CobotGear para evitar colisões entre o robô e o usuário já que estão envolvidos em tarefas colaborativas”, explicou Alabbas. “O sistema mocap proposto é baseado na visão. Ele usa câmeras e visão computacional para localizar um marcador robótico visual exclusivo anexado à mão do usuário (o alvo do nosso sistema mocap).”

Uma limitação comum dos sistemas mocap é que eles podem ser afetados negativamente por oclusões. Em outras palavras, se um marcador visual que o sistema está seguindo estiver parcial ou totalmente escondido atrás de um objeto, o sistema não será mais capaz de rastreá-lo. Alabbas e seus colegas decidiram resolver esta limitação, reduzindo o risco de oclusão.

“Nossa ideia era desenvolver um mecanismo que pudesse movimentar o marcador, garantindo que ele permanecesse sempre visível para o sistema mocap”, disse Alabbas. “Nossa solução foi construir um pequeno robô vestível que segurasse o marcador e tivesse a capacidade de girar.”

O sistema criado por esta equipa de investigadores baseia-se num robô que os utilizadores devem usar no antebraço. Este robô move um marcador de diferentes maneiras, garantindo que ele permaneça sempre no campo de visão de uma câmera integrada.

“Normalmente, os marcadores retrorrefletivos do mocap têm uma forma esférica porque o tamanho será o mesmo se capturados por câmeras de diferentes perspectivas”, disse o professor Dzmitry Tsetserukou. “Por outro lado, você precisa colocar muitos dos marcadores no corpo humano e instalar câmeras IR caras para cancelar todos os objetos visíveis, exceto esferas, portanto, os sistemas mocap podem custar centenas de milhares de dólares. Propusemos o ArUcoGlide, um sistema acessível e robusta para rastrear o movimento do corpo humano com uma única câmera de baixo custo e até mesmo conversar com o movimento do usuário com dicas táteis.”

O robô ArUcoGlide é extremamente leve, pesando não mais que um simples relógio de pulso. Isso significa que pode ser facilmente usado pelos usuários, sem causar desconforto. O sistema robótico possui um marcador exclusivo localizado por uma câmera, fornecendo feedback valioso que visa prevenir colisões durante interações humano-robô.

“O sistema consiste em três partes: um marcador robótico vestível, um sistema de rastreamento e um controlador para evitar colisões”, disse Alabbas. “O robô vestível, que apelidamos de ArUcoGlide, contém um marcador visual exclusivo e ajusta a orientação desse marcador para garantir sua visibilidade para a câmera e para lidar com a oclusão por objetos no ambiente. O robô também pode fornecer feedback tátil na forma de vibração no caso de uma situação perigosa. Sugerimos que manter uma orientação fixa entre a câmera e o marcador reduzirá os momentos em que o marcador não é mostrado devido ao movimento do usuário.”

O segundo componente da solução mocap da equipe é um sistema de rastreamento, composto por uma câmera e um computador básico. A câmera captura uma transmissão ao vivo do ambiente em que os humanos estão colaborando com os robôs. Este fluxo é então processado pelo computador base para extrair as coordenadas do marcador dentro do ambiente.

“O terceiro componente, o controlador anticolisão, foi introduzido pela primeira vez como parte do nosso sistema CobotGear desenvolvido anteriormente”, disse Alabbas. “Este controlador controla o movimento do robô para evitar possíveis colisões com a mão do usuário na área de trabalho.”

Essencialmente, o sistema da equipe funciona da seguinte forma. Uma câmera registra o ambiente em que humanos e robôs estão colaborando. O robô AucoGlide ajusta a orientação do marcador utilizado para rastrear movimentos, garantindo que ele permaneça sempre dentro do campo de visão da câmera. Por fim, o controlador de colisão move o robô para evitar que ele entre em contato com os usuários.

“Resumindo, o marcador desliza no espaço com o robô 2-DoF para obter captura contínua do movimento do corpo”, explicou Tsetserukou. “Se o marcador estiver estático, ou seja, não ajustar a posição no espaço, o sistema de rastreamento irá perdê-lo em um ângulo muito íngreme ou raso em relação à câmera. Não é aplicável quando a segurança dos seres humanos é a principal prioridade .”

Os pesquisadores avaliaram o ArUcoGlide em uma série de experimentos, testando a precisão de seu sistema de rastreamento, como o sistema afeta o comportamento de humanos e robôs pouco antes de uma colisão iminente, seu desempenho durante uma tarefa colaborativa no mundo real. Eles descobriram que melhorou significativamente a segurança das interações robô-humano, mantendo o aumento da distância entre a mão do usuário e o robô para uma média de 5 cm.

O sistema pode ser eficaz para melhorar a colaboração humano-robô em uma variedade de ambientes do mundo real. Por exemplo, poderia ajudar o pessoal médico que pipeta amostras de sangue.

“Quando o braço humano se aproxima do robô, nosso sistema pode detectá-lo e ativar o algoritmo de prevenção de colisão, para que o robô não machuque o usuário”, disse Tsetserukou, “Experimentos provaram uma precisão subcentimétrica no rastreamento do braço humano em um ampla gama de movimentos. É importante ressaltar que o sistema com marcadores ArUco móveis e feedback tátil acelera o processo de exames médicos compartilhados em até 16%.”

Notavelmente, o sistema mocap da equipe também pode ser adaptado para atender às necessidades de aplicações específicas. Por exemplo, se os usuários desejam alterar o ambiente que está monitorando, basta mover a câmera de rastreamento de movimento para o local desejado e reiniciar o sistema.

“O sistema foi projetado para ser usado em um ambiente de trabalho compartilhado que lembra as atividades típicas encontradas em armazéns ou laboratórios”, disse Alabbas. “Por exemplo, pode ser instalado em um laboratório onde um braço robótico pode se juntar a um químico na preparação de algumas soluções, agilizando o processo e protegendo o usuário da exposição a substâncias tóxicas”, disse Alabbas.

“A atenção do químico com certeza está voltada para os materiais, então nosso sistema, ao monitorar o ambiente de trabalho, consegue sempre localizar a mão do químico e tentar evitar a colisão do robô com ela. O ArUcoGlide é muito adequado devido ao seu custo-benefício e facilidade de instalação; basta o usuário fixar a câmera em local adequado para detectar o ambiente de trabalho, colocar o ArUcoGlide e começar a trabalhar.”

O ArUcoGlide poderá em breve ser implementado e testado numa gama mais ampla de cenários, para validar o seu potencial para melhorar as interações entre humanos e robôs. Em seus próximos trabalhos, Alabbas, Tserserukou e seus colegas gostariam de desenvolvê-lo ainda mais para permitir o rastreamento de todo o corpo do usuário.

“Planejamos desenvolver o GlideSuit, um sistema no qual marcadores robóticos são colocados em todo o corpo: braços, mãos, pernas e tronco”, disse Tsetserukou. “Os marcadores ArUco se moverão de forma síncrona no corpo humano para se manterem normais com o eixo óptico da câmera.”

Esta versão atualizada do ArUcoGlide pode ser usada para rastrear o esqueleto de um usuário em tempo real usando uma única câmera. Além disso, poderia suportar aplicações de realidade aumentada (AR), por exemplo, permitindo aos utilizadores visualizar órgãos ou músculos dentro do corpo humano ou ver como ficariam diferentes peças de roupa no seu corpo.

“Imagine gravar um vídeo de uma pessoa em movimento segurando pássaros virtuais em 3D em tempo real”, disse Tsetserukou. “ArUcoGlide pode ser usado não apenas por humanos, mas também por robôs. Colocado no topo dos drones, com apenas uma única câmera no teto podemos rastrear um enxame de robôs e controlar sua formação para shows de luzes. Outra aplicação fascinante é a dança ensino e reabilitação quando guiamos o ser humano com feedback tátil para obter a trajetória desejável do membro em um ambiente 3D.”

© 2023 Science X Network