O sistema integrado de detecção e aprendizagem multimodal pode dar aos robôs novas capacidades

Para ajudar os humanos nas tarefas domésticas e outras tarefas manuais diárias, os robôs devem ser capazes de manipular eficazmente objetos que variam em composição, forma e tamanho. As habilidades de manipulação dos robôs melhoraram significativamente nos últimos anos, em parte devido ao desenvolvimento de câmeras e sensores táteis cada vez mais sofisticados.

Pesquisadores da Universidade de Columbia desenvolveram um novo sistema que captura simultaneamente informações visuais e táteis. O sensor táctil que desenvolveram, apresentado num artigo apresentado na Conferência sobre Aprendizagem de Robôs (CoRL) 2024 em Munique, poderia ser integrado em garras e mãos robóticas, para melhorar ainda mais as capacidades de manipulação de robôs com estruturas corporais variadas.

O artigo foi publicado no arXiv servidor de pré-impressão.

“Os humanos percebem o ambiente a partir de múltiplas modalidades sensoriais, entre as quais o toque desempenha um papel crítico na compreensão das interações físicas”, disse Yunzhu Li, autor sênior do artigo, ao Tech Xplore. “Nosso objetivo é equipar robôs com capacidades semelhantes, permitindo-lhes sentir o ambiente através da visão e do toque para tarefas de manipulação robótica refinadas”.

Como parte do estudo, os pesquisadores decidiram desenvolver um sistema de detecção multimodal que pudesse ser usado para coletar dados visuais, que podem ser usados ​​para estimar a posição de objetos em seu campo de visão e sua geometria, bem como informações táteis, como localização de contato, força e padrões de interação local.

O sistema integrado de detecção e aprendizagem multimodal que desenvolveram, denominado 3D-ViTac, poderia dar aos robôs novas capacidades de detecção, permitindo-lhes enfrentar melhor as tarefas de manipulação do mundo real.

“Comparado com soluções de última geração existentes, especialmente sensores baseados em óptica, nosso sensor é tão fino quanto um pedaço de papel, flexível, escalável e mais robusto para uso a longo prazo e coleta de dados em grande escala”, explicou Li.

“Juntamente com a observação visual, desenvolvemos uma estrutura de imitação ponta a ponta que permite aos robôs realizar uma variedade de tarefas de manipulação, demonstrando melhorias significativas nas interações seguras com itens frágeis e tarefas de longo horizonte que envolvem manipulação manual.”

Li e seus colegas testaram seu sensor e a estrutura de aprendizagem por imitação ponta a ponta que desenvolveram em uma série de experimentos empregando um sistema robótico real. Especificamente, eles integraram dois de seus dispositivos sensores em forma de folha em cada uma das mãos em forma de barbatana de uma pinça robótica.

A equipe então testou o desempenho da pinça em quatro tarefas desafiadoras de manipulação, incluindo cozinhar um ovo no vapor, colocar uvas em um prato, segurar uma chave hexagonal e servir um sanduíche. As descobertas destes testes iniciais foram muito promissoras, uma vez que o seu sensor pareceu melhorar a capacidade da pinça de completar com sucesso todas as tarefas.

“Demonstramos que nossa estrutura de aprendizagem de imitação visuo-tátil proposta permite que até mesmo robôs de baixo custo executem tarefas de manipulação precisas”, disse Li. “Ele supera significativamente as abordagens apenas de visão, especialmente no manuseio de objetos frágeis e na obtenção de alta precisão na manipulação refinada.”

O novo sensor desenvolvido por esta equipe de pesquisadores poderá em breve ser implantado em outros sistemas robóticos e avaliado em uma gama mais ampla de tarefas de manipulação de objetos que exigem altos níveis de precisão. Enquanto isso, Li e seus colegas planejam desenvolver métodos de simulação e estratégias de integração que possam tornar seu sensor mais fácil de aplicar e testar em outros robôs.

“Em nossos próximos estudos, pretendemos desenvolver técnicas de simulação para sinais táteis, explorar maneiras de integrar o sensor em mãos robóticas hábeis e superfícies de grande escala (por exemplo, pele de robô) e democratizar a detecção tátil na robótica”, acrescentou Li.

“Isso facilitará a coleta de dados em larga escala e contribuirá para modelos de base robótica multimodal que compreendem melhor as interações físicas por meio do toque.”

© 2024 Science X Network