Robôs aprendem a perceber objetos usando vibrações acústicas

Imagine-se sentado em uma sala de cinema escura imaginando quanto refrigerante resta em seu copo enorme. Em vez de tirar a tampa e olhar, você pega e agita o copo um pouco para ouvir quanto gelo está dentro, dando uma indicação decente de se você precisa de uma recarga grátis.

Colocando a bebida de volta na mesa, você se pergunta distraidamente se o apoio de braço é feito de madeira verdadeira. Depois de dar algumas batidas e ouvir um eco oco, você decide que ele deve ser feito de plástico.

Esta capacidade de interpretar o mundo através de vibrações acústicas emanadas de um objeto é algo que fazemos sem pensar. E é uma habilidade que os pesquisadores estão prestes a trazer aos robôs para aumentar seu conjunto crescente de habilidades sensoriais.

Definida para ser apresentada na Conferência sobre Aprendizagem de Robôs (CoRL 2024), que será realizada de 6 a 9 de novembro em Munique, Alemanha, uma nova pesquisa da Duke University detalha um sistema chamado SonicSense que permite que robôs interajam com seu entorno de maneiras anteriormente limitadas aos humanos. . As conclusões são publicadas no arXiv servidor de pré-impressão.

“Os robôs hoje dependem principalmente da visão para interpretar o mundo”, explicou Jiaxun Liu, principal autor do artigo e doutorando no primeiro ano. aluno do laboratório de Boyuan Chen, professor de engenharia mecânica e ciência dos materiais na Duke. “Queríamos criar uma solução que pudesse funcionar com objetos complexos e diversos encontrados diariamente, dando aos robôs uma capacidade muito mais rica de ‘sentir’ e compreender o mundo.”

SonicSense apresenta uma mão robótica com quatro dedos, cada um equipado com um microfone de contato embutido na ponta do dedo. Esses sensores detectam e registram vibrações geradas quando o robô bate, agarra ou sacode um objeto. E como os microfones estão em contato com o objeto, permite que o robô desligue os ruídos ambientais.

Com base nas interações e nos sinais detectados, o SonicSense extrai recursos de frequência e usa seu conhecimento anterior, combinado com avanços recentes em IA, para descobrir de que material o objeto é feito e sua forma 3D. Se for um objeto que o sistema nunca viu antes, podem ser necessárias 20 interações diferentes para que o sistema chegue a uma conclusão. Mas se for um objeto já em seu banco de dados, ele poderá identificá-lo corretamente em apenas quatro.

“O SonicSense oferece aos robôs uma nova maneira de ouvir e sentir, assim como os humanos, o que pode transformar a forma como os robôs atuais percebem e interagem com os objetos”, disse Chen, que também tem compromissos e estudantes de engenharia elétrica e da computação e ciência da computação. “Embora a visão seja essencial, o som acrescenta camadas de informação que podem revelar coisas que o olho pode não perceber.”

No artigo e nas demonstrações, Chen e seu laboratório apresentam uma série de recursos possibilitados pelo SonicSense. Ao virar ou sacudir uma caixa cheia de dados, ele pode contar o número contido nela, bem como sua forma. Fazendo o mesmo com uma garrafa de água, ele pode dizer quanto líquido contém dentro dela. E ao tocar na parte externa de um objeto, da mesma forma que os humanos exploram objetos no escuro, ele pode construir uma reconstrução 3D da forma do objeto e determinar de que material ele é feito.

Embora o SonicSense não seja a primeira tentativa de usar essa abordagem, ele vai além e tem um desempenho melhor do que o trabalho anterior, usando quatro dedos em vez de um, microfones baseados em toque que desligam o ruído ambiente e técnicas avançadas de IA. Esta configuração permite que o sistema identifique objetos compostos por mais de um material com geometrias complexas, superfícies transparentes ou reflexivas e materiais que são desafiadores para sistemas baseados em visão.

“Embora a maioria dos conjuntos de dados sejam coletados em laboratórios controlados ou com intervenção humana, precisávamos que nosso robô interagisse com objetos de forma independente em um ambiente de laboratório aberto”, disse Liu. “É difícil replicar esse nível de complexidade em simulações. Essa lacuna entre os dados controlados e os do mundo real é crítica, e o SonicSense preenche isso, permitindo que os robôs interajam diretamente com as diversas e confusas realidades do mundo físico.”

Essas habilidades fazem do SonicSense uma base robusta para treinar robôs para perceber objetos em ambientes dinâmicos e não estruturados. O mesmo acontece com o seu custo; usar os mesmos microfones de contato que os músicos usam para gravar o som de guitarras, a impressão 3D e outros componentes disponíveis comercialmente mantêm os custos de construção em pouco mais de US$ 200.

Seguindo em frente, o grupo está trabalhando para aprimorar a capacidade do sistema de interagir com vários objetos. Ao integrar algoritmos de rastreamento de objetos, os robôs serão capazes de lidar com ambientes dinâmicos e desordenados, aproximando-os da adaptabilidade humana em tarefas do mundo real.

Outro desenvolvimento importante reside no design da própria mão do robô. “Este é apenas o começo. No futuro, imaginamos o SonicSense sendo usado em mãos robóticas mais avançadas com habilidades de manipulação hábeis, permitindo que os robôs executem tarefas que exigem um sentido de toque diferenciado”, disse Chen. “Estamos entusiasmados em explorar como esta tecnologia pode ser desenvolvida para integrar múltiplas modalidades sensoriais, como pressão e temperatura, para interações ainda mais complexas”.