Dando aos robôs visão sobre-humana usando sinais de rádio

Na corrida para desenvolver sistemas de percepção robustos para robôs, um desafio persistente tem sido a operação em condições climáticas adversas e adversas. Por exemplo, sensores de visão tradicionais baseados em luz, como câmeras ou LiDAR (Light Detection And Ranging), falham em ambientes com muita fumaça e neblina.

No entanto, a natureza mostrou que a visão não tem de ser restringida pelas limitações da luz – muitos organismos desenvolveram formas de perceber o seu ambiente sem depender da luz. Os morcegos navegam usando os ecos das ondas sonoras, enquanto os tubarões caçam sentindo os campos elétricos dos movimentos das suas presas.

As ondas de rádio, cujos comprimentos de onda são ordens de magnitude maiores que as ondas de luz, podem penetrar melhor na fumaça e na neblina e podem até ver através de certos materiais – todas capacidades além da visão humana. No entanto, os robôs tradicionalmente dependem de uma caixa de ferramentas limitada: utilizam câmaras e LiDAR, que fornecem imagens detalhadas, mas falham em condições desafiantes, ou radares tradicionais, que conseguem ver através de paredes e outras oclusões, mas produzem imagens rudimentares e de baixa resolução.

Uma nova maneira de ver

Agora, pesquisadores da Escola de Engenharia e Ciências Aplicadas da Universidade da Pensilvânia (Penn Engineering) desenvolveram o PanoRadar, uma nova ferramenta para dar aos robôs uma visão sobre-humana, transformando ondas de rádio simples em visualizações 3D detalhadas do ambiente.

“Nossa questão inicial era se poderíamos combinar o melhor de ambas as modalidades de detecção”, diz Mingmin Zhao, professor assistente em Ciência da Computação e Informação. “A robustez dos sinais de rádio, que são resistentes à neblina e outras condições desafiadoras, e a alta resolução dos sensores visuais.”

Em um artigo a ser apresentado na Conferência Internacional sobre Computação e Redes Móveis (MobiCom 2024), realizada de 18 a 22 de novembro em Washington DC, Zhao e sua equipe descrevem como o PanoRadar aproveita ondas de rádio e inteligência artificial (IA) para permitir que os robôs naveguem até mesmo nos ambientes mais desafiadores, como edifícios cheios de fumaça ou estradas com neblina.

A equipe, do Laboratório Wireless, Audio, Vision, and Electronics for Sensing (WAVES) e do Penn Research In Embedded Computing and Integrated Systems Engineering (PRECISE), inclui o estudante de doutorado Haowen Lai, o recém-graduado de mestrado Gaoxiang Luo e o assistente de pesquisa de graduação Yifei (Freddy) Liu.

Girando como um farol

PanoRadar é um sensor que funciona como um farol que varre seu feixe em círculo para varrer todo o horizonte. O sistema consiste em um conjunto vertical giratório de antenas que varre o ambiente ao seu redor. À medida que giram, essas antenas emitem ondas de rádio e ouvem seus reflexos no ambiente, da mesma forma que o feixe de um farol revela a presença de navios e características costeiras.

Graças ao poder da IA, o PanoRadar vai além desta simples estratégia de digitalização. Ao contrário de um farol que simplesmente ilumina diferentes áreas à medida que gira, o PanoRadar combina de forma inteligente medições de todos os ângulos de rotação para melhorar a resolução da imagem. Embora o sensor em si represente apenas uma fração do custo dos sistemas LiDAR normalmente caros, essa estratégia de rotação cria uma matriz densa de pontos de medição virtuais, o que permite ao PanoRadar obter resolução de imagem comparável ao LiDAR.

“A principal inovação está na forma como processamos essas medições de ondas de rádio”, explica Zhao. “Nossos algoritmos de processamento de sinal e aprendizado de máquina são capazes de extrair informações 3D ricas do ambiente.”

Ensinando a IA

Um dos maiores desafios enfrentados pela equipe de Zhao foi desenvolver algoritmos para manter imagens de alta resolução enquanto o robô se move. “Para alcançar uma resolução comparável ao LiDAR com sinais de rádio, precisávamos combinar medições de muitas posições diferentes com precisão submilimétrica”, explica Lai, o principal autor do artigo. “Isso se torna particularmente desafiador quando o robô está em movimento, pois mesmo pequenos erros de movimento podem afetar significativamente a qualidade da imagem.”

Outro desafio que a equipe enfrentou foi ensinar seu sistema a entender o que vê. “Os ambientes internos têm padrões e geometrias consistentes”, diz Luo. “Aproveitamos esses padrões para ajudar nosso sistema de IA a interpretar os sinais do radar, de forma semelhante à forma como os humanos aprendem a entender o que vêem.” Durante o processo de treinamento, o modelo de aprendizado de máquina contou com dados LiDAR para comparar seu entendimento com a realidade e foi capaz de continuar a se aprimorar.

“Nossos testes de campo em diferentes edifícios mostraram como a detecção de rádio pode se destacar onde os sensores tradicionais têm dificuldades”, diz Liu. “O sistema mantém um rastreamento preciso através da fumaça e pode até mapear espaços com paredes de vidro.”

Isso ocorre porque as ondas de rádio não são facilmente bloqueadas por partículas transportadas pelo ar, e o sistema pode até “capturar” coisas que o LiDAR não consegue, como superfícies de vidro. A alta resolução do PanoRadar também significa que ele pode detectar pessoas com precisão, um recurso crítico para aplicações como veículos autônomos e missões de resgate em ambientes perigosos.

Olhando para o futuro, a equipe planeja explorar como o PanoRadar poderia funcionar junto com outras tecnologias de detecção, como câmeras e LiDAR, criando sistemas de percepção multimodais mais robustos para robôs. A equipe também está expandindo seus testes para incluir diversas plataformas robóticas e veículos autônomos.

“Para tarefas de alto risco, é crucial ter múltiplas maneiras de detectar o ambiente”, diz Zhao. “Cada sensor tem seus pontos fortes e fracos e, ao combiná-los de forma inteligente, podemos criar robôs mais bem equipados para lidar com os desafios do mundo real.”