Pesquisa de engenharia descobre vulnerabilidades críticas em robôs habilitados para IA

Dentro de sua nova iniciativa de Inovação Responsável, pesquisadores da Penn Engineering descobriram que certos recursos de robôs governados por IA carregam vulnerabilidades e pontos fracos de segurança que antes não eram identificados e eram desconhecidos. A pesquisa visa abordar a vulnerabilidade emergente para garantir a implantação segura de grandes modelos de linguagem (LLMs) em robótica.

“Nosso trabalho mostra que, neste momento, grandes modelos de linguagem simplesmente não são seguros o suficiente quando integrados ao mundo físico”, diz George Pappas, Professor de Transporte da Fundação UPS em Engenharia Elétrica e de Sistemas (ESE), em Ciência da Computação e Informação ( CIS) e em Engenharia Mecânica e Mecânica Aplicada (MEAM).

No novo artigo, Pappas, que também atua como reitor associado de pesquisa na Penn Engineering, e seus coautores alertam que uma grande variedade de robôs controlados por IA podem ser manipulados ou hackeados.

O RoboPAIR, o algoritmo desenvolvido pelos pesquisadores, precisou de apenas alguns dias para atingir uma taxa de “jailbreak” de 100%, contornando as grades de segurança em três sistemas robóticos diferentes: o Unitree Go2, um robô quadrúpede usado em uma variedade de aplicações; o Clearpath Robotics Jackal, um veículo com rodas frequentemente usado para pesquisas acadêmicas; e o Dolphin LLM, um simulador de direção autônoma desenvolvido pela NVIDIA. Por exemplo, ao contornar os guarda-corpos de segurança, o sistema de direção autônoma poderia ser manipulado para acelerar nas faixas de pedestres.

Antes de divulgar publicamente o estudo, a Penn Engineering informou as empresas sobre as vulnerabilidades dos seus sistemas e está trabalhando com elas para usar a pesquisa como uma estrutura para avançar nos testes e validação dos protocolos de segurança de IA desses fabricantes.

“O que é importante ressaltar aqui é que os sistemas se tornam mais seguros quando você encontra seus pontos fracos. Isso é verdade para a segurança cibernética. Isso também é verdade para a segurança da IA”, diz Alexander Robey, um recente Ph.D. da Penn Engineering. graduado na ESE, atual pós-doutorado na Carnegie Mellon University e primeiro autor do artigo.

“Na verdade, a equipe vermelha de IA, uma prática de segurança que envolve testar sistemas de IA em busca de possíveis ameaças e vulnerabilidades, é essencial para proteger sistemas de IA generativos – porque, depois de identificar os pontos fracos, você poderá testar e até mesmo treinar esses sistemas para evitá-los. ”

O que é necessário para resolver o problema, argumentam os investigadores, é menos uma correção de software do que uma reavaliação completa de como a integração da IA ​​em sistemas físicos é regulada.

“As descobertas deste artigo deixam bem claro que ter uma abordagem que prioriza a segurança é fundamental para desbloquear a inovação responsável”, disse Vijay Kumar, Reitor da Família Nemirovsky da Penn Engineering e outro coautor.

“Devemos abordar vulnerabilidades intrínsecas antes de implantar robôs habilitados para IA no mundo real. Na verdade, nossa pesquisa está desenvolvendo uma estrutura de verificação e validação que garante que apenas ações que estejam em conformidade com as normas sociais possam – e devam – ser realizadas por sistemas robóticos.”