A estrutura do VoicePilot melhora a comunicação entre humanos e robôs fisicamente assistidos

Deficiências motoras afetam atualmente cerca de 5 milhões de pessoas nos Estados Unidos. Robôs fisicamente assistivos não só têm o potencial de ajudar esses indivíduos com tarefas diárias, como também podem aumentar significativamente a independência, o bem-estar e a qualidade de vida.

Large language models (LLMs) que podem compreender e gerar linguagem e código humanos têm sido cruciais para a comunicação efetiva entre humanos e robôs. Um grupo de pesquisadores do Carnegie Mellon University Robotics Institute reconheceu a importância dos LLMs e determinou que o desenvolvimento de interfaces inovadoras aprimorará a comunicação entre indivíduos e robôs assistivos, levando a um melhor atendimento para aqueles afetados por deficiências motoras.

O grupo de pesquisa, composto por professores e alunos do laboratório de Assistência Robótica e Interação Humana (RCHI), do laboratório de Parceiros Humanos e Robôs (HARP) e do Laboratório de Máquinas Suaves (SML), propôs o VoicePilot, uma estrutura e diretrizes de design para incorporar LLMs como interfaces de fala para robôs de assistência física.

Como especialistas em interação humano-robô, a equipe garantiu que sua abordagem fosse centrada no ser humano, tornando o VoicePilot o primeiro trabalho a envolver sujeitos humanos interagindo diretamente com o LLM integrado a um robô fisicamente assistido.

O artigo do VoicePilot foi aceito para publicação no Simpósio sobre Software e Tecnologia de Interface de Usuário (UIST 2024), que será realizado em Pittsburgh em outubro. Ele está disponível no arXiv servidor de pré-impressão.

“Acreditamos que os LLMs são a chave para o desenvolvimento de interfaces de fala personalizáveis ​​e robustas para robôs assistivos que podem fornecer aos robôs a capacidade de interpretar comandos de alto nível e personalizações diferenciadas”, disse Jessie Yuan, coautora e aluna de graduação no Laboratório de Cuidados Robóticos e Interação Humana.

O grupo implementou sua interface de fala baseada em LLM no Obi, o robô de alimentação assistida disponível comercialmente. Usando o Obi, o objetivo era que os usuários dessem instruções personalizadas, assim como fariam com um cuidador humano, e que essas instruções personalizadas fossem executadas com sucesso.

Para testar a eficácia do VoicePilot, a equipe conduziu seu estudo humano com 11 adultos mais velhos que residem em uma instalação de vida independente. Usando tarefas predefinidas, uma sessão de alimentação aberta e uma análise de gravação de áudio coletada durante o estudo, eles reuniram dados para fornecer diretrizes de design para a incorporação de LLMs em interfaces assistivas.

A equipe usou os dados coletados para determinar cinco diretrizes principais para integrar LLMs como interfaces de fala: a integração deve oferecer opções de personalização, executar múltiplas funções sequencialmente, executar comandos com velocidades comparáveis ​​às de um cuidador, executar comandos de forma consistente e deve ter a capacidade de interagir socialmente com o usuário.

“Nossa estrutura e diretrizes propostas ajudarão pesquisadores, engenheiros e designers, tanto na academia quanto na indústria, a desenvolver interfaces de fala baseadas em LLM para robôs assistivos”, disse Akhil Padmanabha, coautor e aluno de doutorado no Instituto de Robótica.