A evolução do sistema de avatar iCub3 totalmente imersivo

Nos últimos quatro anos, uma equipe de pesquisa do laboratório de Inteligência Artificial e Mecânica (AMI) do Istituto Italiano di Tecnologia (IIT-Instituto Italiano de Tecnologia) em Gênova (Itália) desenvolveu tecnologias avançadas de avatar, conhecidas como sistema iCub3, em testes contínuos com cenários do mundo real.

O sistema foi utilizado para permitir que um operador humano visitasse remotamente locais a 300 km de distância, entretivesse o público em eventos e aparições na televisão e competisse no desafio internacional ANA Avatar XPrize.

Em seu artigo de pesquisa, publicado em Robótica Científica, o grupo destaca os desafios enfrentados e as soluções implementadas para desenvolver o sistema de avatar. A sua abordagem destaca como é crucial que a investigação se estenda para além dos limites do laboratório e aborde as dificuldades colocadas pela variabilidade do mundo real, a fim de desenvolver uma plataforma robótica humanóide robusta que possa em breve tornar-se parte do sistema económico e produtivo.

O sistema iCub3 já evoluiu para um novo robô, o robô ergoCub, projetado para maximizar a aceitabilidade em ambientes de trabalho.

O grupo de investigação do laboratório AMI do IIT é coordenado pela investigadora italiana Daniele Pucci e é composto por cerca de 50 investigadores. O sistema de avatar iCub3 é composto principalmente pelo robô iCub3 – que é uma das últimas versões do robô humanóide iCub nascido no IIT há 20 anos – e pelas tecnologias vestíveis chamadas iFeel que rastreiam os movimentos do corpo humano.

O sistema de avatar foi projetado para facilitar a incorporação de robôs humanóides por operadores humanos, abrangendo aspectos como locomoção, manipulação, voz e expressões faciais com feedback sensorial abrangente, incluindo modalidades visuais, auditivas, táteis, de peso e de toque. Foi desenvolvido pelo IIT em colaboração com o Instituto Nacional Italiano de Seguro contra Acidentes de Trabalho (INAIL).

O grupo de pesquisa do IIT testou e adaptou o sistema de avatar iCub3 em três cenários reais diferentes.

Em novembro de 2021, durante o primeiro teste, um operador humano localizado em Génova controlou o avatar na Biennale di Venezia de Veneza (a cerca de 300 quilómetros de distância) tendo a possibilidade de visitar remotamente a exposição de arte italiana. Os desafios consistiam em garantir comunicações remotas estáveis ​​entre os dois locais, dentro de um período de teste limitado.

Além disso, o movimento e a interação do robô com o ambiente circundante tinham de ser cautelosos e seguros, dada a natureza delicada das exposições de arte.

O grupo de Pucci utilizou o traje iFeel do IIT para rastrear os movimentos corporais do operador, e o sistema de avatar transferiu esses movimentos para o robô iCub3 em Veneza, permitindo replicar as ações do usuário em Gênova.

O operador exerceu controle preciso sobre as partes do corpo do robô, incluindo os dedos e as pálpebras. Além disso, dispositivos hápticos personalizados foram empregados para permitir que o operador sentisse um abraço de um local remoto. A transmissão foi transmitida por uma conexão padrão de fibra óptica à Internet, resultando em cerca de cem milissegundos de atraso.

Em junho de 2022, ocorreu o segundo teste no festival italiano de inovação digital, We Make Future Show, apresentando desafios adicionais.

O operador em Gênova controlou um robô posicionado no local do festival em Rimini (a aproximadamente 300 km de distância). A tarefa do robô envolvia receber e transportar uma carga útil de uma pessoa enquanto navegava no palco do teatro diante de um público de cerca de 2.000 espectadores.

A apresentação foi conduzida ao vivo, em meio a considerável interferência eletromagnética. O grupo de pesquisa do IIT introduziu dispositivos hápticos especializados para permitir ao operador perceber o peso carregado pelo robô e aprimorou as habilidades expressivas do robô, pois precisava entreter o público.

Em novembro de 2022, toda a arquitetura foi apresentada na competição Avatar XPrize da All Nippon Airways (ANA) em Los Angeles. A arena do concurso lembrava um panorama tirado de Marte, ou de outro planeta remoto, sugerindo a exploração espacial como uma futura aplicação potencial de avatares.

Cada avatar foi operado por indivíduos que não faziam parte da equipe de pesquisa e necessitaram de treinamento pouco antes da corrida; além disso, tinham apenas 25 minutos para completar 10 tarefas diferentes.

O robô iCub3 teve que realizar tarefas pesadas dentro de um tempo limitado, uma situação que levou o robô ao seu limite. A equipe do IIT equipou as mãos do robô com pele sensorizada para permitir perceber a textura dos objetos manipulados.

O controle do robô foi projetado para ser o mais intuitivo possível, permitindo ao operador ter controle direto sobre todas as peças e capacidades do robô. Por exemplo, o operador poderia controlar a locomoção do robô caminhando no mesmo lugar, criando uma maior sensação de corporificação.

A experiência adquirida pela equipe de Daniele Pucci foi fundamental para transformar o sistema de avatar iCub3 em um novo robô, o robô ergoCub, projetado para maximizar a aceitabilidade no ambiente de trabalho. O novo humanóide ergoCub, atualmente em desenvolvimento no IIT, tem como objetivo minimizar o risco e a fadiga em tarefas colaborativas para trabalhadores da indústria e da saúde.