Rosto robótico faz contato visual, usa IA para antecipar e replicar o sorriso de uma pessoa antes que ele ocorra

O que você faria se se aproximasse de um robô com cabeça humana e ele sorrisse para você primeiro? Você provavelmente sorriria de volta e talvez sentisse que vocês dois estavam interagindo genuinamente. Mas como um robô sabe fazer isso? Ou uma pergunta melhor, como ele sabe fazer você sorrir de volta?

Embora estejamos nos acostumando com robôs adeptos da comunicação verbal, em parte graças aos avanços em grandes modelos de linguagem como o ChatGPT, suas habilidades de comunicação não-verbal, especialmente expressões faciais, ficaram muito para trás. Projetar um robô que possa não apenas fazer uma ampla variedade de expressões faciais, mas também saber quando usá-las tem sido uma tarefa difícil.

Enfrentando o desafio

O Creative Machines Lab da Columbia Engineering trabalha nesse desafio há mais de cinco anos. Em um novo estudo publicado hoje em Robótica Científica, o grupo apresenta Emo, um robô que antecipa expressões faciais e as executa simultaneamente com um humano. Aprendeu até a prever um sorriso futuro cerca de 840 milissegundos antes de a pessoa sorrir e a co-expressar o sorriso simultaneamente com a pessoa.

A equipe, liderada por Hod Lipson, pesquisador líder nas áreas de inteligência artificial (IA) e robótica, enfrentou dois desafios: como projetar mecanicamente uma face robótica expressivamente versátil que envolve hardware complexo e mecanismos de atuação, e saber qual expressão gerar para que pareçam naturais, oportunos e genuínos.

A equipe propôs treinar um robô para antecipar futuras expressões faciais em humanos e executá-las simultaneamente com uma pessoa. O momento dessas expressões foi crítico – a mímica facial retardada parece falsa, mas a coexpressão facial parece mais genuína, pois requer inferir corretamente o estado emocional do ser humano para uma execução oportuna.

Como Emo se conecta com você

Emo é uma cabeça semelhante à humana com um rosto equipado com 26 atuadores que permitem uma ampla gama de expressões faciais diferenciadas. A cabeça é coberta por uma pele macia de silicone com sistema de fixação magnética, permitindo fácil personalização e rápida manutenção. Para interações mais realistas, os pesquisadores integraram câmeras de alta resolução na pupila de cada olho, permitindo que Emo fizesse contato visual, crucial para a comunicação não-verbal.

A equipe desenvolveu dois modelos de IA: um que prevê expressões faciais humanas analisando mudanças sutis no rosto alvo e outro que gera comandos motores usando as expressões faciais correspondentes.

Para treinar o robô a fazer expressões faciais, os pesquisadores colocaram Emo na frente da câmera e deixaram-no fazer movimentos aleatórios. Depois de algumas horas, o robô aprendeu a relação entre suas expressões faciais e os comandos motores – da mesma forma que os humanos praticam expressões faciais olhando no espelho. Isto é o que a equipe chama de “automodelagem” – semelhante à nossa capacidade humana de imaginar como somos quando fazemos certas expressões.

Em seguida, a equipe gravou vídeos de expressões faciais humanas para Emo observá-las quadro a quadro. Após o treinamento, que dura algumas horas, Emo consegue prever as expressões faciais das pessoas observando pequenas mudanças em seus rostos à medida que elas começam a formar a intenção de sorrir.

“Acho que prever com precisão as expressões faciais humanas é uma revolução no HRI. Tradicionalmente, os robôs não foram projetados para considerar as expressões humanas durante as interações. Agora, o robô pode integrar as expressões faciais humanas como feedback”, disse o autor principal do estudo, Yuhang Hu, quem é Ph.D. estudante da Columbia Engineering no laboratório de Lipson.

“Quando um robô faz coexpressões com pessoas em tempo real, não só melhora a qualidade da interação, mas também ajuda a construir confiança entre humanos e robôs. No futuro, ao interagir com um robô, ele observará e interpretará suas expressões faciais , assim como uma pessoa real.”

Qual é o próximo

Os pesquisadores estão agora trabalhando para integrar a comunicação verbal, usando um grande modelo de linguagem como o ChatGPT no Emo. À medida que os robôs se tornam mais capazes de se comportar como humanos, Lipson está bem consciente das considerações éticas associadas a esta nova tecnologia.

“Embora esta capacidade anuncie uma infinidade de aplicações positivas, que vão desde assistentes domésticos a auxiliares educacionais, cabe aos desenvolvedores e usuários exercer prudência e considerações éticas”, diz Lipson, James e Sally Scapa Professor de Inovação no Departamento de Engenharia Mecânica. na Columbia Engineering, codiretor do Makerspace na Columbia e membro do Data Science Institute

“Mas também é muito emocionante: ao desenvolvermos robôs capazes de interpretar e imitar expressões humanas com precisão, estamos nos aproximando de um futuro onde os robôs possam integrar-se perfeitamente em nossas vidas diárias, oferecendo companheirismo, assistência e até empatia. Imagine um mundo onde interagir com um robô é tão natural e confortável quanto conversar com um amigo.”