Tocar piano cooperativo humano-robô atinge nota alta na conferência de IA

Um robô musical que pode tocar piano ao lado de um humano, criando um acompanhamento harmônico em tempo real, ganhou um prêmio na Conferência do Centro de Inteligência Artificial Inspirada em Humanos (CHIA) 2024.

Cambridge Engenharia Ph.D. o estudante Huijiang Wang, do Laboratório de Robótica Bio-Inspirada (BIRL), Departamento de Engenharia, ganhou o prêmio de Melhor Demo por seu “Harmony Robot” – uma mão antropomórfica personalizada anexada a um braço de robô, com seus ‘dedos’ predefinidos em um acorde. pose de bater.

Um artigo de pesquisa separado, publicado na revista Transações IEEE em Robóticatambém foi aceito como parte da premiação.

Intitulado “Piano cooperativo humano-robô tocando com acompanhamento musical em tempo real baseado em aprendizagem”, Huijiang e seus co-autores Dr. Xiaoping Zhang e Professor Fumiya Iida apresentam um robô colaborativo que usa aprendizado de máquina para prever as progressões de acordes de piano apropriadas com base em no piano de um humano tocando.

Os experimentos demonstraram uma taxa de precisão de 93% e envolveram o robô aprendendo acordes inspirados na música pop.

Enquanto isso, um controlador adaptativo ao comportamento permite que ocorra uma sincronização temporal perfeita, para que o robô colaborativo possa gerar acompanhamento de acordes harmônicos para a melodia tocada por humanos em tempo real. Na verdade, tanto o humano quanto o robô estão fazendo um dueto.

A configuração robótica envolveu o movimento vertical da mão antropomórfica personalizada através de um braço robótico, permitindo que as teclas do piano fossem tocadas. Enquanto um movimento horizontal separado permitiu a troca de acordes, expandindo assim as capacidades expressivas do robô em tarefas de tocar piano.

“Desenvolvemos um robô musical que pode tocar piano ao lado de um humano, criando bons duetos em tempo real”, disse Huijiang Wang. “Nosso robô ‘escuta’ a melodia que o ser humano toca e usa técnicas de aprendizado de máquina para prever os próximos acordes, garantindo que a música permaneça harmoniosa.”

Ele acrescentou: “Ao usar um sistema de controle especial, o robô combina seu tempo com o jogador humano, sincronizando o desempenho. Também temos um sistema que verifica quão bem o robô e o humano estão jogando juntos, garantindo uma colaboração de alta qualidade”.

O trabalho futuro deverá incluir o aumento da diversidade do acompanhamento musical baseado em robô, incorporando mais acordes e melhorando a destreza da mão antropomórfica para permitir que sua posição e orientação sejam ainda mais adaptadas – ideal para pressionar uma gama mais ampla de acordes.

O professor Iida disse: “Com os avanços na IA, nosso objetivo agora é expandir os limites da robótica para cenários emocionalmente conscientes, como performances artísticas e de entretenimento, onde os robôs devem ser capazes de capturar, interpretar e responder aos sinais emocionais de seus humanos. homólogos.

“Desenvolver um algoritmo de improvisação capaz de gerenciar recursos computacionais intensivos – preservando a precisão da previsão de acordes – também é essencial para empreendimentos futuros neste campo.”

“Nossa pesquisa sobre o Harmony Robot avança na integração da robótica suave em funções criativas e colaborativas”, disse Huijiang. “Ao alavancar o aprendizado de máquina de ponta e a robótica suave, pretendemos alcançar uma cooperação perfeita entre humanos e robôs no futuro, permitindo que os robôs respondam de forma adaptativa em cenários dinâmicos do mundo real”.

Fornecido pela Universidade de Cambridge