Robô ‘chef’ aprende a recriar receitas assistindo a vídeos de comida

Pesquisadores treinaram um ‘chef’ robótico para assistir e aprender com vídeos de culinária e recriar o próprio prato.

Os pesquisadores, da Universidade de Cambridge, programaram seu chef robótico com um livro de receitas com oito receitas simples de saladas. Após assistir a um vídeo de um humano demonstrando uma das receitas, o robô conseguiu identificar qual receita estava sendo preparada e prepará-la.

Além disso, os vídeos ajudaram o robô a aumentar gradualmente seu livro de receitas. Ao final do experimento, o robô criou sozinho uma nona receita. Seus resultados, relatados na revista Acesso IEEEdemonstram como o conteúdo de vídeo pode ser uma fonte valiosa e rica de dados para a produção automatizada de alimentos e pode permitir a implantação mais fácil e barata de robôs chefs.

Chefs robóticos aparecem na ficção científica há décadas, mas, na realidade, cozinhar é um problema desafiador para um robô. Várias empresas comerciais construíram protótipos de chefs-robôs, embora nenhum deles esteja atualmente disponível comercialmente, e eles ficam bem atrás de seus equivalentes humanos em termos de habilidade.

Os cozinheiros humanos podem aprender novas receitas por meio da observação, seja assistindo outra pessoa cozinhar ou assistindo a um vídeo no YouTube, mas programar um robô para fazer uma variedade de pratos é caro e demorado.

“Queríamos ver se poderíamos treinar um chef robô para aprender da mesma maneira incremental que os humanos – identificando os ingredientes e como eles se combinam no prato”, disse Grzegorz Sochacki, do Departamento de Engenharia de Cambridge, primeiro autor do artigo. .

Sochacki, um Ph.D. candidato no Laboratório de Robótica Bioinspirada do Professor Fumiya Iida, e seus colegas desenvolveram oito receitas simples de saladas e se filmaram fazendo-as. Eles então usaram uma rede neural disponível publicamente para treinar seu chef robô. A rede neural já havia sido programada para identificar uma série de objetos diferentes, incluindo as frutas e verduras utilizadas nas oito receitas de saladas (brócolis, cenoura, maçã, banana e laranja).

Usando técnicas de visão computacional, o robô analisou cada quadro do vídeo e conseguiu identificar os diferentes objetos e características, como uma faca e os ingredientes, bem como os braços, mãos e rosto do demonstrador humano. Tanto as receitas quanto os vídeos foram convertidos em vetores e o robô realizou operações matemáticas nos vetores para determinar a semelhança entre uma demonstração e um vetor.

Ao identificar corretamente os ingredientes e as ações do chef humano, o robô poderia determinar qual das receitas estava sendo preparada. O robô poderia inferir que, se o demonstrador humano estivesse segurando uma faca em uma mão e uma cenoura na outra, a cenoura seria cortada.

Dos 16 vídeos que assistiu, o robô reconheceu a receita correta em 93% das vezes, embora tenha detectado apenas 83% das ações do chef humano. O robô também foi capaz de detectar pequenas variações em uma receita, como fazer uma porção dupla ou um erro humano normal, eram variações e não uma nova receita. O robô também reconheceu corretamente a demonstração de uma nova nona salada, adicionou-a ao seu livro de receitas e a preparou.

“É incrível a quantidade de nuances que o robô foi capaz de detectar”, disse Sochacki. “Essas receitas não são complexas – são essencialmente frutas e vegetais picados, mas foi realmente eficaz em reconhecer, por exemplo, que duas maçãs picadas e duas cenouras picadas são a mesma receita que três maçãs picadas e três cenouras picadas.”

Os vídeos usados ​​para treinar o chef robô não são como os vídeos de comida feitos por alguns influenciadores de mídia social, que são cheios de cortes rápidos e efeitos visuais, e vão e voltam rapidamente entre a pessoa que prepara a comida e o prato que está preparando . Por exemplo, o robô lutaria para identificar uma cenoura se o demonstrador humano tivesse a mão em volta dela – para o robô identificar a cenoura, o demonstrador humano tinha que segurar a cenoura para que o robô pudesse ver o vegetal inteiro.

“Nosso robô não está interessado nos tipos de vídeos de comida que se tornam virais nas mídias sociais – eles são simplesmente muito difíceis de seguir”, disse Sochacki. “Mas, à medida que esses chefs-robô ficam melhores e mais rápidos na identificação de ingredientes em vídeos de comida, eles podem usar sites como o YouTube para aprender toda uma gama de receitas”.