Um robô que pode pegar objetos e soltá-los no local desejado em uma casa desconhecida

Uma equipe de roboticistas da Universidade de Nova York, trabalhando com um colega de IA da Meta, desenvolveu um robô que é capaz de pegar objetos designados em uma sala desconhecida e colocá-los em um novo local designado. Em seu artigo publicado no arXiv servidor de pré-impressão, a equipe descreve como o robô foi programado e seu desempenho quando testado em vários ambientes reais.

Os pesquisadores observaram que os modelos de linguagem visual (VLMs) progrediram muito nos últimos anos e tornaram-se muito bons no reconhecimento de objetos com base em instruções de linguagem. Eles também apontaram que as habilidades dos robôs também melhoraram – eles podem agarrar coisas sem quebrá-las, carregá-las para os locais desejados e colocá-las no chão. Mas, até agora, pouco foi feito para combinar VLMs com robôs qualificados.

Para este novo estudo, os pesquisadores tentaram fazer exatamente isso, com um robô vendido pela Hello Robot. Possui rodas, mastro e braços retráteis com prendedores para as mãos. A equipe de pesquisa deu a ele um VLM previamente treinado e o apelidou de OK-Robot.

Eles então o levaram para 10 casas de voluntários, onde criaram vídeos em 3D usando um iPhone e os enviaram ao robô para dar uma ideia geral do layout de uma determinada casa. Eles então pediram que ele realizasse algumas tarefas simples de movimentação – “mover a garrafa rosa da prateleira para a lata de lixo”, por exemplo.

Ao todo, eles pediram ao robô que realizasse 170 tarefas desse tipo – ele foi capaz de realizá-las com sucesso em 58% das vezes. Os pesquisadores descobriram que poderiam melhorar sua taxa de sucesso para até 82% organizando o espaço de trabalho.

A equipe de pesquisa ressalta que seu sistema utiliza um algoritmo zero-shot, o que significa que o robô não foi treinado no ambiente em que estava trabalhando. Eles também sugerem que a taxa de sucesso alcançada prova que os sistemas robóticos baseados em VLM são viáveis.

Eles suspeitam que a taxa de sucesso poderia ser melhorada com ajustes e talvez com o uso de um robô mais sofisticado. Eles concluem sugerindo que seu trabalho poderia ser o primeiro passo em direção a robôs avançados baseados em VLM.

© 2024 Science X Network