RoboTool permite o uso de ferramentas criativas em robôs

Se um ingrediente estiver fora de alcance em uma prateleira alta da despensa, você não levará mais do que alguns segundos para encontrar um banquinho, ou talvez apenas uma cadeira, para colocar o ingrediente ao seu alcance. Esta solução simples é o resultado de uma abordagem complexa de resolução de problemas que os pesquisadores chamam de uso criativo de ferramentas.

Embora o uso de ferramentas para o uso pretendido seja uma habilidade útil, o uso criativo de ferramentas depende não apenas da capacidade de identificar ferramentas e usá-las de forma eficiente, mas também da propensão para prever resultados, tornando-se uma marca registrada da inteligência avançada que, além dos humanos, poucos os animais dominaram.

Pesquisadores do Departamento de Engenharia Mecânica da Universidade Carnegie Mellon, em colaboração com o Google DeepMind, colocaram esta questão: Como os humanos entendem o uso criativo de ferramentas, podemos ensinar aos robôs como usá-las também?

“O desafio fundamental do uso de ferramentas criativas é que é, por definição, um problema ‘desconhecido’, o que significa que não há demonstração”, disse Ding Zhao.

“Caso contrário, trata-se de aprendizagem, mas não de criação. Portanto, devemos trazer conhecimento externo para ajudar os robôs a fazerem brainstorming. Grandes Modelos de Linguagem, que extraem todo o conhecimento da Internet, são os ingredientes perfeitos neste esquema”, disse Zhao. , professor associado de engenharia mecânica e diretor do CMU Safe AI Lab.

Para explorar isso, os pesquisadores desenvolveram o RoboTool, um sistema criativo de uso de ferramentas construído em grandes modelos de linguagem (LLMs) que aceitam instruções de linguagem natural sobre o ambiente de um robô, incluindo o tamanho e posicionamento de objetos em seu espaço de trabalho e outras restrições relacionadas à incorporação. RoboTool então gera código Python executável diretamente como um plano para concluir a tarefa.

“Ao contrário dos modelos existentes que fornecem aos robôs instruções concretas, como ‘use este garfo para comer aquele bolo’, nós apenas fornecemos ao nosso robô um objetivo de alto nível, como ‘comer o bolo'”, explicou Mengdi Xu, um Ph.D. candidato em engenharia mecânica.

O RoboTool foi posto à prova quando a equipe de pesquisa pediu a dois robôs diferentes que executassem três tarefas que exigiam seleção de ferramentas, uso sequencial de ferramentas e fabricação de ferramentas.

Seleção de ferramenta foi avaliado encarregando um braço robótico de pegar uma caixa de leite fora de seu alcance e pedindo a um robô de quatro patas que se movesse de um sofá para outro, cuidando do espaço entre eles. Ambos os robôs tiveram que escolher a ferramenta mais adequada entre múltiplas opções para ter sucesso. Eles demonstraram uma ampla compreensão do tamanho e da forma dos objetos, bem como a capacidade de analisar a relação entre essas propriedades e o objetivo final de passar no teste.

Uso sequencial de ferramentas requer que os robôs usem uma série de ferramentas em uma ordem específica para atingir o objetivo. Os robôs das equipes demonstraram isso movendo blocos juntos para subir em um sofá e usando uma vara para empurrar uma lata sobre um pedaço de papel para puxá-la ao seu alcance.

Fabricação de ferramentas pediu que os robôs realizassem tarefas criando ferramentas a partir de materiais disponíveis, como usar um kickboard e um tubo para criar uma alavanca para levantar um cubo. Este teste exige que o robô discerna conexões implícitas entre objetos e monte componentes por meio de manipulação.

“Essa capacidade é importante na robótica porque permite que os robôs realizem tarefas que originalmente pareciam impossíveis”, disse Peide Huang, Ph.D. candidato em engenharia mecânica.

Seguindo em frente, a equipe incorporará modelos de visão ao sistema para desbloquear uma percepção e capacidade de raciocínio ainda mais fortes. Eles também estão procurando desenvolver formas mais interativas para os humanos participarem e orientarem o uso de ferramentas criativas pelos robôs.