Ensinar robôs a arrumar com base nas preferências do usuário usando modelos de linguagem grandes

Diferentes pessoas tendem a ter necessidades e preferências únicas – especialmente quando se trata de limpeza ou arrumação. Os robôs domésticos, especialmente os robôs projetados para ajudar os humanos nas tarefas domésticas, devem, idealmente, ser capazes de concluir tarefas de maneira que leve em consideração essas preferências individuais.

Pesquisadores da Universidade de Princeton e da Universidade de Stanford recentemente decidiram personalizar a assistência oferecida por robôs domésticos usando modelos de linguagem grande (LLMs), uma classe de modelos de inteligência artificial que estão se tornando cada vez mais populares após o lançamento do ChatGPT. Sua abordagem, apresentada em um artigo pré-publicado em arXivfoi inicialmente testado em um robô móvel chamado TidyBot projetado para arrumar ambientes internos.

“Para um robô personalizar a assistência física de forma eficaz, ele deve aprender as preferências do usuário que podem ser reaplicadas em cenários futuros”, escreveram Jimmy Wu, Rika Antonova e seus colegas em seu artigo. “Neste trabalho, investigamos a personalização da limpeza doméstica com robôs que podem arrumar os cômodos pegando objetos e guardando-os”.

A abordagem proposta pelos pesquisadores aproveita os recursos de resumo amplamente documentados de LLMs como o ChatGPT. Esses modelos podem resumir informações ou fornecer diretrizes generalizadas após serem treinados em conjuntos de dados ou exemplos de cenários relativamente pequenos.

Como parte de seu estudo, Wu, Antonova e seus colegas usaram um LLM para criar “resumos” das preferências de um usuário quando se trata de arrumar, com base em algumas entradas fornecidas pelos usuários. Por exemplo, um usuário pode inserir uma entrada de texto como “Roupas vermelhas vão para a gaveta enquanto as brancas vão para o armário”, e o modelo formulará preferências generalizadas que podem orientar as ações de um robô.

“Um dos principais desafios é determinar o local adequado para colocar cada objeto, pois as preferências das pessoas podem variar muito, dependendo do gosto pessoal ou da cultura”, explicaram Wu, Antonova e seus colegas em seu artigo.

“Por exemplo, uma pessoa pode preferir guardar camisas na gaveta, enquanto outra pode preferir na prateleira. Nosso objetivo é construir sistemas que possam aprender essas preferências a partir de apenas alguns exemplos por meio de interações anteriores com uma pessoa em particular. Mostramos que os robôs podem combinar planejamento e percepção baseados em linguagem com os recursos de resumo de poucas fotos de modelos de linguagem grandes (LLMs) para inferir preferências generalizadas do usuário que são amplamente aplicáveis ​​a interações futuras “.

Para avaliar sua abordagem, os pesquisadores realizaram uma série de testes, avaliando as preferências generalizadas produzidas quando alimentados com dados de conjuntos de dados baseados em texto e como isso afetou a capacidade de um robô real de organizar de maneira personalizada. Eles o aplicaram especificamente ao TidyBot, um robô que desenvolveram que limpa o chão, enquanto também pega objetos aleatórios ao seu redor e os coloca em locais específicos.

“Essa abordagem permite uma adaptação rápida e atinge 91,2% de precisão em objetos não vistos em nosso conjunto de dados de referência”, escreveram Wu, Antonova e seus colegas. “Também demonstramos nossa abordagem em um manipulador móvel do mundo real chamado TidyBot, que remove com sucesso 85,0% dos objetos em cenários de teste do mundo real”.

O trabalho recente dessa equipe de pesquisadores destaca o potencial dos LLMs não apenas como ferramentas para auxiliar os usuários em tarefas escritas ou responder a perguntas, mas também para aprimorar as habilidades dos sistemas robóticos. No futuro, pode inspirar outras equipes a começar a testar o potencial desses modelos para aplicações de robótica.

A abordagem baseada em LLM proposta pelos pesquisadores e o robô TidyBot que eles desenvolveram podem em breve também contribuir para a criação de robôs domésticos cada vez mais avançados que podem realizar tarefas e arrumar ambientes de maneira alinhada com as preferências de seus usuários. Estudos futuros também podem desenvolver ainda mais esse método e melhorar seu desempenho, por exemplo, permitindo que ele funcione melhor em ambientes altamente desordenados.

“Nossa implementação do sistema do mundo real contém simplificações, como o uso de primitivas de manipulação escritas à mão, uso de agarramentos de cima para baixo e suposição de locais de receptáculo conhecidos”, escreveram os pesquisadores.

“Essas limitações podem ser resolvidas incorporando primitivas mais avançadas em nosso sistema e expandindo as capacidades do sistema de percepção. Além disso, como os robôs móveis não podem passar por cima de objetos, o sistema não funcionaria bem em desordem excessiva. Seria interessante incorporar planejamento de alto nível mais avançado, de modo que, em vez de sempre pegar o objeto mais próximo, o robô possa raciocinar se precisa primeiro abrir um caminho para se mover através da desordem.”

© 2023 Science X Network