Assistir a vídeos de cirurgia permite que o robô atue com a habilidade de um médico humano

Um robô, treinado pela primeira vez assistindo a vídeos de cirurgiões experientes, executou os mesmos procedimentos cirúrgicos com a mesma habilidade dos médicos humanos.

O uso bem-sucedido da aprendizagem por imitação para treinar robôs cirúrgicos elimina a necessidade de programar robôs para cada movimento individual necessário durante um procedimento médico e aproxima o campo da cirurgia robótica da verdadeira autonomia, onde os robôs poderiam realizar cirurgias complexas sem ajuda humana.

“É realmente mágico ter este modelo e tudo o que fazemos é alimentá-lo com a entrada da câmera e ele pode prever os movimentos robóticos necessários para a cirurgia”, disse o autor sênior Axel Krieger. “Acreditamos que isto representa um passo significativo em direção a uma nova fronteira na robótica médica”.

As descobertas lideradas por pesquisadores da Universidade Johns Hopkins foram destacadas na Conferência sobre Aprendizagem de Robôs em Munique.

A equipe, que incluía pesquisadores da Universidade de Stanford, usou o aprendizado de imitação para treinar o robô do Sistema Cirúrgico da Vinci para realizar procedimentos cirúrgicos fundamentais: manipular uma agulha; levantamento de tecido corporal e sutura.

O modelo combinou o aprendizado de imitação com a mesma arquitetura de aprendizado de máquina que sustenta o ChatGPT. No entanto, onde o ChatGPT trabalha com palavras e texto, este modelo fala “robô” com cinemática, uma linguagem que divide os ângulos do movimento robótico em matemática.

Os pesquisadores alimentaram seu modelo com centenas de vídeos gravados por câmeras de pulso colocadas nos braços dos robôs da Vinci durante procedimentos cirúrgicos. Esses vídeos, gravados por cirurgiões de todo o mundo, são utilizados para análise pós-operatória e depois arquivados. Quase 7.000 robôs da Vinci são usados ​​em todo o mundo, e mais de 50.000 cirurgiões são treinados no sistema, criando um grande arquivo de dados para os robôs “imitarem”.

Embora o sistema da Vinci seja amplamente utilizado, os pesquisadores dizem que é notoriamente impreciso. Mas a equipe encontrou uma maneira de fazer com que a informação errada funcionasse. A chave foi treinar o modelo para realizar movimentos relativos em vez de ações absolutas, que são imprecisas.

“Tudo o que precisamos é de entrada de imagem e então este sistema de IA encontra a ação certa”, disse o autor principal Ji Woong “Brian” Kim. “Descobrimos que mesmo com algumas centenas de demonstrações o modelo é capaz de aprender o procedimento e generalizar novos ambientes que não encontrou”.

A equipe treinou o robô para realizar três tarefas: manipular uma agulha, levantar tecido corporal e suturar. Em cada caso, o robô treinado no modelo da equipe realizou os mesmos procedimentos cirúrgicos com a mesma habilidade dos médicos humanos.

“Aqui o modelo é tão bom para aprender coisas que não lhe ensinamos”, disse Krieger. “Se deixar cair a agulha, ele irá pegá-la automaticamente e continuar. Isso não é algo que eu ensinei a fazer.”

O modelo poderia ser usado para treinar rapidamente um robô para realizar qualquer tipo de procedimento cirúrgico, disseram os pesquisadores. A equipe agora está usando o aprendizado de imitação para treinar um robô para realizar não apenas pequenas tarefas cirúrgicas, mas uma cirurgia completa.

Antes desse avanço, programar um robô para realizar até mesmo um aspecto simples de uma cirurgia exigia a codificação manual de cada etapa. Alguém pode passar uma década tentando modelar a sutura, disse Krieger. E isso é sutura para apenas um tipo de cirurgia.

“É muito limitante”, disse Krieger. “A novidade aqui é que só precisamos coletar o aprendizado de imitação de diferentes procedimentos, e podemos treinar um robô para aprendê-lo em alguns dias. Isso nos permite acelerar até a meta de autonomia, ao mesmo tempo em que reduzimos erros médicos e alcançamos cirurgias mais precisas .”

Autores da Johns Hopkins incluem Ph.D. o estudante Samuel Schmidgall; Engenheiro de Pesquisa Associado Anton Deguet; e Professor Associado de Engenharia Mecânica Marin Kobilarov. Os autores da Universidade de Stanford são Ph.D. o aluno Tony Z. Zhao e a professora assistente Chelsea Finn.