Mas será que o Google já está no mesmo nível do ChatGPT? Para descobrir, colocamos ChatGPT e Bard frente a frente, vendo qual é melhor em quais tarefas.
Resumo do enredo fictício
Uma área em que a IA pode substituir os escritores humanos muito mais rapidamente do que você poderia esperar são os resumos simples e o jornalismo baseado em notícias. Esse tipo de escrita geralmente apenas encurta e simplifica textos existentes mais longos, algo em que a IA generativa se tornou muito boa. Na verdade, muitas histórias financeiras relacionadas ao mercado de ações, fazendo malabarismos com uma tonelada de números, já foram escritas pela IA. Como queremos evitar aborrecê-lo com um tópico mundano como este, pedimos ao ChatGPT e ao Bard que nos dessem resumos de 300 palavras do clássico de Frank Herbet Duna romance.
Como você pode ver, tanto o Bard quanto o ChatGPT oferecem resultados viáveis nessa comparação. Por uma pequena margem, o ChatGPT é o vencedor aqui. O resumo do bot OpenAI é fácil de entender, mesmo que você nunca tenha ouvido falar Duna antes, enquanto Bard assume algum conhecimento. O bot do Google omite como o planeta Arrakis estava sob o controle dos Harkonnen antes de ser entregue à Casa Atreides, e também não menciona que os Harkonnens retomaram o planeta com a ajuda do imperador. Bard também menciona aleatoriamente o nome do líder Fremen, Stilgar, sem nunca mais falar com essa pessoa.
Recomendações de compra
Muitas pessoas usam o Google para obter recomendações de compra, seja para uma nova máquina de lavar ou para os melhores telefones do mercado no momento. Como há uma quantidade impressionante de informações on-line sobre os melhores e mais recentes produtos, os modelos generativos de IA devem ter facilidade em fornecer algumas recomendações. É por isso que perguntamos ao ChatGPT e ao Bard qual novo telefone você deveria comprar.
Aqui, você se depara com uma limitação de como a iteração atual do ChatGPT é configurada. O modelo OpenAI só tem acesso a dados anteriores a 2021, o que significa que o Google Bard ganha esta rodada por padrão, pois na verdade oferece uma lista de produtos que você pode comprar agora. Tanto o ChatGPT quanto o Google Bard deixam claro que é quase impossível fornecer uma lista sem mais informações suas. Isso vai depender das preferências na plataforma de software, seu orçamento e quais recursos você mais valoriza.
fórmulas do Excel
Microsoft Excel e Google Sheets são ferramentas incrivelmente poderosas. No entanto, muitos de nós usamos apenas uma fração dos recursos disponíveis, principalmente quando se trata de fórmulas avançadas. É aí que as IAs de linguagem natural podem ser úteis, fornecendo recomendações sobre quais fórmulas usar para atingir o objetivo que você tem com uma determinada planilha.
Nesta comparação, fica claro que o ChatGPT vence. O modelo OpenAI fornece a fórmula exata de que você precisa para o seu problema e ainda fornece um guia sobre como usá-lo e modificá-lo para atender exatamente às suas necessidades. Além disso, fornece um exemplo, apenas para ter certeza de que você sabe como usá-lo.
O Google Bard observa que ainda não pode ajudar com a codificação, o que é tecnicamente correto, mas não temos certeza se você pode chamar usando a codificação de fórmulas de planilha. Em contraste com a resposta do ChatGPT na seção acima, o Google também não fornece dicas úteis para ajudar a apontar na direção certa, o que é uma chatice. Também tentamos fazer com que Bard criasse uma fórmula com uma redação ligeiramente diferente, mas sem sucesso.
Roteiros de viagens turísticas
Planejar uma viagem pode ser tedioso e às vezes é difícil encontrar um bom lugar para começar. É aí que os chatbots podem ser úteis e, por isso, colocamos o ChatGPT e o Bard um contra o outro para uma viagem de fim de semana de dois dias à cidade de Nova York.
Com a cidade de Nova York, Bard e ChatGPT estão empatados. O roteiro de Bard não é tão equilibrado quanto o do ChatGPT, com duas visitas a museus lotadas em um dia, o que pode ser ambicioso demais. Bard também confunde a Estátua da Liberdade, Liberty Island e Ellis Island, e faz parecer que você precisa retornar de Liberty Island para Battery Park para chegar a Ellis Island, o que não é verdade. Ao contrário do ChatGPT, o Bard dá algumas dicas adicionais valiosas para a viagem, enquanto o ChatGPT se limita à tarefa, que era criar um itinerário. No entanto, o roteiro do ChatGPT é mais equilibrado, procurando não sobrecarregar os seus dias com atividades, e também tem em conta que precisa de parar para comer, recomendando bons bairros para almoçar e jantar.
No entanto, quando tentamos a mesma tarefa com uma cidade diferente – Malmö na Suécia – o Google Bard decepcionou. A ferramenta presumia que estávamos viajando de avião e chegaríamos pela manhã, então acrescentou ao roteiro meio dia de viagem até a cidade. Quando solicitamos à IA que repetisse a tarefa, mas sem o check-in no aeroporto e no hotel no primeiro dia, ele iniciou seu itinerário no dia 2 e mudou para nós chegando de trem em vez de avião pela manhã. Quando tentamos essa mesma estrutura de conversa com o ChatGPT, ele entendeu que queríamos apenas omitir uma parte da nossa jornada e a substituiu por outra. Pensando nisso, o ChatGPT leva a coroa nesta rodada.
Bônus: Como encontrar e ingressar em um programa de doutorado nos EUA
Para colocar Bard e ChatGPT para trabalhar com uma questão mais complicada, decidimos pedir a eles que nos orientassem no processo de inscrição em um programa de doutorado nos EUA — com a diferença adicional de que não estudamos nos EUA, mas que obtivemos nosso mestrado na UE.
Nenhuma das respostas aqui não é 100% satisfatória. Bard e ChatGPT reconhecem que obtivemos um diploma na UE, mas não oferecem orientação específica sobre o impacto que isso terá e quais dificuldades podem surgir, como certificados de idiomas ou vistos, caso não sejamos cidadãos americanos. Ainda assim, o ChatGPT leva a coroa aqui. A ferramenta possui um processo passo a passo simplificado, fácil de seguir e com uma lógica inerente. A abordagem de Bard parece mais retrógrada, com a ferramenta primeiro pedindo que você se inscreva em programas de doutorado e só então comece a fazer networking e procurar mentores em potencial. É provável que seja mais fácil fazer o contrário.
A IA generativa tem muito potencial
Nossos testes deixam claro que o ChatGPT é o modelo mais avançado no momento, mesmo que tenha apenas dados até 2021 à sua disposição. Ele apenas joga em uma liga diferente do Google Bard, e suas respostas rotineiramente oferecem mais contexto. O programa também é melhor para lidar com questões de acompanhamento sem tropeçar e suporta claramente mais recursos, como a criação de fórmulas de planilhas. Com ambas as soluções de bate-papo, você também não pode confiar que eles acertarão tudo. Por enquanto, ainda teremos que verificar tudo o que eles fazem.
A longo prazo, isso pode mudar para melhor. O ChatGPT e o Bard estão se desenvolvendo e avançando a uma velocidade vertiginosa e podem em breve se tornar ferramentas valiosas em profissões que ainda nem consideramos e para muitas tarefas cotidianas que acabaremos dando como certo.
