Chat-GPT no Ecocardiograma

Tem se tornado uma rotina a utilização de ferramentas com inteligência artificial na Medicina, inclusive com vários insights já abordados aqui na nossa plataforma! Ferramentas diversas com a utilização de diversos tipos de programações, desde o tradicional chat-gpt até outras que tem estrutura mais complexa como redes neurais convolucionais.

O interessante é que o futuro é promissor, mas para quem já tem o hábito de utilizar essas ferramentas, alguns cuidados já se mostram necessários, principalmente com maior complexidade da ferramenta.

Recentemente a ferramenta chat-GPT em sua quarta versão foi posta à prova diante de um banco de questões de ecocardiografia para ver como seria sua performance.

Quando vemos essas situações nas redes sociais temos a clara impressão que a precisão do chat-GPT beira ao 100%, como se estivéssemos diante de algo mágico.

Aspectos interessantes foram observados e devem ser discutidos para entendermos o instante de maturidade que essas ferramentas podem estar, e mais, o quanto podemos confiar cegamente, sem uma revisão humana do que está sendo produzido.

Ao redor de meio porcento das perguntas não teve resposta alguma ou foi respondido algo completamente fora do propósito. Respostas corretas foram obtidas em aproximadamente 50% dos casos, incluindo questões de múltipla escolha, questões abertas, bem como a justificativa das respostas.

As questões mais diretas chegaram a mais de 80% de acertos, enquanto as que envolviam casos clínicos não passaram de 15%. Interessante que aquelas que demandavam conhecimento de fórmulas também não obtiveram bons resultados quando era necessário algum grau de raciocínio.

As explicações das respostas foram bem semelhantes ao que continha no banco de dados utilizado no teste, baseado em conteúdo obtido por curadoria de especialista, com mais de 90% de similaridade nas respostas com o banco de dados.

Aparentemente a ferramenta foi muito interessante ao aprimorar explicações para respostas, melhorando a compreensão sendo mais conciso e direto nas informações.

Então podemos entender que a ferramenta não presta? Nada disso, apenas devemos saber onde exatamente utilizá-la. Chat-GPT não vai retirar o esforço humano, mas pode ser interessante aprimorando algo já construído ou mesmo acelerar algo em construção, sempre sob supervisão e nunca substituindo um tipo de trabalho ainda predominantemente de inteligência humana.