Ferramentas de inteligência artificial generativa, como ChatGPT, Gemini e outras, demonstram excesso de confiança ao responder perguntas — mesmo quando erram.
Um estudo publicado na Memory & Cognition comparou humanos e modelos de linguagem (LLMs) em tarefas como quizzes, previsões esportivas e jogos de identificação de imagens.
Ambos os grupos superestimaram seu desempenho, mas apenas os humanos ajustaram suas expectativas após o resultado.
Estudo mostra que LLMs mantêm excesso de confiança mesmo após desempenho ruim em tarefas simples (Imagem: Gorodenkoff / Shutterstock.com)
Descobertas do estudo
Segundo os pesquisadores, os LLMs continuaram confiantes mesmo quando seus acertos foram baixos, demonstrando falhas em metacognição — a capacidade de avaliar o próprio pensamento.
A IA Gemini, por exemplo, errou quase todas as imagens mostradas nos testes, mas seguiu estimando alto seu próprio desempenho.
Esse comportamento levanta preocupações, especialmente porque muitos usuários tendem a confiar nas respostas dos chatbots, que são formuladas com aparente segurança.
Estudos paralelos já identificaram taxas significativas de erro em respostas de IA sobre notícias e questões jurídicas.
Leia mais:
Google: estudantes podem ter Gemini Pro de graça; saiba como
IA ainda não está pronta para cuidar da nossa saúde mental, diz estudo
Do chatbot à integração: quando a IA responde e a automação resolve
Estudo revela que modelos como Gemini ou ChatGPT erram com frequência — e ainda acham que acertaram – Imagem: Yuichiro Chino/Shutterstock
Resultados da pesquisa podem ajudar
Apesar das limitações atuais, os pesquisadores veem valor em expor essas falhas: isso pode ajudar a desenvolver modelos mais conscientes de suas próprias limitações.
No futuro, a capacidade de reconhecer erros pode tornar os LLMs mais confiáveis. Por enquanto, a recomendação é: use IA com espírito crítico, busque checar informações em outras fontes, e desconfie quando um chatbot parecer “ter certeza demais”.
IA mantêm autoconfiança mesmo com baixo desempenho em testes – Imagem: Anggalih Prasetya/ShutterstockO post Chatbots confiantes demais: estudo revela que IA não sabe quando erra apareceu primeiro em Olhar Digital.
