Não conte com robô de conversa de IA para julgar doença ou questão jurídica sozinho; antes de consulta, processo ou gasto grande, ache o trecho original da base que ele citou

Com o caso clínico completo, a IA reconhece a doença em mais de 90% das vezes. Mas quando o leigo pergunta sintoma, acerta menos que quem só pesquisa na internet, e não julga melhor se deve ir à emergência. Em direito, IA genérica tem conteúdo inventado em pelo menos 58% das respostas e ainda segue premissa errada do seu enunciado.

Custo

Não custa dinheiro. Cada checagem leva de alguns minutos a meia hora. Peça à IA a lei, diretriz ou artigo; abra o original e ache a frase. O hábito a mudar: não agir só porque falou com certeza.

Benefício

Sobre doença. Em 2026 a Nature Medicine publicou ensaio randomizado pré-registrado com 1298 leigos no Reino Unido. Cada um recebeu dois casos elaborados e tinha de dizer a doença e se ia à emergência ou observava em casa. Parte usou robô (GPT-4o, Llama 3, Command R+); o controle usou o método habitual — busca ou site do NHS. Com o caso completo entregue à IA, ela reconheceu a doença relevante em 94,9% e acertou o caminho em 56,3%. Leigo com a mesma IA: reconhecimento abaixo de 34,5%, caminho abaixo de 44,2%. O controle reconheceu a doença relevante 1,76 vezes mais que quem usou IA (IC 95% 1,45–2,13); sinal de alarme de doença grave 1,57 vezes (1,28–1,92). Julgar o caminho ficou parecido. Nos diálogos, o problema foi incompleto no relato do usuário e a IA citou a doença certa sem o usuário adotar. Sobre direito. Equipe nos EUA em 2024 testou ChatGPT 4 e outros modelos públicos com jurisprudência federal: ChatGPT 4 com 58% de respostas com invenção; Llama 2 até 88%. Invenção = conteúdo que não bate com o fato jurídico («alucinação»). O modelo não distingue o que inventou. Com premissa jurídica errada no enunciado, costuma aceitar. Em 2025 a mesma equipe testou ferramentas «jurídicas» para advogado, que prometem não inventar: 17% a 33% ainda com invenção. Parece vantajoso porque a IA está sempre lá, sem cobrar, e fala com a certeza de médico ou advogado.

Notas

Controvérsia. Estudo de 2023 tirou 195 perguntas de fórum de pacientes nos EUA e pediu nota a profissionais sem ver a fonte: 78,6% das notas acharam o ChatGPT melhor que o médico — era qualidade da resposta escrita, não se o perguntador acertou o julgamento final. O ensaio de 2026 usou modelo de 2024; modelo novo pode ser mais forte. Mas o mesmo ensaio mostrou que a nota da IA sozinha não prevê o efeito quando o leigo usa. Por que inventa: pesquisadores da OpenAI em 2025, em artigo ainda sem revisão por pares, explicam que treino e pontuação premiam «chutar uma resposta»; «não sei» não pontua, então fala com certeza mesmo sem base. Checagem: peça nome e número do artigo, título da diretriz ou paper; abra no site oficial; se não achar a frase, trate como não dita. Na pergunta, não coloque a sua conclusão: pergunte «o que a lei diz neste caso», não «neste caso eu já ganhei, certo?». Boca torta, fraqueza de um lado, pressão no peito: não pergunte à IA primeiro — ligue 120. Seção 13, itens 3 e 7. Sem dinheiro para advogado: seção 7, item 3. Benefício pequeno: só indicadores intermediários como «reconheceu a doença», sem número de mortes evitadas. Beneficiários: você e a família.

Fontes · 5

1. Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. doi.org/10.1038/s41591-025-04074-y
2. Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. doi.org/10.1093/jla/laae003
3. Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. doi.org/10.1111/jels.12413
4. Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664（预印本，备注里那项）. arxiv.org/abs/2509.04664
5. 反方：Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. doi.org/10.1001/jamainternmed.2023.1838