Estudo revela que usar IA para procurar informações pode reduzir o seu conhecimento.

Desde o lançamento do ChatGPT, no final de 2022, milhões de pessoas passaram a recorrer a modelos de linguagem de grande dimensão (LLM) para aceder a conhecimento. A atracção é evidente: faz-se uma pergunta, recebe-se uma síntese bem escrita e segue-se em frente - uma experiência que dá a sensação de aprendizagem sem esforço.

Ainda assim, um novo artigo académico que coassinei apresenta evidência experimental de que essa facilidade pode ter um preço: quando as pessoas delegam num LLM a tarefa de resumir informação sobre um tema, tendem a construir um conhecimento mais superficial do que quando aprendem através de uma pesquisa normal no Google.

Eu e o coautor Jin Ho Yun, ambos professores de marketing, descrevemos este resultado num trabalho baseado em sete estudos com mais de 10 000 participantes.

O que os estudos testaram (e como)

A maioria dos estudos seguiu o mesmo desenho-base. Pedia-se aos participantes que aprendessem sobre um tema - por exemplo, como criar uma horta - e, de forma aleatória, eram encaminhados para uma de duas condições:

• aprender com um LLM como o ChatGPT; ou
  
• aprender “à moda antiga”, navegando por ligações através de uma pesquisa padrão no Google.

Não houve quaisquer restrições quanto ao uso das ferramentas: os participantes podiam pesquisar no Google durante o tempo que quisessem e podiam continuar a pedir mais informação ao ChatGPT sempre que entendessem.

Depois de concluída a pesquisa, era-lhes pedido que escrevessem conselhos para um amigo sobre o tema, com base no que tinham aprendido.

O padrão observado: menos esforço, menos substância

Os dados mostraram um padrão consistente. Em comparação com quem aprendeu via pesquisa na Web, quem aprendeu com um LLM:

• sentiu que tinha aprendido menos;
• investiu menos esforço ao redigir os conselhos;
• acabou por escrever conselhos mais curtos, menos factuais e mais genéricos.

De seguida, esses textos foram apresentados a uma amostra independente de leitores, que não sabia qual a ferramenta usada para aprender o tema. Esses leitores consideraram os conselhos oriundos de utilizadores de LLM:

• menos informativos;
• menos úteis;
• e tinham menor probabilidade de os adoptar.

Resultados consistentes, mesmo controlando factos e plataforma

Verificámos que estas diferenças se mantinham em vários contextos. Uma explicação possível para conselhos mais breves e generalistas seria a de que as respostas de um LLM expõem o utilizador a informação menos variada do que os resultados do Google.

Para testar essa hipótese, realizámos uma experiência em que os participantes foram expostos a um conjunto idêntico de factos, tanto nos resultados do Google como nas respostas do ChatGPT.

Noutra experiência, mantivemos constante a plataforma - o Google - e variámos apenas a forma de aprendizagem: resultados tradicionais do Google versus a funcionalidade “Visão geral de IA” do Google (uma síntese gerada por IA no topo da página).

As conclusões confirmaram que, mesmo mantendo constantes os factos e a plataforma, aprender a partir de respostas sintetizadas por LLM conduz a conhecimento mais superficial do que recolher, interpretar e sintetizar informação por conta própria a partir de ligações Web tradicionais.

Porque isto importa para a aprendizagem

Porque é que o uso de LLM pareceu reduzir a aprendizagem? Um dos princípios mais básicos do desenvolvimento de competências é que as pessoas aprendem melhor quando estão activamente envolvidas com o material.

Ao aprender por pesquisa no Google, existe muito mais “fricção”:

• é preciso abrir e comparar páginas diferentes;
• ler fontes informativas;
• interpretar, selecionar e integrar ideias.

Apesar de mais exigente, essa fricção ajuda a construir uma representação mental mais profunda e mais original do tema. Com LLM, grande parte desse trabalho é feito pelo sistema, o que tende a transformar a aprendizagem de um processo activo num processo mais passivo.

Como usar LLM de forma mais estratégica (sem abdicar dos benefícios)

Importa sublinhar: não defendemos que a solução passe por evitar LLM. Os benefícios são reais em muitos cenários, e seria pouco realista ignorá-los.

A mensagem é outra: é necessário tornar-se um utilizador mais inteligente e mais estratégico de LLM - começando por distinguir os domínios em que estes sistemas ajudam dos domínios em que podem prejudicar os objectivos.

Se precisa de uma resposta rápida e factual, faz sentido usar o seu assistente de IA preferido. No entanto, se o objectivo é desenvolver conhecimento profundo e transferível para outras situações, depender apenas de sínteses de LLM tende a ser menos eficaz.

Um caminho prático para equilibrar eficiência e aprendizagem é usar o LLM como ponto de partida, mas exigir participação activa: pedir para apresentar perspectivas contrastantes, solicitar contra-exemplos, listar pressupostos, e depois confirmar em fontes primárias. Outra prática útil é transformar a síntese em tarefas: elaborar um esquema próprio, explicar o tema “como se ensinasse alguém”, e identificar lacunas que obriguem a voltar às fontes originais.

O que vem a seguir: tornar a aprendizagem com LLM mais activa

No âmbito da minha investigação sobre a psicologia de novas tecnologias e novos media, também me interessa saber se é possível tornar a aprendizagem com LLM num processo mais activo. Num outro estudo, testámos isso recorrendo a um modelo GPT especializado que apresentava ligações Web em tempo real em paralelo com as suas respostas sintetizadas.

Ainda assim, observámos que, depois de receberem um resumo do LLM, os participantes não se sentiam motivados para aprofundar as fontes originais. O resultado foi que continuaram a desenvolver conhecimento mais superficial do que os participantes que utilizaram o Google de forma convencional.

Com base nisto, planeio investigar ferramentas de IA generativa que introduzam fricções “saudáveis” em tarefas de aprendizagem - em particular, que tipos de barreiras leves (guardrails) ou pequenos “solavancos” (speed bumps) conseguem motivar os utilizadores a aprender activamente para lá de respostas fáceis e sintetizadas.

Ferramentas deste tipo parecem especialmente importantes no ensino básico e secundário, onde um dos grandes desafios para os docentes é ajudar os alunos a desenvolver competências fundamentais de leitura, escrita e matemática, preparando-os em simultâneo para um mundo em que os LLM provavelmente farão parte do quotidiano.

O “Resumo de Investigação” é um formato curto sobre trabalhos académicos de interesse.

Shiri Melumad, Professora Associada de Marketing, Universidade da Pensilvânia

Este artigo é republicado de The Conversation ao abrigo de uma licença Creative Commons. Leia o artigo original.