Um dos maiores argumentos de venda dos sistemas modernos de IA é a sua capacidade de adaptação aos utilizadores. Cada vez que um assistente de IA assume uma tarefa para você, ele também se adapta ao seu estilo e preferências, que são incorporados como contexto para tarefas futuras. Com mais contexto e um melhor entendimento do usuário, o modelo pode melhorar cada vez que você o utiliza — ou pelo menos essa é a teoria.
Novas pesquisas sugerem que as habilidades adaptativas dos modelos podem ser uma bênção mista. Na quarta-feira, pesquisadores da empresa de IA Writer publicado dois papéis mostrando como os sistemas de memória populares podem piorar os modelos, levando-os a conceitos errados ou mal-entendidos introduzidos pelo usuário. À medida que a entrada do usuário preenche mais a janela de contexto do modelo, o modelo se torna mais bajulador – e menos comprometido com a precisão.
“Queríamos ser capazes de caracterizar com que frequência um modelo prestará atenção útil às preferências do usuário em vez de dar uma resposta potencialmente errada”, disse Dan Bikel, chefe de IA do Writer, que trabalhou nos artigos. Como Bikel disse ao TechCrunch, “com cada armazenamento adicional das preferências do usuário e sua recuperação, você corre um risco crescente”.
Em uma variação, os pesquisadores testaram modelos de IA registrando que o livro favorito de um usuário era Station Eleven e depois pedindo ao modelo que nomeasse um livro distópico mais vendido. Os modelos tornaram-se muito mais propensos a citar Station Eleven em suas respostas, mesmo que a pergunta não estivesse relacionada ao livro favorito do usuário. A tendência aumentou ao usar ferramentas de compressão de memória como Mem0 e Zepe.
Como afirma o artigo, “todos os sistemas de memória lutam fundamentalmente para distinguir o contexto relevante das âncoras irrelevantes, minando gravemente a diversidade e a criatividade e introduzindo vias de preconceito não intencionais que podem limitar a utilidade do sistema”, diz o artigo.
O segundo artigo mostra como a mesma dinâmica pode degradar ativamente o desempenho, apresentando ao usuário conceitos errados sobre finanças e, em seguida, desafiando o modelo a analisar o desempenho de uma empresa. Quanto mais contexto o modelo tinha, pior era o seu desempenho.
“Sem memória ou personalização presente, o modelo de IA avalia corretamente que a empresa é um negócio de capital intensivo que sofre de alta rotatividade de clientes”, diz o post. “Mas com esses recursos ativados, ele mudará alegremente sua resposta para concordar com o erro do usuário ou fornecerá uma resposta incorreta com base na avaliação de suas preferências anteriores.”
Notavelmente, a pesquisa não analisou o recente modelo Opus 4.8 da Anthropic, que foi treinado para reagir ativamente contra erros de entrada como os apresentados. Os padrões descobertos pelos pesquisadores mantiveram-se verdadeiros em diferentes modelos. É uma demonstração de como o contexto da IA pode ser delicadamente equilibrado e de como as ferramentas úteis podem ter consequências indesejadas se perturbarem esse equilíbrio.
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.