À medida que os LLMs se tornaram mais poderosos, as alucinações revelaram-se teimosamente difíceis de evitar. Erros surgem até mesmo nos modelos mais inteligentes e, embora existam maneiras de detectá-los, a indústria ainda está descobrindo a melhor maneira de fazê-lo.
Provavelmenteque acaba de levantar US$ 9 milhões em financiamento inicial da Andreessen Horowitz, está tentando construir uma maneira mais rigorosa de detectar esses erros.
Como afirma o fundador Peter Elias (foto acima), o objetivo da empresa é evitar que alucinações e erros factuais simples cheguem ao usuário e alcançar o tipo de precisão de 99,99% que é comum em sistemas determinísticos, mas muito mais difícil de alcançar com IA. Acontece que levar os LLMs a esse nível de precisão exige repensar muitos dos pressupostos básicos da engenharia de IA.
Provavelmente o primeiro produto é uma ferramenta de ciência de dados, desenvolvida para produzir respostas rápidas a partir de conjuntos de dados complexos. Cada resultado vem com uma citação e uma trilha de auditoria de como foi desenvolvido, uma prática cada vez mais comum entre as ferramentas de IA.
Mas evitar que erros se insinuassem nesses resumos exigia um elaborado sistema de aproveitamento que Elias descreve como um “traje mecânico de ciência de dados”. As respostas de primeira passagem do LLM são verificadas em um sistema validador determinístico, que devolve quaisquer resultados que não correspondam ao conjunto de dados. Fundamentalmente, o LLM foi treinado no validador e todo o sistema é otimizado para respostas rápidas e precisas, disse a empresa.
“O que aprendemos ao construir isso foi que quanto melhor for a engenharia do chicote, mais fraco o modelo pode ser”, diz Elias. “Se você conseguir refinar o contexto o suficiente, o modelo não precisará trabalhar muito para fazer a coisa certa. Basicamente, é um exercício para reduzir a ambiguidade.”
Isso permite que a ferramenta de ciência de dados da Provavelmente seja executada em modelos de IA significativamente menores. Elias diz que a versão atual está sendo executada em um modelo “quatro classes mais fraco que os modelos de fronteira”, o que significa que pode ser executada em hardware local (ou seja, um computador desktop em vez de um data center), o que reduz enormemente os custos de token associados ao uso de IA.
É uma ideia bem-vinda num momento em que os custos dos tokens estão a aumentar e muitos clientes estão a reavaliar os seus orçamentos de IA. E a ideia de Elias não termina com a ciência de dados, já que o mesmo mecanismo pode ser estendido para cobrir casos de uso como contabilidade ou serviços médicos – como diz Elias, “qualquer caso de uso sensível à precisão”.
“Acho realmente interessante que os grandes laboratórios de IA nem sequer tenham tentado fazer isso”, diz Elias. “Eles são incentivados a não fazer isso, porque ganham dinheiro quanto mais vezes você precisa corrigir o modelo.”
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.