IA erra em 58% das vezes quando empresas misturam segurança e regra de negócio

Existe uma fragilidade estrutural na forma como as empresas estão implementando inteligência artificial no atendimento ao cliente, e a mistura de instruções de negócio com regras técnicas de segurança pode fazer com que a IA erre em até 57,7% dos casos – especialmente quando o usuário foge do assunto principal da conversa. É o que revela uma análise recém-divulgada pela consultoria Tech for Humans.

Segundo a empresa, foram analisadas dezenas de milhares de execuções experimentais. O objetivo foi entender por que assistentes baseados em modelos de linguagem vêm apresentando dois comportamentos: deixam passar tentativas sofisticadas de manipulação ou bloqueiam clientes legítimos por excesso de rigor.

“O mercado está focado em escolher o modelo mais avançado, mas ignora a engenharia de decisão. Quando você mistura regra de negócio com regra de segurança, você cria um conflito interno no sistema. A IA passa a julgar relevância como se fosse ameaça”, explica em comunicado Fernando Wolff, CEO da Tech for Humans.

Leia mais: “Eu queria provar que era possível”: quem é Érika Rossetto, a única mulher na diretoria espacial global

De acordo com o estudo, o erro começa quando a camada de segurança, ou “guardrail” (termo herdado do automobilismo e que indica os limites da pista), passa a atuar também como filtro comercial. Em vez de se limitar a bloquear riscos técnicos, ela passa a decidir o que é ou não pertinente ao negócio.

“Guardrail não é filtro de assunto. Ele existe para proteger a integridade técnica do sistema. Quando você delega a ele a lógica de negócio, a chance de erro cresce exponencialmente”, diz Wolff. Segundo ele, essa sobrecarga torna o modelo mais defensivo e aumenta a incidência de falsos positivos. Em ambientes de atendimento em larga escala, esse tipo de fricção pode impactar a conversão, a retenção e a percepção de marca.

A pesquisa também indica que a inclusão excessiva de contexto operacional dentro da camada de segurança pode aumentar o rigor do sistema, mas reduzir sua precisão. “Quando você adiciona regras comerciais ao filtro técnico, o modelo tende a interpretar ambiguidades como ameaça. Isso eleva bloqueios desnecessários e cria atrito na jornada”, explica.

Como resolver?

Como alternativa, o estudo propõe uma separação clara de responsabilidades: a camada de segurança deve atuar somente na mitigação de riscos técnicos, e o agente principal assume a gestão de escopo, regras de negócio e utilidade da interação.

“Segurança precisa ser binária e técnica. Escopo é decisão semântica. Quando você separa essas duas dimensões, você reduz atrito e aumenta robustez ao mesmo tempo”, diz Wolff. “A grande descoberta do estudo é que proteger melhor não significa bloquear mais. Significa arquitetar melhor”.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!