Falhas de governança podem levar 40% das empresas a limitar agentes de IA

O avanço dos agentes de inteligência artificial dentro das empresas tem ampliado a discussão sobre segurança e responsabilidade operacional. Segundo uma nova previsão do Gartner, até 2027, 40% das organizações deverão rebaixar ou até desativar agentes de IA autônomos após identificarem falhas de governança somente quando esses sistemas já estiverem em produção.

De acordo com a consultoria, um dos principais desafios está na adoção de modelos de controle que tratam todos os agentes de IA da mesma forma, sem considerar diferenças de autonomia e acesso aos sistemas corporativos. Essa abordagem pode comprometer tanto a eficiência quanto a segurança das iniciativas.

“As organizações estão tratando a governança de agentes de IA como binária, ou totalmente restrita ou totalmente confiável, e essa é a causa principal do fracasso”, diz Shiva Varma, Diretor Analista Sênior do Gartner. “Os agentes operam em diferentes níveis de autonomia e em diferentes limites de confiança. Quando os mesmos controles são aplicados indiscriminadamente, as organizações enfrentam dois modos comuns de falha: restrição excessiva de agentes simples, o que retarda a entrega e estimula o desenvolvimento paralelo, ou restrição insuficiente de agentes mais autônomos, o que aumenta os riscos operacionais, de segurança e de conformidade.”

Para reduzir esses riscos, o Gartner recomenda a adoção de uma estrutura de governança proporcional, baseada em diferentes níveis de autonomia dos agentes. Segundo a consultoria, cada categoria deve possuir limites de confiança específicos e mecanismos de supervisão compatíveis com o grau de atuação do sistema.

Quatro níveis de autonomia exigem controles distintos

O modelo proposto pelo Gartner divide os agentes de IA em quatro níveis de autonomia.

No primeiro estágio estão os agentes de observação, que possuem acesso apenas para leitura de informações e fornecem resultados exclusivamente ao usuário solicitante. Casos como recuperação de dados, resumo de documentos e explicação de código se enquadram nessa categoria.

“Nesse nível, a governança deve se concentrar em controles básicos, como acesso a dados com escopo definido, autenticação de usuário, registro de uso e testes básicos de funcionalidade e segurança”, afirma Varma. “Como o risco se limita principalmente à exposição de dados e à precisão dos resultados, os controles devem permanecer leves e direcionados.”

Leia mais: Se o Brasil não organizar seus dados culturais, outro fará isso por nós, alerta Jorge Brivilati

O segundo nível contempla agentes de aconselhamento, utilizados para gerar recomendações, relatórios, códigos ou rascunhos que serão posteriormente avaliados e executados por humanos. Embora não realizem ações diretamente nos sistemas, esses agentes podem influenciar decisões corporativas.

“A governança para agentes de aconselhamento deve incluir todos os controles do Nível 1 e se estender para abordar a qualidade dos resultados e a influência nas decisões por meio de testes de precisão e alucinação, avaliações de qualidade específicas do domínio e treinamento de usuários sobre níveis adequados de confiança”, diz Varma.

No terceiro nível estão os agentes capazes de executar ações, como registrar informações, enviar comunicações ou alterar configurações, desde que haja aprovação humana explícita para cada atividade.

“Nesse nível, a revisão humana só é eficaz se continuar sendo um controle significativo”, diz Varma. “Sem testes de segurança robustos, fluxos de trabalho de aprovação claros com trilhas de auditoria e procedimentos de resposta a incidentes específicos para cada agente, as aprovações podem se deteriorar sob pressão de tempo ou fadiga de aprovação, criando uma falsa sensação de segurança enquanto ampliam a superfície de ataque.”

Já o quarto nível reúne os agentes totalmente autônomos, capazes de agir dentro de parâmetros pré-definidos sem validação individual de cada decisão. Nesses casos, os profissionais passam a monitorar exceções, auditorias e resultados agregados.

“Quando os agentes operam de forma autônoma, as ações são executadas em uma escala e velocidade que podem ultrapassar a supervisão humana”, diz Varma. “Como a responsabilidade pelos resultados permanece com a organização, esse nível exige a governança mais rigorosa, incluindo monitoramento contínuo, controles aplicados, mecanismos de reversão rápida, dispositivos que interrompem a operação do agente em caso de violações de limites e definição clara de responsabilidade pelo comportamento do agente.”