5 riscos que a IA generativa pode representar para empresas e como gerenciá-los

Se por um lado o avanço da Inteligência Artificial Generativa promete destravar uma série de inovações sem precedentes, por outro especialistas alertam que seu uso desenfreado pode trazer consequências para as quais ainda não estamos preparados. Entre as manifestações recentes da indústria, líderes técnicos e empresariais sugerem uma pausa no treinamento desses sistemas para avaliar a tecnologia com mais segurança. Legisladores mundo afora também solicitam novas regras para gerenciar os avanços da tecnologia.

Na análise de Avivah Litan, vice-presidente e analista do Gartner, as organizações precisam formular uma estratégia para o gerenciamento de confiança, riscos e segurança em relação à tecnologia, pois seu desenvolvimento não está parando. Para a especialista, “os desenvolvedores de soluções de Inteligência Artificial devem trabalhar urgentemente com seus respectivos governos e autoridades reguladoras para estabelecer políticas e práticas para supervisão da Inteligência Artificial Generativa e seus eventuais riscos”.

Avivah destaca abaixo os cinco riscos mais significativos que a IA generativa representa para as empresas:

Erros factuais, ‘alucinações’ e fabricações

Na análise da especialista, esses são alguns dos problemas mais difundidos e que já surgem com as soluções generativas de chatbot de Inteligência Artificial. “Os dados nessa fase de treinamento podem levar a respostas tendenciosas ou incorretas. Os erros podem, também, de difícil detecção, principalmente porque as soluções são cada vez mais críveis e confiáveis”, alerta.

Deepfakes

A IA Generativa tem sido usada para criar conteúdos com intenção maliciosa. Imagens, vídeos e gravações de vozes falsas podem criar e espalhar informações enganosas e manchar a reputação de pessoas, marcas e desestabilizar governos.

Privacidade de dados

Avivah alerta que, ao interagir com soluções generativas de chatbot de IA, os funcionários podem facilmente expor dados corporativos confidenciais. “Esses aplicativos podem armazenar informações capturadas com os usuários e até usar dados para treinar outros modelos, comprometendo seriamente a confidencialidade. Essas informações também podem cair em mãos erradas no caso de uma violação de segurança”, reforça.

Questões de direitos autorais

O Gartner lembra que alguns dos documentos produzidos por chatbots de IA Generativa podem violar proteções de direitos autorais ou Propriedade Intelectual (IP), uma vez que eles são treinados em uma grande quantidade de dados da Internet que podem incluir material produzidos por terceiros e que tenham proteções.

Preocupações com segurança cibernética

Além de engenharia social mais avançada e ameaças de phishing, os invasores podem usar ferramentas inteligentes para facilitar a geração de códigos maliciosos. “Os fornecedores que oferecem modelos básicos de IA Generativos garantem que treinam seus modelos para rejeitar solicitações perigosas de segurança cibernética. No entanto, eles não fornecem aos usuários as ferramentas para auditar efetivamente todos os controles de segurança que estão em vigor. Além disso, os fornecedores também colocam muita ênfase nas abordagens de ‘equipe vermelha’. Essas declarações exigem que os usuários confiem totalmente nas habilidades dos fornecedores para executar seus objetivos de segurança”, destaca Avivah.

Como gerenciar os riscos da IA

Para gerenciar os riscos da Inteligência Artificial Generativa, Avivah recomenda que as empresas implementem revisões manuais de todos os modelos usados para conseguir detectar resultados incorretos, mal-informados ou tendenciosos.

Segundo a especialista, é importante estabelecer uma estrutura de governança capaz de gerar conformidade para o uso corporativo dessas soluções, incluindo políticas claras que proíbam os funcionários de fazer perguntas que exponham dados confidenciais, sejam eles pessoais ou organizacionais.

Os usos não-sancionados do ChatGPT devem também ser monitorados, assim como soluções semelhantes com controles de segurança e painéis existentes para detectar eventuais violações de políticas. Por exemplo, firewalls podem bloquear o acesso de usuários corporativos, informações de segurança e sistemas de gerenciamento de eventos podem monitorar logs em busca de violações e gateways da Web seguros podem monitorar APIs não-autorizados.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!