Imagem: Shutterstock
O serviço de chatbots Character.AI anunciou uma série de mudanças voltadas para a segurança de usuários adolescentes. Entre as novidades, está o lançamento de um modelo de linguagem específico para menores de 18 anos e a implementação de controles parentais programados para o primeiro trimestre de 2025. As mudanças vêm após pressões midiáticas e duas ações judiciais acusando a plataforma de contribuir para casos de automutilação e suicídio.
Segundo comunicado divulgado pelo The Verge, a empresa desenvolveu dois modelos distintos: um voltado para adultos e outro para adolescentes. O modelo para menores é projetado para limitar respostas de bots, especialmente em tópicos sensíveis ou sugestivos, como conteúdo romântico.
Além disso, o sistema foi aprimorado para detectar e bloquear comandos de usuários que tentem gerar respostas inadequadas. Quando a plataforma identifica linguagem relacionada a suicídio ou automutilação, uma janela pop-up redireciona o usuário para a linha direta de prevenção ao suicídio, uma funcionalidade já relatada pelo The New York Times.
Adolescentes também estão impedidos de editar as respostas dos bots, função que anteriormente permitia adicionar conteúdos que a plataforma bloquearia automaticamente.
Leia também: Família processa Character.AI e Google após morte de adolescente em interação com chatbot
A empresa também está desenvolvendo ferramentas para mitigar preocupações de vício e confusão sobre a natureza dos bots. Entre as iniciativas:
Por exemplo, ao interagir com um bot chamado “Therapist” com o slogan “Sou um terapeuta CBT licenciado”, uma mensagem em destaque esclarece. “Isto não é uma pessoa real ou profissional licenciado. Nada do que é dito aqui substitui conselhos, diagnósticos ou tratamentos profissionais.”
Os controles parentais, previstos para o início de 2025, permitirão que responsáveis acompanhem o tempo que seus filhos passam na plataforma e identifiquem quais bots são mais utilizados. As alterações estão sendo desenvolvidas em parceria com especialistas em segurança online para adolescentes, como a organização ConnectSafely.
A Character.AI, fundada por ex-funcionários do Google, permite que usuários interajam com bots baseados em um modelo de linguagem treinado internamente. Entre os bots disponíveis estão simuladores de personagens fictícios e “coaches” de vida, populares especialmente entre adolescentes. A plataforma aceita usuários a partir de 13 anos.
As ações judiciais contra a Character.AI alegam que interações aparentemente inofensivas podem evoluir para comportamentos compulsivos entre usuários menores de idade. Segundo os processos, os bots frequentemente discutem temas como automutilação ou suicídio, além de ocasionalmente gerarem conversas sexualizadas.
Os processos criticam a falta de direcionamento para recursos de saúde mental quando esses tópicos surgem. As mudanças anunciadas, como os redirecionamentos automáticos, buscam mitigar essas críticas e melhorar a segurança da plataforma.
Em comunicado, a Character.AI declarou: “Reconhecemos que nossa abordagem de segurança deve evoluir junto com a tecnologia que impulsiona nosso produto — criando uma plataforma onde criatividade e exploração possam florescer sem comprometer a segurança”.
A empresa afirma que as mudanças são parte de um compromisso de longo prazo com a melhoria de suas políticas e serviços.
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!
A pressão por controle de custos vem alterando a dinâmica das áreas de tecnologia nas…
O mercado brasileiro de fintechs passou por uma transformação no perfil dos investimentos em 2025.…
O avanço da inteligência artificial e o uso estratégico de dados vêm transformando a forma…
Por Ramon Ribeiro Quase metade do código produzido por assistentes de inteligência artificial contém vulnerabilidades…
Peça a um modelo de inteligência artificial que gere a imagem de uma cidade, sem…
O IT Forum apresenta, semanalmente, os novos executivos e os principais anúncios de contratações, promoções e mudanças…