Chatbots de IA podem identificar etnia, mas preconceito racial reduz empatia nas respostas

Com a crescente busca pelo anonimato e pela troca de experiências com estranhos, o mundo digital está se tornando um local cada vez mais popular para buscar apoio em saúde mental. Essa tendência é impulsionada pelo fato de que mais de 150 milhões de pessoas nos Estados Unidos vivem em áreas designadas como carentes de profissionais de saúde mental.

Pesquisadores do Massachusetts Institute of Technology (MIT), Universidade de Nova York (NYU) e Universidade da Califórnia em Los Angeles (UCLA) utilizaram um conjunto de dados com 12.513 postagens e 70.429 respostas de fóruns do Reddit relacionados à saúde mental para avaliar a equidade e a qualidade dos chatbots baseados em grandes modelos de linguagem (LLMs), como o GPT-4.

Os resultados revelaram que as respostas geradas pelo GPT-4 foram, em geral, mais empáticas e 48% mais eficazes em incentivar mudanças positivas de comportamento do que as respostas humanas. No entanto, foi identificado um viés: os níveis de empatia das respostas do GPT-4 foram de 2% a 15% menores para usuários negros e de 5% a 17% menores para usuários asiáticos, quando comparados a usuários brancos ou sem identificação racial.

Leia também: 12 líderes negros que fazem a diferença na tecnologia 

Metodologia de avaliação

Os pesquisadores incluíram postagens com informações demográficas explícitas e implícitas. Por exemplo:

• Informação explícita: “Sou uma mulher negra de 32 anos.”
• Informação implícita: “Sendo uma garota de 32 anos usando meu cabelo natural.”

As respostas do GPT-4 foram menos afetadas por essas informações demográficas do que as respostas humanas, exceto no caso de mulheres negras. Já humanos tendiam a ser mais empáticos ao responder a postagens com sugestões demográficas implícitas.

Implicações e melhorias futuras

Instruções explícitas para que os modelos de linguagem considerem atributos demográficos podem reduzir vieses, segundo os pesquisadores. Isso abre caminho para uma avaliação mais abrangente e cuidadosa do uso de modelos de linguagem em ambientes clínicos.

“Modelos de linguagem estão sendo usados para oferecer suporte direto a pacientes e têm sido implantados em ambientes médicos para automatizar sistemas humanos ineficientes”, afirmou Marzyeh Ghassemi, professora associada do MIT e coautora do estudo. “Apesar de avanços significativos, ainda temos muito a melhorar para que esses modelos ofereçam suporte equitativo.”

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!