OpenAI anuncia o nova divisão de alinhamento para lidar com os riscos da IA superinteligente

A OpenAI está abrindo uma nova divisão de pesquisa em alinhamento, focada no desenvolvimento de técnicas de treinamento para impedir que a IA superinteligente – uma inteligência artificial capaz de superar os seres humanos em termos de habilidades cognitivas – cause danos sérios.

“Atualmente, não temos uma solução para direcionar ou controlar uma IA potencialmente superinteligente e impedir que ela se torne descontrolada”, escreveram Jan Leike e Ilya Sutskever em um post no blog da OpenAI, a empresa por trás do modelo de linguagem de IA generativa conhecido como ChatGPT. Eles acrescentaram que, embora a superinteligência possa parecer distante, alguns especialistas acreditam que ela possa se tornar realidade nesta década.

As técnicas atuais de alinhamento de IA incluem o aprendizado por reforço a partir do feedback humano, mas Leike e Sutskever afirmaram que, à medida que os sistemas de IA se tornam mais inteligentes do que os humanos, não podemos mais confiar apenas na supervisão humana para controlar a tecnologia.

“As técnicas de alinhamento atuais não serão escaláveis para a superinteligência. Precisamos de avanços científicos e técnicos novos”, eles escreveram.

Sutskever é cofundador e cientista-chefe da OpenAI, e Leike é pesquisador de Machine Learning. Eles serão colíderes da nova equipe de superalinhamento da OpenAI. Para cumprir sua missão, nos próximos quatro anos, a divisão terá acesso a 20% da capacidade de processamento da empresa para construir um “pesquisador de alinhamento automatizado em nível humano” que possa ser ampliado para supervisionar a superinteligência.

Veja mais: Inteligência Artificial generativa já supera expectativa de CTOs

Para alinhar o pesquisador automatizado com a ética humana, Leike e Sutskever disseram que será necessário seguir uma abordagem de três etapas: desenvolver um método de treinamento escalável, validar o modelo resultante e testar todo o pipeline de alinhamento em situações de estresse.

“Esperamos que nossas prioridades de pesquisa evoluam substancialmente à medida que aprendemos mais sobre o problema, e provavelmente adicionaremos áreas de pesquisa completamente novas”, eles escreveram, acrescentando que há planos de compartilhar mais do roteiro da divisão no futuro.

OpenAI reconhece necessidade de mitigar possíveis danos causados ​​pela IA

Esta não é a primeira vez que a OpenAI reconhece publicamente a necessidade de mitigar os riscos apresentados pela IA não regulamentada. Em maio, o CEO da empresa, Sam Altman, assinou uma carta aberta afirmando que controlar a tecnologia deve ser uma prioridade global máxima, pois a evolução da IA poderia levar a um evento de extinção.

“A mitigação do risco de extinção pela IA deve ser uma prioridade global ao lado de outros riscos de escala societal, como pandemias e guerra nuclear”, dizia a carta.

A OpenAI também possui uma seção dedicada em seu site, onde o público pode acessar materiais relacionados ao que a empresa chama de desenvolvimento de “IA segura e responsável”, juntamente com uma carta de princípios que estabelece os princípios aos quais ela adere para executar sua missão. No entanto, esses princípios estão principalmente relacionados ao conceito de inteligência artificial geral (AGI) – sistemas altamente autônomos que superam os humanos na maioria das atividades economicamente valiosas.

“Nós iremos tentar construir diretamente uma AGI segura e benéfica, mas também consideraremos nossa missão cumprida se nosso trabalho auxiliar outros a alcançarem esse resultado”, diz a carta, que foi publicada em 2018.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!