Ex-OpenAI defende que empresas de IA sigam padrões de segurança de usinas nucleares

David Robinson, que era responsável pelos relatórios de segurança publicados junto com grandes lançamentos de modelos da OpenAI, afirmou em artigo na revista The Atlantic que a cultura da indústria de inteligência artificial está quebrada. Já fora da empresa, ele avalia que o problema é tão profundo que a regulação do treinamento de modelos não bastaria.

Robinson propõe que os laboratórios mais avançados adotem salvaguardas comparáveis às de usinas nucleares ou de aeroportos movimentados, com várias camadas de redundância e planejamento cuidadoso, para que falhas humanas inevitáveis não resultem em desastres. Segundo ele, o Vale do Silício trabalha com confiança excessiva e ciclos de desenvolvimento sem pausa, subestimando riscos, e precisa de mais humildade.

Leia tambémPesquisa usa sinais cerebrais para a IA perceber quando errou a intenção do usuário

O artigo chega após uma sequência de pesquisadores e profissionais de segurança que deixaram ou criticaram empresas de destaque do setor. A saída de Jacob Coxon da Anthropic parece ter iniciado o movimento, e seu colega Evan Hubinger escreveu no X que considera acima de 10% a chance de a IA matar todos os humanos na próxima década.

Hubinger acrescentou que a Anthropic tenta fazer o melhor possível, mas que ainda não existe um plano para resolver o alinhamento de uma superinteligência. Depois disso, surgiram alertas de Robert O'Callahan, Bilal Chughtai e Josh Engels, do Google DeepMind, e de Joe Benton, da Anthropic.

Por que isso importa para empresas

• Críticas vindas de dentro dos laboratórios podem acelerar exigências regulatórias e de auditoria sobre fornecedores de modelos, com efeitos sobre contratos e termos de uso.
• Empresas que usam IA em processos críticos podem adotar a lógica defendida por Robinson: camadas de revisão, monitoramento contínuo e planos de contingência para falhas.

Fonte originalLer a matéria completa em Olhar Digital

• segurança em IA
• OpenAI
• Anthropic
• regulação de IA
• alinhamento de IA

Texto da Redação IA BRAZIL, escrito a partir da matéria publicada por Olhar Digital. Título original, imagem e matéria completa pertencem à fonte.