Os pesquisadores Nathan Lambert e Tom Zick lançaram a Trillium Labs, organização sem fins lucrativos dedicada a estudar temas sensíveis da inteligência artificial, como agentes e autoaperfeiçoamento recursivo, conhecido pela sigla RSI. A proposta é trabalhar de forma transparente, divulgando os detalhes dos experimentos para que cientistas de fora possam analisá-los e repeti-los.
A iniciativa segue na direção oposta à de grandes laboratórios, que restringem o acesso aos seus modelos mais avançados. Para Lambert, o sigilo reduz a capacidade da comunidade de examinar ideias e propor alternativas, e abrir o processo pode ajudar a diminuir riscos. O debate ganhou força porque modelos de ponta já conseguem encontrar falhas de software e atacar sistemas de forma automatizada.
Leia tambémPesquisa usa sinais cerebrais para a IA perceber quando errou a intenção do usuárioLambert trabalhou no Ai2 e no Hugging Face e criou o American Truly Open Models, iniciativa que estimula empresas americanas a liberar modelos abertos. Zick passou pela Universidade Harvard e ajudou a Charles Schwab a definir políticas de IA responsável. Os dois se conheceram como alunos de pós-graduação na UC Berkeley e decidiram criar o laboratório ao notar a distância entre a pesquisa da indústria e a acadêmica.
O trabalho começa pelo pós-treinamento, etapa de ajuste fino de modelos já construídos, e pelo RSI, em que a própria IA contribui para desenvolver novos modelos. O laboratório também vai investigar como o aprendizado por reforço afeta capacidades e comportamento, incluindo problemas como respostas excessivamente bajuladoras. Segundo Zick, entender esse processo exige muito poder computacional e experimentação cuidadosa.
A Trillium Labs recebeu um valor não divulgado de Schmidt Sciences, Halcyon Futures e outros apoiadores. A meta dos fundadores é levantar entre US$ 40 milhões e US$ 100 milhões no total e investir US$ 30 milhões em treinamento de modelos nos próximos 18 meses.
Por que isso importa para empresas
- Pesquisas abertas sobre pós-treinamento e aprendizado por reforço tendem a beneficiar empresas brasileiras que ajustam modelos abertos para uso próprio, por oferecerem métodos que podem ser reproduzidos.
- Vale acompanhar as publicações do laboratório sobre comportamento de agentes, já que falhas como bajulação e ações inesperadas afetam diretamente projetos de automação em produção.
Texto da Redação IA BRAZIL, escrito a partir da matéria publicada por Wired. Título original, imagem e matéria completa pertencem à fonte.
:quality(85)/91d1635b-15e4-4706-8c68-86032e250499.jpg)
