OpenAI perde mais dois líderes – o que isso significa para a segurança da IA?

Na mesma semana, a OpenAI chamou a atenção global para lançando seu mais recente modelo de IA, os proeminentes executivos

João Portela

João Portela

Olá me chamo João portela e vou te guiar no universo das criptomoedas



Na mesma semana, a OpenAI chamou a atenção global para lançando seu mais recente modelo de IA, os proeminentes executivos Ilya Sutskever e Jan Leike anunciaram que estavam deixando a empresa. Juntamente com a saída de Andrej Karpathy em fevereiro, parece que as pessoas mais comprometidas com o desenvolvimento de IA seguro e centrado no ser humano deixaram a empresa.

Será que o principal nome da IA ​​perdeu o pedal do freio na intensa corrida para dominar a indústria extremamente disruptiva?

O golpe fracassado

Era o início de 2023 quando Sutskever, cofundador e ex-cientista-chefe, foi creditado como o mentor de uma medida controversa para demitir o CEO Sam Altman devido a supostas preocupações de que ele era arrogante em relação aos protocolos de segurança de IA. Dele remoção dramática levou a manchetes de tirar o fôlego e rumores generalizadosmas Altman estava restaurado ao seu posto uma semana depois.

Sutskever logo emitiu um pedido de desculpas e renunciou ao conselho da OpenAI – e não fez nenhuma declaração ou aparição pública desde então.

Na verdade, quando a OpenAI apresentou sua tão esperada atualização de produto na segunda-feira, Sutskever estava notavelmente ausente.

Sutskever anunciado sua partida oficial apenas dois dias depois. Sua declaração de demissão foi cordial, assim como o reconhecimento público de Altman.

“Depois de quase uma década, tomei a decisão de deixar a OpenAI”, escreveu Sutskever. ”A trajetória da empresa tem sido nada menos que milagrosa e estou confiante de que a OpenAI construirá uma AGI que seja segura e benéfica sob a liderança de (Sam Altman, Greg Brockman e Mira Murati).

“Foi uma honra e um privilégio trabalharmos juntos e sentirei muita falta de todos”, continuou ele, acrescentando que estava se concentrando em um projeto pessoalmente significativo.

“Isso é muito triste para mim; Ilya é facilmente uma das maiores mentes da nossa geração, um guia em nossa área e um amigo querido”, disse Sam Altman, “OpenAI não seria o que é sem ele”. Ele também respondeu ao anúncio de Sutskever com uma bela mensagem curta

Pouco depois, OpenAI anunciado que Jakub Panochi ocuparia o lugar de Sutskever. Panochi atuou anteriormente como Diretor de Pesquisa e teve um trabalho mais técnico, concentrando-se principalmente no dimensionamento da IA.

Mas pode haver algo mais na troca da guarda. Quando Sutskever anunciou sua renúncia, ele seguiu apenas algumas contas no Twitter, incluindo OpenAI e uma conta meme de dachshund. Alguém chamado Adam Sulik, um autodenominado “centrista da IA”, respondeu ao anúncio, sugerindo que Sutskever ignorasse quaisquer acordos de não divulgação aos quais ainda possa estar sujeito e partilhasse informações privilegiadas em nome da humanidade.

Sutskever seguiu Sulik após seu comentário… então deixei de segui-lo algumas horas depois.

No final das contas, Sutskever não estava sozinho ao se dirigir para a saída. Poucas horas depois, Jan Leike – que co-fundou a equipe de “superalinhamento” da OpenAI com Sutskever para garantir o desenvolvimento ético e de longo prazo da IA ​​– renunciou com um tweet gelado simplesmente afirmando: “eu me demiti.”

Sem gentilezas, sem elogios à OpenAI e sem reações dos executivos da OpenAI.

Leike trabalhou na Deepmind do Google antes de ingressar na OpenAI. Nesta última empresa, a equipe de superalinhamento concentrou-se em garantir que os sistemas de ponta nos quais se espera que a IA atenda ou exceda a inteligência humana permaneçam alinhados com os valores e intenções humanos.

No entanto, não se sabe muito sobre este grupo de sentinelas de segurança de IA. Além dos dois líderes, a OpenAI não forneceu nenhuma informação adicional sobre a unidade além de o fato que existem outros “pesquisadores e engenheiros da (sua) equipe de alinhamento anterior, bem como pesquisadores de outras equipes da empresa”.

Sulik também comentou a renúncia de Leike, compartilhando sua preocupação com o momento dos acontecimentos.

“Ver Jan partir logo após Ilya não é um bom presságio para o caminho seguro da humanidade”, ele tuitou.

OpenAI não respondeu imediatamente a um pedido de comentário de Descriptografar.

Essas saídas ocorrem meses depois que o cofundador da OpenAI, Andrej Karpathy, deixou a empresa, dizendo em fevereiro que queria seguir projetos pessoais. Karpathy trabalhou como cientista pesquisador na OpenAI e esteve envolvido em diferentes projetos, desde aplicações de visão computacional até assistentes de IA e desenvolvimentos importantes durante o treinamento do ChatGPT. Ele tirou uma folga de cinco anos da empresa entre 2017 e 2022 para liderar o desenvolvimento de IA na Tesla.

Com essas três saídas, a OpenAI fica sem algumas das mentes mais importantes que buscam uma abordagem ética em relação à AGI.

Desacelera, novos negócios entram

Há sinais de que a destituição fracassada de Altman eliminou a resistência a oportunidades mais lucrativas, mas eticamente nebulosas.

Pouco depois de restabelecer Altman, por exemplo, OpenAI restrições afrouxadas na utilização da sua tecnologia para aplicações potencialmente prejudiciais, como o desenvolvimento de armas – directrizes que anteriormente proibiam totalmente tais actividades.

Além de fechar acordo com o Pentágono, a OpenAI também abriu uma loja de plugins que permite a qualquer pessoa projetar e compartilhar assistentes de IA personalizados, diluindo efetivamente a supervisão direta. Mais recentemente, a empresa começou a “explorar” o criação de conteúdo adulto.

A força cada vez menor dos defensores e das diretrizes éticas vai além da IA ​​aberta. Microsoft demitiu toda a sua equipe de ética e sociedade em janeiro, e o Google deixou de lado seu Força-tarefa responsável de IA naquele mesmo mês. Meta, entretanto, dissolvendo sua equipe ética de IA. Enquanto isso, todos os três gigantes da tecnologia estão em uma corrida louca para dominar o mercado de IA.

Há motivos claros para preocupação. Os produtos de IA já são amplamente difundidos, um fenómeno social com milhares de milhões de interações por dia. Parece haver um potencial crescente para a IA desalinhada impactar negativamente o desenvolvimento das gerações futuras nos negócios, na política, na comunidade e até mesmo nos assuntos familiares.

A ascensão de movimentos filosóficos como o “aceleração eficaz” – que valoriza o desenvolvimento rápido em detrimento das preocupações éticas – exacerba estas preocupações.

Por enquanto, o principal bastião remanescente da cautela parece ser uma mistura de desenvolvimento de código aberto e participação voluntária em coalizões de segurança de IA – como o Fórum de modelo de fronteira ou MLCommons—e regulamentação total pelo governo, desde o Lei AI no Reino Unido para o Código do G7 da conduta da IA.

Geralmente inteligente Boletim de Notícias

Uma jornada semanal de IA narrada por Gen, um modelo generativo de IA.





Fonte da Matéria Original em Inglês

Veja mais no coinscope