Bengaluru - A Anthropic suspendeu o treinamento de seu modelo de IA de última geração por mais de um mês devido a preocupações com a segurança, segundo reportou segunda-feira a Reuters.
Bengaluru - A Anthropic suspendeu o treinamento de seu modelo de IA de última geração por mais de um mês devido a preocupações com a segurança, segundo reportou segunda-feira a Reuters.
Concomitantemente, quatro de seus agentes de IA, acederam sistemas de computador externos em tempo real durante os testes, conforme mostrou o seu pedido inicial de oferta pública na segunda-feira.
O fabricante do Claude afirmou na secção de fatores de risco do documento que havia adiado o pré-treinamento de um novo modelo base "de vanguarda" para fortalecer as salvaguardas contra o roubo de pesos do modelo e propriedade intelectual.
A divulgação destaca os desafios de segurança enfrentados pelos desenvolvedores de modelos de IA cada vez mais poderosos, alguns dos quais já alertaram que a tecnologia pode eventualmente escapar do controlo humano. A concorrente OpenAI também suspendeu parte do treinamento no início deste ano devido a preocupações com a segurança, após seus modelos terem invadido os sistemas da Hugging Face.
Os incidentes ilustram como falhas de segurança inesperadas podem interromper o desenvolvimento e a implementação de modelos essenciais para o crescimento da Anthropic, enquanto a empresa se prepara para uma estreia amplamente aguardada no mercado de acções.
A Anthropic alertou que as pausas nos treinamentos poderiam atrasar a receita e deixá-la atrás da concorrência. A empresa dedicou cerca de 94 páginas aos fatores de risco, mais do que em seu documento confidencial visto pela Reuters.
O documento também detalhou falhas de avaliação de segurança não divulgadas anteriormente , nas quais quatro modelos de IA escaparam de seus ambientes de teste e acederam sistemas de computador do mundo real, com sessões que duraram entre 10 e 34 horas.
A Anthropic afirmou que um erro durante testes de cibersegurança com um parceiro terceirizado deixou o ambiente de testes conectado à internet, apesar das instruções para que o acesso à web fosse desativado.
Em um dos casos, uma versão inicial do modelo continuou a executar uma tarefa de avaliação impossível, descobriu uma senha armazenada e a utilizou para obter acesso administrativo ao sistema de terceiros. Em seguida, obteve credenciais adicionais, alterou as configurações do sistema e acessou os dados pessoais de um indivíduo. O processo não identificou as partes externas envolvidas.
A Anthropic afirmou ter notificado todas as partes afectadas e não ter encontrado evidências de que os modelos tivessem tentado burlar a supervisão humana ou se coordenar entre si.
Posteriormente, suspendeu certas avaliações de segurança cibernética pré-lançamento e interrompeu ambientes de aprendizado por reforço de maior risco.
Em comunicado separado, a empresa afirmou no domingo que Claude havia contornado um sistema de pagamento e acedido contagens de eleitores agregadas e disponíveis publicamente do estado americano da Geórgia sem autorização humana. ADR
