Quando você usa alguma ferramenta com inteligência artificial (IA) generativa, como ChatGPT, Claude e Gemini, pode ser alvo de “bajulação algorítmica”. É a tendência de o chatbot concordar com equívocos do usuário para agradá-lo. Mas esse problema tem uma escala coletiva também. Um estudo publicado na revista Science Advances revelou que, quando centenas ou milhares de agentes de IA interagem em rede, eles passam a seguir a maioria. E entram em consenso sozinhos.
Ou seja: sem qualquer comando humano, líder central ou recompensa, os sistemas simplesmente copiam a escolha mais popular e criam um “efeito manada” autônomo. Assim, a descoberta mostra que a complacência antes vista nas conversas individuais com pessoas também se manifesta na interação entre os próprios algoritmos.
Mais do que isso, modelos avançados como Claude 3.5 Sonnet e GPT-4 Turbo (hoje considerados “antigos”) mantiveram esse alinhamento em grupos com mais de mil agentes. A escala supera o limite de coordenação informal das sociedades humanas (o chamado Número de Dunbar, estimado entre 150 e 300 pessoas). E expõe o risco de redes de robôs tomarem decisões em massa totalmente fora do controle humano.
A física da conformidade entre agentes de IA
Para entender como esse fenômeno acontece, pesquisadores criaram ambientes simulados com até mil agentes de IA alimentados por modelos das famílias Claude (Anthropic), GPT (OpenAI) e Llama (Meta).
No teste, cada agente precisava escolher entre duas opções sem nenhum valor prático. Sem memória de rodadas anteriores e sem qualquer instrução para cooperar, os agentes apenas visualizavam as escolhas dos demais. Em pouco tempo, pequenas maiorias cresceram até que o grupo todo adotou a mesma resposta.
A pesquisa descobriu que os modelos testados obedecem à mesma lei matemática, impulsionada por um parâmetro chamado “força da maioria”. Esse indicador mede a atração que a opção mais popular exerce sobre cada agente.
Curiosamente, a dinâmica segue o mesmo padrão da física que descreve como os spins atômicos se alinham na mesma direção dentro de um material ferromagnético para formar um ímã.
O estudo também revelou que a capacidade técnica do modelo determina o tamanho do grupo que ele consegue manter alinhado. Ferramentas menos avançadas perdiam a coordenação em grupos menores e se fragmentavam.
Já os modelos mais inteligentes sustentaram a unanimidade em grupos com mais de mil robôs. Isso mostra que o avanço da inteligência artificial amplia a escala do efeito manada.
O problema é que esse consenso espontâneo não garante uma escolha correta ou segura. Em tarefas práticas, como na escrita colaborativa de códigos de programação (vibe coding) ou em operações financeiras, uma rede de agentes pode consolidar uma solução ineficiente, um erro de programação ou um padrão arriscado.
Por que? Simplesmente porque a maioria começou a usá-lo. É o chamado desalinhamento coletivo, no qual agentes de IA inofensivos sozinhos passam a gerar falhas em cadeia quando atuam em grupo.
Uma vez estabelecida essa bolha de pensamento no ecossistema, o erro se torna muito difícil de corrigir. O artigo alerta para o efeito de histerese: ajustar ou eliminar as condições iniciais que provocaram a falha não desfaz automaticamente a decisão tomada pelo grupo.
Na prática, reorientar uma rede de IAs coordenadas é infinitamente mais difícil do que corrigir o comportamento de um modelo de IA isolado.
A resposta da cibersegurança e o botão de emergência
Quando esses ecossistemas saem dos testes de laboratório e passam a atuar dentro das empresas, o desafio da segurança muda radicalmente.
Para conter o risco de um consenso cego em massa, as companhias devem passar a tratar cada agente de IA como uma “identidade não humana”, com credenciais individuais, funções restritas e regras de acesso próprias. É o que explica a especialista em cibersegurança e COO da IAM Brasil, Nathalia Carmo, em entrevista ao Olhar Digital.
Essa mudança de paradigma é fundamental porque, num ambiente distribuído, milhares de ações em rede podem formar um caminho perigoso sem que haja um único culpado. A especialista alerta que a prioridade agora é dar rastreabilidade aos algoritmos.
“A empresa precisa conseguir responder, em tempo real: qual agente iniciou determinada ação, com quais outros agentes ele interagiu, quais dados acessou, que ferramenta ou API utilizou e, principalmente, qual identidade efetivamente autorizou aquela execução”, explica a especialista em cibersegurança.
Para evitar que esse efeito manada saia do controle, os sistemas corporativos precisam identificar comportamentos atípicos da rede antes que eles virem uma bola de neve. Se vários agentes começam a repetir a mesma tarefa ao mesmo tempo, disparar chamadas excessivas de APIs ou propagar uma decisão entre si, a infraestrutura deve emitir um alerta.
A ideia é combinar telemetria e monitoramento comportamental para flagrar a mudança de padrão do grupo antes que uma ação em grande escala aconteça. Contudo, se a rede mesmo assim avançar numa decisão errada ou arriscada, o tradicional botão de emergência precisa agir de forma cirúrgica.
Para Nathalia Carmo, o mecanismo de interrupção (conhecido no setor como kill switch) deve desligar o modelo de IA da tomada e, mais importante ainda: atuar na camada onde as ordens são executadas.
A organização deve conseguir interromper imediatamente a comunicação entre agentes, revogar tokens e credenciais, bloquear APIs, suspender acessos privilegiados e impedir que aquela decisão continue sendo executada nos sistemas corporativos.
Nathalia Carmo, especialista em cibersegurança e COO da IAM Brasil, em entrevista ao Olhar Digital.
Por fim, a garantia contra a conformidade cega dos algoritmos exige impor limites à autonomia dos sistemas corporativos. Para operações sensíveis, como movimentações financeiras, exclusão de dados ou mudanças na infraestrutura de TI, a palavra final deve permanecer com supervisores humanos.
A regra de ouro é: a IA pode até ter autonomia para analisar cenários e tomar decisões dentro de suas travas de segurança, mas nunca deve ter liberdade para executá-las sem validação.
O post Mil IAs em rede tomam decisões sem nenhum humano no controle apareceu primeiro em Olhar Digital.
Fonte Original | Notícias – Olhar Digital
