IA pode paralisar infraestrutura crítica até 2028 por erro de configuração, alerta Gartner
A dependência crescente de inteligência artificial em sistemas que controlam serviços essenciais está criando um novo tipo de risco: falhas catastróficas causadas não por ataques maliciosos, mas por simples erros humanos de configuração. A consultoria Gartner projeta que, até 2028, uma configuração incorreta de IA em sistemas ciberfísicos (CPS) será responsável por derrubar a infraestrutura crítica de ao menos um país do G20, grupo que reúne as maiores economias do planeta e a União Europeia.
Segundo Wam Voster, vice-presidente e analista da Gartner, o cenário mais preocupante da próxima grande falha de infraestrutura não envolve necessariamente invasores, cybercriminosos ou desastres naturais. O risco mais plausível, afirma, pode vir de um profissional bem-intencionado, de um script de atualização que contém um bug não detectado ou até de um detalhe aparentemente banal, como um caractere inserido no lugar errado em um parâmetro de configuração.
Voster destaca que, em ambientes cada vez mais automatizados, uma IA configurada de forma inadequada pode agir com total autonomia, tomando decisões em tempo real sem passar por um filtro humano. Isso pode levar ao desligamento de serviços vitais, à interpretação equivocada de dados de sensores ou ao disparo de ações inseguras em cadeia, com potencial para provocar danos físicos, perdas econômicas e interrupções em larga escala.
Um exemplo citado pelo analista é o das redes elétricas modernas, que utilizam modelos de IA para equilibrar continuamente a oferta e a demanda de energia. Esses algoritmos avaliam fluxos, cargas, picos de consumo e condições de geração para evitar sobrecargas e garantir a estabilidade da rede. Se um modelo preditivo é mal configurado, pode entender variações normais de demanda como sinais de instabilidade grave. O resultado seria a ativação indevida de mecanismos de proteção: isolamento de trechos da rede, desligamento de subestações ou cortes de carga em regiões inteiras, sem qualquer necessidade técnica real.
Esse tipo de comportamento é agravado pela complexidade dos modelos atuais de IA, que muitas vezes funcionam como verdadeiras “caixas-pretas”. Voster ressalta que, mesmo entre as equipes que os desenvolvem, nem sempre é possível antecipar como pequenas mudanças em hiperparâmetros, regras de decisão ou integrações com outros sistemas vão repercutir no comportamento emergente do modelo. Em outras palavras, um ajuste aparentemente simples pode provocar efeitos inesperados e desproporcionais em ambientes de missão crítica.
À medida que esses algoritmos se tornam mais opacos e sofisticados, o risco associado a uma configuração incorreta aumenta de forma significativa. Por isso, a capacidade de intervenção humana, com mecanismos claros de supervisão, pausa e reversão, deixa de ser um diferencial para se tornar uma exigência técnica e regulatória. A crença ingênua de que “a IA sabe o que faz” abre espaço para incidentes que podem paralisar setores inteiros, do transporte à saúde.
Para reduzir a probabilidade de um cenário desse tipo, a Gartner recomenda que diretores de segurança da informação (CISOs) e responsáveis por tecnologia adotem uma abordagem de segurança em camadas. Um dos pontos centrais é a implementação de modos de operação segura (failsafe), com função de override disponível apenas para operadores devidamente autorizados. Esses operadores precisam ter poder real de interromper, degradar de forma controlada ou reverter a atuação da IA quando forem detectados comportamentos anômalos.
Outra recomendação é a criação e o uso sistemático de gêmeos digitais em escala real. Esses ambientes simulados reproduzem, com alto grau de fidelidade, os sistemas ciberfísicos de produção – como plantas industriais, redes de distribuição de energia ou sistemas de transporte – e permitem testar novas configurações, atualizações de modelo e cenários de falha antes da implantação no ambiente operacional. Com isso, configurações perigosas podem ser identificadas e corrigidas ainda na fase de simulação, sem impacto no mundo real.
A Gartner também enfatiza a necessidade de monitoramento contínuo em tempo real de todos os componentes de IA que interajam com CPS. Esse monitoramento deve incluir não apenas métricas técnicas de desempenho, mas também indicadores de segurança, integridade de dados e consistência de comportamento. Em conjunto, é essencial contar com mecanismos de rollback bem definidos, capazes de restaurar rapidamente uma versão anterior estável do modelo ou de sua configuração caso uma atualização produza resultados indesejados.
Por trás dessas recomendações está um ponto frequentemente subestimado: o risco operacional de IA não se limita a ataques externos. Falhas de governança, ausência de processos claros de validação e falta de documentação podem transformar uma simples mudança de parâmetro em um incidente nacional. Empresas e órgãos públicos que operam infraestrutura crítica precisam tratar a configuração de IA com a mesma seriedade dedicada a normas de engenharia, compliance regulatório e segurança física.
Outro aspecto crucial é a qualificação das equipes. Profissionais de segurança, engenheiros de operações e times de dados precisam falar a mesma língua. Sem essa integração, decisões de modelagem tomadas por cientistas de dados podem entrar em choque com políticas de segurança ou limitações físicas dos sistemas ciberfísicos. Treinamentos conjuntos, simulações de incidentes e exercícios de resposta ajudam a construir um entendimento compartilhado do que pode ou não ser permitido a um algoritmo em ambiente de missão crítica.
Governança de IA também passa por definir claramente o que é aceitável automatizar e o que deve permanecer sob decisão humana. Em setores como saúde, energia e transporte, estabelecer limites para a autonomia do sistema é tão importante quanto aprimorar sua precisão. Políticas de “human-in-the-loop” ou “human-on-the-loop”, nas quais um profissional supervisiona e valida decisões relevantes, diminuem o risco de que erros de configuração se transformem em quedas de serviço de larga escala.
É igualmente importante considerar o ciclo de vida completo dos modelos: desde o treinamento e validação até a fase de operação e desativação. Mudanças no contexto – como novos padrões de consumo de energia, alterações climáticas, migração de usuários ou mudanças regulatórias – podem tornar obsoletas as suposições com as quais o modelo foi configurado originalmente. Sem revisões periódicas e critérios claros para reconfiguração, o que começou como uma IA bem ajustada pode se transformar, com o tempo, em uma ameaça latente.
Organizações que desejam se antecipar ao cenário traçado pela Gartner também devem investir em transparência interna. Registro detalhado de quem alterou o quê, quando e por quê é fundamental para rastrear a origem de uma falha e reduzir o tempo de resposta. Logs completos, trilhas de auditoria e processos formais de aprovação de mudanças aplicados especificamente a modelos de IA são instrumentos essenciais para evitar que uma única alteração mal documentada provoque um apagão de proporções nacionais.
Por fim, o alerta da Gartner funciona como um chamado à maturidade digital: não basta adotar IA para ganhar eficiência, cortar custos ou modernizar operações. Em ambientes onde um erro pode interromper o fornecimento de energia, comprometer sistemas de transporte ou afetar serviços de emergência, a pergunta central deixa de ser apenas “o que a IA é capaz de fazer?”, e passa a ser “como garantir que ela não fará algo que não deveria?”. A resposta passa por engenharia robusta, governança rigorosa, cultura de segurança e, sobretudo, pela consciência de que, sem esse conjunto, uma simples configuração pode se tornar o estopim da próxima grande crise de infraestrutura global.