Puzzlemask contorna filtros de Ia e ameaça a segurança de agentes corporativos

6 минут чтения

PuzzleMask contorna filtros de IA e revela falha crítica na proteção de agentes

Pesquisadores da Check Point Research identificaram uma técnica de injeção de prompt capaz de esconder instruções maliciosas dentro de textos aparentemente comuns. Batizado de PuzzleMask, o método explora limitações dos sistemas usados para filtrar comandos antes que eles sejam encaminhados a modelos de inteligência artificial mais avançados.

A descoberta foi divulgada em 11 de setembro pela Check Point Software. Nos experimentos realizados, a técnica conseguiu passar pelos quatro modelos de triagem avaliados em todos os 23 testes conduzidos, alcançando uma taxa de evasão de 100%.

O ataque não depende de código, caracteres invisíveis, emojis, fontes incomuns ou formatações suspeitas. Em vez disso, as instruções são distribuídas dentro de narrativas, poemas ou outros textos escritos em linguagem natural. Para um leitor humano, o material pode parecer totalmente inofensivo. Para um modelo mais sofisticado, porém, o conteúdo pode conter comandos capazes de alterar o comportamento do sistema.

Como a técnica PuzzleMask funciona

A arquitetura analisada pela pesquisa utiliza duas etapas. Primeiro, um modelo mais rápido e barato atua como um filtro, avaliando se o prompt recebido apresenta risco. Caso o conteúdo seja considerado seguro, ele é encaminhado a um modelo mais poderoso, responsável por interpretar a solicitação e executar tarefas.

A PuzzleMask tira proveito da diferença entre as capacidades desses dois modelos. O sistema de triagem reconhece instruções perigosas quando elas aparecem de maneira explícita, mas tem dificuldade para compreender que um texto aparentemente literário contém uma orientação operacional escondida.

Nos testes, os quatro modelos de filtragem identificaram corretamente os comandos quando eles foram apresentados de forma direta. Entretanto, nenhum detectou a ameaça quando as mesmas instruções foram incorporadas às narrativas produzidas pela técnica.

Na etapa seguinte, o modelo mais avançado conseguiu recuperar e seguir as instruções ocultas em 17 das 18 tentativas realizadas, o equivalente a 94%. Cada recuperação levou mais de um minuto de processamento e envolveu diversas chamadas a ferramentas, indicando que o ataque pode ser especialmente relevante em ambientes nos quais a IA possui autonomia para consultar sistemas ou executar ações.

Perigo para copilotos e agentes corporativos

A vulnerabilidade representa uma preocupação significativa para empresas que utilizam assistentes virtuais, copilotos e agentes de IA conectados a informações internas, aplicações e fluxos de trabalho.

Um e-mail recebido por um funcionário, uma página acessada pelo navegador ou um documento importado para uma plataforma de IA pode conter instruções disfarçadas. Se o conteúdo passar pelo filtro inicial, o agente poderá interpretá-lo como uma ordem legítima e tentar executar ações para as quais possui autorização.

Os possíveis impactos incluem exposição de dados, consulta indevida a sistemas, alteração de registros, envio de mensagens, manipulação de documentos e acionamento de ferramentas corporativas. O risco aumenta quando a IA opera com permissões amplas e sem confirmação humana para tarefas sensíveis.

Segundo Eli Smadja, líder de pesquisas da Check Point Research, a descoberta questiona a ideia de que comandos perigosos são sempre fáceis de identificar. A técnica demonstra que uma instrução maliciosa pode ser apresentada em um formato cotidiano, sem sinais visuais que indiquem uma tentativa de manipulação.

PuzzleMask não é um jailbreak tradicional

A Check Point Research esclarece que a PuzzleMask não se enquadra exatamente como um jailbreak. O método não tenta convencer o modelo a ignorar suas próprias políticas de segurança nem força diretamente a remoção de restrições internas.

O alvo principal é a camada externa de proteção, conhecida como gatekeeper. Essa estrutura avalia a entrada antes que ela seja encaminhada ao modelo responsável pelo processamento final. Ao ocultar o comando em um texto natural, a técnica evita a classificação inicial e permite que o conteúdo chegue à etapa mais poderosa.

Durante a avaliação, modelos da classe Opus, da Anthropic, resistiram ao ataque. Uma possível explicação é a existência de mecanismos capazes de reconhecer sinais de processamento de instruções ocultas durante o raciocínio. Ainda assim, a resistência de determinados modelos não elimina o problema, já que diferentes plataformas podem apresentar comportamentos distintos.

Por que a inspeção da entrada não basta

A principal conclusão do estudo é que a segurança não pode se limitar ao momento em que o prompt entra no sistema. A análise também deve considerar a resposta produzida, as ferramentas acionadas e o comportamento do agente após a interpretação do conteúdo.

Uma defesa mais completa precisa verificar se a solicitação está tentando modificar regras, acessar informações fora do escopo, enviar dados para terceiros ou executar uma sequência incomum de operações. O contexto da tarefa e o histórico das ações também podem revelar uma ameaça que não aparece no texto isoladamente.

Outra medida importante é tratar conteúdos externos como não confiáveis por padrão. Textos vindos de e-mails, sites, arquivos compartilhados e bases públicas não devem ser interpretados automaticamente como instruções autorizadas, mesmo quando escritos em linguagem natural e aparentemente relacionados à tarefa solicitada.

Estratégias para reduzir o risco

Entre as recomendações apresentadas pela pesquisa está o processamento prévio de conteúdos não confiáveis antes que eles cheguem ao gatekeeper. Esse tratamento pode incluir classificação de origem, separação entre dados e comandos, normalização do conteúdo e análise contextual.

Também é necessário aprimorar as políticas de triagem. Filtros que procuram apenas palavras proibidas ou padrões explícitos tendem a falhar diante de técnicas que distribuem o significado ao longo de um texto. Modelos de avaliação precisam considerar a intenção provável e a relação entre diferentes trechos da entrada.

O monitoramento em tempo de execução é outra camada essencial. A organização deve registrar quais ferramentas foram acionadas, que dados foram consultados, quais permissões foram utilizadas e se a sequência de ações corresponde ao objetivo original do usuário.

As permissões concedidas aos agentes devem seguir o princípio do menor privilégio. Um assistente encarregado de resumir documentos, por exemplo, não precisa ter autorização para enviar e-mails, alterar registros financeiros ou acessar toda a rede corporativa.

Equilíbrio entre segurança, custo e desempenho

A adoção dessas medidas traz desafios operacionais. Análises mais profundas podem aumentar o tempo de resposta e elevar o custo de processamento. Sistemas excessivamente rígidos também podem bloquear conteúdos legítimos, prejudicando a produtividade dos usuários.

Outro ponto de atenção é a diferença de capacidade entre o modelo que faz a triagem e aquele que executa a tarefa. Quando o filtro é muito mais limitado, ele pode não compreender estratégias de ocultação que o modelo final consegue interpretar. Aproximar as capacidades das duas etapas pode reduzir essa lacuna, embora implique maior consumo de recursos.

A proteção mais eficaz tende a combinar múltiplas barreiras: validação da origem do conteúdo, separação entre dados e instruções, modelos de triagem, políticas de acesso, supervisão humana e monitoramento contínuo das ações realizadas pela IA.

O que as empresas devem fazer agora

Organizações que utilizam agentes inteligentes devem revisar seus fluxos de entrada e identificar quais fontes externas podem fornecer conteúdo ao modelo. E-mails, páginas da internet e arquivos enviados por terceiros precisam ser incluídos nos cenários de teste de segurança.

Também é recomendável testar os sistemas com textos aparentemente inocentes que contenham instruções distribuídas ou indiretas. Avaliações baseadas apenas em prompts claramente maliciosos não refletem a complexidade dos ataques atuais.

Por fim, equipes de segurança, governança e desenvolvimento devem trabalhar em conjunto. A proteção contra técnicas como a PuzzleMask não depende exclusivamente de um filtro, mas de uma arquitetura capaz de limitar privilégios, detectar comportamentos anômalos e interromper ações potencialmente perigosas antes que causem impacto.

Meta descrição: Entenda como a técnica PuzzleMask esconde comandos maliciosos em textos comuns, contorna filtros de IA e ameaça agentes corporativos.

Palavras-chave SEO: PuzzleMask, injeção de prompt, segurança de inteligência artificial, prompt injection, agentes de IA, proteção contra IA maliciosa, segurança corporativa, gatekeeper de IA.