Injeção de prompt: proteja a IA que lê conteúdo externo

Um documento também pode conter uma tentativa de comando

Uma IA que lê páginas, mensagens ou arquivos pode encontrar instruções escritas por terceiros. Algumas são conteúdo legítimo a analisar; outras tentam alterar seu comportamento, pedir dados ou provocar uma ação fora da tarefa. Esse problema é conhecido como injeção de prompt e exige atenção especial quando a solução utiliza ferramentas.

A ameaça não depende apenas de uma pessoa escrever ignore as instruções na conversa. Ela pode aparecer dentro de um documento consultado durante um trabalho autorizado. O desafio é manter a distinção entre informação a ser processada e autorização para agir. Textos externos não devem conceder novas permissões ao sistema.

Reduza o que a integração pode fazer

A primeira defesa operacional é limitar capacidades. Se o assistente precisa consultar um catálogo, não entregue uma ferramenta que também altera preços e apaga produtos. Separe ações, utilize permissões compatíveis com a tarefa e valide parâmetros no sistema que executa a operação. A saída do modelo deve ser tratada como entrada que ainda precisa de controle.

Considere um exemplo hipotético: um assistente resume mensagens de fornecedores e pode criar uma tarefa interna. Uma mensagem maliciosa pede que ele envie a lista de clientes para outro endereço. O fluxo não deve possuir essa capacidade nem acesso à lista. A contenção reduz consequências mesmo quando o modelo interpreta mal o conteúdo.

Estabeleça fronteiras entre fontes e decisões

Identifique explicitamente a origem dos materiais e mantenha instruções do fluxo separadas dos textos consultados. Peça referências e verifique se a ação proposta corresponde ao pedido autorizado. Essa organização ajuda, mas não deve ser apresentada como solução completa. Uma frase no prompt não substitui controles de acesso e validação de operações.

Para ações externas ou alterações relevantes, mostre uma prévia concreta e obtenha a confirmação apropriada ao processo. A aprovação deve descrever destino e efeito, permitindo que uma pessoa perceba um desvio. Uma pergunta vaga como deseja continuar transmite pouco contexto e pode legitimar uma operação que ninguém examinou de verdade.

Teste tentativas de desvio representativas

Monte avaliações com documentos que misturam informação útil e instruções indevidas. Inclua pedidos para revelar dados, mudar destinatários, ignorar critérios e executar ferramentas fora do escopo. Faça esses testes em ambiente controlado, com dados fictícios e operações sem efeito real. Registre qual limite impediu o comportamento e quais lacunas permaneceram.

Observe também a resposta do sistema após uma tentativa bloqueada. Ele precisa conseguir concluir a parte legítima da tarefa quando possível ou explicar o impedimento. Bloquear tudo pode inviabilizar a operação; aceitar tudo amplia exposição. O desenho deve distinguir conteúdo suspeito, ação não autorizada e informação válida que ainda pode ser utilizada.

Mantenha contenção e investigação

Registre chamadas de ferramentas e resultados suficientes para reconstruir incidentes. Estabeleça como desativar uma integração, retirar acesso e voltar ao fluxo anterior. Mudanças em conectores e fontes devem motivar novos testes, pois acrescentam caminhos de entrada. Um sistema validado para arquivos internos não está automaticamente validado para navegar pela internet.

Evite prometer imunidade com um prompt especial ou com uma base documental. A ação mais útil é listar ferramentas disponíveis e remover permissões que a tarefa não usa. Depois crie um teste de conteúdo externo que tenta provocar uma ação indevida e confirme que a aplicação mantém seus limites independentemente da resposta textual do modelo.