A tentativa de manipular uma IA do Judiciário reacende o debate sobre segurança, boa-fé e os limites do uso da inteligência artificial em processos decisórios
A cultura do uso exagerado da IA nas atividades diária, pessoais ou profissionais, pode gerar problemas sérios
00:00
A+A-
Duas advogadas inseriram instruções ocultas em uma petição, usando técnica de *prompt injection* contra sistemas de IA.
*Prompt injection* consiste em colocar comandos maliciosos no texto para modificar o comportamento de modelos de linguagem.
O caso revelou fragilidade de processos judiciais cada vez mais automatizados que dependem de IA generativa.
Especialistas alertam que a prática demonstra a necessidade de reforçar segurança e filtros nas aplicações de IA.
Imagine o seguinte: durante décadas engenheiros de software, especialistas em learning machine investiram milhares de horas e bilhões de dólares para chegar à Inteligência Artificial Generativa. Durante esse período criaram instrumentos e ferramentas para isão de que o novo deve ter furos e oportunidades. A pródiga mente humana decide brincar de esconde-esconde com a IA.
Para essas mentes ingenuamente delituosas, não é preciso hackear um sistema para enganar uma inteligência artificial. Basta esconder instruções em linguagem comum. Foi isso que duas advogadas fizeram em uma petição, num caso que escancarou a vulnerabilidade de processos cada vez mais automatizados, achando que não seriam flagradas. Prompt injection é, em termos simples, a inserção de comandos maliciosos ou manipuladores dentro de um texto para tentar alterar o comportamento de um sistema de IA. O truque explora a própria natureza dos modelos de linguagem: eles processam palavras, contexto e instruções como parte do mesmo fluxo textual. Ou seja, a IA não vê apenas o conteúdo. Ela interpreta linguagem.
No caso que ganhou repercussão, as duas advogadas teriam inserido em uma petição um comando oculto em letras brancas sobre fundo branco, tentando induzir a IA do tribunal a analisar o documento de forma superficial. A ferramenta detectou a tentativa, e o episódio resultou em multa e em forte reação institucional, por ser entendido como uma afronta à boa-fé processual. O episódio virou símbolo de algo maior: a disputa entre criatividade maliciosa e defesa tecnológica. Há, porém, uma certa ingenuidade no espanto que o caso provocou. Plataformas de IA certamente já consideravam a hipótese de usuários tentarem fraudar, manipular ou contornar sistemas automatizados. Segurança, fraude e abuso de sistema não são exceções improváveis. São parte do pacote desde o momento em que qualquer tecnologia passa a ser usada em escala.
O ponto central é simples: a IA lê linguagem. Se um texto está escrito, ele existe para o modelo, independentemente de estar em preto, branco, transparente ou escondido em um arquivo. Mudar a cor da fonte ou colocar o texto sobre o mesmo fundo não apaga a instrução para as máquinas. Só a torna menos visível para humanos. Para a máquina, a informação ainda está lá, como sequência de tokens a serem interpretados. Essa diferença entre percepção humana e processamento automático é o que torna o prompt injection tão desconfortável. Muitos imaginam que a fraude depende de truques visuais, mas o problema é mais profundo e interfere na aplicação da IA no dia a dia.
Em educação e em processos seletivos, cresce o uso de textos analisados ou triados por IA, ainda que muitas vezes isso não seja claramente informado ao candidato. Empresas pedem redações, respostas abertas e cartas de apresentação que, na prática, acabam filtradas por sistemas automáticos antes mesmo de chegar a um recrutador. Isso abre espaço para um efeito perverso. Quem usa fraude para tentar manipular o sistema pode gerar recusas antecipadas, bloqueios automáticos e problemas frequentes.
A cultura do uso exagerado da IA nas atividades diária, pessoais ou profissionais, pode gerar problemas sérios. De ferramenta a uma estratégia de substituição do trabalho autoral, as plataformas de IA cada vez mais dialogam entre si. Um texto produzido por IA é avaliado por ferramentas de leitura. Estas, no entanto, são construídas para entender a linguagem e desvendar malandragens. Quem não sabe disso está sujeito ao vexame público, que será permanentemente lembrado pelas plataformas.