O juiz federal George Marmelstein, integrante do Comitê Nacional de Inteligência Artificial do Judiciário (CNJ), alerta para o risco de manipulação de agentes de inteligência artificial (IA) e vazamentos de dados. Segundo ele, esses agentes, capazes de executar comandos, podem acessar indevidamente senhas e informações sigilosas de servidores do Judiciário.
O CNJ está estudando possíveis vulnerabilidades relacionadas a esses sistemas, mas, até o momento, o magistrado não conhece casos comprovados desse tipo de ataque na Justiça brasileira. Dados de 2024, anteriores à nova regulamentação, mostram que 45,8% dos tribunais e conselhos participantes de uma pesquisa já utilizavam IA generativa.
Uma reportagem do Fantástico, exibida em 1º de novembro, identificou 83 casos de tentativas de manipulação de ferramentas de IA por meio de comandos ocultos em documentos processuais. Esses episódios já resultaram em multas de R$ 5 mil, R$ 20 mil e 10% do valor da causa no Superior Tribunal de Justiça (STJ) e no Supremo Tribunal Federal (STF).
A prática conhecida como “prompt injection” ou “injeção de comandos” consiste em inserir instruções ocultas em conteúdos que serão lidos por uma IA. Essas mensagens podem estar escondidas em letras brancas sobre fundo branco, em fontes muito pequenas ou em códigos incorporados aos arquivos. A vulnerabilidade existe porque a ferramenta de IA não distingue com segurança se o que está processando é uma ordem do juiz ou uma orientação inserida por outra pessoa, como um advogado.
O especialista em cibersegurança Matheus Vasconcelos explica que esses ataques exploram a dificuldade dos sistemas em diferenciar o conteúdo que devem analisar das instruções que precisam executar. “Existem mecanismos para diferenciar essas origens, mas eles podem falhar, especialmente quando o comando malicioso se apresenta como uma orientação oficial ou uma etapa necessária do trabalho”, afirma.
Marmelstein, que também é secretário-geral da Escola Nacional de Formação e Aperfeiçoamento de Magistrados (Enfam), destaca que o risco mais recente está relacionado aos chamados agentes de IA. “Os agentes apertam botões, executam códigos, criam documentos. Eles têm essa questão do fazer. E, ao fazer, pode haver uma influência para que ele rode um código [de um programa] e esse código seja malicioso, no sentido, por exemplo, de pegar suas credenciais, pegar seus dados. E isso é um risco maior”, explica.
O CNJ já aprovou o Programa de Segurança Adversarial para Sistemas de Inteligência Artificial do Poder Judiciário (PROSEG-IA), que cria uma frente permanente para lidar com riscos de manipulação das ferramentas usadas pelos tribunais. O ministro Luis Felipe Salomão, presidente do STJ, apresentou um balanço do monitoramento de comandos ocultos em documentos processuais durante um evento na quarta-feira (11). Segundo ele, foram identificados 116 casos suspeitos, dos quais 40 foram confirmados após análise humana.
A preocupação ocorre em meio à expansão do uso da tecnologia na Justiça. Um levantamento do CNJ, referente a 2024, identificou 178 projetos de inteligência artificial nos tribunais. Cerca de 45,8% dos tribunais e conselhos participantes já utilizavam IA generativa, capaz de produzir textos, resumos e outros conteúdos. Entre os servidores ouvidos pela pesquisa, o ChatGPT era usado por 96% dos magistrados, e 94% dos outros empregados também recorriam à tecnologia. Ao todo, 83% dos servidores disseram não informar quando utilizavam a tecnologia no trabalho.
Salomão também afirmou que um dos próximos passos do STJ, em conjunto com o CNJ, é identificar aumentos expressivos no número de processos sobre determinados assuntos, as chamadas “ondas de litigiosidade”, para permitir uma atuação preventiva. “O fluxo de processos, quando acontece num determinado tribunal sobre uma determinada questão, nós conseguiremos identificar aqui no STJ e no CNJ para adotar as medidas cabíveis e impedir que esse caso se desborde numa quantidade de processos ensandecida”, disse.
Para reduzir essas vulnerabilidades, o especialista em cibersegurança Matheus Vasconcelos defende que os agentes tenham acesso apenas às informações e funcionalidades necessárias para cumprir cada tarefa. “Um agente encarregado de resumir um processo deveria receber apenas os documentos necessários para aquela tarefa. Não há motivo para ele ter, por padrão, acesso a outros processos ou autorização para enviar mensagens e alterar registros”, afirma.
Fonte: G1 Brasil/Política
