Juiz do CNJ alerta para risco de agentes de IA serem manipulados para vazar dados da Justiça

]]> Comandos ocultos escondidos em petições Reprodução/Fantástico O uso de inteligência artificial (IA) por advogados e juízes e a evolução dessas ferramentas traz um novo desafio para a segurança cibernética no Judiciário brasileiro: programas criados para executar tarefas de forma automatizada na rotina dos tribunais, os chamados agentes, podem ser manipulados por alguém de fora para acessar e vazar informações sigilosas de processos ou até mesmo senhas e dados pessoais de magistrados e servidores públicos. O alerta é do juiz federal George Marmelstein, integrante do Comitê Nacional de Inteligência Artificial do Judiciário, ligado ao Conselho Nacional de Justiça (CNJ). Sabe de alguma história ou quer denunciar? Fale com o g1 A preocupação representa uma evolução de um problema que já chegou aos tribunais. Uma reportagem exibida pelo Fantástico em 1º de novembro mostrou como advogados inseriram instruções escondidas em documentos para tentar influenciar ferramentas de IA utilizadas por juízes em análises de processos. Ao todo, foram identificados 83 episódios, e a prática já resultou em multas no Superior Tribunal de Justiça (STJ) e no Supremo Tribunal Federal (STF). 🔎 Conhecida como prompt injection, ou injeção de comandos, a prática consiste em inserir instruções ocultas em conteúdos que serão lidos por uma IA, de maneira geralmente imperceptível para uma pessoa. As mensagens podem estar escondidas em letras brancas sobre um fundo branco, em fontes muito pequenas ou em códigos incorporados aos arquivos. Advogados escondem comandos de IA em processos judiciais para enganar juízes e manipular sentenças A vulnerabilidade existe porque a ferramenta de IA não distingue com segurança se o que está processando ao ler um documento é a ordem do juiz ou uma orientação oculta inserida por outra pessoa, como o advogado de uma das partes. O especialista em cibersegurança Matheus Vasconcelos explica que esses ataques exploram a dificuldade dos sistemas de diferenciar o conteúdo que devem analisar e as instruções que precisam executar. "Existem mecanismos para diferenciar essas origens, mas eles podem falhar, especialmente quando o comando malicioso se apresenta como uma…