Na Prática, qual IA Entende o Direito? Um Estudo Experimental com IAs Generalistas e uma IA Jurídica
Marina Soares Marinho, Daniela Vianna, Livy Real, Altigran da Silva, Gabriela Migliorini
TL;DR
Este estudo aborda o desafio de avaliar saídas de IA no Direito, propondo o Jus IA, um protocolo hermeneuto-empírico que transforma raciocínio jurídico em métricas de qualidade. Em um experimento comparativo com Jus IA e três grandes modelos generalistas em 15 cenários legais, Jus IA mostrou superioridade em correção e confiabilidade, com redução de alucinações. A análise por intenção de uso revela que a especialização de domínio não apenas aumenta a precisão normativa, mas também sustenta a consistência das justificativas jurídicas, destacando a utilidade de um benchmark aberto para governança da IA jurídica no Brasil. Em conjunto, os resultados ressaltam a importância de combinar bases normativas curadas com avaliação humana para alcançabilidade, auditabilidade e responsabilidade na aplicação da IA no Direito.
Abstract
This study presents the Jusbrasil Study on the Use of General-Purpose AIs in Law, proposing an experimental evaluation protocol combining legal theory, such as material correctness, systematic coherence, and argumentative integrity, with empirical assessment by 48 legal professionals. Four systems (JusIA, ChatGPT Free, ChatGPT Pro, and Gemini) were tested in tasks simulating lawyers' daily work. JusIA, a domain-specialized model, consistently outperformed the general-purpose systems, showing that both domain specialization and a theoretically grounded evaluation are essential for reliable legal AI outputs.