Avaliação de eficiência na leitura: uma abordagem baseada em PLN
Túlio Sousa de Gois, Raquel Meister Ko. Freitag
TL;DR
Este trabalho aborda a avaliação automatizada de testes cloze em português brasileiro para leitura, integrando distância de Damerau-Levenshtein, POS tagging e similaridade semântica baseada em embeddings. Ao comparar modelos de linguagem contextuais e não-contextuais, aponta que o BERTimbau contextual oferece o melhor desempenho, com uma correlação de $ ho = 0{,}682 $ para aceitabilidade semântica e uma AUC de $0{,}880$, alcançando $F1$ máximo de $0{,}727$; a otimização do limiar ocorreu em $0{,}652$. A validação contra avaliações humanas mostra uma correlação global de $ ho = 0{,}832 $ e um Cohen’s o = $0{,}727$, indicando concordância substancial entre o sistema automático e julgamentos de uma especialista. Os resultados sugerem que a abordagem é robusta, sensível a variações do repertório linguístico e adequada para intervenções educacionais escaláveis, oferecendo uma ferramenta prática para diagnóstico e acompanhamento da leitura em larga escala.
Abstract
The cloze test, widely used due to its low cost and flexibility, makes it possible to assess reading comprehension by filling in gaps in texts, requiring the mobilization of diverse linguistic repertoires. However, traditional correction methods, based only on exact answers, limit the identification of nuances in student performance. This study proposes an automated evaluation model for the cloze test in Brazilian Portuguese, integrating orthographic (edit distance), grammatical (POS tagging) and semantic (similarity between embeddings) analyses. The integrated method demonstrated its effectiveness, achieving a high correlation with human evaluation (0.832). The results indicate that the automated approach is robust, sensitive to variations in linguistic repertoire and suitable for educational contexts that require scalability.