Hacia la interpretabilidad de la detección anticipada de riesgos de depresión utilizando grandes modelos de lenguaje

TL;DR

Este trabajo aborda la detección anticipada de riesgos de depresión en textos en español mediante un marco interpretable basado en LLMs. Define un criterio de razonamiento asistido por un psicólogo y aplica aprendizaje en contexto con el modelo Gemini para obtener predicciones respaldadas por explicaciones. Evaluado en MentalRiskES 2023 con datos de Telegram, el enfoque alcanza rendimiento superior en métricas de clasificación y de detección temprana, destacando la calidad interpretativa de las respuestas. Subraya la importancia de la supervisión humana y propone direcciones futuras como grafos de conocimiento y generación augmentada por recuperación para mejorar la DAR.

Abstract

Early Detection of Risks (EDR) on the Web involves identifying at-risk users as early as possible. Although Large Language Models (LLMs) have proven to solve various linguistic tasks efficiently, assessing their reasoning ability in specific domains is crucial. In this work, we propose a method for solving depression-related EDR using LLMs on Spanish texts, with responses that can be interpreted by humans. We define a reasoning criterion to analyze users through a specialist, apply in-context learning to the Gemini model, and evaluate its performance both quantitatively and qualitatively. The results show that accurate predictions can be obtained, supported by explanatory reasoning, providing a deeper understanding of the solution. Our approach offers new perspectives for addressing EDR problems by leveraging the power of LLMs.

Figures (2)

• Figure 1: En la etapa de razonamiento de muestras, un especialista analiza las muestras de entrenamiento según los síntomas del Cuestionario BDI, obteniendo observaciones, conclusión, predicción e identificación del post donde el usuario muestra signos de depresión. En la etapa in-context learning, se construye un prompt con las muestras más relevantes y el modelo Gemini evalúa los datos de prueba. Por último, los resultados se evalúan de forma cuantitativa y cualitativa.
• Figure 2: Herramienta para visualizar respuestas generadas por un LLM. En la columna izquierda se presenta la lista de posts del usuario (contenido difuminado para preservar el anonimato). La columna derecha muestra las observaciones y la conclusión del modelo, seguida por la etiqueta real del usuario (del conjunto test) y la predicción, indicando si se trató de un caso TP, TN, FP o FN. Finalmente, se señala el número de post en el que se detectó al usuario (post detectado).