Logo
ScienceStack
Table of Contents
Fetching ...
Sign In

Benchmarking von ASR-Modellen im deutschen medizinischen Kontext: Eine Leistungsanalyse anhand von Anamnesegesprächen

Thomas Schuster, Julius Trögele, Nico Döring, Robin Krüger, Matthieu Hoffmann, Holger Friedrich

TL;DR

Der Beitrag bewertet deutschsprachige medizinische ASR im Kontext von Anamnesegesprächen und Dialektvielfalt. Dazu wurde der Med-De-Anamnese-Datensatz mit vier Szenarien erstellt und 29 Modelle, inklusive Whisper-, Voxtral- und Wav2Vec2-Varianten sowie kommerziellen APIs, mittels WER, CER und BLEU evaluiert. Ergebnisse zeigen, dass kommerzielle APIs und Open-Weights wie Voxtral unter praxisnahen Bedingungen sehr geringe WER erreichen, während englischsprachige Referenzmodelle signifikant schlechter abschneiden; Diarization variiert und Open-Source-Lösungen benötigen Zusatztools. Die Arbeit hebt Datenschutz- und Semantik-aspekte hervor und skizziert Wege zu domänenorientierten Metriken (kWER, hWER) sowie zur FHIR-basierten Extraktion.

Abstract

Automatic Speech Recognition (ASR) offers significant potential to reduce the workload of medical personnel, for example, through the automation of documentation tasks. While numerous benchmarks exist for the English language, specific evaluations for the German-speaking medical context are still lacking, particularly regarding the inclusion of dialects. In this article, we present a curated dataset of simulated doctor-patient conversations and evaluate a total of 29 different ASR models. The test field encompasses both open-weights models from the Whisper, Voxtral, and Wav2Vec2 families as well as commercial state-of-the-art APIs (AssemblyAI, Deepgram). For evaluation, we utilize three different metrics (WER, CER, BLEU) and provide an outlook on qualitative semantic analysis. The results demonstrate significant performance differences between the models: while the best systems already achieve very good Word Error Rates (WER) of partly below 3%, the error rates of other models, especially concerning medical terminology or dialect-influenced variations, are considerably higher.

Benchmarking von ASR-Modellen im deutschen medizinischen Kontext: Eine Leistungsanalyse anhand von Anamnesegesprächen

TL;DR

Der Beitrag bewertet deutschsprachige medizinische ASR im Kontext von Anamnesegesprächen und Dialektvielfalt. Dazu wurde der Med-De-Anamnese-Datensatz mit vier Szenarien erstellt und 29 Modelle, inklusive Whisper-, Voxtral- und Wav2Vec2-Varianten sowie kommerziellen APIs, mittels WER, CER und BLEU evaluiert. Ergebnisse zeigen, dass kommerzielle APIs und Open-Weights wie Voxtral unter praxisnahen Bedingungen sehr geringe WER erreichen, während englischsprachige Referenzmodelle signifikant schlechter abschneiden; Diarization variiert und Open-Source-Lösungen benötigen Zusatztools. Die Arbeit hebt Datenschutz- und Semantik-aspekte hervor und skizziert Wege zu domänenorientierten Metriken (kWER, hWER) sowie zur FHIR-basierten Extraktion.

Abstract

Automatic Speech Recognition (ASR) offers significant potential to reduce the workload of medical personnel, for example, through the automation of documentation tasks. While numerous benchmarks exist for the English language, specific evaluations for the German-speaking medical context are still lacking, particularly regarding the inclusion of dialects. In this article, we present a curated dataset of simulated doctor-patient conversations and evaluate a total of 29 different ASR models. The test field encompasses both open-weights models from the Whisper, Voxtral, and Wav2Vec2 families as well as commercial state-of-the-art APIs (AssemblyAI, Deepgram). For evaluation, we utilize three different metrics (WER, CER, BLEU) and provide an outlook on qualitative semantic analysis. The results demonstrate significant performance differences between the models: while the best systems already achieve very good Word Error Rates (WER) of partly below 3%, the error rates of other models, especially concerning medical terminology or dialect-influenced variations, are considerably higher.
Paper Structure (14 sections, 6 figures, 2 tables)

This paper contains 14 sections, 6 figures, 2 tables.

Table of Contents

  1. Einleitung
  2. Datensatz
  3. Szenarien
  4. Ground Truth Erstellung
  5. Methodik und Evaluationssetup
  6. Modellauswahl und Kategorisierung
  7. Evaluationspipeline
  8. Evaluations-Metriken
  9. Ergebnisse
  10. Ergebnisse der Transkriptionsanalyse
  11. Ergebnisse im Detail und Modellvergleich
  12. Sprechererkennung (Diarization)
  13. Diskussion
  14. Fazit und Ausblick

Figures (6)

  • Figure 1: Durchschnittliche WER und CER je Modell (Fulltext-Auswertung).
  • Figure 2: Word-Error-Rate Heatmap über alle Modelle und pro Datensatz
  • Figure 3: Verteilung der WER pro Modell (Stabilitätsanalyse).
  • Figure 4: Verteilung der WER für die 7 besten Modelle (Stabilitätsanalyse).
  • Figure 5: Vergleich der Top-7-Modelle nach WER: WER, CER und BLEU-Score.
  • ...and 1 more figures