Zum Inhalt springen
Eigene Messung · Deutsches Audio · Stand 09.11.2026

Raven versteht Deutsch. Gemessen, nicht behauptet.

5,8%

Wortfehlerrate auf deutschem Audio

Auf hundert gesprochene Wörter macht Raven rund sechs Fehler, Stand 09.11.2026. Wie die Zahl entsteht und wo die anderen Modelle liegen, zeigt die Wertung Spracherkennung Deutsch.

Die Spracherkennung läuft auf eigener Infrastruktur, ohne US-Dienste im Datenpfad. Wie gut sie Deutsch versteht, haben wir nicht einfach behauptet: Wir messen es mit einem offenen Werkzeug, und jede Zahl lässt sich nachrechnen.

Die Wertungen

Zwei eigene Zahlen. Jede mit ihrer Rangliste.

Wortfehlerrate5,8 %Ravens Wert · 59 Modelle im Vergleich

Spracherkennung Deutsch

Wie genau ein Modell deutsches Audio verschriftet, pro Datensatz, mit Kosten und Tempo daneben.

Diarisierungsfehlerrate8,07 %Ravens Wert · auf echten deutschen Meetings

Sprechertrennung

Wer hat wann gesprochen. Raven nimmt jeden Teilnehmer auf einer eigenen Spur auf, deshalb ist die Referenz gemessen und nicht geschätzt.

Härtetest58 Modellegemessen im Korpus Schweizer Parlament

Mundart

Schweizerdeutsch und Bairisch: dasselbe Maß, nur das Audio ist anders.

Untersuchung2 von 24Quellen sind eine unabhängige Messung

Was die KI-Assistenten antworten

Sechs KI-Assistenten, eine Frage nach deutscher Spracherkennung, jede genannte Quelle nachgelesen.

Live-Streaming≥ 128 Spurenbestes Modell · auf einer Maschine

Sprecher pro Grafikkarte

Wie viele Sprecher ein Modell gleichzeitig live verschriftet, bevor der Text zu spät kommt, mit einer Kurve je Modell.

59 Modelle, dasselbe Audio, dieselbe Metrik. Jeder Strich ist ein Modell. Zur Rangliste

23 Häuser, 59 Modelle, dasselbe Audio und dieselbe Metrik.

  • AssemblyAI
  • AWS
  • Microsoft Azure
  • Cohere
  • IBM
  • Microsoft
  • Moonshine
  • NVIDIA
  • OpenAI
  • OpenMOSS
  • primeline
  • Qwen
  • Mistral
  • DashScope
  • Deepgram
  • ElevenLabs
  • Google
  • Gladia
  • Groq
  • nyra health
  • Reson8
  • Speechmatics
  • xAI

Wo ein Kürzel statt eines Zeichens steht, gibt der Hersteller seine Marke für Vergleichsseiten nicht frei.

Warum wir selbst messen

Hersteller messen sich selbst. Wir messen nach.

Herstellerzahlen fallen erwartbar gut aus. Deshalb spielen wir jedem Modell dieselben deutschen Aufnahmen vor, rechnen mit demselben offenen Werkzeug und veröffentlichen jede Zahl pro Datensatz. So wissen wir, was in Raven läuft, und du kannst es nachprüfen.

Zwei der gemessenen Modelle stecken in Raven.

Raven verkauft Meeting-Transkription, und zwei Modelle dieser Wertungen sind Teil davon: die Spracherkennung der Standard-Tarife und die eingebaute Sprechertrennung. In den Tabellen heißen ihre Zeilen „Raven“. Wer misst und zugleich verkauft, muss das bei den Zahlen sagen. Was dieses Interesse begrenzt, ist das Protokoll in raven.eval, nicht unsere Absicht.

  • Bewertungsregeln, Bootstrap-Seeds und jede Modell- und Datensatzversion sind festgeschrieben.
  • Scheitert eine Anfrage oder fehlt ein Transkript, schlägt die Prüfung fehl, statt dass der Korpus still schrumpft.
  • Wurde ein Modell auf Teilen eines Testkorpus trainiert, steht das neben den Zeilen, die es betrifft.
  • Kein Modell wird zum Sieger erklärt.
  • make verify rechnet jede veröffentlichte Zahl aus den abgelegten Modellausgaben nach, für jeden, ohne Schlüssel und ohne GPU.

Die Datensätze

Jede Zahl pro Datensatz.

Ein Durchschnitt über alles verwischt, wofür ein Modell taugt. Was in einem Korpus steckt, steht auf der Wertung, die darauf misst.

VorlesedeutschWortfehlerrate · Wertung Spracherkennung
DeutschFLEURSDeutschMLSDeutschGerman MixedDeutschVoxPopuliVier Vorlese- und Parlamentskorpora
MundartWortfehlerrate · Wertung Mundart
SchweizerdeutschSPC · Schweizer ParlamentSchweizerdeutschFHNW · DialektregionenBairischBAR · BairischDeutschBAR-HD · KontrollspurDrei Mundart-Korpora ohne gemeinsame Skala
DiarisierungFehlerrate „wer spricht wann“ · Wertung Sprechertrennung
DeutschRaven-MeetingsEnglischVoxConverseDeutschCALLHOME-deEnglischAMIVier Korpora für „wer spricht wann“

Wie wir messen

Vier Prinzipien. Alle nachprüfbar.

Jedes Modell hört dieselben Aufnahmen, das Ergebnis wird Wort für Wort mit der geprüften Verschriftung verglichen. Der Durchschnitt über einen Datensatz ist nach Länge gewichtet.

  1. 01

    Eigene Messungen

    Keine Herstellerzahlen. Jedes Modell selbst getestet, auf identischem Audio.

  2. 02

    Echtes deutsches Audio

    Parlamentsreden, Hörbücher, vorgelesene Sätze und echte Meetings.

  3. 03

    Ein Verfahren für alle

    Selbst betrieben und per Schnittstelle, gleiche Daten, gleiche Metrik. Leere Zellen bleiben leer.

  4. 04

    Offene Methodik

    Werkzeug, Datensätze und Scorer sind öffentlich. Jede Zahl führt auf ihren Lauf zurück.

WER
Anteil falsch verstandener, ausgelassener und erfundener Wörter. Niedriger ist besser.
DER
Anteil der Sprechzeit, die dem falschen Sprecher zugeordnet ist. Niedriger ist besser.
Tempo
Minuten Audio pro Minute Laufzeit, als ×Echtzeit. Selbst gehostete Modelle: Durchsatz über den ganzen Datensatz mit mehreren gleichzeitigen Anfragen, auf der genannten Hardware. Cloud-Dienste: pro einzelner Anfrage, samt Netzweg. Jeder Wert sagt, welche Messung er ist.

Und jetzt dein Audio

Hör selbst, wie Raven deine Meetings versteht.

Raven nimmt jeden Sprecher auf einer eigenen Spur auf, die Hauptverarbeitung läuft in Deutschland. Dieselbe Messdisziplin, angewendet auf dein Audio.

Raven kostenlos testen

Jede Zahl auf diesen Seiten stammt aus einem eigenen Lauf. Das Werkzeug dafür ist öffentlich: Wer eine Zahl anzweifelt, kann sie selbst nachmessen.

Einordnung und Nachrechnenraven.eval · Messwerkzeug

STT-Benchmark · Stand 09.11.2026 · jede Zahl unabhängig nachprüfbar