Wer hat wann gesprochen. Selbst gemessen.
Ein Modell kann jedes Wort richtig schreiben und die Sprecher trotzdem vertauschen. Für ein Protokoll ist das der teurere Fehler, deshalb bekommt er eine eigene Wertung. Gemessen wird als DER: verwechselte plus verpasste plus fälschlich als Sprache gewertete Zeit.
8,07%
Ravens Diarisierungsfehlerrate auf echten Meetings
Von Philipp Lütje, Gründer von Raven
Aktualisiert am
Sprecher-Diarisierung
Die Rangliste. Ravens Zeile ist markiert.
Alle Diarizer laufen auf demselben echten deutschen Meeting-Set. Weil Raven jeden Teilnehmer auf einer eigenen Spur aufnimmt, ist die Referenz exakt gemessen, nicht aus gemischtem Audio geschätzt. Neben der DER stehen ihre drei Teile: Confusion (verwechselte Sprecher), Miss (überhörte Sprache) und FA (fälschlich erkannte). Daneben drei offene Referenzsets, VoxConverse, CALLHOME-de und AMI, jedes mit angegebenem Collar, denn ohne ihn ist eine DER-Zahl nicht vergleichbar.
Makro-Mittel über das gesamte saubere Meeting-Set.
| Modell▲ | DER · Gesamt▲ | Confusion▲ | Miss▲ | FA▲ | Hosting▲ | Lizenz▲ |
|---|---|---|---|---|---|---|
DiariZen v2nur Referenz BUT Speech@FIT | 5,65 % | 1,32 % | 3,58 % | 0,75 % | SELF | CC-BY-NC |
Raven Raven · eigene Infrastruktur | 8,07 % | 2,73 % | 2,44 % | 2,90 % | SELF | CC-BY-4.0 |
BUT Speech@FIT | 8,68 % | 0,59 % | 2,40 % | 5,69 % | SELF | MIT |
NVIDIA | 12,21 % | 7,61 % | 4,03 % | 0,57 % | SELF | CC-BY-4.0 |
Deepgram · EU | 12,94 % | 1,27 % | 7,31 % | 4,36 % | EU | proprietary |
Deepgram | 13,02 % | 1,38 % | 7,26 % | 4,38 % | API | proprietary |
| 15,03 % | 1,40 % | 6,74 % | 6,89 % | EU | proprietary | |
Mistral | 15,39 % | 2,31 % | 11,00 % | 2,12 % | EU | proprietary |
Rev | 17,95 % | 2,81 % | 8,92 % | 6,23 % | API | proprietary |
Soniox | 21,45 % | 7,82 % | 10,46 % | 3,17 % | EU | proprietary |
AssemblyAI | 23,80 % | 4,43 % | 6,62 % | 13,48 % | API | proprietary |
Gladia | 23,81 % | 2,35 % | 18,36 % | 4,16 % | EU | proprietary |
| – | – | – | – | API | proprietary |
Nicht gemessen: Auf Raven-Meetings liegt für 2 von 15 Modellen dieser Wertung keine Messung vor. Sie fehlen deshalb in der Tabelle. Das heißt nicht, dass sie hier nicht anwendbar wären, sondern nur, dass sie hier noch nicht angetreten sind. Warum, steht jeweils dahinter: Universal-3.5 Pro: Nur auf den öffentlichen Referenzsets angetreten. Von diesem Anbieter steht auf Ravens eigenem Set das ältere Universal-2 · Sortformer v1 (offline): Nur auf den öffentlichen Referenzsets angetreten: Ravens Meetings sind länger, als dieses Modell am Stück verarbeiten kann. Der Nachfolger Sortformer v2 steht in der Tabelle.
Prüf jede Zahl selbst nach.
github.com/PhilflowIO/raven.evalJede öffentliche DER-Zahl in der Tabelle hängt an den exakten RTTMs, aus denen sie berechnet wurde. make verify lädt Gold und Hypothese neu und rechnet die Werte ohne GPU und ohne gated Modell nach. Die CI macht das bei jedem Push, keine Zahl kann also von ihren Daten abdriften. Du brauchst keinen Account und kein Vertrauen in uns, nur das Repo.
make verifyZero-Setup-Re-Score ohne GPU. Prüft jede Zahl gegen ihre committeten RTTMs (±0,05 pp).make reproduce METRIC=der DATASET=voxconverse-test MODEL=pyannote-community-1Voller Neu-Lauf aus dem Roh-Audio (dein HF-Token, gated Lizenz, GPU).Zwei der gemessenen Modelle stecken in Raven.
Raven verkauft Meeting-Transkription, und zwei Modelle dieser Wertungen sind Teil davon: die Spracherkennung der Standard-Tarife und die eingebaute Sprechertrennung. In den Tabellen heißen ihre Zeilen „Raven“. Wer misst und zugleich verkauft, muss das bei den Zahlen sagen. Was dieses Interesse begrenzt, ist das Protokoll in raven.eval, nicht unsere Absicht.
- Bewertungsregeln, Bootstrap-Seeds und jede Modell- und Datensatzversion sind festgeschrieben.
- Scheitert eine Anfrage oder fehlt ein Transkript, schlägt die Prüfung fehl, statt dass der Korpus still schrumpft.
- Wurde ein Modell auf Teilen eines Testkorpus trainiert, steht das neben den Zeilen, die es betrifft.
- Kein Modell wird zum Sieger erklärt.
make verifyrechnet jede veröffentlichte Zahl aus den abgelegten Modellausgaben nach, für jeden, ohne Schlüssel und ohne GPU.
Die Datensätze
Worauf hier gemessen wird. Vier Korpora, eine Frage.
Andere Frage, andere Messgröße. Hier zählt nicht, welche Wörter gefallen sind, sondern wer wann geredet hat, gemessen als DER, also verwechselte plus verpasste plus fälschlich als Sprache gewertete Zeit. Ein Modell kann jedes Wort richtig schreiben und die Sprecher trotzdem vertauschen; für ein Meeting-Protokoll ist das der teurere Fehler.
- Raven-Meetings Deutsch8 echte Meetings
Acht echte deutsche Meetings, jeder Teilnehmer auf einer eigenen Spur aufgenommen. Die Referenz „wer spricht wann“ ist damit exakt gemessen und nicht aus gemischtem Audio geschätzt. Das ist der Grund, warum dieses Set überhaupt existiert. Meeting-Audio mit Überlappung, also genau der Fall, auf den es für Raven ankommt. Der Preis dafür: es ist unser Set, niemand sonst kann es nachrechnen. Deshalb stehen die drei öffentlichen daneben.
- VoxConverse EnglischIn-the-wild
Der Standard-Benchmark für Diarisierung: Rundfunk, Panels und Debatten „in the wild“, mit Applaus, Musik und Durcheinanderreden. Er steht hier nicht als Vergleich, sondern als Eichung unseres Messstands: wir reproduzieren auf ihm die Zahl, die pyannote selbst veröffentlicht. Stimmt sie, ist alles andere auf dieser Seite belastbar.
diarizers-community/voxconverse - CALLHOME-de DeutschTelefonie
Deutsche Telefongespräche: frei geredet, überlappend, in Telefonbandbreite. Der deutsche Anker der Seite und die einzige uns bekannte öffentliche Rangliste für deutsche Diarisierung: dieselben Gespräche, dasselbe Gold, derselbe Scorer für jedes Modell. Gemessen nach dem Protokoll der ETH-Benchmark (arXiv 2509.26177). Zwei Sprecher pro Anruf, also nicht die Meeting-Dynamik. Dafür steht AMI daneben.
talkbank/callhome - AMI Englisch4-Sprecher-Meetings
Vier-Sprecher-Besprechungen mit Kopfbügelmikrofon, aufgezeichnet für die Forschung und frei lizenziert (CC-BY). Überlappung, Raumhall, Zwischenrufe, von den öffentlichen Sets am nächsten an echter Meeting-Dynamik. Hier trennt sich, was Telefonie kann, von dem, was ein Meeting aushält: ein Modell kann auf Zweier-Gesprächen führen und hier deutlich zurückfallen. Englisch, denn gemessen wird die Sprecherzuordnung, nicht die Sprache.
pyannote/AMI-diarization-setup
13 Diarizer stehen in dieser Runde. Eine leere Zelle bleibt leer, statt mit einem Durchschnitt aufgefüllt zu werden. Was in den vier Korpora steckt, steht weiter oben auf dieser Seite; wie gerechnet wird, in der Methodik.
STT-Benchmark · 05.09.2026 · jede Zahl unabhängig nachprüfbar