ElevenLabs bringt Scribe v3: Transkription mit 27 % weniger Fehlern
ElevenLabs hat am Dienstag Scribe v3 und Scribe v3 Live veröffentlicht, seine neuen Modelle für Sprache zu Text. Ich erkläre, was die Zahlen aussagen, was sie über Portugiesisch nicht verraten und was sich ändert, wenn du Clips untertitelst.
ElevenLabs bringt Scribe v3: Transkription mit 27 % weniger Fehlern
ElevenLabs hat am Dienstag, dem 10. November, Scribe v3 und Scribe v3 Live veröffentlicht, seine neuen Modelle für Sprache zu Text: das erste für aufgezeichnetes Audio, das zweite für Echtzeit. Versprochen werden 27 % weniger falsche Wörter als bei Scribe v2, im Schnitt über 102 Sprachen. Wer Clips untertitelt, findet aber etwas anderes spannender: die Trennung der Sprecher, die sich gerade bei Gesprächen mit drei oder mehr Personen verbessert hat.
Beide Modelle sind schon in der API verfügbar und in der ElevenLabs-App zum Standard geworden. Die Ankündigung nennt keine Länderbeschränkung, sie gelten also ab heute auch für Creator auf dem brasilianischen Markt.
Was hat ElevenLabs angekündigt?
Zwei Modelle, mit Verbesserungen gemessen gegen die vorherige Generation des Unternehmens selbst. Alle Zahlen unten stammen aus dem Launch-Beitrag und der Modell-Dokumentation, nicht aus einem unabhängigen Test.
| Scribe v3 (aufgezeichnetes Audio) | Scribe v3 Live (Echtzeit) | |
|---|---|---|
| ID in der API | scribe_v3 |
scribe_v3_live |
| Wortfehler gegenüber v2 | 27 % weniger, über 102 Sprachen | 31 % weniger (43 % weniger bei Bedeutungsfehlern) |
| Sprechertrennung | 12 % weniger Fehler; 17 % weniger bei drei oder mehr Personen | Erstmals in Echtzeit |
| Schlüsselbegriffe | Bis zu 1.000 | 50 pro Verbindung, dazu eine Bibliothek für großes Vokabular |
| Audio in mehreren Sprachen | Akzeptiert im Aufruf angegebene Zweitsprachen | Mehrsprachiger Modus, mit Wechsel mitten im Satz |
Im Durchschnitt des Testsets FLEURS sank die Wortfehlerrate laut Dokumentation von 16,94 % auf 12,38 %. Unter den hervorgehobenen Sprachen verbesserte sich Deutsch um 42 %, Spanisch um 35 % und Englisch um 23 %. Das Unternehmen sagt, v3 sei in allen getesteten Sprachen besser geworden und mache weniger Fehler als alle verglichenen Konkurrenten, nennt im Text der Ankündigung aber nur „andere beliebte Modelle“, ohne Namen.
Ein Detail für alle, die genau lesen: Der Beitrag spricht von 43 % weniger Bedeutungsfehlern bei Live, die Dokumentation von 44 %, gemessen über 73 Sprachen. Die Größenordnung ist dieselbe, aber solche Abweichungen zeigen, dass die Zahlen aus dem eigenen Haus stammen.
Und Portugiesisch?
Die Ankündigung erwähnt Portugiesisch nicht. Die gute Nachricht: Es startete schon auf hohem Niveau. In der Dokumentation zu Sprache zu Text steht Portugiesisch bei Scribe v2 in der Stufe „Excellent“, mit bis zu 5 % Fehlern pro Wort.
Das verändert die Einordnung der 27 %. Bei einer Sprache, die ohnehin wenig Fehler machte, ist im Schnitt weniger Luft nach oben, und der Gewinn zeigt sich eher dort, wo das alte Modell stolperte: Eigennamen, Slang, Leute, die sich gegenseitig ins Wort fallen. Genau das zählt bei Clip-Untertiteln, und FLEURS, das vorgelesene Sprache misst, erfasst es nicht. Dazu habe ich geschrieben, wie du die Genauigkeit automatischer Untertitel auf Portugiesisch misst: Die einzige Zahl, die zählt, ist die deines eigenen Audios.
Was ändert sich, wenn du Podcasts und Livestreams schneidest?
Der Gewinn, der am deutlichsten auf dem Bildschirm ankommt, ist die Sprechertrennung. Im Podcast mit drei Gästen ist der klassische Fehler, dass der Untertitel den Satz der falschen Person zuordnet, und dann gerät der Clip aus dem Takt, der Farbe oder Position pro Sprecher wechselt.
Ein Rückgang dieses Fehlers um 17 % bei Aufnahmen mit drei oder mehr Stimmen betrifft vor allem alle, die den Bildausschnitt für einen Podcast mit zwei oder drei Personen bauen. Laut Dokumentation akzeptiert v3 bis zu 32 Sprecher pro Datei.
In Echtzeit bringt Live zwei Neuerungen. Die eine: erkennen, wer spricht, während die Person noch spricht. Auf Englisch misst ElevenLabs 3,1 % Fehler bei der Sprechertrennung, gegenüber 5,9 % bis 7,3 % bei den anderen getesteten Modellen. Die andere ist die Erkennung des Sprecherwechsels anhand des Gesprächskontexts und nicht nur anhand der Stille, was weniger Sätze mitten im Satz abschneiden dürfte. Wenn du darüber nachdenkst, Livestreams in Echtzeit zu clippen, ist das eine Verbesserung, die den Aufwand beim Nachjustieren des Clip-Anfangs senkt.
Die Schlüsselbegriffe sind das unterschätzte Feature. Du gibst die Liste der Namen vor, die das Modell erkennen soll (den Spitznamen des Streamers, den Namen des Spiels, die Marke des Sponsors), und es hört auf, Schreibweisen zu erfinden. In v3 passen laut Dokumentation bis zu 1.000 Begriffe hinein. Für einen Clip-Kanal eines einzelnen Creators löst eine feste Liste mit 30 Namen schon einen großen Teil der Fehler, die du heute von Hand korrigierst.
Was noch nicht bekannt ist
Drei Dinge fehlen in der Ankündigung:
- Preis. Bis zur Veröffentlichung dieses Beitrags führte die Preisseite der API nur Scribe v2 (0,20 US-Dollar pro Stunde Audio) und v2 Realtime (0,22 US-Dollar), wobei Schlüsselbegriffe und Transkriptbearbeitung extra berechnet werden.
- Latenz von Live. v2 Realtime hatte einen Median von rund 150 Millisekunden; für v3 Live gibt es keine veröffentlichte Zahl.
- Ergebnis pro Sprache abseits der Highlights. Ohne Zahl für Portugiesisch bleibt nur das Versprechen „in allen besser“.
Was du jetzt tun kannst
Wenn du die ElevenLabs-API nutzt, besteht der Wechsel laut Unternehmen nur im Tausch der Modell-ID. Bevor du in Produktion umschaltest, lass dieselbe Audiominute durch v2 und v3 laufen und vergleiche Wort für Wort, wobei du Fehler bei Eigennamen und Zahlen getrennt zählst. Das ist eine halbe Stunde Arbeit und beantwortet die Frage, die die Ankündigung offenlässt.
Wenn du keine API einbindest und einfach Untertitel für deine Clips willst, zählt das Tool, das du benutzt. Bei Cut.Pro schneidet die KI das Video, erzeugt die Untertitel und du korrigierst Wort für Wort im Editor, bevor du veröffentlichst. Der Test mit der einen Minute gilt für uns genauso wie für jeden Mitbewerber. Wenn die Untertitel, die du heute postest, schon stimmen, ändert sich nichts. Wenn du noch Zeit mit dem Korrigieren von Gastnamen verlierst, halten gut gemachte Untertitel die Zuschauer länger dran, und es lohnt sich, diese Verbesserung von deinem Tool einzufordern.
