So misst du die Genauigkeit automatischer Untertitel auf Portugiesisch in 10 Minuten
Jedes Untertitel-Tool behauptet, fast alles richtig zu verstehen. Die einzige Zahl, die zählt, ist die auf deinem Audio, mit deinem Slang und deinem Akzent. Du kannst sie in zehn Minuten messen: mit einer Minute Video, Papier und einer Division.
So misst du die Genauigkeit automatischer Untertitel auf Portugiesisch in 10 Minuten
Kurze Antwort: Nimm 60 Sekunden aus deinem eigenen Video, transkribiere sie von Hand, erzeuge die Untertitel im Tool und zähle, wie viele Wörter es ersetzt, ausgelassen oder erfunden hat. Teile das durch die Zahl der tatsächlich gesprochenen Wörter. Das ist die Wortfehlerrate (WER), die Standardkennzahl der Spracherkennung. Damit kannst du jedes Tool an dem einzigen Audio vergleichen, das zählt: deinem.
Ich schreibe das als jemand, der ein Untertitel-Tool verkauft. Cut.Pro behauptet, mehr als 99 % der Wörter richtig zu erkennen. Das ist die Zahl des Unternehmens, und der Punkt dieses Beitrags ist gerade, dass du ihr nicht glauben musst, und auch keiner anderen. Der Test unten gilt auch für uns. Die Beispiele beziehen sich auf brasilianisches Portugiesisch, die Methode funktioniert aber für jede Sprache.
Warum die Zahl auf der Website nichts über dein Video sagt
Eine Genauigkeitsangabe ohne das zugehörige Audio ist fast reine Dekoration. Sie hängt von drei Dingen ab, die der Herausgeber selten verrät:
Welches Audio verwendet wurde. Ein vorgelesener Text im Studio und ein sechsstündiger Livestream mit schreiendem Chat sind zwei verschiedene Probleme. Ein System kann beim ersten sehr gut und beim zweiten schlecht abschneiden.
Wie der Text normalisiert wurde. Vor dem Vergleich wird der Text bereinigt: Kleinschreibung, Satzzeichen, Zahlen ausgeschrieben oder als Ziffern. Im Whisper-Paper von OpenAI steht, dass die Fehlerrate bei manchen Testsätzen um bis zu 50 % sank, nur weil Formatierungsunterschiede angeglichen wurden, etwa durch Leerzeichen getrennte Kontraktionen in der Referenztranskription (Radford et al., 2022). Mit anderen Worten: Die Hälfte des Fehlers konnte Stil sein, keine Erkennung.
Welcher Fehler gezählt wurde. Die Kennzahl behandelt jedes Wort gleich. "o" durch "um" zu ersetzen oder den Namen des Gasts falsch zu schreiben, ergibt denselben Punkt. Die Definition der Kennzahl räumt diese Grenze selbst ein: Sie berücksichtigt nicht, welche Auswirkung jeder Fehlertyp auf das Ergebnis hat (Wikipedia, Word error rate).
Der richtige Test ist also klein, auf deinem eigenen Material und mit einer zweiten Zählung für die Fehler, die wehtun.
Was WER ist, in einer Zeile
WER = (S + D + I) / N
- S (Substitution): ein gesprochenes Wort, das zu einem anderen wurde.
- D (Deletion): ein gesprochenes Wort, das fehlt.
- I (Insertion): ein Wort, das niemand gesagt hat und das trotzdem auftaucht.
- N: Gesamtzahl der Wörter der korrekten Transkription.
Gezählt wird mit der kleinsten Zahl an Änderungen, die einen Text in den anderen überführt, nach derselben Logik wie die Levenshtein-Distanz, nur auf Wörter angewendet. Ein Detail, das überrascht: Die WER kann über 100 % liegen, wenn das Tool mehr Wörter erfindet, als es richtig erkennt (Wikipedia).
"Genauigkeit" im Marketing ist meist 1 minus WER. Eine WER von 5 % wird zu "95 % Genauigkeit".
Der 10-Minuten-Test, Schritt für Schritt
1. Wähle deine schlechteste Minute (1 Minute Arbeit)
Nimm nicht den saubersten Ausschnitt. Nimm den, der dein echtes Problem abbildet:
- Slang und Flüche, so wie sie im Livestream rauskommen;
- starker Akzent oder zwei verschiedene Akzente;
- zwei Personen, die durcheinanderreden;
- Musik oder ein Spiel im Hintergrund;
- Namen von Personen, Spielen, Marken.
Wenn du Podcasts schneidest, nimm die Stelle, an der drei Leute lachen und durcheinandersprechen. Wenn du Gaming-Livestreams schneidest, nimm den Moment der Spannung, in dem der Spielsound laut ist. Dort werden die Untertitel in der Praxis ins Straucheln kommen.
2. Transkribiere von Hand (4 bis 5 Minuten)
Hör mit Kopfhörern zu und schreib genau auf, was gesagt wurde. Nicht, was hätte gesagt werden sollen.
Drei Regeln, damit du den Test nicht sabotierst:
- Schreib die Sprache, wie sie ist: "tá", "pra", "né", "mano". Wenn du in der Referenz die Grammatik korrigierst, bestrafst du das Tool dafür, dass es sich ans Gesprochene hält.
- Lege vorher fest, wie du Zahlen behandelst ("dez" oder "10"), und wende in beiden Texten dieselbe Regel an.
- Wo du selbst ein Wort nicht verstehst, markiere es und nimm es aus dem Test. Wenn nicht einmal du es verstehst, kann das Tool an dieser Stelle nicht bewertet werden.
3. Erzeuge die Untertitel im Tool (2 Minuten)
Lade dieselbe Minute hoch, ohne anders zu schneiden, und exportiere den reinen Text (TXT oder SRT). Wenn du zwei Tools vergleichst, nimm für beide exakt dieselbe Datei.
4. Normalisiere beide Texte
Alles klein, keine Satzzeichen, keine Zeilenumbrüche. So umgehst du die Whisper-Falle: Du willst die Erkennung messen, nicht die Formatierung.
5. Zähle (2 Minuten)
Lege beide Texte nebeneinander und markiere jede Ersetzung, jedes fehlende und jedes überzählige Wort. Ein kurzes Beispiel, nur um die Rechnung zu zeigen:
| Text | |
|---|---|
| Gesagt | mano o cara deu um pulo da cadeira que eu nunca vi |
| Untertitel | mano o cara deu um pulo na cadeira que nunca vi |
(Auf Deutsch etwa: "Alter, der Typ ist vom Stuhl hochgeschnellt, so was hab ich noch nie gesehen".) Das sind 12 gesprochene Wörter. Der Untertitel hat "da" durch "na" ersetzt (1 Substitution) und das "eu" verschluckt (1 Deletion). WER = 2 / 12 = 16,7 %, also "83,3 % Genauigkeit". In einem Satz voller Slang reichen zwei kleine Ausrutscher, damit die Zahl einbricht. Deshalb beweist ein Satz nichts, eine ganze Minute dagegen eine Menge.
Wenn du nicht per Augenmaß zählen willst: Die freie Python-Bibliothek jiwer erledigt die Rechnung in zwei Zeilen: pip install jiwer und wer(referencia, legenda). Für das Referenzwerkzeug der Branche pflegt das NIST das SCTK mit dem Auswerter sclite.
Die zweite Zählung: die Fehler, die wirklich wehtun
Die WER liefert dir den Durchschnitt. Clip-Untertitel werden aber nicht am Durchschnitt gemessen, sondern am schlimmsten Fehler, der auf dem Bildschirm erscheint. Mach deshalb für dieselbe Minute eine getrennte Liste mit vier Spalten:
- Falscher Eigenname. Der Name des Gasts, des Streamers, des Spiels. Ein Fehler hier wirkt schludrig und zieht Korrektur-Kommentare an.
- Falsche Zahl. Betrag, Spielstand, Jahr. Der Sinn ändert sich.
- Falsches Schlüsselwort des Ausschnitts. Das Wort, das den Witz oder den Aufhänger trägt. Kommt es falsch raus, verliert der Clip seinen Sinn.
- Synchronität. Wähle drei Stellen in der Minute und prüfe, ob das hervorgehobene Wort auf dem Bildschirm zum Ton passt. Richtige Untertitel, die eine halbe Sekunde zu spät kommen, ermüden alle, die ohne Ton schauen.
Nach meiner Erfahrung können zwei Tools mit ähnlicher WER bei dieser zweiten Liste ganz unterschiedliche Profile haben. Das eine macht Fehler bei Artikeln und Präpositionen, die niemand bemerkt. Das andere macht ausgerechnet bei Namen und Slang Fehler, die jeder bemerkt. Die zweite Liste entscheidet.
Wie du aus dem Ergebnis eine Entscheidung machst
Der Test dient nicht dazu, einen absoluten Sieger zu küren. Er beantwortet eine praktische Frage: Wie viel Zeit verbringe ich pro Clip mit dem Korrigieren der Untertitel?
Ich denke so: Zähle, wie viele Untertitel-Screens ein 60-Sekunden-Clip hat und wie viele davon im Test korrigiert werden mussten. Wenn du jeden dritten Screen korrigierst, steckt die Kosten in deinem Workflow, jeden Tag, bei jedem Clip. Wenn du jeden zwanzigsten korrigierst, ist das Tool seinen Preis wert.
Und wiederhole den Test, wenn sich dein Material ändert. Ein ruhiger Podcast-Kanal und ein Gaming-Livestream-Kanal mit schreiendem Chat sind zwei verschiedene Tests, auch mit demselben Tool.
Was das für die Wahl des Tools bedeutet
Drei Schlüsse, die ich ziehen würde, bevor ich auf den Preis schaue:
Vergleiche immer auf demselben Ausschnitt. Die Zahl einer Website gegen die Zahl einer anderen Website sagt nichts. Dieselbe Minute in zwei Tools sagt viel.
Gewichte Namens- und Slang-Fehler stärker als den Rest. Sie landen in den Kommentaren.
Schau dir den Korrektur-Editor an. Jedes Tool macht irgendwo Fehler. Der Unterschied zwischen einer Korrektur in zehn Sekunden und in zwei Minuten liegt darin, ob du das Wort anklicken und ersetzen kannst und die Untertitel sich von selbst neu einpassen.
Wenn du den Test mit Cut.Pro machen willst: Der kostenlose Plan hat 15 Credits pro Monat, und ein Credit entspricht einer analysierten Videominute. Die Testminute passt locker rein. Die Untertitel gibt es in mehr als 40 Sprachen, und den Stil legst du im Editor fest. Vergleiche mit dem, was du heute nutzt, auf demselben Ausschnitt, und bleib bei dem, das bei dem, was für deinen Kanal zählt, weniger Fehler macht.
Wenn du danach den Stil auswählen willst, schau dir an, wie der Untertitelstil die Retention verändert. Wenn du zwischen den beiden meistgenutzten Untertitel-Tools für die Bearbeitung am Handy schwankst, wendet der Vergleich Submagic oder CapCut dieses Vorgehen an. Und wenn der nächste Schritt das Veröffentlichen in anderen Sprachen ist, beginnt der Beitrag über übersetzte Untertitel in drei Sprachen genau dort, wo dieser endet: Gute Übersetzung hängt von guter Transkription ab.
Zusammengefasst
- Angegebene Genauigkeit gilt nicht für dein Audio. Miss an deiner schlechtesten Minute.
- WER = (Ersetzungen + Auslassungen + Einfügungen) / gesprochene Wörter. Sie kann über 100 % liegen.
- Normalisiere, bevor du zählst. Die Formatierung allein hat den Fehler in veröffentlichten Tests schon um bis zu 50 % verschoben.
- Führe eine zweite Liste mit Name, Zahl, Schlüsselwort und Synchronität.
- Entscheide nach der Korrekturzeit pro Clip, nicht nach dem Durchschnitt.
Zehn Minuten Test sparen dir Monate von Hand korrigierter Untertitel. Und nebenbei liest du jedes "99 %" künftig mit der richtigen Frage: gemessen woran?
Quellen: Wikipedia, Word error rate · Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (Whisper), 2022 · jiwer, Bibliothek zur Auswertung von Spracherkennung · NIST SCTK
