Comment mesurer la précision des sous-titres automatiques en portugais en 10 minutes

Comment mesurer la précision des sous-titres automatiques en portugais en 10 minutes

Réponse courte : prenez 60 secondes de votre propre vidéo, transcrivez-les à la main, générez les sous-titres dans l'outil et comptez combien de mots il a remplacés, oubliés ou inventés. Divisez par le nombre de mots réellement prononcés. C'est le taux d'erreur par mot (WER), la métrique standard de la reconnaissance vocale, et il vous permet de comparer n'importe quel outil sur le seul audio qui compte : le vôtre.

J'écris ceci en tant que quelqu'un qui vend un outil de sous-titres. Cut.Pro affirme comprendre plus de 99 % des mots. C'est le chiffre de l'entreprise, et tout l'intérêt de cet article est que vous n'avez pas à le croire, ni celui de personne d'autre. Le test ci-dessous s'applique à nous aussi. Les exemples portent sur le portugais brésilien, mais la méthode vaut pour n'importe quelle langue.

Pourquoi le chiffre du site ne dit rien de votre vidéo

Un pourcentage de précision sans l'audio qui va avec est presque décoratif. Il dépend de trois choses que celui qui le publie raconte rarement :

Quel audio a été utilisé. Lire un texte en studio et suivre un live de six heures avec un chat qui hurle, ce sont deux problèmes différents. Un système peut très bien s'en sortir sur le premier et mal sur le second.

Comment le texte a été normalisé. Avant de comparer, le texte passe par un nettoyage : minuscules, ponctuation, nombre écrit en lettres ou en chiffres. L'article de Whisper, d'OpenAI, indique que sur certains jeux de test le taux d'erreur a baissé jusqu'à 50 % rien qu'en corrigeant des différences de mise en forme, comme des contractions séparées par une espace dans la transcription de référence (Radford et al., 2022). Autrement dit : la moitié de l'erreur pouvait être du style, pas de la reconnaissance.

Quelle erreur a été comptée. La métrique traite tous les mots de la même façon. Remplacer « o » par « um » ou se tromper sur le nom de l'invité rapporte le même point. La définition même de la métrique admet cette limite : elle ne tient pas compte de l'effet de chaque type d'erreur sur le résultat (Wikipédia, Word error rate).

Le bon test est donc petit, fait sur votre matériel, avec un deuxième comptage pour les erreurs qui font mal.

Le WER en une ligne

WER = (S + D + I) / N

• S (substitution) : un mot prononcé qui est devenu un autre.
• D (délétion) : un mot prononcé qui a disparu.
• I (insertion) : un mot que personne n'a dit et qui est apparu.
• N : nombre total de mots de la transcription correcte.

Le comptage se fait avec le plus petit nombre de modifications qui transforme un texte en l'autre, selon la même logique que la distance de Levenshtein appliquée aux mots. Un détail qui surprend : le WER peut dépasser 100 %, quand l'outil invente plus de mots qu'il n'en reconnaît correctement (Wikipédia).

La « précision » des brochures marketing est généralement 1 moins le WER. Un WER de 5 % devient « 95 % de précision ».

Le test de 10 minutes, étape par étape

1. Choisissez votre pire minute (1 minute de travail)

Ne prenez pas l'extrait le plus propre. Prenez celui qui représente votre vrai problème :

• de l'argot et des gros mots tels qu'ils sortent en live ;
• un fort accent, ou deux accents différents ;
• deux personnes qui se coupent la parole ;
• de la musique ou un jeu en fond sonore ;
• des noms de personnes, de jeux, de marques.

Si vous découpez des podcasts, prenez le moment où trois personnes rient et parlent en même temps. Si vous découpez des lives de jeu, prenez le moment de tension avec le son du jeu à fond. C'est là que les sous-titres vont craquer dans la vraie vie.

2. Transcrivez à la main (4 à 5 minutes)

Écoutez au casque et écrivez exactement ce qui a été dit. Pas ce qui aurait dû être dit.

Trois règles pour ne pas saboter le test :

• Écrivez la parole telle qu'elle est : « tá », « pra », « né », « mano ». Si vous corrigez la grammaire dans la référence, vous pénalisez l'outil pour sa fidélité.
• Décidez à l'avance comment traiter les nombres (« dez » ou « 10 ») et appliquez la même règle aux deux textes.
• Quand vous-même ne comprenez pas un mot, marquez-le et retirez-le du test. Si vous ne comprenez pas, l'outil ne peut pas être jugé à cet endroit.

3. Générez les sous-titres dans l'outil (2 minutes)

Envoyez la même minute, sans la découper différemment, et exportez le texte brut (TXT ou SRT). Si vous comparez deux outils, utilisez exactement le même fichier pour les deux.

4. Normalisez les deux textes

Tout en minuscules, sans ponctuation, sans saut de ligne. C'est ce qui vous évite le piège de Whisper : vous voulez mesurer la reconnaissance, pas la mise en forme.

5. Comptez (2 minutes)

Avec les deux textes côte à côte, marquez chaque remplacement, chaque absence et chaque mot en trop. Un court exemple, juste pour illustrer le calcul :

	Texte
Dit	mano o cara deu um pulo da cadeira que eu nunca vi
Sous-titres	mano o cara deu um pulo na cadeira que nunca vi

(En français : « mec, le gars a sursauté de sa chaise, je n'avais jamais vu ça ».) Cela fait 12 mots prononcés. Les sous-titres ont remplacé « da » par « na » (1 substitution) et avalé le « eu » (1 délétion). WER = 2 / 12 = 16,7 %, soit « 83,3 % de précision ». Dans une phrase pleine d'argot, deux petits dérapages suffisent pour que le chiffre s'effondre. C'est pourquoi une phrase ne prouve rien, alors qu'une minute entière prouve beaucoup.

Si vous préférez ne pas compter à l'œil, la bibliothèque libre jiwer, en Python, fait le calcul en deux lignes : pip install jiwer puis wer(referencia, legenda). Pour l'outil de référence du secteur, le NIST maintient le SCTK, avec l'évaluateur sclite.

Le deuxième comptage : les erreurs qui font vraiment mal

Le WER vous donne la moyenne. Les sous-titres d'un clip ne sont pas jugés sur la moyenne, mais sur la pire erreur qui s'affiche à l'écran. Sur la même minute, dressez donc une liste à part, avec quatre colonnes :

1. Nom propre erroné. Le nom de l'invité, du streamer, du jeu. Une erreur ici fait négligé et attire les commentaires de correction.
2. Nombre erroné. Un montant, un score, une année. Le sens change.
3. Mot clé de l'extrait erroné. Le mot qui porte la blague ou l'accroche. S'il sort faux, le clip perd sa raison d'être.
4. Synchronisation. Choisissez trois points de la minute et vérifiez si le mot mis en avant à l'écran correspond au son. Des sous-titres justes mais décalés d'une demi-seconde fatiguent ceux qui regardent sans le son.

D'après mon expérience, deux outils avec un WER similaire peuvent avoir des profils très différents sur cette seconde liste. L'un se trompe sur les articles et les prépositions, que personne ne remarque. L'autre se trompe justement sur les noms et l'argot, que tout le monde remarque. C'est la seconde liste qui tranche.

Comment transformer le résultat en décision

Le test ne sert pas à désigner un vainqueur absolu. Il sert à répondre à une question pratique : combien de temps vais-je passer à corriger les sous-titres de chaque clip ?

Voici ma façon de raisonner : comptez combien d'écrans de sous-titres compte un clip de 60 secondes et combien d'entre eux ont eu besoin d'une correction pendant le test. Si vous corrigez un écran sur trois, le coût pèse sur votre flux de travail, tous les jours, sur chaque clip. Si vous en corrigez un sur vingt, l'outil vaut ce qu'il coûte.

Et refaites le test quand votre matériel change. Une chaîne de podcast tranquille et une chaîne de lives de jeu avec un chat qui hurle, ce sont deux tests différents, même avec le même outil.

Ce que cela change dans le choix d'un outil

Trois conclusions que je tirerais avant de regarder le prix :

Comparez toujours sur le même extrait. Le chiffre d'un site contre le chiffre d'un autre site ne dit rien. La même minute dans deux outils en dit beaucoup.

Donnez plus de poids aux erreurs de noms et d'argot qu'au reste. Ce sont celles qui finissent dans les commentaires.

Regardez l'éditeur de correction. Tous les outils se trompent sur quelque chose. La différence entre corriger en dix secondes et en deux minutes tient à la possibilité de cliquer sur le mot et de le remplacer, avec des sous-titres qui se recalent tout seuls.

Si vous voulez faire le test sur Cut.Pro, le plan gratuit offre 15 crédits par mois, et un crédit correspond à une minute de vidéo analysée : la minute du test y entre sans problème. Les sous-titres sortent dans plus de 40 langues, et vous définissez le style dans l'éditeur. Comparez avec ce que vous utilisez aujourd'hui, sur le même extrait, et gardez celui qui se trompe le moins sur ce qui compte pour votre chaîne.

Pour choisir le style une fois la précision réglée, lisez comment le style des sous-titres change la rétention. Si vous hésitez entre les deux outils de sous-titres les plus utilisés par ceux qui montent sur mobile, le comparatif Submagic ou CapCut applique ce raisonnement. Et si l'étape suivante est de publier dans d'autres langues, l'article sur les sous-titres traduits en trois langues commence exactement là où celui-ci s'arrête : une bonne traduction dépend d'une bonne transcription.

En résumé

• La précision annoncée ne vaut pas pour votre audio. Mesurez sur votre pire minute.
• WER = (remplacements + omissions + insertions) / mots prononcés. Il peut dépasser 100 %.
• Normalisez avant de compter. La mise en forme à elle seule a déjà déplacé l'erreur jusqu'à 50 % dans des tests publiés.
• Faites une seconde liste avec nom, nombre, mot clé et synchronisation.
• Décidez selon le temps de correction par clip, pas selon la moyenne.

Dix minutes de test font économiser des mois de sous-titres corrigés à la main. Et, en prime, vous lirez n'importe quel « 99 % » avec la bonne question : mesuré sur quoi ?

Sources : Wikipédia, Word error rate · Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (Whisper), 2022 · jiwer, bibliothèque d'évaluation de la reconnaissance vocale · NIST SCTK