Doublage automatique en 27 langues : ce que ça résout et ce qui coince encore

Doublage automatique en 27 langues : ce que ça résout et ce qui coince encore

Le fait : le doublage automatique de YouTube n'est plus un pilote, c'est devenu une fonctionnalité générale, avec 27 langues prises en charge. Avec lui est arrivé l'Expressive Speech, une couche qui tente de préserver le ton, l'émotion et le débit du locuteur d'origine, annoncée pour huit langues, avec le portugais dans la liste.

J'ai passé quelques jours à tester ça côté technique, avec notre matériel et celui de clients. Je vous raconte ce que j'ai trouvé, y compris les parties qui ne marchent pas, car ce sont elles qui décident si ça vaut le coup ou non dans votre cas.

Ce que fait vraiment la chaîne de traitement

Le doublage automatique n'est pas un seul modèle. Ce sont quatre étapes enchaînées, et chacune a sa façon bien à elle de se tromper.

1. Transcription. L'audio devient du texte horodaté. C'est l'étape la plus mûre des quatre. Elle se trompe sur les noms propres, l'argot régional et les paroles qui se chevauchent.

2. Traduction. Le texte part dans la langue cible. C'est ici que surgit le premier problème structurel de la vidéo : une bonne traduction change la longueur de la phrase. « Eu não sei » et « I don't know » tiennent dans le même souffle, mais « não faço a menor ideia » et « I have absolutely no idea » ne coïncident déjà plus. Une phrase plus longue que l'espace disponible oblige le système à accélérer la voix ou à couper des mots.

3. Synthèse vocale. Le texte traduit redevient de l'audio. C'est là qu'agit l'Expressive Speech : au lieu de produire une diction neutre de présentateur de journal télévisé, il tente de reprendre la prosodie de l'original, c'est-à-dire où la voix monte, où elle marque une pause, où elle rit au milieu de la phrase.

4. Alignement. Le nouvel audio est calé sur la ligne de temps de la vidéo. C'est l'étape dont personne ne parle et qui abîme plus de résultats que les trois autres réunies.

Ce que l'Expressive Speech apporte réellement

Mieux que ce que j'attendais, et moins que ce que le nom promet.

Ce qu'il capte bien : l'intonation d'une question, l'accent mis sur un mot précis, le rythme général de quelqu'un qui parle vite ou lentement, et la montée du volume quand la personne s'emballe. Un extrait de streamer qui réagit à quelque chose d'inattendu ressort de façon reconnaissable comme enthousiaste, et non robotique.

Ce qu'il ne capte pas encore : le vrai rire en plein milieu d'une phrase, la voix qui se brise, l'ironie dite sur un ton sec, et ce type de débit traînant qui est la marque de fabrique de certains créateurs. Dans ces cas, le résultat n'est pas mauvais, il est neutre, et le neutre est le pire endroit où tomber pour une vidéo qui vit de sa personnalité.

Une remarque technique qui compte : la préservation de la prosodie fonctionne mieux quand l'audio source est propre. Sur un live avec de la musique de fond, un chat lu à voix haute et un micro saturé, l'estimation de la prosodie se dégrade et l'Expressive Speech devient une voix off ordinaire. Si vous voulez doubler, la décision commence bien en amont, à la captation.

Où le doublage casse sur la vidéo courte

C'est la partie qui intéresse ceux qui font des clips, et la réponse courte est : la vidéo courte est le pire cas pour le doublage.

Trois raisons, par ordre de gravité.

Il n'y a pas de temps d'adaptation. Dans une vidéo de vingt minutes, le spectateur est dérouté par la voix pendant les trente premières secondes, puis oublie. Dans un clip de 45 secondes, les trente premières secondes sont la vidéo entière. L'étrangeté ne passe jamais.

Le visage est au premier plan. Un clip vertical bien cadré place la bouche du locuteur en grand à l'écran. Le moindre décalage entre les lèvres et le son saute aux yeux. Dans une vidéo longue, le plan est souvent plus large et pardonne davantage.

La rétention se joue dans les trois premières secondes. Si l'accroche dépend de la manière dont la personne a dit une phrase, et que le doublage livre cette phrase avec une demi-seconde de retard et une intonation approximative, vous avez perdu exactement ce qui faisait fonctionner le clip.

Le test que je ferais avant de décider : prenez votre meilleur clip, doublez-le et regardez-le sans le son pendant dix secondes, puis avec le son. Si la version doublée vous fait fixer la bouche au lieu de la phrase, ce format n'est pas pour vous.

Où il fonctionne très bien

Passons à l'autre côté, car il existe des cas où le doublage est clairement supérieur aux sous-titres.

Voix off sur des images. Tutoriel, analyse avec partage d'écran, gameplay commenté, chaîne sans visage. Il n'y a pas de lèvre visible pour démentir la voix, et la synchronisation cesse d'être un problème. Ici, le doublage est presque invisible, au bon sens du terme.

Contenu dense en information. Quand le spectateur doit regarder l'écran pour comprendre (un graphique, une carte, un bout de code), les sous-titres se disputent l'attention avec l'image. Le doublage libère les yeux.

Contenu long que vous voulez déployer sans le retourner. Un podcast d'une heure dans trois langues de plus, c'est un travail d'un mois. Doublé, c'est un travail d'un après-midi. Même avec une perte de nuances, le calcul est en sa faveur.

Nous avons déjà traité la version sous-titrée de cette même décision dans sous-titres traduits dans trois langues, et la comparaison reste valable : sur un clip, les sous-titres gagnent dans la majorité des cas.

L'erreur que j'ai vue le plus souvent dans les tests

Doubler sans traduire le reste.

Une vidéo avec un audio en espagnol, des sous-titres incrustés en portugais, un titre en portugais et un texte de couverture en portugais. Le spectateur espagnol clique, entend sa propre langue et voit trois éléments visuels qu'il ne comprend pas. Le taux d'abandon dans ce cas est pire que celui de la vidéo d'origine sans aucun doublage, parce que la vidéo semble cassée.

Si vous partez vers une autre langue, allez-y jusqu'au bout : audio, sous-titres, titre, description et texte à l'écran. Une demi-traduction est pire que pas de traduction. Cela rejoint ce que nous avons déjà écrit sur le titre et la description comme signal de recherche.

La question de l'authenticité, qui va arriver

Autant anticiper une gêne qui n'est pas encore un grand débat, mais qui va le devenir.

La voix, c'est l'identité. Quand la voix d'un créateur est synthétisée dans une autre langue, le spectateur entend quelque chose que la personne n'a jamais dit, exactement de cette façon. C'est acceptable quand c'est annoncé, et étrange quand ça ne l'est pas.

YouTube signale la piste comme doublée, ce qui règle l'aspect formel. L'aspect culturel est plus lent : sur certains marchés, une vidéo doublée par IA porte déjà un stigmate proche de celui dont nous parlions à propos du contenu générique produit par IA. Ce n'est pas une raison de ne pas l'utiliser. C'est une raison de ne pas le cacher.

Comment je déciderais, concrètement

Une règle en trois lignes qui a bien fonctionné dans nos tests :

• Visage en gros plan et parole continue : sous-titres. Toujours.
• Voix off sur des images, sans visage : doublage. Il gagne facilement.
• Format mixte : doublage sur la vidéo longue, sous-titres sur les clips tirés de celle-ci.

Cette dernière ligne est la plus utile pour qui fait des clips. La vidéo d'origine doublée touche un nouveau public, et les clips de cette même vidéo restent sous-titrés, car c'est dans le clip que la voix d'origine compte le plus.

Chez nous, le chemin est le suivant : la transcription sort une seule fois, et c'est de là que naissent à la fois les sous-titres traduits du clip et le texte qui alimente un doublage de la vidéo longue. Coller le lien dans Cut.Pro renvoie les clips proposés déjà transcrits, avec recadrage vertical et sous-titres, et la traduction réutilise le même texte au lieu de repartir de zéro.

En résumé

• Le doublage automatique de YouTube est désormais général, avec 27 langues ; l'Expressive Speech en couvre huit, dont le portugais.
• La chaîne compte quatre étapes, et l'alignement est celle qui abîme le plus de résultats.
• L'Expressive Speech capte l'intonation et le rythme. Il ne capte ni le rire, ni l'ironie sèche, ni la voix qui se brise.
• La vidéo courte est le pire cas pour le doublage : pas de temps d'adaptation, visage en gros plan, rétention décidée en trois secondes.
• La voix off sur des images est le meilleur cas : il n'y a pas de lèvre pour démentir la voix.
• Traduire à moitié est pire que ne pas traduire.

La technologie a vraiment mûri pendant ce cycle, et cela change le calcul de l'expansion internationale pour ceux qui ont un catalogue long. Cela ne change simplement rien pour le clip, qui reste l'endroit où la voix de la personne représente la moitié de la valeur.

Sources : Times of AI, doublage automatique de YouTube en 27 langues · GSMArena, nouveaux outils d'IA et options de monétisation de YouTube