Lire sur les lèvres avec un logiciel grâce à la magie Disney share
back to to

Lire sur les lèvres avec un logiciel grâce à la magie Disney

23 avril 2015

Alors que la reconnaissance visuelle peut être utilisée par les forces de l’ordre ou bien pour analyser la concentration des enfants pendant les cours, Disney a développé un logiciel qui analyse le mouvement des lèvres puis propose un ensemble de mots qui peut également correspondre à ce qui a été dit. Un synthétiseur vocal remplace ainsi les mots réellement dits, en se basant sur leur prononciation. Explications avec cet article de la BBC.

« Mettre des mots plausibles » dans la bouche d’une personne, c’est ainsi que les chercheurs de Disney résument leur travail. En effet, le logiciel qu’ils ont créé analyse les variations de la bouche et de la mâchoire d’une personne filmée. En se basant uniquement sur cette reconnaissance visuelle, le logiciel établi ensuite une liste de mots qui aurait la même façon d’être prononcé, comme en témoigne la vidéo ci-dessous.

Le logiciel rencontre néanmoins quelques limites : la personne filmée doit rester la plus immobile possible et avoir l’intonation la plus neutre qui soit. Et même avec ces résultats, cela n’empêche pas des propositions de mots farfelues.

De l’avis des chercheurs eux-mêmes, le but de ce logiciel serait, à terme, de pouvoir traduire n’importe quel programme télévisé d’une langue à l’autre. Une possibilité qui n’est pas sans rappeler d’autres technologies utilisant le Machine Learning.

Patrick Walker, de la plateforme de vidéos virales Rightster, imagine déjà les applications possibles d’un tel logiciel : « ce serait une sorte de « lip sync roulette », dans lequel vous diriez une phrase, puis l’application l’adapte à un clip vidéo qu’elle estime correspondre puisé dans une base de données ».

Pour plus d’informations, rendez-vous sur l’article de la BBC.

Chaque semaine,
recevez les immanquables
par email