‘Audeo’ enseigne l’intelligence artificielle à jouer du piano –

Une équipe de l’Université de Washington s’est demandé si l’intelligence artificielle pouvait recréer ce plaisir en utilisant uniquement des indices visuels – une vidéo silencieuse et descendante de quelqu’un jouant du piano. Les chercheurs ont utilisé l’apprentissage automatique pour créer un système, appelé Audeo, qui crée de l’audio à partir de performances de piano silencieuses. Lorsque le groupe a testé la musique qu’Audeo a créée avec des applications de reconnaissance musicale, telles que SoundHound, les applications ont correctement identifié le morceau joué par Audeo environ 86% du temps. À titre de comparaison, ces applications ont identifié le morceau dans les pistes audio à partir des vidéos sources 93% du temps.

Les chercheurs ont présenté Audeo le 8 décembre lors de la conférence NeurIPS 2020.

“Créer une musique qui donne l’impression qu’elle pourrait être jouée dans une performance musicale était auparavant considéré comme impossible”, a déclaré l’auteur principal Eli Shlizerman, professeur assistant dans les départements de mathématiques appliquées et de génie électrique et informatique. «Un algorithme doit déterminer les indices, ou« caractéristiques », dans les images vidéo qui sont liés à la génération de musique, et il doit« imaginer »le son qui se produit entre les images vidéo. Il nécessite un système qui soit à la fois précis et imaginatif. Le fait que nous ayons réalisé une musique qui sonnait plutôt bien a été une surprise. “

Audeo utilise une série d’étapes pour décoder ce qui se passe dans la vidéo, puis la traduire en musique. Tout d’abord, il doit détecter quelles touches sont enfoncées dans chaque image vidéo pour créer un diagramme au fil du temps. Ensuite, il doit traduire ce diagramme en quelque chose qu’un synthétiseur de musique reconnaîtrait réellement comme un son que produirait un piano. Cette deuxième étape nettoie les données et ajoute plus d’informations, telles que la force avec laquelle chaque touche est enfoncée et pendant combien de temps.

“Si nous essayons de synthétiser de la musique à partir de la seule première étape, nous trouverons la qualité de la musique insatisfaisante”, a déclaré Shlizerman. “La deuxième étape est comme la façon dont un enseignant examine la musique d’un élève compositeur et contribue à l’améliorer.”

Les chercheurs ont formé et testé le système à l’aide de vidéos YouTube du pianiste Paul Barton. La formation comprenait environ 172 000 images vidéo de Barton jouant de la musique de compositeurs classiques bien connus, tels que Bach et Mozart. Ensuite, ils ont testé Audeo avec près de 19 000 images de Barton jouant une musique différente de ces compositeurs et d’autres, tels que Scott Joplin.

Une fois qu’Audeo a généré une transcription de la musique, il est temps de la donner à un synthétiseur qui peut la traduire en son. Chaque synthétiseur rendra la musique un peu différente – cela revient à changer le réglage «instrument» sur un clavier électrique. Pour cette étude, les chercheurs ont utilisé deux synthétiseurs différents.

“Fluidsynth fabrique des sons de piano de synthétiseur avec lesquels nous sommes familiers. Ils ont un son quelque peu mécanique mais assez précis”, a déclaré Shlizerman. “Nous avons également utilisé PerfNet, un nouveau synthétiseur IA qui génère une musique plus riche et plus expressive. Mais il génère également plus de bruit.”

Audeo a été formé et testé uniquement sur les vidéos de piano de Paul Barton. Des recherches futures sont nécessaires pour voir dans quelle mesure il pourrait transcrire la musique pour n’importe quel musicien ou piano, a déclaré Shlizerman.

“Le but de cette étude était de voir si l’intelligence artificielle pouvait générer de la musique jouée par un pianiste dans un enregistrement vidéo – bien que nous ne cherchions pas à reproduire Paul Barton parce qu’il est un virtuose”, a déclaré Shlizerman. “Nous espérons que notre étude permettra de nouvelles façons d’interagir avec la musique. Par exemple, une application future est que l’Audeo pourra être étendu à un piano virtuel avec une caméra enregistrant uniquement les mains d’une personne. De plus, en plaçant une caméra sur un vrai piano, Audeo pourrait potentiellement aider à de nouvelles façons d’apprendre aux élèves à jouer. “

Kun Su et Xiulong Liu, tous deux doctorants en génie électrique et informatique, sont co-auteurs de cet article. Cette recherche a été financée par le Washington Research Foundation Innovation Fund ainsi que par les départements de mathématiques appliquées et de génie électrique et informatique.

Source de l’histoire:

Matériaux fourni par Université de Washington. Original écrit par Sarah McQuate. Remarque: le contenu peut être modifié pour le style et la longueur.