{"id":10837,"date":"2024-09-25T10:32:48","date_gmt":"2024-09-25T08:32:48","guid":{"rendered":"https:\/\/www.mdw.ac.at\/magazin\/?p=10837"},"modified":"2024-09-27T09:19:14","modified_gmt":"2024-09-27T07:19:14","slug":"piano-precision-ein-ki-gestuetztes-software-tool-zur-analyse-von-musikaufnahmen","status":"publish","type":"post","link":"https:\/\/www.mdw.ac.at\/magazin\/2024\/09\/25\/piano-precision-ein-ki-gestuetztes-software-tool-zur-analyse-von-musikaufnahmen\/","title":{"rendered":"Piano Precision: Ein KI-gest\u00fctztes Software-Tool zur Analyse von Musikaufnahmen"},"content":{"rendered":"Musikwissenschaftler_innen, die sich der Interpretationsforschung widmen, sind daran interessiert, Performancemerkmale wie Stil und Ausdruckskraft zu untersuchen. Typischerweise sammelt man mehrere Aufnahmen unterschiedlicher Auff\u00fchrungen desselben St\u00fccks und vergleicht deren Nuancen. Zum Beispiel werden h\u00e4ufig Aufnahmen desselben St\u00fccks aus unterschiedlichen Jahrzehnten miteinander verglichen, um so historische Trends und Str\u00f6mungen aufzusp\u00fcren. Stammen die Darbietungen von demselben K\u00fcnstler bzw. derselben K\u00fcnstlerin, kann man anhand der Aufnahmen auch stilistische Ver\u00e4nderungen und Entwicklungen \u00fcber den Verlauf einer Karriere beobachten.<\/p>\n

Derzeit f\u00fchren Musikwissenschaftler_innen solche Analysen meist mithilfe manueller Annotationen durch, hierf\u00fcr werden Parameter wie z.\u2009B. metrische Schwerpunkte, Tonh\u00f6hen oder Notenanfangszeiten in den Musikaufnahmen gemessen. Das wohl beliebteste Softwaretool daf\u00fcr ist Sonic Visualiser, mit dem mehrere Annotationen zugleich visualisiert und alle Daten f\u00fcr weitere quantitative Analysen in eine Excel-Datei exportiert werden k\u00f6nnen. Solche manuellen Annotationen k\u00f6nnen jedoch \u00e4u\u00dferst m\u00fchsam und nicht besonders effizient sein, und dar\u00fcber hinaus enthalten die vorhandenen Tools keine Informationen zur Partitur, die f\u00fcr die Analyse musikalischer Darbietungen oft entscheidend sind.<\/p>\n

Zur Entwicklung besserer Performance-Analyse-Tools f\u00fchrte Yucong Jiang am Institut f\u00fcr musikalische Akustik \u2013 Wiener Klangstil der mdw ein 13-monatiges Forschungsprojekt durch, das durch ein prestigetr\u00e4chtiges Marie-Sklodowska-Curie-Stipendium f\u00fcr Postdoktorand_innen der EU finanziert wurde. Das wohl wichtigste Ergebnis dieses Projekts, das im Juli erfolgreich abgeschlossen wurde, ist ein Prototyp einer Open-Source-Software namens Piano Precision<\/i> \u2013 ein Tool, das die Analyse von Musikaufnahmen erleichtern soll. Anhand einer musikalischen Aufnahme sowie der dazugeh\u00f6rigen digitalen Partitur generiert die Software automatisch aussagekr\u00e4ftige KI-gesteuerte Annotationen zu Timing auf der Ebene einzelner Noten sowie dem Tempo, die vollst\u00e4ndig mit einer digitalen Partitur verkn\u00fcpft sind. Mit einer einfach zu bedienenden grafischen Benutzeroberfl\u00e4che visualisiert die Software die Partitur, die Audio-Aufnahme und die generierten Annotationen auf intuitive Weise. Um zum Beispiel schnell zu einer bestimmten Note in der Aufnahme zu gelangen, k\u00f6nnen Benutzer_innen einfach auf diese Note in der Partitur klicken. Die Abbildung unten zeigt die grafische Benutzeroberfl\u00e4che von Piano Precision<\/i>.<\/p>\n

\"\"
\u00a9 Yucong Jiang<\/figcaption><\/figure>\n

Die automatische Annotationsfunktion st\u00fctzt sich auf eine KI-Komponente, die mithilfe eines Alignment-Algorithmus Audio und Partitur miteinander in Beziehung setzt. Anhand einer digitalen Musikpartitur und der dazugeh\u00f6rigen Aufnahme findet der Algorithmus automatisch f\u00fcr jede Note in der Partitur die Anfangszeit in der Audio-Aufnahme. Ausgehend von diesen Anfangszeiten und der Partiturinformationen berechnet die Software das lokale Spieltempo f\u00fcr jede Note und generiert eine intuitive Tempokurve, die Temposchwankungen der gesamten Aufnahme abbildet.<\/p>\n

Nat\u00fcrlich ist kein KI-Algorithmus perfekt; daher erm\u00f6glicht die Software den Nutzer_innen, falsch erkannte Anfangszeiten, die mit der tats\u00e4chlichen Auff\u00fchrung nicht \u00fcbereinstimmen, zu korrigieren, indem sie diese in der Benutzeroberfl\u00e4che einfach per Drag and Drop verschieben. Dabei werden die hervorgehobenen Noten in der Partitur gemeinsam mit beschrifteten Anfangszeiten in der Aufnahme angezeigt. Anschlie\u00dfend k\u00f6nnen Nutzer_innen die so validierten Annotationen und Tempoanmerkungen in eine Excel-Datei exportieren, um sie weiter zu analysieren. Diese Annotationen sind f\u00fcr die Forschungsarbeit \u00e4u\u00dferst wertvoll, da das Timing ein wesentlicher Aspekt musikalischer Ausdruckskraft ist.<\/p>\n

Piano Precision <\/i><\/a>wird unter einer gemeinfreien Lizenz bereitgestellt und kann kostenlos genutzt werden; weitere Informationen gibt es auf der Projektseite.<\/p>\n

Die Technologie f\u00fcr den Abgleich von Audio und digitaler Partitur stammt aus der Music-Information-Retrieval(MIR)-Forschungscommunity, die f\u00fchrende Musiktechnologien erfindet und entwickelt, wie z.\u2009B. die automatische Musiktranskription oder die optische Musikerkennung. Um die Vernetzung und Einbindung mit der MIR-Community zu erleichtern, ist dieser Alignment-Algorithmus in Piano Precision<\/i> als Plugin konzipiert, wodurch man ihn einfach durch einen anderen Algorithmus aus der MIR-Community ersetzen kann \u2013 ganz ohne den zugrundliegenden Code von Piano Precision<\/i> anzutasten. Dieses Projekt stellt einen bedeutenden Schritt dar, die Kluft zwischen MIR und Performanceanalyseforschung zu verkleinern.<\/p>\n

Das digitale Partitur-Format von Piano Precision<\/i> ist MEI (Music Encoding Initiative), ein unter Musikwissenschaftler_innen zunehmend beliebtes Partiturformat. Da am Institut f\u00fcr musikalische Akustik \u2013 Wiener Klangstil mehrere MEI-bezogene Projekte beheimatet sind und dort auch f\u00fchrende Expert_innen auf diesem Gebiet wie Werner Goebl und David M. Weigl wirken, ergeben sich gute Synergieeffekte.<\/p>\n

Yucong Jiang f\u00fchrte eine Nutzer_innenstudie zu Piano Precision<\/i> mit 15 potenziellen Nutzer_innen durch. Die R\u00fcckmeldungen waren weitgehend positiv, was den Nutzen dieses Tools f\u00fcr die Forschung im Bereich der Performanceanalyse unterstreicht. Zudem konnten wichtige Erkenntnisse f\u00fcr die Weiterentwicklung solcher Tools gewonnen werden.","protected":false},"excerpt":{"rendered":"

Musikwissenschaftler_innen, die sich der Interpretationsforschung widmen, sind daran interessiert, Performancemerkmale wie Stil und Ausdruckskraft zu untersuchen. Typischerweise sammelt man mehrere Aufnahmen unterschiedlicher Auff\u00fchrungen desselben St\u00fccks und vergleicht deren Nuancen.<\/p>\n","protected":false},"author":377,"featured_media":10839,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[6],"tags":[1480,1479,1519,854],"class_list":["post-10837","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-special","tag-ai","tag-ki","tag-software","tag-special"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/posts\/10837","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/users\/377"}],"replies":[{"embeddable":true,"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/comments?post=10837"}],"version-history":[{"count":6,"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/posts\/10837\/revisions"}],"predecessor-version":[{"id":11011,"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/posts\/10837\/revisions\/11011"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/media\/10839"}],"wp:attachment":[{"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/media?parent=10837"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/categories?post=10837"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.mdw.ac.at\/magazin\/wp-json\/wp\/v2\/tags?post=10837"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}