Healthy Strings: AI-Powered Posture Tracking for Violinists

🎻 Violin Posture, Sound, Performance & Technology

Healthy Strings ist ein interdisziplinäres Forschungsprojekt zur Analyse von Haltung, Bewegung, Spieltechnik, Klang und gesundheitlicher Belastung beim Violinspiel. Ziel ist die Entwicklung eines offenen, transparenten und praxistauglichen Verfahrens, das Violinist*innen mit handelsüblichen Kameras aufzeichnet und Bewegungsdaten ohne am Körper angebrachte Marker auswertet.

Das Projekt verbindet Musikphysiologie, Violinpädagogik, Physiotherapie, musikalische Akustik, Musikpsychologie, Bewegungsanalyse, Sensorik, Biorobotik und Data Science. Im Mittelpunkt steht nicht die Vorgabe einer einzigen „richtigen“ Haltung. Untersucht wird vielmehr, wie instrumentenspezifische, funktionale Asymmetrien von potenziell belastungserhöhenden Haltungs- und Bewegungsmustern unterschieden werden können.

Forschungsziele

Das Projekt entwickelt schrittweise ein standardisiertes Protokoll für Video- und Audioaufnahmen von Violinist*innen. Markerlose Bewegungsdaten sollen mit physiotherapeutischen und instrumentalpädagogischen Expert*innenratings sowie akustischen Parametern verbunden werden. Langfristig soll daraus eine wissenschaftlich fundierte Grundlage für Forschung, Unterricht, Prävention und individuelles Feedback entstehen.

Zentrale Forschungsfragen

Im Zentrum steht die Frage, welche kleine Zahl wissenschaftlich und praktisch relevanter Variablen Haltung, Bewegung, Spieltechnik, Klang und gesundheitliche Belastung sinnvoll miteinander verbindet. Untersucht wird auch, welche Asymmetrien funktional sind, welche Bewegungsmuster längerfristig belastend sein könnten, welche Kameraperspektiven stabile Messwerte liefern und wie Bewegungsstrategien mit Intonation, Dynamik und Klangfarbe zusammenhängen.

Methoden und technischer Ansatz

Die methodische Entwicklung basiert auf den SInES Tools der Universität Wien. Maschinelles Pose Tracking mit BlazePose rekonstruiert aus Standardvideos dreidimensionale Körperlandmarken und Bewegungsmodelle. Analysiert werden unter anderem Gelenkwinkel, Bewegungsbahnen, Geschwindigkeiten, Beschleunigungen und ausgewählte Haltungsparameter. Die Ergebnisse werden mit synchronen Audiodaten, Expert*innenbeurteilungen sowie, soweit verfügbar, Noraxon-, Motion-Capture- und EMG-Referenzdaten verglichen. Da sich das Forschungsdesign noch in Entwicklung befindet, werden Aufnahmeprotokolle, Variablen und Validierungsverfahren in Pilotstudien weiter präzisiert.

Aktueller Projektstand

In Pilotaufnahmen werden unterschiedliche Kamerapositionen und Aufnahmekonstellationen verglichen. Erste methodische Vergleiche zeigen eine gute Übereinstimmung bei großräumigen Bewegungen des Oberkörpers und der Arme. Kleine Rotationen, insbesondere an Unterarm und Handgelenk, bleiben ein wichtiges Ziel der weiteren Validierung.

Im nächsten Schritt werden das Aufnahmeprotokoll, die multimodale Synchronisation und die Bewertungskriterien weiter standardisiert. Ein internationales Forschungsretreat in Lucca und Pisa brachte 2026 Expert*innen aus Musikphysiologie, Physiotherapie, Violinpädagogik, musikalischer Akustik, Bewegungsanalyse, Biorobotik, Sensorik und Data Science zur gemeinsamen Methodenentwicklung, für standardisierte Aufnahmen sowie zur Vorbereitung weiterer Forschungs- und Förderprojekte zusammen.

Perspektiven

  • Niederschwellige Bewegungsanalyse mit Standardkameras oder Smartphones.
  • Nachvollziehbares Feedback für gesundes und effizientes Üben.
  • Einsatz in Violinpädagogik, Musikphysiologie, Prävention und physiotherapeutischer Beratung.
  • Multimodale Forschungsdaten zu Bewegung, Haltung und Klang.
  • Integration von Sensorik, Motion Capture, EMG und akustischen Parametern.
  • Offene und reproduzierbare Workflows für Forschung und Lehre.

Projektleitung und wissenschaftliche Koordination

  • Ao. Univ.-Prof. Mag. Dr. Matthias Bertsch, Motion-Emotion-Lab, Centre for Music Physiology, mdw – Universität für Musik und darstellende Kunst Wien – bertsch@mdw.ac.at
  • Univ.-Prof. Dr. Christoph Reuter, SInES Lab, Institut für Musikwissenschaft, Universität Wien

Projektteam und internationale Forschungskooperation

  1. Matthias Bertsch (1, 8) 🇦🇹 – Forschungskoordination, Musikphysiologie, musikalische Akustik und Datenerhebung
  2. Christoph Reuter (2, 8) 🇦🇹 – musikalische Akustik, Audioanalyse und SInES Tools
  3. Alexandra Türk-Espitalier (1, 8) 🇦🇹 – Violinpädagogik, Physiotherapie und Haltungsbeurteilung
  4. Tina Margareta Nilssen (1) 🇳🇴🇦🇹 – Musikperformance, Musikphysiologie, Bewegungsanalyse und Expert*innenratings
  5. Tobias Großhauser (1) 🇦🇹 – Sensortechnologie und Interaction Design
  6. Felix Kloos (2) 🇦🇹 – audiovisuelle Analyse, SInES Tools und Datenverarbeitung
  7. Alessio Nacuzi (3, 4, 8) 🇮🇹 – Violinpädagogik, Biorobotik, Motion Capture, Bewegungsanalyse und Datenerhebung
  8. Alberto Carratello (4, 8) 🇮🇹 – Violinperformance, Violinpädagogik und Datenerhebung
  9. Alberto Bologni (4) 🇮🇹 – Violinpädagogik, Rekrutierung von Musiker*innen und institutionelle Kooperation
  10. Giorgio Stefano Gnecco (5) 🇮🇹 – Machine Learning, Data Science und Forschungsförderung
  11. Christoff Zalpour (6, 8) 🇩🇪 – Physiotherapie, Prävention, Functional Movement und Bewegungsanalyse
  12. Elisabeth Grain (6, 8) 🇩🇪 – Physiotherapie und Bewegungsanalyse
  13. Nikolaus Ballenberger (6) 🇩🇪 – Biomechanik sowie Haltungs- und Bewegungsanalyse bei hohen Streichern
  14. Dirk Möller (6, 8) 🇩🇪 – Musikphysiologie, Physiotherapie, EMG und Bewegungsanalyse
  15. Bronwen Ackermann (7) 🇦🇺 – Performing Arts Health, Physiotherapie und muskuloskelettale Gesundheit bei Musiker*innen
  16. Veronica Santoro (3) 🇮🇹 – Biorobotik, funktionelle Bewegungsanalyse und Datenanalyse
  17. Calogero Maria Oddo (3) 🇮🇹 – Biorobotik, Neuroprothetik und Sensortechnologie
  18. Antonio Camurri (9) 🇮🇹 – expressive Bewegung, multimodale Interaktion und computergestützte Analyse musikalischer Performance
  19. Gualtiero Volpe (9) 🇮🇹 – Bewegungsanalyse, Trajektorienanalyse und multimodale Interaktion

Kooperationspartner

  1. Motion-Emotion-Lab, Centre for Music Physiology, mdw – Universität für Musik und darstellende Kunst Wien, Wien 🇦🇹
  2. SInES – Space for Interdisciplinary Experiments on Sound, Institut für Musikwissenschaft, Universität Wien, Wien 🇦🇹
  3. The BioRobotics Institute, Scuola Superiore Sant’Anna, Pisa 🇮🇹
  4. Conservatorio di Musica Luigi Boccherini, Lucca 🇮🇹
  5. Scuola IMT Alti Studi Lucca, Lucca 🇮🇹
  6. INAP/O – Institut für angewandte Physiotherapie und Osteopathie, Hochschule Osnabrück, Osnabrück 🇩🇪
  7. University of Sydney, Sydney 🇦🇺
  8. Österreichische Gesellschaft für Musik und Medizin (ÖGfMM), Wien 🇦🇹
  9. University of Genoa / Casa Paganini, Genua 🇮🇹

Publikation

Präsentation

  • Bertsch, M., Reuter, C., Türk-Espitalier, A., Nilssen, T. M., Großhauser, T., Nacuzi, A., Carratello, A., Grain, E., Brüggemann, J., & Leitz, T. (10. April 2026). Healthy Strings: AI-Powered Posture Tracking for Violinists [Posterpräsentation]. Symposium Beyond the Score – Health & Well-Being in Music and Performing Arts, Salzburg.

Kontakt

Ao. Univ.-Prof. Mag. Dr. Matthias Bertsch
Motion-Emotion-Lab, Centre for Music Physiology
mdw – Universität für Musik und darstellende Kunst Wien
bertsch@mdw.ac.at

 

 

Beispiel einer Multimodalen SInES App, die aktuell in Entwicklung ist: Der 3D Data Analyzer stellt Bewegungsdaten als interaktive Strichfigur und als Diagramm dar. Er kann Daten aus OpenCap, OpenSim und Sim2Pose importieren. Für die Analyse stehen Funktionen aus dem RITMO VideoAnalyser, der MATLAB Motion Toolbox, der Bigand PCA und PyEyesWeb nach Camurri et al. (2016) zur Verfügung. Bewegungsmaße für den gesamten Körper oder einzelne Körperteile lassen sich als CSV-Datei exportieren. Siehe https://sinestools.univie.ac.at/QTMparser.htm

 

  Development Platform at ÖGfMM - Link  ♬