Auch Aufnehmen, Vorbereiten und Zusammenführen findet sich hier
Weiter unten stehen nicht nur Analysewerkzeuge: Abschnitt 9 versammelt Anwendungen zum Aufnehmen von Audio und Video, zum Lautheitsangleichen von Stimuli, zum Segmentieren, Konvertieren, Trennen von Spuren und zum Zusammenführen mehrerer Datenquellen auf einer Zeitachse. Abschnitt 10 enthält Statistik-Hilfsmittel
Zur Suchfunktion über alle 112 verwende die Browsersuche: Strg + F (Windows) beziehungsweise Cmd + F (Mac), dann etwa „Formant“, „Hand“, „Kappa“ oder „Rauigkeit“ eingeben.
Inhaltsübersicht: Was steht in welchem Abschnitt?
Die Abschnitte 1 bis 11 stellen die Anwendungen vor. Ab Abschnitt 12 folgen Arbeitsablauf, Schnellauswahl, methodische Einordnung, Datensicherheit, Zitierhinweise und Literatur.
1Klang: Audiosignalanalyse
20 Anwendungen: Klangfarbe, Tonhöhe, Tempo, Lautheit, Formanten, Rauigkeit, Raumakustik.
2Klang mit KI
15 Anwendungen: Emotion, Genre, Instrument, Phoneme, Intonation – modellgestützt geschätzt.
3Klang bearbeiten und synthetisieren
17 Anwendungen: entrauschen, trennen, dehnen, morphen, resynthetisieren – für die Stimulusvorbereitung.
4Körper und Haltung
3 Anwendungen: markerloses Pose-Tracking aus gewöhnlichem mp4-Video.
5Hände, Gesicht und Blick
6 Anwendungen: Fingerbewegung, Mimik, Gesichtsmuskulatur.
6Bewegung im Videobild
3 Anwendungen: Bewegungsmenge, Mikrobewegung, Punktverfolgung.
7Emotion und Physiologie
4 Anwendungen: Valenz und Arousal, Herzschlag, EEG, Eye-Tracking.
8Visualisieren und auswerten
6 Anwendungen: Trackingdaten prüfen, Kinematik berechnen, Avatare darstellen.
9Material aufnehmen und vorbereiten
13 Anwendungen: aufnehmen, normalisieren, segmentieren, konvertieren, synchronisieren.
10Statistik-Hilfsmittel
15 Anwendungen mit Fallstricken und der jeweils passenden Funktion in R.
11Demos zum Anschauen
10 fertige Projektbeispiele als Anregung für eigene Fragestellungen.
12Projektablauf in sechs Schritten
Von der Aufnahme bis zur Auswertung – und die häufigsten Anfängerfehler.
13Schnellauswahl
Forschungsfrage → passendes Werkzeug → Abschnittsnummer.
14Methodische Einordnung
Was diese Verfahren leisten, was nicht, und wo typische Fehler entstehen.
15Rechenzeit und Browser
Warum die Analyse unterschiedlich lange dauert – und welche Einstellungen helfen.
16Datensicherheit und Forschungspraxis
Was lokal läuft, was das für DSGVO und Ethik bedeutet, und was Sie im Einzelfall prüfen sollten.
17Eigene Projekte am Motion-Emotion-Lab
Einstiegsprojekte, Demo-Audio und Kontakt.
18Zitieren, Lizenz und Dank
Wie Tool und Verfahren korrekt zitiert werden.
19Literatur aus dem SInES-Lab
Arbeiten des SInES-Teams, in denen diese Werkzeuge entwickelt und eingesetzt wurden.
1 · Klang: Audiosignalanalyse von mp3 und wav 20 Anwendungen
Diese Werkzeuge verwandeln eine Audiodatei in Zahlenreihen. Jedes Merkmal beschreibt einen anderen Aspekt des Klangs: Lautstärke, Helligkeit, Rauschanteil, Klangfarbe, Harmonik oder Rhythmus. In den Anwendungen selbst findet sich zu jedem Merkmal eine deutschsprachige Erklärung mit Wertebereich und Bedeutung. Fast alle beherrschen Stapelverarbeitung.
Signal Analysis Tool IStandardeinstieg
Der Klassiker der Klanganalyse. Zeitaufgelöst ausgegeben werden u. a. RMS-Amplitude, Energie, Spectral Centroid (Höreindruck „Helligkeit“), Zero Crossing Rate, Spectral Flatness (tonal vs. rauschhaft), Spectral Flux, Rolloff, Spread, Schiefe und Wölbung, psychoakustische Schärfe nach von Bismarck, 13 MFCCs, 12 Chroma-Werte, 24 Bark-Bänder und die Lautheit nach Zwicker in Sone.
Methode: Meyda.js auf Basis der Web Audio API; Darstellung mit Plotly, wahlweise z-Standardisierung; Noise Gate für leise Passagen; Stapelverarbeitung.
Eingabe: eine oder mehrere mp3-/wav-Dateien
App öffnen
Signal Analysis Tool II
Zweite, unabhängige Merkmalsbibliothek mit teils anderen Deskriptoren: Tristimulus, Irregularität nach Jensen und nach Krimphoff, Spectral Crest, Inharmonizität, Tonalität oder LPCC. Sinnvoll, wenn Ergebnisse zweier Bibliotheken gegeneinander geprüft werden sollen.
Methode: JS-Xtract; FFT, deskriptive Statistik, z-Standardisierung.
Eingabe: mp3 oder wav
App öffnen
Spectral Features
Klangfarbenanalyse mit besonders vielen globalen Kennwerten: Dauer, effektive Dauer, Attack Time, Lautheit, Leq, Dynamic Complexity, Dissonanz, spektrale Komplexität, Pitch Salience, Inharmonizität und das Verhältnis gerader zu ungeraden Teiltönen.
Methode: Essentia.js; hohe zeitliche Auflösung, z-Standardisierung, Stapelverarbeitung.
Eingabe: mp3 oder wav
App öffnen
Frequency Bands
Wie verteilt sich die Energie über das Spektrum? Ausgabe in 24 Bark-Bändern, ergänzt um MFCCs, Chroma und Spektraldeskriptoren – gut geeignet, um Spielweisen, Instrumente oder Aufnahmen systematisch zu vergleichen.
Methode: Essentia.js; Bandenergien und Spektraldeskriptoren.
Eingabe: mp3 oder wav
App öffnen
Formant Estimator
Grundfrequenz und die ersten drei Formanten samt Amplitude und Bandbreite bestimmen – der Standardzugang zu Vokalqualität, Sängerformant und Instrumentenformanten.
Methode: formantanalyser.js in Echtzeit; z-Statistik.
Eingabe: mp3, wav oder Mikrofon
App öffnen
Laplace Transformator
Präzisere Formantverfolgung (F1 bis F4) mit einstellbarer Analyseordnung, dazu die Darstellung des Signals in der komplexen s-Ebene. Interessant für phonetische und signaltheoretische Fragen.
Methode: Laplace-Transformation und Linear Predictive Coding (LPC); wählbare LPC-Ordnung und Fensterung.
Eingabe: mp3 oder wav
App öffnen
Roughness Estimator
Rauigkeit als psychoakustische Größe berechnen – jene Klangeigenschaft, die etwa eine enge Sekunde unruhig wirken lässt. Besonders wertvoll ist der direkte Vergleich mehrerer Modelle und ihrer unterschiedlichen Ergebnisse.
Methode: Frequenzbereich nach Vassilakis, Sethares und Plomp-Levelt; Zeitbereich nach Zwicker, Aures sowie Daniel und Weber; zusätzlich Energie in 25 Bark-Bändern.
Eingabe: mp3 oder wav
Zu beachten: Die Modelle liefern systematisch unterschiedliche Absolutwerte. Für Vergleiche immer dasselbe Modell verwenden und im Methodenteil benennen.
App öffnen
Modulation Power House
Wiederkehrende Muster sichtbar machen: Vibrato, Tremolo, Rauigkeit, rhythmische Periodizität oder Silbenraten in Sprache. Einzelne Modulationen lassen sich zur Hörkontrolle resynthetisieren.
Methode: Zweidimensionales Modulations-Power-Spektrum (MPS) über STFT; Peak-Tracking.
Eingabe: mp3 oder wav
App öffnen
Pitch & Tempo Analyser
Tonhöhe auch bei mehrstimmigem Material, dazu Tempo in BPM, Tonart, Stimmtonhöhe und Akkorde. Der Tonhöhenverlauf lässt sich als MIDI-Datei oder als klingende Sinuskurve exportieren – eine gute Hörkontrolle der Analysequalität.
Methode: Essentia.js mit Beat-Tracking und Akkorderkennung; Plots synchron zum Audio.
Eingabe: mp3 oder wav
App öffnen
Pitch & Onset Tool
Tonanfänge (Onsets) und Tonhöhen erkennen und dabei mehrere Algorithmen direkt vergleichen. Ideal für Timing-Fragen: Wie pünktlich, wie früh oder spät wird eingesetzt?
Methode: Aubio.js mit YIN, YINfft und HFC; Visualisierung mit p5.js.
Eingabe: mp3 oder wav
App öffnen
Clubbernaut (Harmonische Spannung)
Interaktives Pitchogramm über 128 MIDI-Töne mit spektraler Dichte, Pitch-Zentroid und tonaler Spannung; Tonart und Akkorde werden laufend mitgeschätzt.
Methode: clubber.js; Echtzeit-Analyse mit Hover-Auswertung.
Eingabe: mp3 oder wav
App öffnen
Harmonic Tension Analyser
Harmonische Spannung und Reibung aus Chroma-Merkmalen modellieren – etwa um Spannungsverläufe über eine Phrase oder ein ganzes Stück zu beschreiben.
Methode: Meyda.js-Chroma mit Spannungsmodell; Canvas-Visualisierung und Statistik.
Eingabe: mp3 oder wav
App öffnen
Tempodrom
Tempo nicht rein mathematisch, sondern hörnah bestimmen. Das Signal wird in 12 Frequenzbänder zerlegt, rhythmische Spitzen werden gesucht und das Ergebnis in Richtung der menschlichen Vorzugsgeschwindigkeit von etwa 110–120 BPM gewichtet. Der erkannte Groove kann als Klang ausgegeben werden.
Methode: Mehrbandzerlegung nach Klapuri, Novelty-Kurven, perzeptuelle Gewichtung.
Eingabe: mp3 oder wav
App öffnen
Tempo Tapper
Tempo selbst eintappen – per Leertaste, wahlweise zu einer laufenden Aufnahme. Ausgegeben werden Inter-Onset-Intervalle und eine Tempokurve mit Streuungsmaßen. Sehr nützlich als menschliche Referenz gegenüber automatischer Tempoerkennung.
Methode: Manuelles Tapping mit deskriptiver Statistik und Plotly-Kurven.
Eingabe: Tastatureingabe, optional mp3
App öffnen
dB Analyzer
Schallpegel und Lautheit aus einer Aufnahme berechnen: dB(A), dB(B), dB(C), LAeq, LUFS, Sone, Phon, Schalldruck in Pascal und Intensität in W/m².
Methode: Umrechnung von dBFS auf dBSPL über manuelle Kalibrierung oder Bittiefe; Bewertungsfilter und Lautheitsmodelle.
Eingabe: kalibrierte wav-Aufnahme
Zu beachten: Ohne Kalibrierung sind absolute Pegel nicht interpretierbar. Relative Vergleiche innerhalb einer Aufnahmereihe mit identischer Kette bleiben möglich.
App öffnen
Room Acoustics Tool
Aus einer aufgenommenen Impulsantwort die akustischen Eigenschaften eines Raums bestimmen: Nachhallzeit T30, Early Decay Time, Deutlichkeit und Klarheit (D50, C50, C80), Sprachverständlichkeit STI und mehr. Eine eingebaute Auralisation macht den Raum hörbar; Zielprofile zeigen, welche Werte für Übezimmer oder Konzertsaal problematisch sind.
Methode: Auswertung nach ISO 3382-1; Oktavbandfilterung 63 Hz bis 8 kHz; Faltung in Echtzeit.
Eingabe: Impulsantwort als wav
App öffnen
Audio File Analyser
Kompakte Signalanalyse mit F0, Spektraldeskriptoren, MFCCs und rhythmischen Daten – zusätzlich lassen sich die Merkmalskurven hörbar machen (Sonifikation).
Methode: FFT-Analyse mit Meyda-Deskriptoren.
Eingabe: mp3 oder wav
App öffnen
Masking Score Estimator
Wie stark verdeckt ein Klang einen anderen? Nach dem Laden eines Zielklangs und eines Maskierers wird ein Verdeckungswert ausgegeben. Nützlich für Fragen zur Balance im Ensemble oder zur Hörbarkeit einzelner Stimmen.
Methode: Vergleich spektraler und zeitlicher Deskriptoren mit Meyda.js, inklusive 24 Bark-Bänder.
Eingabe: zwei Audiodateien
App öffnen
MIDI Analyser
Symbolische Musikdaten statt Audio auswerten: Piano-Roll, Eventlisten, Verteilungen von Tonhöhe, Anschlagstärke und Dauer sowie eine Schätzung der harmonischen Spannung.
Methode: MIDI-Parsing mit statistischer Auswertung.
Eingabe: MIDI-Datei
App öffnen
Auditory Image Model (AIM2026)
Nachvollziehen, wie das Ohr ein Signal verarbeitet: von der Außenohrübertragung über die Basilarmembran und die Haarzellen bis zum stabilisierten Hörbild. Hervorragend geeignet, um Tonhöhenwahrnehmung und Klangfarbe gehörgerecht statt rein spektral zu erklären.
Methode: Mehrstufiges Gehörmodell nach Patterson, Bleeck und Ives: Vorverarbeitung (Glasberg & Moore, ELC, MAF, MAP), Gammatone- und Gammachirp-Filter, Haarzellmodell nach Meddis, Strobe-Finding und Stabilized Auditory Image.
Eingabe: mp3 oder wav
App öffnen
2 · Klang mit KI: Emotion, Genre, Instrumente, Phoneme 15 Anwendungen
Diese Werkzeuge nutzen trainierte neuronale Netze. Sie liefern keine Messwerte, sondern Wahrscheinlichkeiten für Kategorien. Das ist für explorative Fragen sehr nützlich, verlangt aber eine kritische Interpretation: Ein Modell erkennt Muster in seinen Trainingsdaten, nicht eine objektive Wahrheit über die jeweilige Aufnahme. Die Modelle laufen lokal auf Ihrem Rechner.
Speech Emotion Classifier (CLAP)
Emotionale Hinweise in Sprache oder Gesang über die Zeit erkennen – etwa Anspannung, Nervosität, Zögern oder Freude. Die Kurven lassen sich synchron zum Audio anhören und sichern, wahlweise zeitaufgelöst oder als Kennwerte über die ganze Aufnahme.
Methode: CLAP-Modell (Contrastive Language-Audio Pretraining) in Zero-Shot-Anwendung, also ohne spezielles Nachtraining.
Eingabe: mp3 oder wav
App öffnen
Instrument & Ensemble Recognizer (CLAP)
Instrumente, Besetzungen und musikalische Texturen über die Zeit erkennen, mit vorbereiteten Profilen für Orchester, Jazz oder Rock.
Methode: CLAP-Modell in Zero-Shot-Klassifikation.
Eingabe: mp3 oder wav
App öffnen
Gender/Speech Emotion Estimator
Schätzung von acht Emotionskategorien (neutral, glücklich, traurig, ruhig, ärgerlich, ängstlich, überrascht, angewidert) sowie einer Stimmkategorie, jeweils zeitaufgelöst.
Methode: transformers.js mit wav2vec2- und ONNX-Modellen.
Eingabe: mp3 oder wav
Zu beachten: Automatische Personenkategorien wie Geschlecht oder Alter sind fehleranfällig und können systematische Verzerrungen enthalten. In Arbeiten immer als Modellschätzung kennzeichnen, nie als Eigenschaft der Person.
App öffnen
Speech Emotion Estimator
Emotionsklassifikation gesprochener Sprache mit gleichzeitiger Anzeige von 53 akustischen Merkmalen, darunter Grundfrequenz und die Formanten F1 und F2. Damit lässt sich prüfen, welche akustischen Veränderungen hinter einer Klassifikation stehen.
Methode: WebSpeechAnalyzer.js in Verbindung mit ml5.js.
Eingabe: mp3 oder wav
App öffnen
Phoneme Recognizer
Einzelne Laute im IPA-Alphabet erkennen und auf einer Zeitachse verorten – mit Häufigkeits- und Dauerstatistik. Sinnvoll für Fragen der Textverständlichkeit im Gesang oder für phonetische Detailarbeit.
Methode: wav2vec2-Modell (lv-60-espeak) über transformers.js.
Eingabe: mp3 oder wav
App öffnen
Sound Classifier
Hunderte Klangereignisse automatisch benennen und zeitlich verorten – von Instrumenten über Stimmen bis zu Umgebungsgeräuschen. Praktisch, um lange Aufnahmen zu sichten oder Störgeräusche zu dokumentieren.
Methode: Audio Spectrogram Transformer (AST) auf Basis der AudioSet-Ontologie.
Eingabe: mp3 oder wav
App öffnen
Mood Estimator
Stimmungsschätzung eines Musikstücks als Kategorien wie fröhlich, traurig, aggressiv, entspannt oder „party“, zeitaufgelöst über Segmente.
Methode: MusiCNN-Modelle über Essentia.js und TensorFlow.js.
Eingabe: mp3 oder wav
Zu beachten: Die Schätzung beschreibt die im Signal ausgedrückte Stimmung nach Maßgabe der Trainingsdaten – nicht das Erleben einer bestimmten Hörerin oder eines Hörers.
App öffnen
Valence Arousal Estimator
Dieselbe Frage auf kontinuierlichen Achsen: Valenz (angenehm–unangenehm) und Arousal (ruhig–erregt), dargestellt als Heatmap über Zeitsegmente.
Methode: MusiCNN über Essentia.js und TensorFlow.js.
Eingabe: mp3 oder wav
App öffnen
Genre Estimator
Automatische Genre-Zuordnung eines Musikstücks mit Wahrscheinlichkeiten je Kategorie – brauchbar zur Vorsortierung großer Sammlungen.
Methode: MusiCNN über Essentia.js und TensorFlow.js.
Eingabe: mp3 oder wav
App öffnen
AI Pitch Estimator (CREPE)
Hochgenaue Grundfrequenzverfolgung für Solostimmen und Einzelinstrumente auf logarithmischem Raster, mit Statistik über den gesamten Verlauf.
Methode: CREPE-Modell über ml5.js.
Eingabe: mp3, wav oder Mikrofon
App öffnen
Violin Intonation (VIP)
Intonation beim Spielen in Echtzeit prüfen: Abweichung in Cent gegenüber gleichstufiger, pythagoreischer oder reiner Stimmung, dazu Klangfarbenwerte (MFCC, Schärfe, Spread).
Methode: CREPE-Tonhöhenerkennung mit historischen Temperaturen und wählbarer Stimmtonhöhe.
Eingabe: Mikrofon oder Audiodatei
App öffnen
Viola Intonation (VIP)
Dieselbe Intonationsanalyse, auf den Tonumfang und die Saiten der Viola abgestimmt.
Methode: CREPE-Tonhöhenerkennung mit Temperaturvergleich.
Eingabe: Mikrofon oder Audiodatei
App öffnen
Cello Intonation (VIP)
Intonationstraining für Violoncello mit Echtzeit-Rückmeldung zu Cent-Abweichung und Klangfarbe.
Methode: CREPE-Tonhöhenerkennung mit Temperaturvergleich.
Eingabe: Mikrofon oder Audiodatei
App öffnen
Extreme Metal Vocals (EMV)
Die eigene Stimme im Vergleich zu Gesangstechniken des Metal einordnen – ein anschauliches Lehrbeispiel für Merkmalsprofile stimmlicher Extremtechniken.
Methode: Essentia.js mit WASM; Spektralkontrast, Zentroid und weitere Deskriptoren.
Eingabe: Mikrofon oder Audiodatei
App öffnen
Image Batch Analyser
Bildersammlungen automatisch erschließen: Objekterkennung, Bildbeschreibungen, Instrumentenerkennung sowie Gesichtsmerkmale. Nützlich etwa für die Auswertung historischer Bildbestände oder von Stimulusmaterial.
Methode: COCO-SSD für Objekte, ViT-GPT2 für Bildunterschriften, CLIP für Instrumente.
Eingabe: mehrere Bilddateien
Zu beachten: Automatische Alters-, Geschlechts- und Ausdrucksschätzungen aus Bildern sind Modellschätzungen mit bekannten Verzerrungen und gehören ethisch reflektiert.
App öffnen
3 · Klang bearbeiten, trennen und synthetisieren 17 Anwendungen
Analyse ist nur die eine Hälfte. Für kontrollierte Hörexperimente braucht es Material, das sich in genau einer Eigenschaft unterscheidet – und dafür sind diese Werkzeuge da: Tonhöhe ohne Formanten verschieben, Rauschen entfernen, Teiltöne verstimmen, Vibrato übertragen, Spuren trennen.
Spectral Editor (Entrauschen)
Störgeräusche gezielt aus einer Aufnahme entfernen: im logarithmischen Sonagramm lassen sich Bereiche per Lasso, Rechteck oder horizontaler Linie auswählen und bearbeiten. Der schnellste Weg, brauchbares Stimulusmaterial aus einer nicht perfekten Aufnahme zu gewinnen.
Methode: STFT-basierte spektrale Bearbeitung mit interaktiver Auswahl.
Eingabe: mp3 oder wav
App öffnen
Harmonic/Percussive Separator
Ein Signal in klingende und geräuschhafte Anteile zerlegen. Dadurch lassen sich Ansatzgeräusche, Bogenwechsel oder Anschlagsanteile getrennt vom Ton untersuchen – beide Teile lassen sich als Klang und als Daten sichern.
Methode: Spektrale Medianfilterung nach FitzGerald (2010).
Eingabe: mp3 oder wav
App öffnen
Harmonicity Analyser (HNR)
Periodische und rauschhafte Signalanteile trennen und das Harmonics-to-Noise-Ratio in dB berechnen – ein etabliertes Maß für Stimmqualität und Tongebung.
Methode: STFT-Maskierung mit YIN-basierter Grundfrequenzbestimmung.
Eingabe: mp3 oder wav
App öffnen
Harmonic Frequency Extractor
Grundton und seine Vielfachen gezielt herausfiltern oder unterdrücken – mit einstellbarer Bandbreite (Güte) und Filterumkehr. Gut geeignet, um den Beitrag einzelner Teiltöne hörbar zu machen.
Methode: STFT-basierte Kammfilterung mit Energieverläufen.
Eingabe: mp3 oder wav
App öffnen
Modulation Transfer (Vibrato, Jitter, Shimmer)
Frequenz- und Amplitudenmodulation messen – Vibratorate und -hub, Tremolo, Jitter und Shimmer – und diese Modulationen auf andere Klänge übertragen. Ein starkes Werkzeug für Stimmforschung und für kontrollierte Hörexperimente.
Methode: Modulationsanalyse mit Stabilitätsmaßen und Resynthese.
Eingabe: mp3 oder wav
App öffnen
Time Stretcher
Die Dauer einer Aufnahme von 0,1-fach bis 50-fach verändern, ohne die Tonhöhe zu verschieben – bei sehr langen Dehnungen ohne die üblichen Artefakte.
Methode: Phasenkohärente spektrale Verarbeitung (Phase Vocoder).
Eingabe: mp3 oder wav
App öffnen
Pitch & Formant Shifter
Tonhöhe und Formanten unabhängig voneinander verschieben, bei gleichbleibender Dauer. Damit lassen sich Stimmen und Instrumentenklänge kontrolliert variieren, ohne die Sprechgeschwindigkeit zu verändern.
Methode: F0-Verfolgung über Harmonic Product Spectrum und Phase Vocoder.
Eingabe: mp3 oder wav
App öffnen
Formant Shifter
Nur die spektrale Hüllkurve verschieben und umformen – etwa um den Sängerformant zu betonen oder Vokalfarben systematisch zu variieren.
Methode: Cepstrale Hüllkurvenextraktion mit einstellbarem Shift, Kontrast und spektraler Neigung.
Eingabe: mp3 oder wav
App öffnen
Spectral Warper
Teiltöne aus harmonischen in inharmonische Verhältnisse verschieben – die praktische Umsetzung von Setharesʼ These, dass Konsonanz vom Spektrum und nicht allein vom Intervall abhängt.
Methode: YIN-basierte Tonhöhenerkennung mit spektraler Streckung/Stauchung nach Sethares.
Eingabe: mp3 oder wav
App öffnen
Squeeze & Stretch Partials
Konsonanzen zu Dissonanzen machen und umgekehrt: additive Synthese mit von Hand verstimmten Teiltönen. Ein klassisches Demonstrationsstück für die Vorlesung.
Methode: Additive Sinussynthese nach Sethares.
Eingabe: Parametereingabe
App öffnen
Spectral Resynthesizer
Die stärksten Teiltöne eines Klangs extrahieren und ihn mit einer wählbaren Zahl von Sinusoszillatoren wieder aufbauen. Anschaulich lässt sich zeigen, wie viele Teiltöne für einen erkennbaren Klang nötig sind.
Methode: Additive Resynthese mit Peak-Tracking und Hüllkurvenglättung.
Eingabe: mp3 oder wav
App öffnen
Spectral Cross-Synthesizer
Die Klangfarbe eines Zielklangs auf einen Quellklang übertragen – die klassische Kreuzsynthese, etwa Sprache durch ein Instrument.
Methode: FFT- und Cepstrum-Analyse mit Hüllkurvenübertragung im Frequenzbereich.
Eingabe: zwei Audiodateien
App öffnen
Spectral Morpher
Zwei Klänge kontinuierlich ineinander überblenden, mit Zeitdehnung, Tonhöhenverfolgung und Formantkorrektur – für Hörexperimente mit abgestuften Zwischenstufen.
Methode: Phasenkohärentes Time-Warping mit Morphing-Steuerung.
Eingabe: zwei Audiodateien
App öffnen
Spectral Stamper
Das mittlere Spektrum einer Datei als Filter auf eine andere „stempeln“ – etwa um die Klangsignatur eines Raums oder Instruments zu übertragen.
Methode: STFT mit gemitteltem Spektrum als statischem Filter.
Eingabe: zwei Audiodateien
App öffnen
Spectral Gator
Frequenzanteile abhängig von ihrem Pegel behalten oder entfernen – leise Anteile stummschalten oder umgekehrt laute Spitzen unterdrücken.
Methode: Spektrales Gating mit dB-Schwellen.
Eingabe: mp3 oder wav
App öffnen
Bark Band Vocoder
Zwei Signale über 24 kritische Bänder aneinander anpassen – klassisch für Vocoder-Effekte, methodisch aber vor allem für kontrollierte Maskierungsexperimente mit Störgeräusch interessant.
Methode: Bark-Band-Vocoding mit Hüllkurvenverfolgung.
Eingabe: zwei Audiodateien
App öffnen
SInESthesizer
Modularer Web-Audio-Synthesizer mit drei Oszillatoren, Filter, LFOs, Hüllkurven, Ringmodulator, Sampler, Mikrofoneingang, MIDI-Unterstützung und Effekten. Ideal, um Stimuli mit exakt definierten Parametern selbst zu erzeugen.
Methode: Web Audio API mit dynamischem Signalflussdiagramm.
Eingabe: MIDI, Samples, Mikrofon
App öffnen
4 · Körper und Haltung: Pose-Tracking aus mp4 3 Anwendungen
Aus einem gewöhnlichen Video werden Bild für Bild Koordinaten von Körperpunkten geschätzt – ohne Marker am Körper. Daraus lassen sich Bewegungsbahnen, Gelenkwinkel, Geschwindigkeiten und Haltungsindizes berechnen. Wichtig zu verstehen: Die Tools liefern modellbasierte Landmark-Koordinaten, keine Messung von Kräften, Gelenkmomenten oder Muskelaktivität.
2D/3D Pose Tracker (BlazePose)empfohlene Version
Der zentrale Einstieg für Studien mit einer Person. Erfasst werden 33 Körperlandmarks – Kopf, Schulter, Ellbogen, Handgelenk, einzelne Handreferenzpunkte, Becken, Knie, Sprunggelenk, Ferse und Vorfuß – jeweils in 2D und als modellbasierte 3D-Schätzung. Damit lassen sich Haltung, Ganzkörperkoordination, Atembewegung des Oberkörpers und Bewegungsbahnen beim Spielen untersuchen.
Methode: BlazePose, Bild für Bild; automatische oder manuelle Bildratenangabe.
Eingabe: mp4 mit einer Person
Zu beachten: Die 3D-Werte sind eine Schätzung im kamerabezogenen System, kein kalibriertes Laborkoordinatensystem. Verdeckungen und schnelle Rotationen führen zu Ausreißern.
App öffnen
2D Multiple Person Pose Tracker (MoveNet)
Für Ensembles, Gruppen, Tanz oder Unterrichtssituationen: bis zu sechs Personen gleichzeitig, je 17 Körperpunkte in 2D. Damit lassen sich Fragen zu Synchronität, Ausrichtung im Ensemble oder Interaktion zwischen Personen bearbeiten.
Methode: MoveNet MultiPose; Skelettdarstellung und zeitbezogener Export.
Eingabe: mp4 mit bis zu sechs Personen
Zu beachten: Keine Tiefeninformation; Finger und feine Handbewegungen werden nicht erfasst.
App öffnen
2D/3D Pose Tracker mit Audioanalyseältere Version
Ältere Kombination aus Pose-Tracking und Audioanalyse in einem Durchgang: 33 Landmarks und über 50 Audiomerkmale synchron. Für neue Projekte empfiehlt sich stattdessen der aktuelle Pose Tracker plus getrennte Audioanalyse, zusammengeführt über die Zeitachse.
Methode: BlazePose in Verbindung mit Meyda.js; Echtzeitmodus schnell, aber ungenauer, Frame-Modus genauer, dann ohne Audiomerkmale.
Eingabe: mp4
App öffnen
5 · Hände, Gesicht und Blick 6 Anwendungen
Für Instrumentaltechnik, Ansatz, Mimik und Blickverhalten braucht es feinere Modelle als das Ganzkörperskelett.
2D/3D Hand Tracker (MediaPipe)empfohlene Version
Fingerbewegungen, Handformen und Bewegungsbahnen beider Hände detailliert verfolgen: je 21 Landmarks pro Hand, also bis zu 42 Zeitreihen. Der zentrale Zugang für Fragen zu Instrumentaltechnik, Griff- und Lagenwechseln, Bogenführung oder Feinmotorik in der Rehabilitation.
Methode: MediaPipe Hands, Bild für Bild, in 2D und modellbasiertem 3D.
Eingabe: mp4 mit ein oder zwei sichtbaren Händen
Zu beachten: Instrument, Bogen oder Ärmel können Landmarks verdecken; bei schnellen Passagen kann die Zuordnung links/rechts springen. Trajektorien immer visuell kontrollieren.
App öffnen
2D/3D Hand Tracker mit Audioanalyseältere Version
Beide Hände mit je 21 Punkten synchron zu über 50 Audiomerkmalen – die ältere Kombivariante, weiterhin nützlich, wenn Bewegung und Klang in einem Durchgang erfasst werden sollen.
Methode: MediaPipe Hands mit Meyda.js.
Eingabe: mp4
App öffnen
2D Face/Body/Hand Tracker (Human.js)
Alles in einem Durchgang: Körperpose, beide Hände, Gesichtslandmarks, Blickrichtung sowie modellbasierte Schätzungen zu Alter und Emotion – in einem gemeinsamen, zeitlich synchronen Datensatz. Gut geeignet für multimodale Performance- und Interaktionsanalysen.
Methode: Human.js von Vladmandic, das mehrere Modelle bündelt (MoveNet, FaceMesh, Iris); gleitende Mittelwerte zur Glättung.
Eingabe: mp4 mit einer gut sichtbaren Person
Zu beachten: Breite Abdeckung bedeutet nicht die höchste Genauigkeit in jedem Teilbereich. Alters- und Emotionsschätzungen ethisch reflektiert einsetzen.
App öffnen
Facial Expression Analysisempfohlene Version
Mimik Bild für Bild verfolgen und den zeitlichen Verlauf von sieben Ausdruckskategorien untersuchen: neutral, glücklich, traurig, ärgerlich, überrascht, ängstlich, angewidert.
Methode: face-api.js mit Gesichtslandmarks und Emotionswahrscheinlichkeiten.
Eingabe: mp4 mit gut sichtbarem Gesicht
Zu beachten: Das Modell schätzt sichtbare Ausdrucksmuster. Es misst nicht das innere Erleben – ein Gesicht kann konzentriert wirken und trotzdem freudig erlebt werden.
App öffnen
Facial Muscle Tracking
Sehr feine mimische Veränderungen beschreiben: 52 Parameter zu einzelnen Gesichtsbereichen, etwa Kieferstellung, Lippenform oder Augenbrauen. Besonders relevant für Gesangs-, Blasinstrument- und Sprechforschung.
Methode: MediaPipe Face Landmarker mit Landmark- und Blendshape-Werten.
Eingabe: mp4
Zu beachten: Trotz des Namens keine Muskelmessung. Wer Muskelaktivität erfassen will, braucht EMG.
App öffnen
Face Expression Tracker mit Audioanalyseältere Version
Ältere Kombination aus Mimik- und Audioanalyse im selben Durchlauf, mit sieben Emotionskategorien und über 50 akustischen Parametern.
Methode: ml5.js für die Mimik, Meyda.js für das Audiosignal, mit z-standardisierter Statistik.
Eingabe: mp4
App öffnen
6 · Globale Bewegung und Mikrobewegung im Video 3 Anwendungen
Nicht immer braucht es ein Skelettmodell. Manchmal ist die Frage einfach: Wie viel bewegt sich überhaupt, wohin und wie regelmäßig? Diese Verfahren funktionieren auch dann, wenn Pose-Tracking scheitert – etwa bei ungewohnten Perspektiven, weiten Bühnenaufnahmen oder starken Verdeckungen.
Video Motion Analysis Tool
Das globale Bewegungsgeschehen eines Videos quantifizieren: Bewegungsmenge (Quantity of Motion), Bewegungsschwerpunkt, Bewegungsrichtung nach links/rechts und oben/unten sowie die Periodizität der Bewegung samt geschätztem Bewegungstempo in BPM. Ideal für Tanz, Ensemblebewegung und den Vergleich ganzer Aufführungen.
Methode: OpenCV.js mit Frame-Differenzierung, MOG2-Hintergrundsubtraktion und dichtem Optical Flow; Konzepte der RITMO VideoAnalysis nach Jensenius (2005); Autokorrelation für die Periodizität.
Eingabe: mp4, möglichst mit stabiler Kamera
Zu beachten: Kamerabewegung wird als Körperbewegung mitgemessen. Stativ verwenden.
App öffnen
Video Motion Amplification Tool
Bewegungen und Farbänderungen sichtbar machen, die mit bloßem Auge nicht erkennbar sind: Schwingungen einer Instrumentendecke, feines Zittern, Atembewegung oder die pulsbedingte Durchblutung im Gesicht. In einem selbst gewählten Bildausschnitt lassen sich gezielt Frequenzbereiche verstärken.
Methode: Eulerian Video Magnification (Wu et al., 2012) mit DFT-Spektrum zur Frequenzbestimmung.
Eingabe: mp4 und ein gewählter Bildausschnitt
Zu beachten: Das Verfahren verstärkt auch Bildrauschen, Kompressionsartefakte und Kamerawackeln.
App öffnen
Point Tracker
Bis zu acht selbst gesetzte Punkte durch ein Video verfolgen. Die Punkte können überall liegen: an der Bogenspitze, am Instrumentenkorpus, an einem Schlegel, an einem Klebemarker auf der Kleidung oder an einem technischen Bauteil. Damit bleibt die Analyse unabhängig von anatomischen Modellen.
Methode: Kanade-Lucas-Tomasi-Feature-Tracking (KLT) mit OpenCV.js.
Eingabe: mp4 und manuell gesetzte Startpunkte
Zu beachten: Punkte gehen bei Verdeckung, Bewegungsunschärfe oder starkem Kontrastwechsel verloren – dann neu setzen.
App öffnen
7 · Emotion und psychophysiologische Reaktionen 4 Anwendungen
Emotion lässt sich auf drei Wegen erfassen: subjektiv durch Selbstauskunft, ausdrucksseitig über Mimik und Stimme und physiologisch über Körpersignale. Die drei Zugänge stimmen häufig nicht überein – genau darin liegt ihr wissenschaftlicher Reiz. Eine starke Arbeit kombiniert mindestens zwei davon.
Emotion Analysis (Valenz – Arousal)
Das Erleben während des Hörens kontinuierlich mitschreiben: Die Hörerin bewegt die Maus in einer Fläche zwischen angenehm und unangenehm (Valenz) sowie ruhig und erregt (Arousal). Parallel können Hautleitwert, Temperatur und Atmung über Mindfield-eSense-Sensoren sowie die Audiomerkmale des Stimulus aufgezeichnet werden – alles auf einer gemeinsamen Zeitachse.
Methode: Zweidimensionales Circumplex-Modell (Russell, 1980) mit eSense-Sensordaten und Audioanalyse via Meyda.js.
Eingabe: mp3-Stimulus, Mausbewegung, optional Sensordaten
Zu beachten: Valenz und Arousal sind zwei Modellachsen und keine vollständige Beschreibung komplexer Emotionen wie Ergriffenheit oder Nostalgie.
App öffnen
Heartbeat Tracker
Herzfrequenz und Pulswelle berührungslos aus dem Webcam-Bild schätzen – ohne Brustgurt oder Fingerclip. Die Pulskurve kann gemeinsam mit über 50 Audiomerkmalen betrachtet werden, etwa um Anspannung vor einem schwierigen Einsatz zu untersuchen.
Methode: Remote Photoplethysmography (rPPG): winzige Farbänderungen in einer automatisch bestimmten Gesichtsregion werden als pulsbezogenes Signal ausgewertet, die Frequenz per FFT bestimmt.
Eingabe: Webcam mit möglichst konstantem Licht
Zu beachten: Kein Ersatz für EKG oder ein validiertes Messgerät. Kopfbewegung und Lichtwechsel erzeugen starke Artefakte – für Pilotstudien und Lehre gedacht.
App öffnen
Muse 2 EEG Datalogger
Hirnstromaktivität mit einem handelsüblichen Stirnband aufzeichnen und über mehrere Frequenzbänder darstellen. Enthält zusätzlich einen Synthesizer, der die Signale hörbar macht.
Methode: Vierkanal-EEG über Web Bluetooth; Darstellung mit Plotly, audio-synchronisierte Exploration.
Eingabe: Muse S oder Muse 2 Stirnband
Zu beachten: Consumer-EEG mit wenigen Elektroden. Für orientierende Fragen und Lehre geeignet, nicht für klinische oder neurophysiologisch feinkörnige Aussagen.
App öffnen
Eye Tracker
Blickverhalten mit einer normalen Webcam erfassen: Wohin schauen Musizierende, wenn sie vom Blatt spielen? Ergebnis sind Heatmaps und Blickpfade über ein selbst hochgeladenes Bild.
Methode: WebGazer.js mit einer 29-Punkt-Kalibrierung.
Eingabe: Webcam und Stimulusbild
Zu beachten: Deutlich ungenauer als ein Labor-Eyetracker; die Kalibrierung muss sorgfältig erfolgen und die Kopfposition stabil bleiben.
App öffnen
8 · Visualisieren und kinematisch auswerten 6 Anwendungen
Nach dem Tracking liegen zunächst nur Koordinaten vor. Die Data Analyzer machen daraus interpretierbare Größen – und sie sind zugleich das wichtigste Werkzeug zur Qualitätskontrolle: Erst wenn Skelett und Video sichtbar zusammenpassen, lohnt sich das Rechnen.
3D Data Analyzerempfohlene Version
Dreidimensionale Tracking- und Motion-Capture-Daten visualisieren, glätten, bearbeiten und auswerten. Berechnet werden Trajektorien, Gelenkwinkel, Geschwindigkeit, Beschleunigung und zurückgelegte Wegstrecke. Zusätzlich lassen sich Bewegungen auf frei wählbare 3D-Avatare übertragen und als animierte Datei sichern. Zwei Spezialfunktionen sind besonders nützlich: Center Root entfernt die Fortbewegung im Raum und zeigt nur die Eigenbewegung, Reconstruct Space geht den umgekehrten Weg.
Methode: Three.js für die 3D-Darstellung, Plotly für Zeitreihen; Glättung mit dem 1€-Filter (Casiez et al., 2012); Hauptkomponentenanalyse zur Bestimmung von Bewegungssynergien; Bewegungsmerkmale nach der MATLAB MoCap Toolbox (Burger & Toiviainen, 2013) und nach Bigand et al. (2021).
Eingabe: Qualisys-TSV, BlazePose-CSV, MediaPipe-CSV, optional mp4 und GLB-Avatar
App öffnen
2D Data Analyzerempfohlene Version
Dasselbe für zweidimensionale Daten, mit Unterstützung für bis zu sechs Personen gleichzeitig. Pose-, Hand-, Gesichts- und Punktdaten können gemeinsam mit dem Originalvideo überlagert, geprüft und ausgewertet werden. Zusätzlich sind ein OpenPose-Export und eine Gesichtsübertragung über 68 Landmarks möglich.
Methode: HTML5 Canvas und Plotly; Kinematik, 1€-Filter, PCA; Merkmale nach der MoCap Toolbox (Burger & Toiviainen, 2013) und der RITMO VideoAnalysis (Jensenius, 2005).
Eingabe: Tracking-CSV, optional Hände, Gesicht, Punkte und mp4
App öffnen
3D Pose Tracking Visualiser (Avatar)
BlazePose-Daten als 3D-Avatar und Strichfigur synchron zum Video abspielen. Direkt ablesbar sind fünf Haltungsindikatoren: Schulterstand, Nackenneigung, Bogenarmhaltung, seitliche Rumpfneigung und Vorlage nach vorn. Das macht das Tool zum anschaulichsten Werkzeug für Haltungsfragen im Instrumentalunterricht.
Methode: A-Frame und Three.js; anpassbares Bone-Mapping und Rotationsoffsets.
Eingabe: BlazePose-Daten und zugehöriges mp4
Zu beachten: Die Indikatoren sind abgeleitete kinematische Größen – sie beschreiben Haltung, sie diagnostizieren nichts.
App öffnen
2D Pose/Hand/Face-Tracking Visualizer
Passt zum Human.js-Tracker: Video und Trackingdaten werden überlagert dargestellt, die Video-Transparenz ist frei einstellbar. Automatisch berechnet werden Gelenkwinkel, Winkelgeschwindigkeiten, Beschleunigungen und Distanzen für acht zentrale Gelenke. Der Mix aus Video und Strichfigur lässt sich als Video aufzeichnen – gut für Präsentationen und Feedback im Unterricht.
Methode: Canvas-Overlay mit automatischer kinematischer Berechnung.
Eingabe: mp4 und Datendatei aus dem Human.js-Tracker
App öffnen
3D Pose Tracking Visualiser (Stick Figure)ältere Version
Strichfigur-Animation aus BlazePose-Daten mit automatischer Korrelation zwischen Bewegung und über 50 Audiomerkmalen (Pearson), inklusive Statistikbericht und Excel-Export.
Methode: Synchronisierte Wiedergabe mit Korrelationsanalyse.
Eingabe: BlazePose-Daten und mp4
App öffnen
3D Hand Tracking Visualizer (Stick Hands)ältere Version
Dasselbe für Handdaten: 42 Keypoints synchron zu Video und Audiomerkmalen, mit Bewegungsspuren und kinematischer Statistik.
Methode: Synchronisierte Wiedergabe mit Pearson-Korrelation.
Eingabe: Handtracking-Daten und mp4
App öffnen
9 · Material aufnehmen, vorbereiten und zusammenführen 13 Anwendungen
Der unspektakulärste Teil eines Projekts entscheidet über seine Qualität: saubere Aufnahmen, angeglichene Stimuli, eine gemeinsame Zeitachse und Dateien in einem Format, das die Auswertungssoftware auch liest.
Audio Recorder
Wissenschaftlich brauchbare Aufnahmen direkt im Browser erstellen: mit Kalibrierhilfe für Pegelmessungen, Echtzeit-Spektrogramm, wählbarer Abtastrate und Bittiefe (bis 32 Bit Float) sowie einem Editor zum Schneiden und Normalisieren.
Methode: Web Audio API mit dBSPL-Kalibrierung; Export als wav.
Eingabe: Mikrofon
App öffnen
Video Recorder and Editor
Videos von Webcam oder Bildschirm aufnehmen oder vorhandene Videos laden, framegenau schneiden und zuschneiden – die schnellste Art, Stimulusmaterial vorzubereiten.
Methode: Clientseitige Aufnahme und FFmpeg im Browser.
Eingabe: Webcam, Bildschirm oder Videodatei
App öffnen
Batch Audio Loudness Normalizer
Vor jedem Hörexperiment unverzichtbar: mehrere Stimuli in der wahrgenommenen Lautheit angleichen, damit Unterschiede im Urteil nicht schlicht Lautstärkeunterschiede sind.
Methode: LUFS-Normalisierung nach EBU R 128 und Spitzenpegelanpassung (dBFS) mit FFmpeg, lokal im Browser.
Eingabe: mehrere Audiodateien
App öffnen
Sound Segmenter
Eine lange Aufnahme automatisch in Einzeltöne oder Ereignisse zerlegen – inklusive Tonhöhenerkennung. Erspart bei Tonleiterreihen oder Einzeltonaufnahmen sehr viel Handarbeit.
Methode: Segmentierung über dBFS- und SPL-Schwellen mit Tonhöhenerkennung via ml5.js.
Eingabe: Audiodatei
App öffnen
Audio Stem Splitter
Eine Mischung in einzelne Spuren zerlegen: Gesang, Schlagzeug, Bass, Gitarre, Klavier und Rest. Damit lassen sich einzelne Stimmen aus Aufnahmen analysieren, für die keine Einzelspuren vorliegen.
Methode: ONNX Runtime Web mit htdemucs v4 (4- oder 6-Stem-Modus), vollständig lokal.
Eingabe: Audiodatei
Zu beachten: Quellentrennung erzeugt Artefakte. Für feine spektrale Messungen an getrennten Spuren mit Vorsicht interpretieren.
App öffnen
Batch Audio Channel Separator
Stereo- und Mehrkanaldateien in einzelne Monospuren zerlegen – etwa bei Mehrmikrofonaufnahmen oder Messreihen mit mehreren Positionen.
Methode: FFmpeg im Browser, Stapelverarbeitung.
Eingabe: wav oder mp3
App öffnen
Movie zu MP3/MP4 konvertieren
mov, avi, mpg, webm und ähnliche Formate in standardisiertes mp4 oder mp3 umwandeln – Voraussetzung dafür, dass die Tracking-Tools ein Video zuverlässig lesen.
Methode: FFmpeg im Browser mit Fortschrittsanzeige.
Eingabe: Videodatei
App öffnen
Audio Thumbnailer
Die musikalische Struktur eines Stücks aus Selbstähnlichkeitsmatrizen ableiten und den charakteristischsten Ausschnitt („Thumbnail“) bestimmen – hilfreich bei der Auswahl repräsentativer Stimuli.
Methode: Chroma- und MFCC-Merkmale via Meyda.js, Selbstähnlichkeitsmatrix mit diagonaler Glättung nach Paulus und Klapuri (2009).
Eingabe: mp3 oder wav
App öffnen
Excel Synchroniser
Der Schlüssel zur multimodalen Auswertung: mehrere Tabellen unterschiedlicher Länge und Abtastrate auf eine gemeinsame Zeitachse bringen – etwa Bewegung mit 30 Hz, Audio mit 43 Hz und Hautleitwert mit 5 Hz.
Methode: Angleich an die längste oder kürzeste Tabelle mit numerischer Interpolation.
Eingabe: Excel oder CSV
Zu beachten: Interpolation erzeugt keine neue Information. Die effektive zeitliche Auflösung bleibt die der langsamsten Quelle.
App öffnen
Excel Sorter
Tabellen nach periodischen Mustern umbauen: jede n-te Zeile oder Spalte behalten, entfernen oder ans Ende verschieben. Praktisch beim Downsampling von Trackingdaten.
Methode: Musterbasierte Zeilen- und Spaltenmanipulation.
Eingabe: Excel oder CSV
App öffnen
CSV-Formatkonverter
Zwischen europäischem (Semikolon, Dezimalkomma) und amerikanischem Format (Komma, Dezimalpunkt) umwandeln. Der häufigste Stolperstein beim Import in R, SPSS oder Excel.
Methode: Automatische Typerkennung und Formatkonvertierung.
Eingabe: Excel oder CSV
App öffnen
Excel to JS Array
Tabellen in fertige JavaScript-Arrays umwandeln – für eigene interaktive Darstellungen und Web-Demos.
Methode: Spaltennamen werden zu gültigen Variablennamen bereinigt.
Eingabe: Excel oder CSV
App öffnen
Perceptual Color Comparator
Wahrgenommene Farbunterschiede berechnen (ΔE nach CIELAB 76, 94, 2000) – nützlich bei Farbkodierungen in Grafiken, Fragen der Barrierefreiheit und bei Studien zu Farb-Klang-Assoziationen.
Methode: CIELAB-Distanzformeln mit Interpretationshilfe.
Eingabe: HEX- oder RGB-Werte
App öffnen
10 · Statistik-Hilfsmittel – erklärt 15 Anwendungen
Fünfzehn Werkzeuge für Korrelation, Gruppenvergleich, Reliabilität, Clusterbildung, Glättung und Darstellung – jeweils mit Einsatzbereich, typischem Fallstrick und der entsprechenden Funktion in R.
Time Series Analyserfür diese Daten zentral
Das methodisch wichtigste Statistikwerkzeug für Bewegungs-, Klang- und Physiologiedaten: Es sucht Zusammenhänge zwischen Zeitreihen und berücksichtigt dabei zeitliche Verzögerungen. Ein Matrix-Scan prüft alle Variablenpaare gegeneinander.
Methode: Kreuzkorrelation mit Lag-Analyse, Autokorrelation, gleitende Mittelwerte, Trendbereinigung (Differenzenbildung).
Eingabe: Excel oder CSV
Wann sinnvoll: Immer dann, wenn zwei über die Zeit gemessene Größen verglichen werden – etwa Armgeschwindigkeit und Schallpegel. Der Lag sagt, welche Größe der anderen vorausgeht; das ist inhaltlich oft interessanter als die Korrelationshöhe selbst.
Statistischer Fallstrick: Zeitreihen sind autokorreliert: Aufeinanderfolgende Werte sind einander ähnlich, dadurch ist die effektive Stichprobengröße weit kleiner als die Zahl der Frames. Ein r von 0,6 zwischen zwei geglätteten Kurven kann rein durch gemeinsame Trends entstehen. Vor der Interpretation trendbereinigen und Signifikanz nicht über n = Anzahl der Frames berechnen.
App öffnen
Columns Correlator
Korrelationen mit den nötigen Prüfungen statt nur einer nackten Zahl: Neben Pearson und Spearman werden Normalverteilung, Ausreißer, Varianzhomogenität und die Korrektur bei vielen Tests gleich mitgerechnet.
Methode: Pearson r und Spearman ρ; Shapiro-Wilk-Test auf Normalverteilung, Grubbs-Test auf Ausreißer, Breusch-Pagan-Test auf Heteroskedastizität, Bonferroni-Korrektur; Streudiagramme und Heatmaps.
Eingabe: Excel oder CSV
Wann sinnvoll: Für Querschnittsdaten mit einer Zeile pro Person, Ton oder Aufnahme. Pearson setzt einen linearen Zusammenhang und annähernd normalverteilte Werte voraus; bei Rangdaten, Ausreißern oder monoton-nichtlinearen Zusammenhängen ist Spearman die ehrlichere Wahl.
Statistischer Fallstrick: Bei einer Merkmalsmatrix aus 50 Audiodeskriptoren entstehen 1225 Korrelationen; rund 61 davon werden bei α = 0,05 zufällig signifikant. Die Korrektur ist hier keine Formalie. Bonferroni ist streng – bei vielen Tests ist die FDR-Korrektur nach Benjamini und Hochberg (1995) meist angemessener.
App öffnen
t-Tester
Mittelwertunterschiede zwischen zwei Gruppen prüfen – mit t-Wert, p-Wert und Effektstärke Cohens d, samt automatischer Prüfung der Voraussetzungen.
Methode: t-Test für unabhängige Stichproben; Shapiro-Wilk-Test auf Normalverteilung, Levene-Test auf Varianzhomogenität; Cohens d.
Eingabe: Excel oder CSV
Wann sinnvoll: Zwei Gruppen, eine metrische abhängige Variable. Bei ungleichen Varianzen ist die Welch-Variante der Standardfall; bei kleinen, schiefen Stichproben ist ein Rangtest (Mann-Whitney-U) robuster.
Statistischer Fallstrick: Der p-Wert wächst mit der Stichprobe, die Effektstärke nicht. In Publikationen gehören d beziehungsweise η² und ein Konfidenzintervall dazu – der p-Wert allein sagt wenig über die praktische Relevanz.
App öffnen
SupANOVA (ANOVA und PCA)
Mehr als zwei Gruppen vergleichen und zugleich die Struktur vieler Merkmale reduzieren: Die ANOVA identifiziert über F-Werte die trennstärksten Variablen, die Hauptkomponentenanalyse zeigt die Gruppenlage in 2D- oder 3D-Räumen mit konvexen Hüllen. Datenpunkte lassen sich mit Klangdateien verknüpfen und direkt anhören.
Methode: Einfaktorielle Varianzanalyse mit F-Werten und Merkmalsselektion; PCA zur Dimensionsreduktion.
Eingabe: Excel oder CSV
Wann sinnvoll: Typisch für Instrumenten-, Spielweisen- oder Bedingungsvergleiche mit vielen Audiodeskriptoren. Die PCA beantwortet die Frage, wie viele voneinander unabhängige Dimensionen die 50 Merkmale eigentlich enthalten – meist überraschend wenige.
Statistischer Fallstrick: Erst PCA rechnen und dann dieselben Daten mit ANOVA auf Gruppenunterschiede testen, ist zirkulär, wenn die Komponentenwahl von den Gruppen beeinflusst wurde. Komponenten vor dem Test festlegen oder das Vorgehen als explorativ kennzeichnen. Vor der PCA standardisieren, sonst dominieren Variablen mit großer Skala.
App öffnen
Interrater Calculator
Übereinstimmung mehrerer Beurteilender berechnen – die Grundlage jeder Arbeit mit Ratings, Annotationen oder Videocodierungen.
Methode: Fleissʼ Kappa, Krippendorffs Alpha (nominal) und Cronbachs Alpha mit p-Werten, z-Werten und 95-%-Konfidenzintervallen; Coincidence-Matrix.
Eingabe: Excel oder CSV
Wann sinnvoll: Fleissʼ Kappa für mehrere Rater und nominale Kategorien, Krippendorffs Alpha auch bei fehlenden Werten, Cronbachs Alpha für die interne Konsistenz einer Skala. Für metrische Ratings mehrerer Rater ist zusätzlich die Intraklassenkorrelation üblich.
Statistischer Fallstrick: Cronbachs Alpha misst interne Konsistenz, nicht Eindimensionalität, und steigt allein durch mehr Items. Kappa fällt bei sehr ungleich besetzten Kategorien niedrig aus, obwohl die Übereinstimmung hoch ist – die Randverteilungen mitberichten.
App öffnen
ClusterBuster (k-Means)
Gruppen in Daten finden, die nicht vorab bekannt sind – etwa Spieltypen, Klangfamilien oder Bewegungsmuster. Die Elbow-Methode hilft bei der Wahl der Clusterzahl, eine z-Wert-basierte Ausreißerprüfung hält die Lösung stabil.
Methode: k-Means mit automatischer Normalisierung, Elbow-Kriterium (WCSS), 2D- und 3D-Streudiagramme.
Eingabe: Excel oder CSV
Wann sinnvoll: Explorativ, wenn Struktur vermutet, aber keine Gruppenzugehörigkeit bekannt ist.
Statistischer Fallstrick: k-Means findet immer Cluster, auch in Zufallsdaten, bevorzugt kugelförmige Gruppen ähnlicher Größe und hängt von der Startinitialisierung ab. Lösung mit mehreren Startwerten prüfen, Variablen vorher standardisieren und die gefundene Struktur inhaltlich begründen, nicht nur numerisch.
App öffnen
Gaussian Mixture Model
Die weichere Alternative zu k-Means: Statt harter Zuordnung wird für jeden Datenpunkt eine Zugehörigkeitswahrscheinlichkeit zu mehreren Normalverteilungen geschätzt, mit Gewichten, Mittelwerten und Varianzen.
Methode: Gaußsche Mischverteilungsmodelle für zwei Spalten mit Dichtekurven und Streudiagrammen.
Eingabe: Excel oder CSV
Wann sinnvoll: Wenn Gruppen sich überlappen oder unterschiedlich streuen – etwa bei Intonationsverteilungen um mehrere Zielhöhen.
Statistischer Fallstrick: Die Zahl der Komponenten muss begründet werden; Informationskriterien (BIC) sind dafür geeigneter als der bloße Augenschein.
App öffnen
Similarity Sorter
Alle Zeilen einer Tabelle danach sortieren, wie ähnlich sie einer selbst gewählten Referenzzeile sind – etwa: Welche Aufnahme kommt dem Klangideal am nächsten?
Methode: Kosinusähnlichkeit bei mehrdimensionalen Daten, inverse Distanz bei einer Spalte; Spalten lassen sich ein- und ausschließen.
Eingabe: Excel oder CSV
Wann sinnvoll: Für Ähnlichkeitsrangreihen über viele Deskriptoren, etwa beim Vergleich von Instrumenten oder Interpretationen.
Statistischer Fallstrick: Ohne Standardisierung dominieren Merkmale mit großer Zahlenskala das Ergebnis. Die Auswahl der einbezogenen Spalten ist eine inhaltliche Entscheidung und gehört in den Methodenteil.
App öffnen
Z-Transformer
Alle numerischen Spalten auf Mittelwert 0 und Standardabweichung 1 bringen. Die Originalwerte bleiben erhalten, die z-Werte kommen als neue Spalten dazu.
Methode: Spaltenweise z-Standardisierung.
Eingabe: Excel oder CSV
Wann sinnvoll: Vor jedem Verfahren, das Distanzen oder Gewichte über unterschiedlich skalierte Variablen bildet: PCA, Clusteranalyse, Ähnlichkeitsmaße, multiple Regression.
Statistischer Fallstrick: Standardisierung verändert Verteilungsformen nicht: Schiefe und Ausreißer bleiben bestehen. Bei Vergleichen zwischen Gruppen muss festgelegt werden, ob innerhalb oder über alle Gruppen standardisiert wird – das kann Ergebnisse umkehren.
App öffnen
Moving Averager
Verrauschte Zeitreihen mit gleitendem Mittelwert glätten, Fensterbreite frei wählbar.
Methode: Zentrierter gleitender Mittelwert mit MA_-Präfix in der Ausgabe.
Eingabe: Excel oder CSV
Wann sinnvoll: Um Tracking-Jitter zu dämpfen, bevor Geschwindigkeit oder Beschleunigung berechnet werden – Differenzieren verstärkt Rauschen erheblich.
Statistischer Fallstrick: Glättung erhöht die Autokorrelation und damit scheinbare Korrelationen zwischen Kurven. Fensterbreite immer berichten und bei Vergleichen konstant halten. Für Kinematik ist ein Savitzky-Golay- oder Butterworth-Filter meist die bessere Wahl, weil er Amplituden weniger dämpft.
App öffnen
Progression Charter
Verläufe über mehrere Phasen darstellen – etwa Ruhe, Vorbereitung, Auftritt und Erholung – mit Mittelwerten oder Medianen je Phase und Trendlinien.
Methode: Kategorienweise Aggregation mit Trendanalyse.
Eingabe: Excel oder CSV
Wann sinnvoll: Typisch für Hautleitwert, Herzfrequenz oder Selbstauskunft über die Phasen eines Experiments.
Statistischer Fallstrick: Bei Messwiederholung an denselben Personen sind einfache Gruppenvergleiche nicht zulässig; dafür braucht es Messwiederholungs-ANOVA oder gemischte Modelle mit Zufallseffekt für die Person.
App öffnen
Excel Boxplotter
Verteilungen zeigen statt nur Mittelwerte: Boxplots, Violinplots und Netzdiagramme, wahlweise mit überlagerten Einzelwerten.
Methode: Quartilsdarstellung, Kerndichte, Radar-Charts, optionale z-Transformation und Gruppierung.
Eingabe: Excel oder CSV
Wann sinnvoll: Für jede Ergebnisdarstellung mit Gruppenvergleich. Die Einzelpunkte mit abzubilden ist heute Standard und deckt bimodale Verteilungen auf, die ein Balkendiagramm verbirgt.
Statistischer Fallstrick: Netzdiagramme über viele Deskriptoren wirken eindrucksvoll, verzerren aber Abstände; die Reihenfolge der Achsen bestimmt die Form.
App öffnen
Heatmapper
Zahlenmatrizen farbcodiert darstellen – besonders geeignet für Korrelationsmatrizen über viele Merkmale.
Methode: Farbskalen mit einstellbarem Minimum und Maximum, automatische Kontrastanpassung der Schrift.
Eingabe: Excel oder CSV
Wann sinnvoll: Zur Übersicht über große Merkmalsmatrizen, bevor einzelne Zusammenhänge gezielt geprüft werden.
Statistischer Fallstrick: Die Farbskala entscheidet über den Eindruck. Für Korrelationen eine um null symmetrische, divergierende Skala verwenden und die Grenzen immer angeben.
App öffnen
Excel Visualiser
Diagramme aus Tabellen erzeugen: Balken, Streu-, Blasen-, 3D-Flächen- und Dichtediagramme. Der interaktive HTML-Export erlaubt es, Datenpunkte mit Klangdateien zu verknüpfen – hörbare Statistik für Vorträge.
Methode: Plotly-basierte Diagramme mit z-Transformation und logarithmischer Skalierung.
Eingabe: Excel oder CSV
Wann sinnvoll: Für die schnelle explorative Sichtung und für Präsentationen.
Statistischer Fallstrick: Explorative Grafiken sind keine Hypothesentests. Was beim Durchsehen vieler Plots auffällt, muss an neuen Daten geprüft werden.
App öffnen
Performance Wormhole
Tempo und Dynamik als gemeinsame Bewegungsspur darstellen – der Performance Worm nach Dixon, Goebl und Widmer (2002), das etablierte Bild für Interpretationsvergleiche. Auch andere Merkmalspaare lassen sich so darstellen.
Methode: Automatische Tempo- und Lautheitsermittlung, Glättung, logarithmische Skalierung, synchrone Wiedergabe.
Eingabe: Audio- oder Datendatei
Wann sinnvoll: Für Interpretationsvergleiche und für die Lehre: Zwei Aufnahmen desselben Stücks werden im Wurmbild unmittelbar unterscheidbar.
Statistischer Fallstrick: Die Form hängt stark von der Glättung ab; für Vergleiche identische Einstellungen verwenden.
App öffnen
11 · Demos zum Anschauen 10 Demos
Diese fertigen Anwendungen zeigen, wie Bewegung, Klang und Emotion in konkreten Projekten des SInES-Labs zusammengeführt wurden. Sie eignen sich gut, um eine eigene Fragestellung zu entwickeln – und um zu sehen, was am Ende aus den Rohdaten wird.
MAD – Motion & Audio Feature Display
Verknüpft Körperbewegungen beim Saxophonspiel mit Audiomerkmalen wie Tonhöhe, Spektralschwerpunkt und MFCCs; Zusammenhänge werden als Korrelationen sichtbar.
Reuter, C., Bertsch, M., Czedik-Eysenberg, I., Cui, A.-X., Roos, M., Ambros, S., Jewanski, J., Eder, M., Mühlhans, J., Klooss, F., Popovic, D., Weber, V., Stickler, A., Feller, G., Steurer, P., Yang, J., & Oehler, M. (2024). Grooving & Moving, Blowing & Bowing – Typische Bewegungen beim Saxophonspiel und ihre klanglichen Auswirkungen. Body, Mind & Music, 11.–13.4.2024, ÖGfMM & Musikphysiologie der mdw, Wien.
Demo öffnen
MoCap vs. PoseTracking vs. RITMO
Der direkte Methodenvergleich: professionelles 3D-Motion-Capture (Qualisys) neben BlazePose und globaler Videoanalyse. Sehr lehrreich für die Frage, was webcambasiertes Tracking wirklich leisten kann.
Reuter, C. (2024). Audiosignalanalyse, KI und die 96 Ohren der akustischen Kamera. Summerschool im Musikinstrumentenbau (SUMU), Westsächsische Hochschule Zwickau, Standort Markneukirchen.
Demo öffnen
SHAPED – Violine im Detail
Videoebenen, Hand- und Körpertracking, Schallabstrahlung und über 40 akustische Deskriptoren in einer Oberfläche; einzelne Töne lassen sich gezielt vergleichen.
Reuter, C. (2024). Audiosignalanalyse, KI und die 96 Ohren der akustischen Kamera. SUMU, Markneukirchen.
Demo öffnen
HandBoX – Hand und Körper in 2D
Hand- und Körperbewegung mit Bewegungsspuren, Emotionsdaten und Audiodeskriptoren synchron, mit einstellbaren Vorher-Nachher-Spuren.
Reuter, C. (2024). Audiosignalanalyse, KI und die 96 Ohren der akustischen Kamera. SUMU, Markneukirchen.
Demo öffnen
(E)MOTiVATe
Verbindet Valenz-Arousal-Urteile mit Hautleitwert, Audiomerkmalen und KI-Schätzungen und vergleicht dabei zwei kulturelle Gruppen.
Kilicci, J., & Reuter, C. (2024). „The tingling sensation on my skin“. Posterbeitrag, 40. Jahrestagung der Deutschen Gesellschaft für Musikpsychologie (DGM), 6.–8.9.2024, Hochschule für Musik und Theater München.
Demo öffnen
Schallabstrahlung der Gitarre
Interaktives 3D-Modell mit über 30 Klangdeskriptoren in Echtzeit; das Griffbrett lässt sich spielen und die Abstrahlung im Raum verfolgen.
Reuter, C. (2024). Audiosignalanalyse, KI und die 96 Ohren der akustischen Kamera. SUMU, Markneukirchen.
Demo öffnen
Tanzschritte: Chachacha
3D-Motion-Capture von Tanzschritten mit Trajektorien, Geschwindigkeit und Beschleunigung, synchron zum Video.
Reuter, C. (2024). Data Science with Tools from SInES. Science Day Motion Capture: Exploring Bodies in Motion, Universität Wien.
Demo öffnen
Tanzschritte: Boogie
Komplexe Fußbewegungen und ihre zeitliche Organisation in einer interaktiven Darstellung.
Reuter, C. (2024). Data Science with Tools from SInES. Science Day Motion Capture, Universität Wien.
Demo öffnen
Dynamic Timbre Maps
Die Formantbereiche von Orchesterinstrumenten als bewegte Karte im F1-F2-Feld – zeigt, wie Instrumente eigene Klangterritorien besetzen und diese über Tonhöhen hinweg behaupten.
Demo öffnen
Will this Mosquito Bite me?
Aus der Flügelschlagfrequenz das Geschlecht einer Stechmücke schätzen – nur die Weibchen stechen. Ein kurzweiliges, aber methodisch sauberes Beispiel für angewandte Bioakustik und ein guter Einstieg in Lehrveranstaltungen.
Demo öffnen
12 · Worum es geht und wie ein Projekt abläuft
Von der Aufnahme bis zur Auswertung in sechs Schritten – mit den Fehlern, die am häufigsten passieren.
Grundprinzip aller Tools: Datei in die Anwendung laden → analysieren → Ergebnisse auf den eigenen Rechner sichern.
Aus einer Audiodatei (mp3, wav) oder einem Video (mp4) lassen sich messbare Daten gewinnen: Wie hell oder rau klingt ein Ton? Wie bewegt sich eine Person beim Musizieren? Wie verändert sich die Haltung über ein Stück hinweg? Wie reagieren Hörerinnen und Hörer emotional? Genau dafür sind die SInES Tools gemacht. Die Ergebnisse lassen sich als CSV-, Excel- oder JavaScript-Daten sichern und danach in R, Python, SPSS oder Excel weiterrechnen.
Sechs Schritte
- Aufnehmen: ruhige Kamera auf Stativ, gute und konstante Beleuchtung, wenig Verdeckung, Person vollständig im Bild. Feste Bildrate einstellen, wenn die Kamera das erlaubt.
- Tracker wählen: BlazePose für eine Person, MoveNet für Gruppen, MediaPipe für Hände, Human.js für Körper, Hände und Gesicht gemeinsam.
- Analysieren: Datei laden, Bildrate prüfen, Durchlauf vollständig abwarten.
- Exportieren: CSV, Excel oder JavaScript-Arrays sichern; Dateinamen sprechend und einheitlich vergeben.
- Visualisieren: Trackingdaten zusammen mit dem Video in einen Data Analyzer laden und die Kurven visuell kontrollieren (Abschnitt 8).
- Auswerten: erst danach Mittelwerte, Korrelationen oder Modelle rechnen (Abschnitt 10 oder R).
Häufige Anfängerfehler
- Kamera in der Hand oder mit Autofokus und automatischem Weißabgleich – erzeugt Scheinbewegung und Landmark-Sprünge.
- Unbekannte oder schwankende Bildrate: ohne korrekte Bildrate sind alle Geschwindigkeits- und Beschleunigungswerte falsch skaliert.
- Stimuli unterschiedlicher Lautheit im Hörexperiment – dann misst man Lautstärke, nicht Klangfarbe.
- Trackingdaten ohne Sichtkontrolle direkt in die Statistik geben.
- Mehrere Datenquellen ohne gemeinsames Synchronisationssignal aufnehmen. Ein Klatschen am Anfang kostet zwei Sekunden und rettet die Auswertung.
13 · Schnellauswahl: Welches Werkzeug für welche Frage?
Die Fragestellung suchen, den Werkzeugnamen merken und zur genannten Abschnittsnummer zurückscrollen.
Wie klingt dieser Ton objektiv beschrieben?
Signal Analysis Tool I
Meyda.js, rund 50 Audiomerkmale · Abschnitt 1
Wie hell, rau oder scharf wirkt der Klang?
Spectral Features / Roughness Estimator
Essentia.js; Rauigkeitsmodelle · Abschnitt 1
Welche Tonhöhen und welches Tempo?
Pitch & Tempo Analyser
Essentia.js, Beat-Tracking, Akkorde · Abschnitt 1
Wie laut ist es wirklich (dB, Sone, LUFS)?
dB Analyzer
Kalibrierung, Bewertungsfilter, Lautheitsmodelle · Abschnitt 1
Wie klingt der Raum?
Room Acoustics Tool
Impulsantwort nach ISO 3382-1 · Abschnitt 1
Wie verarbeitet das Ohr diesen Klang?
Auditory Image Model (AIM2026)
Gehörmodell nach Patterson et al. · Abschnitt 1
Welche Emotion, welches Genre, welches Instrument?
CLAP- und MusiCNN-Tools
Zero-Shot- und trainierte Modelle · Abschnitt 2
Wie bereite ich Stimuli sauber vor?
Loudness Normalizer, Spectral Editor
LUFS nach EBU R 128; spektrale Bearbeitung · Abschnitt 9
Wie bewegt sich eine Person?
2D/3D Pose Tracker
BlazePose, 33 Landmarks · Abschnitt 4
Wie bewegt sich eine Gruppe?
2D Multiple Person Pose Tracker
MoveNet, bis zu 6 Personen · Abschnitt 4
Was machen die Hände?
2D/3D Hand Tracker
MediaPipe Hands, 21 Punkte je Hand · Abschnitt 5
Wie verändert sich die Haltung?
3D Pose Tracking Visualiser
Schulterstand, Nackenneigung, Rumpfneigung · Abschnitt 8
Wie viel Bewegung ist überhaupt im Bild?
Video Motion Analysis Tool
Frame-Differenz, Optical Flow, RITMO · Abschnitt 6
Wie sichtbar machen, was fast unsichtbar ist?
Video Motion Amplification
Eulerian Video Magnification · Abschnitt 6
Welche Punkte am Instrument bewegen sich?
Point Tracker
KLT-Feature-Tracking mit OpenCV.js · Abschnitt 6
Was zeigt das Gesicht?
Facial Expression Analysis
face-api.js, sieben Ausdrucksklassen · Abschnitt 5
Wie erlebt jemand die Musik?
Emotion Analysis
Valenz-Arousal, eSense-Sensoren, Meyda.js · Abschnitt 7
Wie reagiert der Körper physiologisch?
Heartbeat Tracker / Muse 2 EEG
rPPG über Webcam; 4-Kanal-EEG · Abschnitt 7
Wie werte ich meine Trackingdaten aus?
2D bzw. 3D Data Analyzer
Kinematik, Glättung, PCA, Export · Abschnitt 8
Hängen Bewegung und Klang zusammen?
Time Series Analyser
Kreuzkorrelation mit Lag-Analyse · Abschnitt 10
Unterscheiden sich meine Gruppen?
t-Tester / SupANOVA
t-Test mit Cohens d; ANOVA und PCA · Abschnitt 10
Stimmen meine Beurteilenden überein?
Interrater Calculator
Fleissʼ Kappa, Krippendorffs Alpha · Abschnitt 10
14 · Methodische Einordnung: Stärken, Grenzen, Fehlerquellen
Was sich mit markerlosem Tracking und browserbasierter Signalanalyse seriös sagen lässt – und was nicht.
Was diese Werkzeuge leisten
- markerlose Erfassung aus gewöhnlichen Videos, ohne Speziallabor
- Bild-für-Bild-Koordinaten in 2D und teilweise modellbasiertem 3D
- abgeleitete Größen wie Trajektorien, Gelenkwinkel, Geschwindigkeit, Beschleunigung, Weglänge
- rund 50 bis 100 akustische Merkmale pro Audiodatei, inklusive psychoakustischer Modelle
- Verknüpfung von Video, Audio und physiologischen Daten auf einer Zeitachse
- Export in offene Formate für die weitere Analyse in R oder Python
Was sie ausdrücklich nicht leisten
- keine Messung von Kräften, Gelenkmomenten oder inverser Dynamik
- keine Muskelaktivität – dafür braucht es EMG
- keine individuelle anthropometrische Kalibrierung wie im biomechanischen Labor
- keine medizinische Diagnose und keine Aussage über Verletzungsrisiken
- keine sichere Bestimmung innerer Emotionen aus Gesicht oder Stimme
- keine absoluten Schallpegel ohne kalibrierte Aufnahmekette
Häufige Fehlerquellen
- Verdeckungen durch Instrument, Notenpult, Kleidung oder andere Personen
- Bewegungsunschärfe bei schnellen Gesten, besonders bei niedriger Bildrate
- wechselndes Licht sowie automatische Belichtungs- und Weißabgleichskorrektur
- instabile Bildrate und starke Videokompression
- Landmark-Sprünge sowie Verwechslung von links und rechts
- unterschiedliche Koordinatensysteme und Skalierungen zwischen den Tools
Empfehlungen für eigene Projekte
- Zuerst die Forschungsfrage, dann das Tool – nicht umgekehrt. Wenige, klar definierte Variablen sind stärker als ein großer Datenberg.
- Vor der Hauptaufnahme immer einen kurzen Testdurchlauf mit identischem Aufbau machen und die Trackingqualität prüfen.
- Rohvideo, Trackingdaten und Auswertung getrennt und nachvollziehbar benannt speichern.
- Zeitreihen immer erst visuell kontrollieren, bevor Mittelwerte oder Modelle gerechnet werden.
- Bei mehreren Datenquellen eine gemeinsame Zeitachse festlegen und ein Synchronisationssignal aufnehmen, etwa ein Klatschen zu Beginn.
- Automatisch geschätzte Emotion, Alter oder ähnliche Personenkategorien immer als Modellschätzung ausweisen und ethisch reflektieren.
- Ein einfaches Modell mit klar definierten, zuverlässig erfassten Variablen ist wissenschaftlich meist wertvoller als ein umfangreiches, aber schlecht kontrolliertes.
15 · Rechenzeit und Browser
Weil die Analyse auf Ihrem eigenen Gerät läuft, bestimmt dessen Leistung, wie lange sie dauert.
Zum Verständnis
Ein Pose-Tracking über zehn Minuten Video kann auf einem älteren Notebook eine halbe Stunde dauern und auf einem aktuellen Gerät wenige Minuten. Prozessor, Arbeitsspeicher und aktivierte Grafikbeschleunigung sind dabei die entscheidenden Faktoren; für Videoarbeit sind 16 GB RAM eine sinnvolle Untergrenze. Zwei Minuten gut gewähltes Material sind analytisch meist ergiebiger als zwanzig Minuten Rohvideo – und um ein Vielfaches schneller.
Tipp: Chrome als Standardbrowser
Öffnen Sie die SInES Tools am besten in Google Chrome. Dort laufen alle Anwendungen am verlässlichsten; einzelne ältere Tools setzen ausdrücklich Chrome oder Firefox voraus, was auf der jeweiligen Toolseite vermerkt ist.
Außerdem hilfreich: Hardwarebeschleunigung in den Browsereinstellungen aktivieren (TensorFlow.js und MediaPipe nutzen WebGL), andere Tabs schließen, das Gerät ans Netzteil hängen und den Tab während langer Durchläufe im Vordergrund lassen.
16 · Datensicherheit, Datenschutz und Forschungspraxis
Warum sich diese Werkzeuge in der Regel auch mit sensiblem Material verwenden lassen – und warum sich das nicht pauschal für alle Anwendungen sagen lässt.
Bei den allermeisten SInES-Anwendungen bleiben Ihre Dateien auf Ihrem eigenen Rechner – pauschal garantieren lässt sich das aber nicht.
Die weitaus meisten Tools sind HTML-Seiten mit JavaScript: Der Browser lädt einmalig den Programmcode und – wo nötig – ein KI-Modell aus dem Netz, danach läuft die Analyse über Web Audio API, WebAssembly, WebGL und lokal abgelegte Modelldateien vollständig auf Ihrem Gerät. Einzelne Werkzeuge des SInES-Labs sind dagegen keine Browser-Apps, sondern Python-Programme und -Skripte (etwa Hardinator, PADMEA oder der Self-similarity Searcher). Auch sie rechnen lokal, werden aber als Software installiert und ausgeführt. Prüfen Sie daher im Zweifel die Angaben auf der jeweiligen Anwendungsseite.
„Upload“
In den Browser-Apps bedeutet der Dateidialog in aller Regel nur: Die Datei wird in den Arbeitsspeicher Ihres Browsers geladen. Ein Upload im eigentlichen Sinn – also eine Übertragung an einen Server – findet dabei nicht statt.
Rechnen
Audio-, Video- und Modellberechnungen erfolgen im Browser; auch die KI-Modelle arbeiten auf Ihrem Gerät. Schließen Sie den Tab, ist der Arbeitsspeicher geleert – was Sie behalten wollen, müssen Sie vorher sichern.
„Download“
Der Download schreibt die Ergebnisse aus der Anwendung an einen von Ihnen gewählten Ort auf demselben Computer. Auch dabei geht nichts nach außen.
So können Sie es selbst prüfen: Anwendung laden, dann die Netzwerkverbindung trennen und die Analyse starten. Läuft sie weiterhin durch, verlässt kein Material Ihr Gerät. Bedenken Sie aber, dass beim Aufruf der Seite selbst – wie bei jedem Webzugriff – Verbindungsdaten am Server der Universität Wien anfallen können und dass Demos auf externen Servern liegen können.
Was das für die Forschungspraxis bedeutet
- Personenbezogene Daten bleiben in Ihrer Hand. Videoaufnahmen von Studierenden, Patientinnen und Patienten oder Versuchspersonen werden bei den lokal rechnenden Anwendungen nicht an Dritte übermittelt. Das erleichtert Ethikanträge und die Umsetzung der DSGVO erheblich – die Verantwortung für Speicherung, Zugriff und Löschfristen liegt aber weiterhin bei Ihnen.
- Kein Konto, keine Registrierung, keine Nutzungsprofile.
- Offline nutzbar. Ist die Seite samt Modellen einmal geladen, funktioniert die Analyse auch ohne Netzverbindung – praktisch für Feldarbeit und Vorträge ohne stabiles WLAN.
- Aber: Für Ethikantrag und Datenschutzerklärung sollten Sie die Verarbeitung nicht pauschal als „rein lokal“ beschreiben, sondern für die konkret eingesetzte Anwendung nachsehen und sie namentlich nennen.
Vor der Aufnahme zu klären
- Schriftliche Einwilligung der aufgenommenen Personen, mit klarer Angabe zu Zweck, Speicherort, Zugriff und Löschfrist.
- Getrennte Ablage von Rohvideo und ausgewerteten Daten; für die Weitergabe genügen meist die Koordinaten- oder Merkmalsdateien, nicht das Video.
- Sensoren wie eSense oder Muse verbinden sich über Bluetooth mit dem Gerät – auch hier bleiben die Daten lokal, die Kopplung muss aber erlaubt werden.
- Automatisch geschätzte Kategorien wie Emotion, Geschlecht oder Alter sind Modellschätzungen und als solche zu kennzeichnen – sie sind kein Messwert über eine Person.
17 · Eigene Projekte und das Motion-Emotion-Lab
Wie Sie an der mdw mit diesen Werkzeugen arbeiten können.
Das Motion-Emotion-Lab der mdw ist Partner der SInES Tools für empirische Musikforschung an der Universität Wien. Wir setzen die Werkzeuge in Lehre, Abschlussarbeiten und Forschungsprojekten zu Musikphysiologie, Instrumentalhaltung, Auftrittsanspannung und musikalischem Ausdruck ein.
Der schnellste Einstieg ist ein kurzer Testdurchlauf mit eigenem Material: Zwei Minuten Video genügen, um zu sehen, ob die Trackingqualität für Ihre Frage ausreicht. Bei Fragen zu Studiendesign, Kalibrierung, Synchronisation oder Auswertung in R melden Sie sich gern im Lab.
Demo-Audio für das Valenz-Arousal-Tracking
Für einen ersten Testlauf mit der Anwendung Emotion Analysis (Abschnitt 7) steht ein vorbereiteter Audiomix bereit.
Demo-MP3 herunterladen
Typische Einstiegsprojekte
- Haltungsvergleich vor und nach einer Unterrichtsintervention (Pose Tracker + 3D Data Analyzer)
- Bogenführung und Klangergebnis (Hand Tracker + Signal Analysis + Time Series Analyser)
- Auftrittsanspannung im Verlauf (Heartbeat Tracker oder eSense + Progression Charter)
- Ensemblesynchronität in Probe und Konzert (MoveNet + Video Motion Analysis)
- Raumakustik von Überäumen und ihre Wirkung auf das Üben (Room Acoustics Tool)
18 · Zitieren, Lizenz und Dank
Wissenschaftliche Werkzeuge gehören zitiert – das Tool ebenso wie das Verfahren dahinter.
Ein einzelnes Tool zitieren
Autorin oder Autor und Jahr stehen jeweils am Fuß der Anwendung.
Reuter, C. (2021). SInES Tools: Audio Signal Analysis Tool I [Webanwendung]. https://sinestools.univie.ac.at/meyda_signalanalyse.htm
Die SInES Tools als Ganzes zitieren
Reuter, C., Czedik-Eysenberg, I., Cui, A.-X., Ambros, S., Klooss, F., Feller, G., Schachner, I., Roos, M., Lindenbauer, H., Li, H., & Bertsch, M. (2026). SInES Tools, Helpers, Visualizers as your Scientific Realizers. In Fortschritte der Akustik – DAGA 2026, 52. Jahrestagung für Akustik (S. 1002–1005). Dresden: Deutsche Gesellschaft für Akustik.
Zugrunde liegende Verfahren
Beschreiben Sie im Methodenteil nicht nur das benutzte Tool, sondern auch das Verfahren dahinter (etwa BlazePose, MediaPipe, Meyda.js, Essentia.js, CREPE, CLAP) und zitieren Sie dessen Originalquelle – diese finden Sie auf der jeweiligen englischen Anwendungsseite. Dazu gehören außerdem: Modellname und Version, Bildrate, Fenstergröße und Hop-Size der Audioanalyse, verwendete Glättung samt Parametern sowie der Umgang mit fehlenden Werten.
Lizenz und Dank
SInES Tools © 2019–2026 by Christoph Reuter and SInES, veröffentlicht unter MIT-Lizenz. Ein herzliches Dankeschön an Christoph Reuter und das SInES-Team der Universität Wien für die Entwicklung und die freie Bereitstellung dieser Werkzeuge.
19 · Literatur aus dem SInES-Lab
Ausschließlich Arbeiten des SInES-Teams der Universität Wien und seiner Kooperationen, in denen diese Werkzeuge entwickelt, geprüft oder eingesetzt wurden. Die Originalquellen der zugrunde liegenden Verfahren (BlazePose, Meyda.js, CREPE, Eulerian Video Magnification usw.) stehen auf der jeweiligen englischen Anwendungsseite. Die vollständige Publikationsliste findet sich unter sines.univie.ac.at/research/publications.
Czedik-Eysenberg, I., & Reuter, C. (2023). Harder than (a) rock – Evaluierung der Rolle perkussiver Komponenten der Begleitstimme für den Härteeindruck von Musikstücken. In Fortschritte der Akustik – DAGA 2023, 49. Deutsche Jahrestagung für Akustik (S. 927–929). Hamburg.
Czedik-Eysenberg, I., & Reuter, C. (2025). Evaluating timbre-related audio descriptors across different libraries and multimodal embeddings. In Proceedings of the Joint Conference DAS|DAGA 2025, 51st Annual Conference on Acoustics (S. 171–174). Copenhagen.
Czedik-Eysenberg, I., Roos, M., Weber, V., Klooss, F., Cui, A.-X., Reuter, C., & Oehler, M. (2023). Play it again, Sam(ple) – Trends in the prevalence of repetition and audio self-similarity in German chart songs [Poster]. 17th International Conference on Music Perception and Cognition (ICMPC17) & 7th Conference of APSCOM (S. 224). Tokyo.
Czedik-Eysenberg, I., Smialek, E., & Herbst, J.-P. (2024). Towards an acoustic-semantic space of extreme metal vocal styles. In Fortschritte der Akustik – DAGA 2024, 50. Deutsche Jahrestagung für Akustik (S. 979–982). Hannover.
Czedik-Eysenberg, I., Wieczorek, O., Flexer, A., & Reuter, C. (2024). Charting the universe of metal music lyrics and analyzing their relation to perceived audio hardness. Transactions of the International Society for Music Information Retrieval, 7(1). https://doi.org/10.5334/tismir.182
Reuter, C., Bertsch, M., Czedik-Eysenberg, I., Cui, A.-X., Roos, M., Ambros, S., Jewanski, J., Eder, M., Mühlhans, J., Klooss, F., Popovic, D., Weber, V., Stickler, A., Feller, G., Steurer, P., Yang, J., & Oehler, M. (2024). Grooving & moving, blowing & bowing – Typische Bewegungen beim Musizieren [Vortrag/Demo]. Universität Wien.
Reuter, C., Czedik-Eysenberg, I., & Cui, A.-X. (2023). Happy life comes with P5 – P5, ML5, Meyda and Plotly as helpful tools in teaching and research. In Fortschritte der Akustik – DAGA 2023, 49. Deutsche Jahrestagung für Akustik (S. 991–994). Hamburg.
Reuter, C., Czedik-Eysenberg, I., & Cui, A.-X. (2023). Moves & Grooves. Analyse von Audiosignalen, Tracking von Körper, Hand und Gesicht/Ausdruck. OCG Journal, 48(4), 20–23.
Reuter, C., Czedik-Eysenberg, I., Cui, A.-X., Ambros, S., Klooss, F., Feller, G., Schachner, I., Roos, M., Lindenbauer, H., Li, H., & Bertsch, M. (2026). SInES Tools, Helpers, Visualizers as your Scientific Realizers. In Fortschritte der Akustik – DAGA 2026, 52. Jahrestagung für Akustik (S. 1002–1005). Dresden. https://sinestools.univie.ac.at/SInES_Tools_2026.pdf
Reuter, C., Czedik-Eysenberg, I., Cui, A.-X., Roos, M., Ambros, S., Eder, M., Yang, J., & Bertsch, M. (2025). Sciene shines with SInES – SInES Tools for audio and video analysis, new updates and improvements. In Proceedings of the Joint Conference DAS|DAGA 2025, 51st Annual Conference on Acoustics (S. 183–186). Copenhagen.
Reuter, C., Schmid, C., Yang, X., & Yang, J. (2025). I see something you can only hear – Visualising musical performance with SInES tools and sonic cam. In Proceedings of the Joint Conference DAS|DAGA 2025, 51st Annual Conference on Acoustics (S. 168–170). Copenhagen.
Über diese Seite
Redaktionelle deutschsprachige Orientierung für Studium, Lehre und Forschung am Motion-Emotion-Lab der mdw. Maßgeblich sind die englischsprachigen Originalseiten der SInES Tools, die von SInES an der Universität Wien gepflegt werden; Funktionsumfang, Bezeichnungen und Versionen können sich dort jederzeit ändern.
Zur englischen SInES-Tools-Seite →
SInES an der Universität Wien
SInES – Space for Interdisciplinary Experiments on Sound, Institut für Musikwissenschaft (Systematische Musikwissenschaft), Universität Wien.
Team · SInES Tools · SInES Interactive (Tutorials)
Redaktion: Matthias Bertsch, Motion-Emotion-Lab der mdw – Universität für Musik und darstellende Kunst Wien.
Stand: Juli 2026 · Grundlage: SInES-Tools-Übersicht mit 112 Anwendungen · Rückfragen und Korrekturhinweise gern an das Lab.
