Tools zur Datenerhebung und empirischen Forschung
Emotionstracking von Valenz-Arousal. Einfach ein mp3 Audio uploaden und mit Maus während dem Hören das Erleben mittracken. Nur Firefox! [Teste Demo-MP3]
Tracking von Gesichtsausdruck und Stimmung beim Sprechen oder Musizieren – inklusive Audioanalyse.
Tempo manuell eintappen – praktische Hilfe für Dirigierstudien, Höreranalysen oder eigene Messungen.
Mikro einschalten und viel mehr erfahren als über einfache Stimmgeräte – für Unterricht & Forschung.
|
Videoanalyse der Körperhaltung mit paralleler Audioauswertung – ideal für Performanceforschung.
Pulsanalyse über Webcam – Über Änderungen der Gesichtsfarbe wird über Durchblutung der Puls ermittelt.
Erweiterte browserbasierte Spektralanalyse mit JSXtract – für detaillierte Untersuchungen von Audiosignalen.
Verfolgt Punkte im Video – zur Analyse von Bewegungen (z. B. Instrumente, Hände, Gesichtspunkte).
|
|
|
SINeS Tools Stand Aug. 2025
A. Emotion & Ausdruck / Bewegung & Physiologie
Emotionstracking von Valenz–Arousal; MP3 hochladen und das Erleben während des Hörens per Maus in Echtzeit annotieren (nur Firefox) | Bereich: Affective Computing, empirische Musikwissenschaft, Annotation | Demo: Demo-MP3
Valenz-/Arousal-Tracking inkl. Mindfield eSense SCR und Audiosignalanalyse | Bereich: Emotion, Psychophysiologie, Audioanalyse. (Firefox only!!)
Gesichts- und Emotions-Tracking (Video) mit begleitender Audiosignalanalyse | Bereich: Gesichtserkennung, Ausdrucksanalyse, Audioanalyse.
Körper-Pose-Tracking (eine Person) mit gekoppelter Audioanalyse | Bereich: Bewegungsanalyse, Computer Vision, Audio-Feature-Tracking.
Bimanuelles Hand-Tracking (Video) mit Audioanalyse | Bereich: Feinmotorik, Computer Vision, Performanzanalyse.
rPPG-basiertes Puls- und Stimmungs-Tracking via Webcam | Bereich: Physiologische Messung (rPPG), Emotionsmonitoring.
4-Kanal-EEG-Aufzeichnung für Muse S inkl. Brain-Synthesizer/Sampler | Bereich: EEG, Biosignale, interaktive Sonifikation.
B. Audioanalyse – Feature-Extraktion & Klassifikation
Extraktion gängiger Web-Audio-Features mit Meyda | Bereich: Feature-Extraktion, Spektral-/Zeitmerkmale, Lehre & Forschung.
Alternative Audio-Feature-Extraktion mit js-xtract | Bereich: Signalanalyse, Vergleich von Feature-Bibliotheken.
Berechnung timbre-relevanter Spektralmerkmale | Bereich: Timbre-Analyse, psychoakustische Merkmalsräume.
Analyse in vordefinierten Frequenzbändern | Bereich: Bandenergie, spektrale Verteilungen, Vergleich über Stücke/Spielweisen.
Formantdetektion für Sprache/Gesang (formantanalyzer.js) | Bereich: Vokaltraktanalyse, Stimmklang, Gesangsakustik.
Grundfrequenz-, Chroma- und Beat-Analyse | Bereich: Tonhöhenverlauf, Harmonik, Rhythmus/Tempo.
Tonhöhentracking und Onset-Detektion | Bereich: Ereigniserkennung, Performanz-Timing, Übeanalyse.
BPM-Ermittlung durch Tippen | Bereich: Tempo-Schätzung, Rhythmusmetriken, Repertoire-Vergleich.
Analyse symbolischer Musikdaten (MIDI-Events, Kanäle, Spuren) | Bereich: Musikdaten, Struktur-/Timing-Auswertung.
C. ML-basierte Schätzer (Essentia/MusiCNN, ML5, Speech)
Genreschätzung auf Basis vortrainierter Modelle (Essentia/MusiCNN) | Bereich: Audio-Tagging, Klassifikation, Repertoiresichtung.
Schätzung von Stimmungs-/Kategorie-Labels (Essentia/MusiCNN) | Bereich: Musikemotion, Tagging, Wiedergabelisten/Didaktik.
Schätzung der affektiven Dimensionen Valenz & Arousal | Bereich: Affective Computing, Wahrnehmungsforschung.
Emotionserkennung in gesprochener Sprache (WebSpeechAnalyser) | Bereich: Paralinguistik, Sprechforschung, Unterricht.
ML-basierte Tonhöhenschätzung (ml5.js) | Bereich: Pitch-Tracking, Modellvergleich, Live-Analyse.
D. Spezielle/Externe Anwendungen (Performance, Forschung, Lehre)
Analyse harscher Gesangstechniken (u. a. Spektral-/Rauigkeitsmerkmale) | Bereich: Gesangsforschung, Stimmakustik, Stilistik.
Intonations-Feedback inkl. Stimmung, Temperatur und Klangfarbe | Bereich: Intonation, Gehörbildung, Didaktik/Übeanalyse.
Visualisierung von Formanten/Klangfarbenkarten orchestraler Instrumente | Bereich: Orchesterklang, Formantenanalyse, Instrumentenkunde.
Partials „quetschen/strecken“ zur Exploration von Konsonanz/Dissonanz | Bereich: Tonspektren, Psychoakustik, Harmonielehre.
E. Bild/Video-Werkzeuge & Visualisierung
Verfolgung markanter Punkte in Videos (jsFeat) | Bereich: Tracking, Bewegungsanalyse, Computer Vision.
Stapelanalyse von Bildsammlungen (z. B. Metadaten, Statistiken) | Bereich: Bildanalyse, Datenerhebung, Korpusauswertung.
Wahrnehmungsnahe Farbsimilarität berechnen/visualisieren | Bereich: Farbwahrnehmung, Distanzmetriken, Visualisierung.
Sammlung kleiner Hilfs- und Visualisierungstools für SInES-Daten | Bereich: Datensichtung, Diagramme, Demo-Material.
Akustische Heuristik zur Abschätzung der „Stech-Wahrscheinlichkeit“ aus Summen | Bereich: Bioakustik, Klassifikation, Audiosignal.
Helpers
Korrelationen in Excel-/CSV-Daten finden | Bereich: Datenaufbereitung, Statistik, explorative Analyse.
Zeilen nach Ähnlichkeit zu einer Referenzzeile sortieren | Bereich: Mustererkennung, Ähnlichkeitsmetriken (k-NN), Datenbereinigung.
Zeilen/Spalten nach frei definierbaren Mustern sortieren | Bereich: Tabellenvorbereitung, Ordnung, Kuratierung.
Tabellen unterschiedlicher Länge abgleichen/synchronisieren | Bereich: Datenabgleich, Zusammenführung (Merge), ETL.
Heatmaps aus Tabellen generieren | Bereich: Visualisierung, deskriptive Statistik, Mustererkennung.
Standarddiagramme aus Tabellendaten erstellen | Bereich: Visualisierung, EDA, Reporting.
Box-/Violin- und Radar-Diagramme erzeugen | Bereich: Verteilungsanalyse, Vergleichsstatistik.
Zeitreihendiagramme aus Tabellen generieren | Bereich: Zeitreihenanalyse, Trenddetektion.
Tabellen in JavaScript-Arrays umwandeln | Bereich: Data Engineering, Web-Prototyping, ETL.
Visualisers
Visualisierung der Ergebnisse aus Pose-Tracking-Sessions | Bereich: Bewegungsanalyse, Kinematik, Lehr-Demos (Bezug: Video Motion & Audio Feature Analysis).
Darstellung von Zwei-Hand-Tracking-Daten | Bereich: Feinmotorik/Gestik, Performanzforschung, Didaktik (Bezug: Hand Tracking & Audio Feature Analysis).
Visualisers for conference contributions
Interaktive Darstellung von Bewegungs- und Audio-Features für Demos/Poster | Bereich: Performance Science, Kopplung Bewegung-Klang, Outreach.
Gegenüberstellung und Vergleich verschiedener Analyseverfahren | Bereich: Methodenvergleich, Lehre, Validierung.
Exploration der Schallabstrahlung und weiterer Audio-Features der Gitarre | Bereich: Musikalische Akustik, Instrumentenanalyse, Didaktik.
Integrierte Darstellung zentraler Performanz-Parameter in Violinstudien | Bereich: Performance-Analytics, multimodale Daten, Unterricht.
2D-Visualisierung von Hand-/Körper-Expressionsmerkmalen | Bereich: Gestenforschung, Embodiment, Didaktik.
Timeline-Visualisierung von Valenz-/Arousal-Daten für Poster/Vorträge | Bereich: Affective Computing, Wahrnehmungsstudien, Präsentation.
Synchronisierte Darstellung von Tanzschritten mit Audio/Video | Bereich: Motion Capture, Pädagogik, Synchronitätsforschung. | Alternative: Boogie
Ein herzliches Dankeschön an Christoph Reuter und sein Team für die großartige Entwicklung und freie Bereitstellung der SInES Tools.
SInES Tools © 2019–2025 by Christoph Reuter and SInES
Lizenz: CC BY-NC 4.0
