Afstuderen · Academische werkplaats Affect-us
Spraak en beweging uit video, zonder dat beelden het gebouw verlaten
Onderzoekers bekijken urenlang video om te zien hoe deelnemers praten en bewegen. Deze tool doet automatisch een eerste analyse: hij zet wat er gezegd wordt om in tekst, meet het spreektempo per minuut en herkent houding en beweging. Sessies zijn daarna naast elkaar te vergelijken.
De mensen
- Privacy als uitgangspunt: alle analyse draait lokaal, er gaat geen beeld naar buiten
- Rechten per gebruiker, zodat onderzoekers alleen de sessies zien die ze mogen zien
- Uitkomsten in gewone zinnen, zoals welke sessie het hoogst scoort en waarom
- Eerlijk over de grenzen: de maten zijn om opnames te vergelijken, niet als klinische meting
De techniek
- FastAPI-backend met MySQL, SQLAlchemy en Alembic-migraties
- Spraakherkenning met Whisper (faster-whisper)
- Houdingsherkenning met MediaPipe Pose
- Streamlit-dashboard met inloggen (JWT) en sessie-uploads
- Geautomatiseerde tests in GitHub Actions, inclusief permissies en race conditions
In dit project werk ik alleen, dus de afstemming met de onderzoekers ligt helemaal bij mij. Daardoor groeien vooral mijn communicatievaardigheden: goede vragen stellen, verwachtingen bespreken en technische keuzes uitleggen aan mensen zonder ICT-achtergrond.