Extended Reality
Ich setze Augmented Reality (AR), Virtual Reality (VR) und Projection Mapping ein, um die Realität mit interaktiven Inhalten zu erweitern. Mein Fokus liegt auf immersiver Gestaltung, die Nutzer begeistert.
Interaktives Projection Mapping
In meiner Bachelorarbeit verglich ich drei Interaktionsformen und ihren Einfluss auf die User Experience von Projection Mapping: Display Interaction per Smartphone, Tangible Interaction mit einer Kugel sowie Camera Tracking der Hände.
Inhalte von Youtube werden aufgrund deiner aktuellen Cookie-Einstellungen nicht angezeigt. Klicke auf “Zustimmen & anzeigen”, um zuzustimmen, dass die erforderlichen Daten an Youtube weitergeleitet werden, und den Inhalt anzusehen. Mehr dazu erfährst du in unserer Datenschutz. Du kannst deine Zustimmung jederzeit widerrufen. Gehe dazu einfach in deine eigenen Cookie-Einstellungen.
Demo
Für die Vergleichbarkeit lösen alle drei Interaktionsformen die gleichen Aktionen aus: Rotation des Bonsais und Wechsel der Jahreszeiten.
Alle Formen wurden in einer Studie mit 30 Teilnehmern getestet und mittels UEQ und SAM evaluiert.
Inhalte von Youtube werden aufgrund deiner aktuellen Cookie-Einstellungen nicht angezeigt. Klicke auf “Zustimmen & anzeigen”, um zuzustimmen, dass die erforderlichen Daten an Youtube weitergeleitet werden, und den Inhalt anzusehen. Mehr dazu erfährst du in unserer Datenschutz. Du kannst deine Zustimmung jederzeit widerrufen. Gehe dazu einfach in deine eigenen Cookie-Einstellungen.
Tangible Interaction mit Arduino
Ich entwickelte eine Gyro-Kugel als Tangible Interface. Die Kugel wurde in Fusion 360 konstruiert und enthält einen Arduino mit Gyro-Sensor. Der Arduino hostet einen Webserver und überträgt die Live-Daten per WLAN an Unity.
Im Vergleich schnitt die Gyro-Kugel mit großem Abstand am besten ab.
Interaktion und Kommunikation
Die Datenübertragung zwischen Geräten lief über Node.js und WebSocket-Server.
3D-Umgebung und Interaktionslogik wurden in Unity mit C# entwickelt.
Das Projection Mapping wurde mit MadMapper realisiert.
Die Daten werden von Unity per NDI an MadMapper übertragen.
Projection Mapping beim Tsukimikoro Event
Während meines Auslandssemesters in Japan entwickelte ich mit japanischen Studierenden ein Projection Mapping für das Lichterfest Tsukimikoro. Besucher konnten interaktiv „Sterne vom Himmel regnen lassen“.
Geometry & Lights
Für die Kunstausstellung „Geometry and Lights“ des KIT in Japan entwickelte ich eine 2D Motion Graphics Animation mit dem Thema Symmetrie. Das Werk wurde per Projection Mapping auf einen Ikosaeder projiziert.
AR Kinderbuch
Mit zwei Kommilitonen entwickelte ich ein interaktives AR-Kinderbuch in Unity.
Unser Fokus war ein nahtloses Nutzererlebnis zwischen Buchseite und digitaler Ebene.
Zu meinen Aufgaben gehörten Konzeption, AR-Umsetzung sowie Gestaltung und Produktion des physischen Buchs.
Inhalte von Youtube werden aufgrund deiner aktuellen Cookie-Einstellungen nicht angezeigt. Klicke auf “Zustimmen & anzeigen”, um zuzustimmen, dass die erforderlichen Daten an Youtube weitergeleitet werden, und den Inhalt anzusehen. Mehr dazu erfährst du in unserer Datenschutz. Du kannst deine Zustimmung jederzeit widerrufen. Gehe dazu einfach in deine eigenen Cookie-Einstellungen.
Demo
Die Anwendung testeten wir für das Tablet. Das System erkennt per Bilderkennung, welche Szene geöffnet werden muss. Nutzer müssen Aufgaben bewältigen, um in der Geschichte weiterzukommen.
Inhalte von Youtube werden aufgrund deiner aktuellen Cookie-Einstellungen nicht angezeigt. Klicke auf “Zustimmen & anzeigen”, um zuzustimmen, dass die erforderlichen Daten an Youtube weitergeleitet werden, und den Inhalt anzusehen. Mehr dazu erfährst du in unserer Datenschutz. Du kannst deine Zustimmung jederzeit widerrufen. Gehe dazu einfach in deine eigenen Cookie-Einstellungen.
Japanisches AR Museum
Während meines Auslandssemesters in Japan entwickelte ich eine MR-Anwendung für die Meta Quest in Unity. Ziel war es, mein Wissen über die japanische Kultur interaktiv erlebbar zu machen und Nutzern einen immersiven Zugang zu japanischen Traditionen zu ermöglichen.
Testing
Nutzer starten mit Erklärvideos zu den Themen und überprüfen ihr Wissen anschließend durch das richtige Zuordnen von 3D-Objekten. Die Videos basieren auf eigenen Aufnahmen und wurden mit ElevenLabs vertont. Ein Großteil der 3D-Objekte wurde vor Ort per 3D-Scanning von realen Gegenständen erstellt.
VR KI-Chatbot
Wie wirkt das Aussehen auf die Akzeptanz? In VR mit der Meta Quest untersuchten wir im Team, ob der Uncanny-Valley-Effekt von 3D-Modellen die Wahrnehmung von KI-Chatbots beeinflusst. Entwickelt in Unreal Engine. Nutzer führten Gespräche mit MetaHuman, Cartoon-Charakter und Roboter-Modell und bewerteten die Sympathie der Avatare.
Delta Harmonie Projection Mapping Demo an der HSHL
Motion Graphics in Adobe After Effects entwickelt und mittels MadMapper auf eine dreidimensionale Konstruktionsplatte projiziert – wo digitale Animation auf physische Form trifft.
Tools & Skills
3D & Realtime Engines
Unity: Haupttool für AR/VR-Projekte und Projection Mapping; von Interaktionslogik über Shading bis zur finalen Build-Konfiguration für Meta Quest.
Unreal Engine: Grundkenntnisse; Einsatz für Echtzeit-Visualisierung und Rendering; Import und Anpassung von Animationen aus externen 3D-Tools.
Autodesk Maya: 3D-Modellierung, Rigging und vorgebackene Animationen, die dann in Unity oder Unreal weiterverwendet werden.
Projection Mapping & AV
MadMapper: Projection Mapping Setup und Mapping auf physische Oberflächen; Datenübertragung via NDI zur Echtzeit-Videoübertragung zwischen Geräten (Bachelorarbeit).
After Effects: Motion Graphics und Content-Produktion für Projektionen.
DaVinci Resolve: Videoschnitt und Postproduktion, z.B. für Erklärvideos im AR-Museum-Projekt.
AR/VR & Capturing
Meta Quest: Entwicklung und Testing von VR/MR-Anwendungen direkt auf dem Gerät.
3D Scanning: Digitalisierung physischer Objekte für den Einsatz in Echtzeit-Umgebungen (z.B. japanisches AR-Museum).
Interaktives Design & Prototyping
C#: Scripting in Unity für Interaktionslogik und Systemsteuerung.
Arduino: Hardware-Prototyping und physische Eingabegeräte.
Node.js / WebSocket: Lokale HTTP- und WebSocket-Server für Datenübertragung zwischen Geräten.
HTML / CSS / JavaScript: Eigene Controller-Interfaces als lokale Webseiten.
Design & Grafik
Substance Painter: Texturierung von 3D-Modellen (PBR-Workflow).
Affinity Designer: 2D-Grafiken, Illustrationen und Texturen für den Einsatz in 3D-Umgebungen.
Kollaboration
Convai: KI-Chatbot-Integration in VR; Grundkenntnisse über Einbindung und Funktionsweise, Fokus auf visuelle Umsetzung im Team.
Git: Versionskontrolle und kollaboratives Arbeiten in Teamprojekten.