Im Rahmen eines innovativen Projekts für den Schlesisch-Oberlausitzer Museumsverbund haben wir eine spannende Augmented Reality (AR) Anwendung entwickelt. Sie macht die Geschichte des Schlosses Krobnitz in der Nachkriegszeit lebendig und insbesondere für Kinder zugänglich. Herzstück der Anwendung ist die virtuelle Bezugsperson „Else“. Sie ist eine fiktive Figur, die als Kriegsflüchtling im Jahr 1945 ihre Erstunterkunft im Schloss fand und dort während der DDR-Zeit lebte. Else führt die Besucher durch die Ausstellung und erzählt aus ihrer Perspektive die bewegte Geschichte des Schlosses, welches in der DDR-Zeit sowohl als Wohnhaus als auch als Schule diente.
Die Nutzer können die Anwendung über ihr Handy oder Tablet öffnen, indem sie am Eingang der Ausstellung einen QR-Code scannen. Innerhalb der Ausstellung sind weitere Symbole verteilt, die gescannt werden können, woraufhin Else erscheint und ihre Geschichte erzählt. Die Anwendung ermöglicht Szenenwechsel und wird momentan in Deutsch angeboten. Erweiterungen in Englisch, Tschechisch und Polnisch sind geplant.
Bewegungsabläufe mit Body-Tracking
Für die AR-Figur Else haben wir auf eine bereits vorhandene animierte Figur der Animationssoftware Adobe Animate benutzt. Wir haben nur ein klein wenig Anpassungen an ihr historisches Vorbild vorgenommen, dann war sie einsatzbereit.
Das eigentliche Animieren der Bewegungen war dann für uns sehr spannend und Neuland: Es funktionierte via Body-Tracking. Die Bewegungsabläufe von Else basieren also auf Gesten von Anselm, der Vorbild für Elses Bewegungen war und sie animiert hat. Die Audiospuren für den Audioguide wiederum wurden speziell für Else in einem Tonstudio aufgenommenen und von uns dann mit den Video-Sequenzen von Else synchronisiert.
Herausforderungen
Eine der größeren technischen Herausforderungen war die zuverlässige Erkennung der Symbole in der Ausstellung. Wir haben Open-Source-Technologien für Bilderkennung und AR-Inhaltsdarstellung genutzt und für unseren Anwendungsfall angepasst. Um Else scheinbar im Raum schweben zu lassen, wurde sie vor einem Greenscreen platziert, der dann digital herausgefiltert wird. Nicht so einfach war es auch, Else auch nach inaktiven Handy oder nach Perspektivwechseln weiter anzuzeigen.
Ein weiteres wichtiges Feature war die Erzeugung von Markern für die Bilderkennung. Diese wurden so gestaltet, dass sie von der Kamera aus verschiedenen Distanzen und Winkeln erkennbar sind. Wichtig war es ausserdem, die Videodateien klein zu halten, um schnelle Ladezeiten auch bei schlechter Internetverbindung zu garantieren.
AR Anwendung mit Webtechnologien, läuft ohne Installation von Software
Eine besondere Anforderung bei der Umsetzung ist die Nutzung von Webtechnologien, um die AR-Anwendung zu realisieren. Die Anwendung benötigt keine App-Installation, da sie direkt im Browser läuft, was sie für Benutzer von iOS und Android auf kleinen Displays leicht zugänglich macht.
Die AR-Anwendung Schloss Krobnitz ist ein super Beispiel dafür, wie moderne Technologie genutzt werden kann, um historische Bildung interaktiv und ansprechend zu gestalten. Else als zentrale Figur macht die Geschichte von Schloss Krobnitz informativ und unterhaltsam erlebbar.