Wie in AR Bewegungs- und Umweltdaten erhoben und nutzbar gemacht werden
Jens Fehrenbacher
Entstehungsgeschichte: Was sind die AR-Brotkrumen?
Die Augmented Reality (AR) Brotkrumen sind ein Versuchsaufbau, der im Rahmen der Forschung im Virtual Humanities Lab entstanden ist. Es handelt sich um ein selbstgeschriebenes Programm mit der Programmiersprache Processing auf Basis von ARCore, dem Augmented Reality Toolkit für Android Smartphones. Wie bei den meisten AR-Anwendungen geht es auch hier darum, dass durch die Kamera eines Smartphones die physische Umgebung abgefilmt wird und in dieses Kamerabild virtuelle Objekte eingefügt werden. Die Objekte verhalten sich dann in der Regel so, als wären sie in der physischen Umgebung verankert. Somit ist ein Betrachten des Objekts oder auch der entworfenen Szenerien aus unterschiedlichen Perspektiven und Distanzen möglich. Es entsteht der Eindruck, ich könnte um das Objekt herumgehen.
Kompetenzen: Was können die AR-Brotkrumen?
In der hier vorgestellten AR experimentiere ich damit, wie die Positionen der Nutzer*innen getrackt und zu einem Teil der Gestaltung werden können. Die Tracking- oder auch „Pose“-Daten des Devices – z.B. des Smartphones – werden durch das Programm gespeichert und ausgelesen. Entlang dieser gespeicherten Positionsdaten werden in einem vorgegebenen Rhythmus automatisiert virtuelle rote Würfel im virtuellen Raum platziert. Die roten Würfel ergeben somit eine Spur der Bewegung des Displays im Raum, von einer Kollegin treffend als „virtuelle Brotkrumen“ bezeichnet.
In einem festgelegten zeitlichen Abstand wird jeweils eine Position als X-, Y- und Z-Koordinate in einer Liste des Programms abgespeichert und an jedem dieser Koordinatenpunkte wird ein roter Würfel platziert. Gehe ich also rückwärts, sehe ich die Würfel rhythmisch via Interface direkt vor mir aufpoppen. Wenn ich in die Hocke gehe, das Handheld also näher zum Boden bringe, erzeuge ich tiefer schwebende Würfel, wechsle ich die Richtung, erzeuge ich Kurven aus Würfeln. Mich hat überrascht, dass die Würfel auch über einen längeren Zeitraum sehr korrekt an Ort undStelle verbleiben. Bei schnellen Bewegungen oder wenn die Kamera verdeckt ist, geht zwar gewissermaßen die Orientierung verloren, aber sobald die Kamera wieder „ruhige und freie Sicht hat“, rücken die Würfel wieder an die richtige Position zurück. Besonders aufschlussreich für Fragen nach der sensorisch-algorithmischen Orientierung ist das im Video festgehaltene Experiment: Hier wird eine Runde über den Büroflur gelaufen. Am Startpunkt wieder angekommen werden die ersten Würfel wieder exakt an derselben Stelle wie zuvor angezeigt.
Erkenntnisse: Was zeigen die AR-Brotkrumen?
Die AR-Brotkrumen erzeugen nicht nur eine Spur der Bewegung des*der Smartphone-Nutzer*in, sie dokumentieren ebenfalls zugrundeliegende Funktionsweisen und Infrastrukturen, sowie gewisse Naturalisierungstendenzen von Augmented Reality. In der AR-Standardfunktion – der Illusion, um ein virtuelles Objekt herumgehen zu können – wird der Eindruck erzeugt, ein in sich kohärentes und fest im Raum verankertes Objekt zu betrachten. Das Objekt reagiert also ‚natürlich‘ auf die neutral erscheinende Betrachtung (vgl. Pardes 2017; van der Veen 2020).
Dieses betrachtete digitale 3D-Modell muss jedoch in Echtzeit geneigt und verschoben werden – je nach Verhältnis zu Neigung und Bewegung des Ausgabedisplays –, um diesen natürlichen Eindruck zu erwecken. Es wird deutlich, wie umfangreich sowohl die physische Umgebung als auch die Bewegung des Devices getrackt und analysiert werden müssen. Betrachtung in AR bedeutet also immer auch Interaktion mit der Umgebung und den virtuellen Objekten. Auch wenn diese relationalen Bewegungsdaten nicht häufig in den Anwendungen selbst verwertet werden (Ausnahme ist etwa die künstlerische AR-Arbeit LONGING von Sarah Rothberg), zeigen die AR-Brotkrumen, dass diese Analysen und die Daten der Bewegung im System vorliegen und potenziell genutzt werden können – sowohl für die Gestaltung als auch zur Nutzer*innenanalyse. Ebenso zeigt sich in den Experimenten der Re-Orientierung und dem Flur-Rundgang, dass auch die Umwelt in charakteristische Datenpunkte zerlegt wird, die nach verlorener Orientierung ‚wiedererkannt‘ werden können. Die AR-Brotkrumen geben Einblicke in die grundlegende AR-Technik und speziell in die Blackbox des zugrundeliegenden ARCore-Toolkits, das in der Lage ist, dauerhaft Daten über die Bewegung und die Umgebung auszuwerten und nutzbar zu machen.
Quellen
Pardes, Arielle: Ikea’s New App Flaunts What You’ll Love Most About AR. In: wired.com, 20.09.2017. https://www.wired.com/story/ikea-place-ar-kit-augmented-reality/ [07.09.2023]
Rothberg, Sarah: LONGING (2021). https://sarahrothberg.com/LONGING
van der Veen, Manuel: The Occupation of the Natural by the UnNatural. About the Operation of Superimposition in Augmented Reality and Trompe-l’oeil. In: SEQUITUR, 6/2, 2020. https://www.bu.edu/sequitur/2020/07/17/the-occupation-of-the-natural-by-the-unnatural-about-the-operation-of-the-superimposition-in-augmented-reality-and-trompe-loeil/[07.09.2023]
Weiterführende Literatur
Sutherland, Ivan E.: A head-mounted three dimensional display. In: AFIPS Conference Proceedings, 33/1, 1968, S. 757-764
Verhoeff, Nanna; Dresscher, Paulien: XR: Crossing and Interfering Artistic Media Spaces. In: Hjorth, Larissa; de Souza e Silva, Adriana; Lanson, Klare (Hrsg.): The Routledge Companion to Mobile Media Art. Milton [Taylor & Francis Group] 2020, S. 482-492
Oufqir, Zainab; El Abderrahmani, Abdellatif; Satori, Khalid: ARKit and ARCore in serve to augmented reality. In: International Conference on Intelligent Systems and Computer Vision (ISCV). 2020, S. 1-7. https://ieeexplore.ieee.org/abstract/document/9204243 [07.09.2023]
Das Virtuelle Objekt des Monats
Seit April 2023 stellen wir jeden Monat ein „Virtuelles Objekt des Monats“ (VOM) auf der Website des Sonderforschungsbereichs 1567 „Virtuelle Lebenswelten“ vor. Die präsentierten Objekte entstammen der Forschung in den Teilprojekten. Im Zusammenspiel von Text und Animation, desktop- oder smartphonebasierter Augmentierung oder anderer grafischer Aufbereitungen eröffnen wir Einblicke in die verschiedenen Forschungsthemen und den Arbeitsalltag des SFB. Das VOM macht unsere Wissensproduktion transparent. Zugleich wollen wir hier mit den Möglichkeiten und Grenzen der Wissensvermittlung in und durch Virtualität und Visualität experimentieren.
Das „Virtuelle Objektdes Monats“ ist mehr als ein populärwissenschaftlicher Text und mehr als ein illustrierendes Bild. Die Autorinnen des jeweiligen VOM präsentieren kurz einen Gegenstand ihrer Forschung um daran ein Argument scharfzustellen. Dabei werden die Objekte auf ihren Mehrwert hin befragt, den sie in dem jeweiligen Forschungssetting preisgeben. Mit dem Text skizzieren unsere Wissenschaftlerinnen das Bemerkenswerte, das Eigentümliche oder auch das Einzigartige, welches das jeweilige Objekt zeigt. Sie machen so die Forschung des SFB in einem kurzweiligen Schlaglicht sichtbar. Die zum VOM gehörende Visualisierung ist eine weitere Transformation des Forschungsgegenstands, die das Argument noch einmal auf eine andere Art und Weise zugänglich macht.
