Zusammenfassung

Im Rahmen des Forschungsprojekts Cyberrüsten 4.0 an der Universität Siegen wurde eine Augmented Reality (AR)-Anwendung für die Microsoft HoloLens (HoloLens) konzipiert, implementiert und evaluiert, die Maschinenbediener beim Rüsten und Einrichten einer Rohrbiegemaschine unterstützen und Wissen von erfahrenen Arbeitern dokumentierbar und anderen kontextspezifisch verfügbar machen soll.

Meine Tätigkeiten in dem Projekt bezogen sich hauptsächlich auf die Konzeption des User Interfaces für die AR-Anwendung sowie die technische Überprüfung der Umsetzbarkeit und Implementierung einzelner Anwendungsfeatures, die von einem externen Partner in die Anwendung integriert wurden. Dazu zählen die Implementierung eines Bewegungstrackings und die Visualisierung des zurückgelegten Weges (Movement Tracking), die korrekte Platzierung und Überlagerung eines Maschinenmodells im Raum mithilfe von Markern (Augmented Machine) sowie die Implementierung eines User Interfaces zur Manipulation der Animationsrichtung von Maschinenbauteilen des 3D Modells (Axis Guide).

Movement Tracking

Durch die Implementierung dieses Features sollte überprüft werden, inwiefern es möglich ist, die vom Nutzer zurückgelegten Wege zu dokumentieren und sowohl auf einem zweidimensionalen Grundriss als auch in der AR in Echtzeit anzuzeigen. Außerdem sollte der zurückgelegte Weg in einzelne Abschnitte unterteilt, diese kategorisiert und die Visualisierung anhand der Kategorien gefiltert werden können.

Der Prototyp enthält demnach eine Karte in Form eines Hologramms, das dem Nutzer folgt und dessen Echtzeitposition sowie den zurückgelegten Weg auf dem Grundriss anzeigt. An diesem Hologramm befinden sich darüber hinaus virtuelle Buttons und Schieberegler, die zum Filtern und Neuanlegen von Wegabschnitten, zum Zoomen der Karte sowie zur Aktivierung der Anzeige der Wegabschnitte im dreidimensionalen Raum verwendet werden können. Zur korrekten Ausrichtung des Grundrisses im Verhältnis zu der Position und Orientierung des Nutzers kam ein zweidimensionaler Marker zum Einsatz.

Augmented Machine

Das Ziel dieses Features bestand darin, eine Maschine mit zusätzlichen Informationen direkt an der für die jeweilige Information relevanten Stelle zu erweitern. Dafür sollte untersucht werden, wie die korrekte Positionierung des 3D-Modells einer Maschine mit der verwendeten Hardware möglich ist, sodass dieses Modell die Maschine visuell überlagert.

In der Folge wurden verschiedene Ansätze zur Positionierung des Modells untersucht und prototypisch implementiert und auf deren Eignung sowie Genauigkeit und Zuverlässigkeit getestet. Beispielsweise wurde die Nutzung des Spatial Mapping der HoloLens und die Verwendung von einem und mehreren, zweidimensionalen und dreidimensionalen Markern verglichen. Ein weiterer Aufgabenbereich war die Konvertierung und Optimierung des verwendeten 3D Models, sodass es den Leistungsanforderungen der verwendeten Hardware gerecht wurde.

Axis Guide

Die Zielsetzung für das Feature Axis Guide bestand zum einen darin, die Montage für einzelne Bauteile der Maschine in AR darzustellen. Zum anderen sollte es dem Nutzer über ein holographisches Interface möglich sein, bei Bedarf die Art der Montage für ein Bauteil selbst zu definieren oder diese manipulieren zu können.

Um die Anzahl und Art möglicher Montageinteraktionen zu erfassen, wurden zuerst Videoaufnahmen von Maschinenbedienern aus der Ego-Perspektive analysiert und verschiedene Montagekategorien festgelegt. Auf der Basis der Kategorien wurden dann zum einen Animationen entwickelt, die verschiedene Montagerichtungen darstellen und das Verhalten einzelner Bauteile des 3D Models so geändert, dass diese die Animationen bei Bedarf wiedergeben. Darüberhinaus wurde ein visuelles User Interface entwickelt, mit dessen Hilfe der Nutzer die Montagerichtung und somit die abgespielte Animation des jeweiligen Bauteils mit Hilfe einer Geste, direkt am Bauteil der echten Maschine manipulieren kann.