Augmented Living

Im Rahmen der Projekt- und Masterarbeit des Studiengangs Human Comuter Interaction an der Universität Siegen konnte ich mich weiterführend und intensiv mit den Themenfeldern Augmented Reality und Smart Home auseinandersetzen. Dabei beschäftigte ich sowohl mit verschiedenen, insbesondere qualitativen Erhebungs- und Testmethoden als auch mit der prototypischen Implementierung eines Toolkits und eines interaktiven Protoyps für die erste Generation der Microsoft HoloLens (HoloLens).

Projektarbeit

Meine Projektarbeit Huelolens: Erstellung eines Toolkits zur Manipulation netzwerkbasierter Lichtquellen mit der Microsoft HoloLens beschäftigte sich mit der technischen Implementierung eines grundlegenden Toolkits zur Steuerung von smarten Lichtquellen mithilfe eines Augmented Reality (AR) Head-Mounted-Display (HMD) für die Unity Engine.

Ziel

Ziel der Arbeit war die Bereitstellung grundlegender Assets zur Beschleunigung des Entwicklungsprozesses interaktiver Prototypen und Anwendungen für die HoloLens und das netzwerkgebundene Beleuchtungssystem Philips Hue. Dazu wurde als Entwicklungsumgebung die Game/3D Engine Unity und Microsoft Visual Studio verwendet. Darüberhinaus wurde das von Microsoft entwickelte Mixed Reality Toolkit (MRTK) sowie die vom Entwickler Q42 veröffentlichte C#-Adaption der Philips Hue API im Projekt verwendet.

Ergebnis

Das entwickelte Toolkit umfasst Skripte, Prefabs und weitere Assets, die

  • den Aufbau einer Netzwerkverbindung zwischen der HoloLens und der Philips Hue Bridge (Hue Bridge) ermöglichen,
  • die Kommunikation zwischen HoloLens und HueBridge bereitstellen und somit Änderungen durch den Nutzer an die HueBridge übertragen,
  • grundlegende User Interfaces bereitstellen, die eine Nutzung der zentralen Funktionen Philips Hue-Leuchtmittel ermöglichen,
  • die automatische Instantiierung von UIs auf Grundlage der auf der Hue Bridge hinterlegten Leuchtmittel, Leuchtmittelgruppen und Szenen ermöglicht.

In folgendem Video werden die zentralen Funktionen des Toolkits vorgestellt:

Klicke auf das Bild, um das Video abzuspielen

Masterarbeit

In meiner thematisch anknüpfenden Masterarbeit konnte ich den nutzerzentrierten Designprozess Design Case Study nach Wulf et. al. anwenden, um Erkenntnisse im Bezug auf Potentiale und die Gestaltung eines HMD-basierten AR-Systems im Anwendungsfeld Smart Home zu erhalten. Dabei wurde eine vollständige Designiteration inklusive empirischer Vorstudie, Konzeption, prototypischer Implementierung und Evaluation mit einem Fokus auf qualitativen Erhebungsmethoden durchlaufen.

Visualisierung der drei Phasen einer Design Case Study.
Die drei Phasen einer Design Case Study und deren jeweilige Funktion.

Vorgehensweise

Meine Vorgehensweise orientierte sich an dem nutzerzentrierten Gestaltungprozess nach DIN EN ISO 9241-210:2011 und insbesondere an der partiellen Design Case Study nach Wulf et al. (Wulf et al. 2011, Wulf et al. 2015). Diese kann in drei Phasen gegliedert werden: Pre-Study, Design und Appropriation (Aneignung). Im Rahmen der hier angewendeten partiellen Design Case Study kann aus arbeitsökonomischen Gründen die ressourcenintensive Aneignungsphase durch eine weniger aufwendige Evaluation ersetzt werden.

Visualisierung des verwendeten methodischen Ansatzes und Zuordnung der verwendeten Methoden in die einzelnen Phasen einer Design Case Study.
Die im Verlauf der Masterarbeit verwendeten Methoden gruppiert nach den einzelnen Phasen einer Design Case Study.

Pre-Study

In der Pre-Study sollen der Nutzungskontext und aktuelle Praktiken der Nutzer mithilfe insbesondere qualitativer Methode analysiert und identifiziert werden. Dazu wurden im Rahmen der Masterarbeit die qualitativen Methoden Autoethnographie und semistrukturierte Interviews kombiniert, um den Nutzungskontext Smart Home zu analysieren. Diese methodische Kombination nutzten bereits Ceccinato et al. (Ceccinato et al.) bei der Analyse der Nutzungskontext von Smart Watches. Darüber hinaus wurde durch eine Literaturrecherche in den Bereichen AR und Smart Home der aktuelle Forschungsstand miteinbezogen.

Konzept

Die Erkenntnisse über Nutzungskontext sowie Situationen und Probleme der Nutzer aus der Pre-Study informieren die Design-Phase: In dieser entwickelte ich ein Konzept für verschiedenen AR-Interfaces, die eine mögliche Lösung prominenter Nutzungsprobleme darstellen sollten. Im Anschluss implementierte ich die konzipierten UIs in Form eines interaktiven Prototyps für die HoloLens. Dabei kam unter anderem das in der Projektarbeit entwickelte Toolkit zur Anwendung.

Evaluation

In der Aneignungsphase beziehungsweise der im Rahmen der Arbeit verfolgten Evaluationsphase wurde das System mithilfe der Methoden Coopertaive Evaluation, einem anschließenden Interview sowie der Auswertung mithilfe des UEQ evaluiert. Analog zum Vorgehen in der Pre-Study wurden die Nutzertests und das anschließende Interview aufgezeichnet und im Anschluss transkribiert sowie mithilfe der Software MAXQDA 18 codiert.

Augmented Cold Forming

Im Rahmen meiner Tätigkeit als wissenschaftliche Hilfskraft an der Universität Siegen und am Mittelstand 4.0-Kompetenzzentrum Siegen übernahm ich die Konzeption und Entwicklung eines Augmented Reality (AR)-Prototyps zur Unterstützung von Maschinenbedienern bei einem Klaltumformprozess von Klöpperböden (engl. Torishperical Head, im Weiteren TH).

Ziel des Projekts

Das Projekt wird mit einer Partnerfirma umgesetzt, die den Kaltumformprozess im Rahmen ihrer Wertschöpfung täglich durchführt. Dabei kommt eine Maschine zum Einsatz, die weder über eine Anzeige aktueller Parameterwerte der Maschine noch über eine Netzwerkanbindung verfügt. Aufgrund dieser Voraussetzungen und dem Alter der Maschine setzt der Umformprozess ein erhebliches Maß an Prozesswissen und Tacit Knowledge der MaschinenbedierInnen voraus. Fehlt dieses Wissen ist von einer erhöhten Fehlproduktionsrate auszugehen.

Mittelstand 4.0 Kompetenzzentrum

Das Mittelstand 4.0-Kompetenzzentrum Siegen unterstützt kleine und mittlere Unternehmen in Südwestfalen, dem Ruhrgebiet und darüber hinaus bei der Digitalisierung. Dabei stehen immer die Mitarbeiter im Mittelpunkt. Das Angebot des Kompetenzzentrums ist kostenfrei und anbieterneutral.

Erstes Projektziel war demnach weniger erfahrenen MaschinenbedienerInnen ein User Interface (UI) zur Verfügung zustellen, dass Ihnen wichtige Informationen während des Umformprozesses an den relevanten Stellen anzeigt, jedoch gleichzeitig weiterhin den notwendigen Einblick auf die Maschine gewährleistet.

Graphische Darstellung zentraler UI Bestandteile und deren Funktion für die AR-Anwendung zur Unterstützung des Kaltumformsprozesses von THs.
Graphische Darstellung zentraler UI Bestandteile und deren Funktion für die AR-Anwendung zur Unterstützung des Kaltumformsprozesses von THs. Diese wurden in einen Screenshot einer empirischen Videoaufzeichnung montiert, die das Sichtfeld der MaschinenbedienerInnen während des Umformprozesses zeigt.

In Abstimmung mit meinem Projektleiter, der zuvor Informationen über den Nutzungskontext und -anfordungen der Bedienenden mittels Videoaufzeichnungen aus der Perspektive eines Maschinenbedieners erhoben hatte, entwarf ich ein erstes Konzept für zentrale UI-Elemente, das im nächsten Schritt prototypisch umgesetzt werden sollte.

Implementierung

Dynamische Generierung von TH-Meshes

Ein zentraler Aspekt der konzipierten UI-Elemente ist die Anzeige von Parametereinstellungen abhängig vom aktuellen Prozessfortschritt. Das heißt, ist der Radius des TH beispielsweise schon ca. 30% geformt, müssen Druck und Geschwindigkeit angepasst werden. Erfahrene Angestellte erkennen dies direkt am zu biegenden Artikel, für weniger Erfahrene sollen AR-Markierungen direkt am Artikel und in der Nähe angezeigte Anweisungen Orientierung verschaffen.

Um eine akurate Anzeige dieses UI für alles verschiedenen TH-Größen zu gewährleisten, wurde ein Script für Unity geschrieben, das die TH-Daten eines beliebigen Artikel, wie Bogenradius und Eckradius, und die geometrischen Funktionen einer Kugel, eines Torus und eines Zylinders verwendet, um Oberflächenpunkte für den jeweiligen TH zu berechnen. Mithilfe dieses Scripts lassen sich dann beispielsweise korrekte Meshes in Unity während der Laufzeit erzeugen oder die Positionspunkte für UI-Elemente berechnen. Im folgenden Video werden die zentralen Funktionen dieses Scripts veranschaulicht.

Klicke auf das Bild, um das Video auf Vimoe abzuspielen.

ScripatbleObject-basierte Datenstruktur

Da das Kooperationsunternehmen verschiedene Artikel, d.h. THs mit verschiedenen Maßen, umformt, war es darüberhinaus notwendig, eine Datenstruktur zu erstellen, die Artikel sowie deren Beziehungen und Abhängigkeiten zu anderen Entitäten wie Materialien, Maschinen und Anweisungen adäquat erfasst.

Für diese Datenstruktur wurden Klassen auf Basis von Unitys ScriptableObject (SO)-Klasse erstellt. Instanzen dieser Klassen können bereits vor der Laufzeit erstellt, mithilfe des Unity Inspectors bearbeitet und als Assets permanent gespeichert werden. Zusätzliche Instanzen können auch während der Laufzeit erstellt werden, beispielsweise mithilfe der Information einer entsprechend formatierten JSON-Datei.

Klassendiagramm der zentralen, ScripatbleObject-basierten Klassen des Unity-Projekts
Klassendiagramm der zentralen, ScripatbleObject-basierten Klassen des Unity-Projekts. Grüne Pfeile zeigen Vererbung an, graue eine Referenz innerhalb der Klasse.

Die zentrale Klasse Article referenziert weitere SO-basierte Klassen:

  • TorisphericalHead enthält geometrische Informationen, wie Radien.
  • Material enthält Material-Informationen, wie Qualität.
  • PressureProfileCollection enthält eine Reihe an Anweisungen für den Maschinenbediener, wie die Druckintensität bei einem bestimmten Fortschrittsgrad.
  • Machine enthält Informationen zur Maschine, wie Verschleißgrad.

Die Article-Klasse referenziert mindestens ein Maschine-PressureProfileCollection-Paar mittels eines Dictionarys, da je nach verwendeter Maschine die Anweisungen an die Bedienenden variieren.

Die zentrale Verwaltung aller Datenklassen-Instanzen wird von der SO-Klasse DataManager übernommen. Dieser stellt auch die Schnittstelle für UI-Komponenten dar, um auf die vorgestellten Datenklassen zuzugreifen.

Management UI

Um den Maschinenbedienern zu ermöglichen variable Paramter einzustellen, wurde ein simples Managment-UI konzipiert und auf Basis existierender MixedRealityToolkit (MRTK)-Komponenten implementiert.

Die MaschinenbedienerInnen müssen nach den Nutzungsanforderungen den zu formenden Artikel, die verwendete Maschine sowie Maschinenverschleißgrad und Materialqualität im System eingeben können, um zuverlässige Anweisungen durch die Anwendung angezeigt zu bekommen. Das resultierende UI und seiner Funktion kann in folgendem Video nachvollzogen werden.

Klicke auf das Bild, um das Video auf Vimeo abzuspielen

Weitere Anwendugsfeatures

Da die verwendete Maschine keine Echtzeitanzeigen bezüglich maschinenspezifischer Paramteter, wie aktuellem Druck oder aktuellerGeschwindikeit, bereitstellt, wurde eine virtuelle Anzeige mittels der HoloLens implementiert.

Um die aktuellen Maschinendaten der Anwendung zur Verfügung zu stellen wurde ein frei verfügbarer, für UWP-Anwendungen angepasster WebSocket-Client (https://github.com/SoylentGraham/Websocket-Sharp-UWP) in die Anwendung integriert. Dieser ruft Echtzeitdaten der Maschine von einem vernetzten RaspberryPi ab, um die jeweiligen Maschine-Klassen in Echtzeit zu aktualisieren. Das Auslesen der Maschinendaten direkt an der Maschine und die Bereitstellung des RaspberryPi inklusive WebSocket-Server waren ebenfalls Teil des Projekts, fielen jedoch nicht in meinen Aufgabenbereich.

Expert To Go Logo des Projekts Cyberrüsten 4.0

Expert To Go

Im Rahmen des Forschungsprojekt Cyberrüsten 4.0 entwickelte Anwendung für die Microsoft HoloLens an deren Entwicklung ich als wissenschaftliche Hilfskraft beteiligt war.

Zur korrekten und zuverlässigen Platzierung der UI-Komponenten an der Position des realen TH kamen bereits im Forschungsprojekt Cyberrüsten 4.0 für den Expert To Go entwickelte Assets zum Einsatz, die Objekterkennungssoftware Vuforia und einen Array an 2D-Markern nutzen, um virtuelle Elemente im dreidimensionalen Raum zu platzieren.

Das Anwendungsprojekt läuft aktuell weiter und der entwickelte Software-Prototyp befindet sich in der Evaluationsphase.

Expert To Go

Zusammenfassung

Im Rahmen des Forschungsprojekts Cyberrüsten 4.0 an der Universität Siegen wurde eine Augmented Reality (AR)-Anwendung für die Microsoft HoloLens (HoloLens) konzipiert, implementiert und evaluiert, die Maschinenbediener beim Rüsten und Einrichten einer Rohrbiegemaschine unterstützen und Wissen von erfahrenen Arbeitern dokumentierbar und anderen kontextspezifisch verfügbar machen soll.

Meine Tätigkeiten in dem Projekt bezogen sich hauptsächlich auf die Konzeption des User Interfaces für die AR-Anwendung sowie die technische Überprüfung der Umsetzbarkeit und Implementierung einzelner Anwendungsfeatures, die von einem externen Partner in die Anwendung integriert wurden. Dazu zählen die Implementierung eines Bewegungstrackings und die Visualisierung des zurückgelegten Weges (Movement Tracking), die korrekte Platzierung und Überlagerung eines Maschinenmodells im Raum mithilfe von Markern (Augmented Machine) sowie die Implementierung eines User Interfaces zur Manipulation der Animationsrichtung von Maschinenbauteilen des 3D Modells (Axis Guide).

Movement Tracking

Durch die Implementierung dieses Features sollte überprüft werden, inwiefern es möglich ist, die vom Nutzer zurückgelegten Wege zu dokumentieren und sowohl auf einem zweidimensionalen Grundriss als auch in der AR in Echtzeit anzuzeigen. Außerdem sollte der zurückgelegte Weg in einzelne Abschnitte unterteilt, diese kategorisiert und die Visualisierung anhand der Kategorien gefiltert werden können.

Im Video ist unter anderem die Kernfunktion des Prototypen zu sehen: Möglichkeit den zurückgelegten Weg sowohl auf einem zweidimensionalen Grundriss als auch im Raum nachvollziehen.

Der Prototyp enthält demnach eine Karte in Form eines Hologramms, das dem Nutzer folgt und dessen Echtzeitposition sowie den zurückgelegten Weg auf dem Grundriss anzeigt. An diesem Hologramm befinden sich darüber hinaus virtuelle Buttons und Schieberegler, die zum Filtern und Neuanlegen von Wegabschnitten, zum Zoomen der Karte sowie zur Aktivierung der Anzeige der Wegabschnitte im dreidimensionalen Raum verwendet werden können. Zur korrekten Ausrichtung des Grundrisses im Verhältnis zu der Position und Orientierung des Nutzers kam ein zweidimensionaler Marker zum Einsatz.

Augmented Machine

Das Ziel dieses Features bestand darin, eine Maschine mit zusätzlichen Informationen direkt an der für die jeweilige Information relevanten Stelle zu erweitern. Dafür sollte untersucht werden, wie die korrekte Positionierung des 3D-Modells einer Maschine mit der verwendeten Hardware möglich ist, sodass dieses Modell die Maschine visuell überlagert.

Ein früher Prototyp der Augmented Machine: Eine Überlagerung einer Maschine mit ihrem 3D-Modell unter zu Hilfenahme eines zweiddimensionalen Markers.

In der Folge wurden verschiedene Ansätze zur Positionierung des Modells untersucht und prototypisch implementiert und auf deren Eignung sowie Genauigkeit und Zuverlässigkeit getestet. Beispielsweise wurde die Nutzung des Spatial Mapping der HoloLens und die Verwendung von einem und mehreren, zweidimensionalen und dreidimensionalen Markern verglichen. Ein weiterer Aufgabenbereich war die Konvertierung und Optimierung des verwendeten 3D Models, sodass es den Leistungsanforderungen der verwendeten Hardware gerecht wurde.

Axis Guide

Die Zielsetzung für das Feature Axis Guide bestand zum einen darin, die Montage für einzelne Bauteile der Maschine in AR darzustellen. Zum anderen sollte es dem Nutzer über ein holographisches Interface möglich sein, bei Bedarf die Art der Montage für ein Bauteil selbst zu definieren oder diese manipulieren zu können.

Um die Anzahl und Art möglicher Montageinteraktionen zu erfassen, wurden zuerst Videoaufnahmen von Maschinenbedienern aus der Ego-Perspektive analysiert und verschiedene Montagekategorien festgelegt. Auf der Basis der Kategorien wurden dann zum einen Animationen entwickelt, die verschiedene Montagerichtungen darstellen und das Verhalten einzelner Bauteile des 3D Models so geändert, dass diese die Animationen bei Bedarf wiedergeben. Darüberhinaus wurde ein visuelles User Interface entwickelt, mit dessen Hilfe der Nutzer die Montagerichtung und somit die abgespielte Animation des jeweiligen Bauteils mit Hilfe einer Geste, direkt am Bauteil der echten Maschine manipulieren kann.

Seyno

Seyno ist eine Design Fiction, die sich mit dem Konzept eines sozialen Roboters im Personenfernverkehr sowie den potentiellen sozialen und gesellschaftlichen Konsequenzen auseinandersetzt, die sich aus der Verwendung eines solchen Roboters ergeben. Im Rahmen des Seminars Critical Inquiries into Human-Robot Interaction (HRI) an der Universität Siegen wurde sich mit dem derzeitigen Stand im Gebiet HRI beschäftigt, insbesondere mit marktreifen Produkten und Forschungsprojekten zu (sozialen) Robotern im privaten Anwendungsbereich.

Im Anschluss an die Recherche wurde mithilfe der Methode Design Fiction versucht, sich dem Thema aus einer neuen, situationsbezogenen Perspektive zu nähern und so neue Ansätze der Verwendung von Robotern im privaten Sektor zu identifizieren. Dazu wurde ein Konzept für einen sozialen Roboter entwickelt und eine darauf basierende Design Fiction, in Form einer fiktiven Dokumentation (Mockumentary), audiovisuell umgesetzt. Das Projekt wurde in einem deutschsprachigen Team aus zwei Personen umgesetzt, die Seminarsprache war Englisch.

Aufgabenstellung

Im praktischen Teil des Seminars sollte in kleinen Gruppen die Methode Design Fiction angewendet werden, mit dem Ziel ein oder mehrere mögliche, zukünftige Szenarien zu erstellen, in denen soziale Roboter Anwendung finden. Dadurch sollte der limitierende Rahmen der aktuell technischen Umsetzbarkeit gewisser Funktionen im Gebiet HRI umgangen werden. Für diese Szenarien sollte dann ein sozialer Roboter konzipiert werden und auf dessen Basis eine (fiktive) Benutzerbefragung durchgeführt werden. Diese sollte in Videoform festgehalten werden.

Vorgehensweise

Nach Erhalt der Aufgabenstellung wurde ein Brainstorming durchgeführt, um mögliche Szenarien für soziale Roboter zu identifizieren. Diese Szenarien und der dazugehörige Roboter wurden daraufhin ausformuliert und mögliche soziale und gesellschaftliche Konsequenzen der Verwendung eines sozialen Roboters im jeweiligen Szenario erdacht. Im Anschluss wurde sich in Rücksprache mit dem Dozenten dazu entschlossen das Konzept Seyno weiterzuverfolgen.

Der zweite Teil des Seminar bestand in der Konkretisierung des Roboters Seyno und der Ausformulierung verschiedener Szenarien, in denen der soziale Roboter Anwendung findet, sowie möglicher Motivationen, Persönlichkeiten und Reaktionen der von Seyno betroffenen Nutzer. Desweiteren wurde sich dazu entschlossen die Design Fiction in Form einer Mockumentary umzusetzen. Dafür wurde ein Skript verfasst und Interviewteilnehmer über das Konzept Seyno aufgeklärt und gebeten, sich vorzustellen, diesen bereits genutzt beziehungsweise erlebt zu haben. Daraufhin wurden die Teilnehmer vor laufender Kamera zu ihren bisherigen, positiven und negativen Erfahrungen mit Seyno und ihrer Meinung dazu befragt.


Ergebnis

Seyno ist der Name des sozialen Roboters der im Rahmen der Design Fiction konzipiert wurde. Er kommt im öffentlichen Fernverkehr zum Einsatz und ist fähig störendes Verhalten der mitfahrenden Gäste zu erkennen und sie auf dieses anzusprechen. Der Roboter wurde für Situationen entwickelt, in denen Menschen aus persönlichen oder situativen Gründen, nicht fähig sind, ihre Mitmenschen auf deren störendes Verhalten hinzuweisen. Der Roboter übernimmt also unangenehme soziale Aufgaben, die die Einhaltung sozialer und gesellschaftlicher Normen aufrecht erhält und soll damit für ein besseres Klima sorgen.


In der Mockumentary über Seyno bekommt der Zuschauer eine kurze Einführung zu Seyno und sieht dann verschiedene Personen ihre positiven und negativen Erfahrungen mit Seyno und ihre persönliche Meinung zum sozialen Roboter äußern. Der Videoprototyp manifestiert also mögliche Benutzererfahrungen einer (weit) entfernten Zukunftstechnologie in einem verständlichen Format und ermöglicht es so, mit Nutzern über diese mögliche Zukunft im Bereich HRI zu diskutieren und mögliche Potentiale zu identifizieren, ohne dabei das konkrete Design des Roboters zu spezifizieren.


unwatch

unwatch ist ein Konzept für eine Anwendung zur Förderung von Wohlbefinden für Smartwatches. Das Ziel des Projektes war es das Konzept Zeit für den Nutzer weniger allgegenwärtig und weniger greifbar zu machen und ihm dadurch zu ermöglichen, sein eigenes Verhalten im Bezug auf Zeit zu ändern und sich so besser vom alltäglichen Stress und getakteten Zeitplänen erholen zu können.

Das Konzept umfasst eine schriftliche Ausführung und Erklärung, Videoprototypen, mehrere simple und einen komplexeren interaktiven Prototypen, Fotomontagen und ein Making Of-Video. Es wurde im Rahmen des Seminars User Experience Design von einem internationalen Team bestehend aus fünf Mitgliedern entwickelt. Die Projektsprache war Englisch.

Studio-Photo des unWatch Prototypen
unwatch zeigt hier die simpelste Darstellung von Zeit: Die Stundenzahl an ihrer aktuellen Stelle.

Aufgabenstellung

Die Aufgabenstellung wurde durch das Thema Benevolent Clocks and Calendars des Seminars User Experience Design des Masterstudiengangs Human Computer Interaction vorgegeben. Demnach war das Ziel des Seminars die Entwicklung, audio-visuelle Dokumentation und prototypische Implementierung eines Konzepts für eine innovative Uhr, Kalender oder ein sonstiges Tool zur Erhöhung des Wohlbefindens durch einen alternativen, “wohlwollenden” Ansatz, Zeit zu vermitteln und darzustellen.

Methodische Vorgehensweise

Zu Beginn des Seminars wurde sich mit Literatur im Bereich Psychologie und Soziologie mit dem Schwerpunkt Zeitkonzepte und Zeitverständis in verschiedenen Kulturen und Bevölkerungsgruppen auseinandergesetzt. Danach wurde ein Selbststudium durchgeführt, das dazu dienen sollte, das eigenen Verhalten im Umgang mit Zeit und Werkzeugen, diese zu messen, zu analysieren und reflektieren.

Der unwatch Prototyp in Benutzung im Wohnzimmer
Im Kontext Entspannen im Wohnzimmer ist mutmaßlich auch keine genauere Darstellung nötig, als sie unwatch im idle mode bietet.

Nach Start des Guppenprojekts wurden mehrere Brainstorming-Sitzungen abgehalten, um verschiedene Ideen in Bezug auf die Aufgabenstellung, die gelesene Literatur und Selbststudien zu generieren und diskutieren. Im Anschluss daran wurde eine Auswahl an Ideen im Seminar präsentiert und Feedback von Studierenden und Dozierenden eingeholt. Auf dessen Basis wurde sich in der Gruppe für die Idee entschieden, mit unterschiedlich exakten Visualisierungen von Zeit zu arbeiten, um den Nutzer auf sein potentiell ablenkendes und stressendes Verhalten der ständigen und teilweise unnötigen Überprüfung der aktuellen Uhrzeit hinzuweisen und im die Möglichkeit zu geben, darüber zu reflektieren und dieses Verhalten zu ändern.

Im weiteren Projektverlauf wurden verschieden Arten der Visualisierung und der Wechsel von einer zur anderen Visualisierung von Zeit auf einer Smartwatch mithilfe verschiedener Hilfsmittel getestet. Dabei kamen handschriftliche Skizzen, audiovisuelle Animationen und Rapid Prototypes in Form von simplen, interaktiven Smartwatch-Ziffernblättern zum Einsatz. Diese wurden vom Team getestet und dem Seminar präsentiert. Nach Diskussion der Testerfahrungen wurde sich für eine Variante entschlossen und diese in Details abgeändert und verfeinert, um sie als interaktiven Prototypen auf einer Smartwatch mit mehr Funktionalitäten, wie mehreren Visualisierungsmodi und flüssigen Animationen, umzusetzen.


Ein Videoprototyp zur Veranschaulichung des finalen Konzepts.

Ergebnis

unwatch ist ein auf Smartwatches ausführbares interaktives Ziffernblatt, das dem Nutzer – je nach Bedarf – die aktuelle Zeit in verschiedenen Genauigkeiten (modes) anzeigt. Im Normalzustand zeigt die Software die ungenaueste Visualisierung von Zeit: Die Zahl der Stunde wird an ihrer vom konventionellen Ziffernblatt gewohnten Position angezeigt (idle mode).

Eine graphische Erklärung des idle modes.
Einer der drei Modi von unwatch: idle mode.

Benötigt der Nutzer ein genaueres Zeitformat, muss er auf das Ziffernblatt tippen, um eine Visualisierung mit mehr Informationsgehalt zu erhalten (tap mode). Die Stundenzahl wird auf die Position der aktuellen Minutenzahl verschoben, sodass diese in etwa abgeschätzt werden kann. Genügt diese Darstellung weiterhin nicht, kann der Nutzer den Finger auf dem Ziffernblatt belassen und dadurch die genaueste Darstellung der aktuellen Uhrzeit erhalten (hold mode). Durch das Gedrückthalten wandert die Stundenzahl in die Mitte des Ziffernblatts und sukzessive werden Minuten- und Sekundenziffern eingeblendet. Lässt der Nutzer los, verschwinden diese Ziffern wieder und unwatch wechselt zurück in den ersten Modus.

Eine graphische Erklärung des tao modes.
Einer der drei Modi von unwatch: tap mode.

Der Nutzer soll durch die notwendige Interaktion, die nötig ist, um die genaue Uhrzeit zu erfassen, in seinem möglicherweise unbewussten Verhalten unterbrochen und damit auf dieses Verhalten hingewiesen werden, um darüber zur reflektieren, ob er tatsächlich die genaue Uhrzeit benötigt und ob diese im Moment vielleicht sogar störend ist. Das Konzept greift daher Ideen und Einflüsse aus dem Bereich Design for Well Being und Frictional Design auf, um durch Pleasurable Troublemakers eingeübte, belastende Verhaltensmuster zu identifizieren und eine mögliche Verhaltensänderung zu provozieren.

Eine graphische Erklärung des hold modes.
Einer der drei Modi von unwatch: hold mode.

The Ideation Cube

Zusammenfassung

TIC – The Ideation Cube ist ein Konzept für ein Hardware-Tool, das räumlich verteilten Teammitgliedern helfen soll, ihre Kreativität zu steigern und (mehr) Ideen zu generieren. Das Hauptziel des Ideation Cubes besteht darin, zu inspirieren und die Nutzer während des Ideenfindungsprozesses auf spielerische Weise zu unterstützen. Dabei unterstützt TIC existierende Kreativitätstechniken und ermöglicht es den Nutzern, ihre Ideen mit anderen Teammitgliedern zu teilen. TIC bietet verschiedene Möglichkeiten Inspiration und Ideen zu teilen und nutzt dafür seine sechs Seiten, die sich aus dem würfelförmigen Design ergeben und das Fundament für das Interaktionskonzept legen.

Das Projektergebnis umfasst ein wissenschaftliches Paper, einen Videoprototyp einen Screenflow und weitere graphische Illustrationen zur Veranschaulichung der Idee. An der Entwicklung war ein internationales Team bestehend aus vier Personen beteiligt, die Projektsprache war Englisch. Die Ergebnisse wurden bei der CSCW Challenge, ausgetragen von der Fachgruppe CSCW & Social Computing der Gesellschaft für Informatik e.V. , eingereicht und auf der Mensch und Computer 2017 in Regensburg ausgezeichnet.


Aufgabe und Zielsetzung

CSCW Challenge 2017

Das Projekt entstand im Rahmen des Masterstudiums Human Computer Interaction und sollte der Aufgabenstellung der CSCW Challenge 2017 nachkommen, die forderte, “Spielkonzepte zu entwickeln, mit denen Gruppen vor dem Hintergrund konkreter Kooperationsszenarien ihre Zusammenarbeit anbahnen, ermöglichen, etablieren oder verbessern können.” Außerdem war es Teil der Aufgabe, sich dabei nicht nur auf gängige Motivationsmechaniken aus dem Bereich Gamification zu beschränken, sondern ein neues Konzept zur Verbindung von Spiel und Kooperation zu finden.

Methodische Vorgehensweise

Design Thinking

Zu Beginn des Projektes wurde sich vornehmlich mit der Aufgabenstellung befasst und in mehreren Brainstormings im Team potentielle Anwendungsfelder und Konzeptideen generiert. Unter Berücksichtigung des Feedbacks von Kommilitonen und Dozenten zu drei ausgewählten Ideen wurde sich gemeinsam in der Gruppe für das Anwendungsfeld Ideenfindung räumlich verteilter Teams entschieden.

Die weitere Vorgehensweise orientierte sich am Design Thinking-Prozess. Um sich in das Themenfeld Ideenfindung und die Praxis der gewählten Zielgruppe einzuarbeiten, wurde zum einen eine Literaturrecherche in den Bereichen CSCW, Computer-Supported Brainstorming, Game Studies und Gamification durchgeführt. Zum anderen wurden semi-strukturierte Interviews mit Teilnehmern geführt, die professionell und häufig mit den Themen Ideenfindung und Brainstorming zu tun haben. Dazu wurde ein Interview-Leitfaden entwickelt, der Fragen nach Vorgehen, Werkzeugen und Problemen in der Ideenfindungsphase enthält.

Verschiedene Papierprototypen
Papierprototypen und Screens, die bei der Konzeptentwicklung zum Einsatz kamen.

Danach wurden die gesammelten Erkenntnisse zusammengetragen und im Team diskutiert sowie konkrete Konzeptideen in der Gruppe generiert. Im Anschluss wurde sich auf TIC geeinigt, dessen Fähigkeiten, Interaktionsmöglichkeiten und visuelles Feedback in der Gruppe unter Zuhilfenahme von Papierprototypen definiert wurden.

Auf Basis des Konzeptes wurde zur Veranschaulichung der Idee und Funktionsweise des Ideation Cubes ein Videoprototyp konzipiert und umgesetzt. Außerdem wurde ein wissenschaftliches Paper verfasst, dass die verwendete Methodik, relevante Literatur in den Bereichen Gameful Design und Ideenfindung sowie deren Problemfelder erläutert sowie das Konzept vorstellt und in den Kontext der Literaturrecherche einordnet.

Konzept

The Ideation Cube

TIC ist ein 6cm³ großer Würfel, dessen sechs Seiten jeweils mit einem Display ausgestattet sind. Es wurde sich für dieses Design entschieden, um den Bedürfnissen nach einer mobilen, monitor-freien Lösung nachzukommen, die sich auf dem Arbeitsplatz einfügt und spielerische Interaktionen erlaubt. Jedes an einem Ideenfindungsprozess beteiligte Teammitglied bekommt zu Anfang des Prozesses ein Exemplar ausgehändigt (Beginn der Game Session).

Das Interaktionskonzept basiert auf vier grundlegenden Interaktionen: Rotieren, Heben, Schütteln und Kippen. Heben und Senken ermöglicht das Bestätigen einer Eingabe, Drehen erlaubt die Auswahl verschiedener Optionen und Schütteln löst in gewissen Kontexten eine Zufallsauswahl aus.

Abbildung der vier Interaktionstypen.
Die vier Interaktionstypen, auf denen TICs Interaktionskonzept basiert: Drehen, Heben, Schütteln und Kippen.

Jede Seite des Würfels ist einem bestimmten Modus zugeordnet, wobei die oben liegende Seite den aktiven Modus anzeigt. Die sechs Modi umfassen folgende Funktionen:


  • Dashboard Übersicht über alle wichtigen Informationen der Game Session, wie zum Beispiel, die Anzahl bisher gesammelter Ideen und die aktuelle Inspiration Energy
  • Standby Ruhemodus, in dem TIC keine Benachrichtigungen anzeigt.
  • Give Idea Eingabe eigener Ideen zum Thema über Sprachaufzeichnung, Video- oder Photoaufnahmen und zur Verfügung Stellen dieser für andere Teammitglieder
  • Get Idea Ausgabe einer zufälligen Idee eines anderen Teammitglied, zur Überwindung kreativer Blockaden
  • Single ID Game Zufällige, auf Kreativtechniken basierende Mini-Games, die das Ziel haben die Perspektive des Nutzer auf den Themen- und Problembereich zu ändern
  • Multi ID Game Vergleichbar mit Single ID Game, jedoch können Teammitglieder hier simultan und kooperativ spielen, um sich gegenseitig zu inspirieren
Die Inhalte der sechs Seiten TICs
Die sechs Seiten des Ideation Cube: Dashboard, Standby, Give Ideas, Get Ideas, Single ID Game und Multi ID Game

Um die Motivation der Nutzer, Ideen hinzuzufügen, aufrecht zu erhalten, wurde das Konzept um den extrinsischen Motivator Inspiration Energy erweitert. Dieser Wert nimmt kontinuierlich ab und wird ebenfalls (gering) reduziert, wenn Ideen der anderen abgerufen werden. Hinzufügen von Ideen und das Spielen von Single und Multi ID Games erhöht den Stand der Inspiration Energy.

Auführlichere Details zu Konzept, Litertaur, Methodik und dem Nutzungsszenario finden sich sowohl im Paper The Ideation Cube – A game concept to support cooperative ideation als auch im Videoprototypen.

deeTo

deToo ist ein Konzept für ein Driver-to-Driver (D2D)-Kommunikationssystem für mobile Endgeräte, dass es Autofahrern ermöglichen soll, mit anderen Verkehrsteilnehmern in der näheren Umgebung zu kommunizieren. Das konzipierte Kommunikationssystem soll Nutzer dazu befähigen, mit anderen Verkehrsteilnehmern in Kontakt zu treten, um Missverständnisse zu vermeiden und potentiellen Gefährdungssituationen somit vorzubeugen. 


Das Projekt entstand im Rahmen des Seminars Human Computer Interaction an der Universität Siegen. Dabei sollte sich mit der Kontextanalyse eines Problemfeldes sowie mit der Konzeption, prototypischen Umsetzung und Evaluation eines software-basierten Lösungsansatzes beschäftigt werden. Bei der Durchführung des Projekts wurde ein nutzerzentrierter Ansatz gewählt und versucht in jedem Prozessschritt Nutzerfeedback zu berücksichtigen. Das Projekt wurde in einem deutschsprachigem Team bestehend aus drei Personen umgesetzt.

Aufgabenstellung

Usability Challenge 2017

Die Aufgabenstellung richtete sich nach der Usability Challenge 2017, ausgerichtet von der Fachgruppe Software-Ergonomie der Gesellschaft für Informatik e.V., “innovative Konzepte für das Cockpit” suchte, die “im Kontext entsprechenden Nutzen bringen, klar verständlich sind und beeindrucken.” Dabei sollte sich das Projekt der „systematische[n] Konzeptentwicklung und Evaluation innovativer und gebrauchstauglicher Interaktionen und Informationsdarstellungen im Auto“ widmen.

Vorgehensweise

Design Thinking

Das Vorgehen orientierte sich am Design Thinking-Prozess. Um die Nutzungsdomäne von Autofahrern nachvollziehen zu können, wurde eine Teilnehmende Beobachtung durchgeführt, in der Teilnehmer beim Fahren und in der Interaktion mit Verkehrsteilnehmern beobachtet und befragt wurden. Außerdem wurde aktuelle Literatur im Bereich Interiordesign für PKW und Trends der Automobilbranche wie Autonomes Fahren berücksichtigt. Als weitere Maßnahme wurde ein Workshop im Format einer Zukunftswerkstatt abgehalten, um gemeinsam mit Nutzern Nutzungspraktiken, Probleme und mögliche Lösungen zu identifizieren.

Auf Basis der Erkenntnisse aus der Emphasize-Phase wurden dann existierende Problembereiche und Lösungen kategorisiert, zusammengefasst und in einer Brainwriting-Sitzung mit anschließendem Brainstorming ergänzt. Nach einer Zwischenpräsentation der drei vielversprechendsten Konzeptideen, wurde sich für die Weiterführung des Konzepts deToo entschieden, ein kontextsensitives D2D-Kommunikationssystem für mobile Endgeräte.

Im weiteren Verlauf des Projekts wurde ein Co-Creation-Workshop mit Nutzern zum Thema Kommunikation im Straßenverkehr durchgeführt. Auf den bisher gewonnen Erkenntnissen wurden dann Funktionen des Systems und die Arten der Kommunikation definiert, die mit dem System möglich sein sollen. Dies wurde in mehreren Flowcharts visualisiert, die die Funktionen und mögliche Benutzerinteraktionen in einen logischen Zusammenhang stellen. Darauf aufbauend wurde ein interaktiver Prototyp für mobile Endgeräte entwickelt, um diesen mit Nutzern zu testen.

Die Nutzertests wurden von den Teilnehmern als Beifahrer während einer Autofahrt durchgeführt. Dabei wurden die Nutzer von einem Teammitglied gefahren, während diese den interaktiven Prototyp verwenden konnten, um mit anderen Verkehrsteilnehmern zu kommunizieren. Antworten von anderen Verkehrsteilnehmern auf das Nutzungsverhalten beziehungsweise aktive Kommunikation von anderen Verkehrsteilnehmern an den Teilnehmer wurden nach dem Wizard of Oz-Prinzip von einem weiteren Teammitglied gesteuert und in Form von Nachrichten auf dem Bildschirm des Testgeräts angezeigt. Der aktuelle Bildschirminhalt des Prototypen als auch Audio- und Videoaufnahmen des Nutzers wurden dabei aufgezeichnet.

Die Literaturrecherche, das methodische Vorgehen die Entwicklung des Prototyps und die Ergebnisse der Tests, sowie gewonnene Erkenntnisse und potentielle Ansätze zur Überarbeitungen des Konzepts wurden anschließend in einem Projektbericht zusammengefasst.

Ergebnis

deToo ist ein Konzept für ein D2D-Kommunikationssystem für mobile Endgeräte, dass es Autofahrern ermöglichen soll, mit anderen Verkehrsteilnehmern in der näheren Umgebung zu kommunizieren.

Der Fahrer kann zum einen direkt mit anderen Verkehrsteilnehmern kommunizieren. Dafür stehen ihm vier Kategorien von Direktnachrichten zur Verfügung: Gruß, Dank, Kritik am Fahrverhalten und Hinweis auf Gefahrenquellen. Zum anderen stehen Broadcasts zur Verfügung, die es ermöglichen, eine Nachricht für Nutzer in der Nähe zu senden. Diese können dann Informationen über Staus, Witterungsbedingungen oder Straßenschäden beinhalten. Andere Nutzer können diese Meldungen über ein Voting-System bestätigen oder dementieren, um die Zuverlässigkeit der Broadcasts zu erhöhen.

Außerdem integriert deToo einen Gamification-Ansatz, um Missbrauch vorzubeugen und die Motivation aufrecht zu halten, das System im Sinne der anderen Verkehrsteilnehmer zu nutzen. So wird das Versenden und Empfangen von Nachrichten in den DriverScore eingebunden, einen Zahlenwert der als Highscore für einen Nutzer fungiert und der mit dem anderer Nutzer verglichen werden kann. Dabei führen aktive Aktionen wie das Senden von Warnungen, Hinweisen oder Dank zu einer Erhöhung des Scores, wobei eine nicht sinngemäße Übernutzung der Funktionen erkannt und sanktioniert wird. Punktabzug kann beispielsweise bei häufiger Sendung von Broadcasts erfolgen, die schnell und von einer hohen Anzahl an Nutzern dementiert werden.