Augmented Reality mit Microsoft Hololens

Dieser Artikl ist erstmals in der Technischen Rundschau 2017-11 erschienen.

Die Augmented Reality Technologie hat in den letzten Jahren einige wichtige Entwicklungsschritte gemacht. Anwendungen mit Augmented Reality fassen nun auch in der technischen Industrie Fuss und es ist durchaus möglich, dass sie in Zukunft ein fixer Bestandteil in der Entwicklung und Produktion sein werden. Im Rahmen einer Masterarbeit an der Interstaatlichen Hochschule für Technik Buchs NTB wurde eine Anwendung entwickelt, welche es erlaubt, CAD Dateien anzuzeigen, zu manipulieren und mit realen Bauteilen zu verknüpfen.

Augmented Reality, auf Deutsch erweiterte Realität, bedeutet, dass die Umgebung Betrachters mit virtuellen Informationen ergänzt wird. Der Unterschied zwischen der erweiterten und der virtuellen Realität ist, dass der Benutzer bei der erweiterten Realität seine Umgebung sieht, es werden lediglich Teile davon mit Informationen überdeckt. In der virtuellen Realität wird die gesamte 3D - Information digital erzeugt und der Benutzer kann so in eine virtuelle Umgebung eintauchen.

Die neu entwickelte Augmented Reality Anwendung ClassCADCadViewer läuft auf der Entwicklerversion der Microsoft HoloLens, welche seit November 2016[2] in Europa erhältlich ist. Die HoloLens blendet Bilder auf Waveguides (Brillengläser) ein, ähnlich wie dies an einem Bildschirm gemacht wird. An Stellen, an denen keine Informationen eingeblendet werden, sind die Waveguides jedoch transparent und der Benutzer sieht seine eigentliche Umgebung. Durch das Zusammenspiel zwischen dem linken und rechten Waveguide werden 3D Effekte erzeugt. Die HoloLens wird mit Handgesten und Sprachbefehlen gesteuert. Sie zeichnet mit mehreren Sensoren, unter anderem einer Tiefenkamera, kontinuierlich die 3D Informationen der Umgebung des Benutzers auf.

Es wurde ein Konzept entwickelt, welches es ermöglicht, CAD – Modelle in der realen Umgebung eines Benutzers darzustellen. Dazu werden zwei Hardware - Komponenten benötigt: eine HoloLens mit der entsprechenden Anwendung sowie ein Server. Auf dem Server werden CAD Dateien im STEP Austauschformat abgelegt und es ist das CAD System ClassCAD darauf installiert. In der HoloLens Anwendung wählt der Benutzer die anzuzeigenden Bauteile aus und gibt dem CAD System den Befehl, das entsprechende Bauteil zu laden und aufzubereiten. Die zur Darstellung notwendigen Daten werden dann zur HoloLens zurückgesendet und dort dargestellt. Dieses Verhalten ist im Bild unten ersichtlich.

Der ClassCADCadViewer stellt die Komponenten nicht nur grafisch dar, sie werden auch mit physikalischen Eigenschaften ergänzt die sogar die von der HoloLens aufgezeichnete 3D – Umgebung einschliessen. So ist es möglich, dass die virtuellen Bauteile auf einer realen Werkbank abgelegt werden, wie dies auch mit realen Werkzeugen gemacht würde. Lässt der Benutzer eine Komponente fallen, fällt sie auf den Boden und bleibt dort liegen, genau wie in der Realität.

Um die Komponenten im Raum zu bewegen, wird die «Manipulate» Handgeste verwendet. Der Benutzer selektiert die gewünschten Elemente und macht mit Zeigefinger und Daumen die Bewegung als würde er einen Stift greifen. Bewegt er nun die Hand folgen diese der Hand. Mit einer neu entwickelten Geste können Teile mit zwei Händen im Raum rotiert werden.

Enthalten die STEP Dateien neben den geometrischen Angaben auch MCS und CSW Koordinatensysteme nach ISO/TS 13399, können diese Komponenten zusammengebaut werden. Dabei unterstützt der entwickelte Snapping – Mechanismus den Zusammenbau. Beispielsweise kann ein virtueller Fräser in eine virtuelle Fräsaufnahme eingesetzt werden.

Mit einem auf ein reales Bauteil angebrachten Erkennungsmarker können die virtuellen Komponenten darauf montiert werden. So verschmilzt die reale und die virtuelle Welt ineinander. Das an sich ist bereits für den industriellen Einsatz sehr nützlich. Wird jedoch das reale Bauteil bewegt, folgen ihm die virtuellen Komponenten.

Folgender Anwendungsfall ist im Bild unten dargestellt; zwei Drehstähle und ein Drehstahlhalter werden aus CAD Dateien geladen, dargestellt und zusammengebaut. In einer realen Drehbank wird ein Erkennungsmarker auf dem Werkzeugrevolver angebracht. Das gesamte virtuelle Drehwerkzeug kann dann an dieser Stelle montiert werden. Bewegt sich nun der Werkzeugrevolver, wird das virtuelle Drehwerkzeug mitbewegt. Ein Maschinenprobelauf kann so mit einer realen Maschine aber mit rein virtuellen Komponenten durchgeführt werden.

Unter https://www.ntb.ch/projekt/hololens-viewer/ ist ein Video des Anwendungsfalls ersichtlich.

Das Programm ist so ausgelegt, dass mehrere Benutzer mit HoloLenses dieselbe Szene betrachten können. Dabei sehen alle die Komponenten an derselben Stelle im Raum mit derselben Ausrichtung. Das ist insbesondere für Schulungen essentiell.

ClassCADCadViewer ist sehr individuell einsetzbar, neben dem beschriebenen Probedurchlauf einer NC Maschine eignet sich die Software auch als Montagetraining oder z.B. in der Gebäude- und Fabrikplanung.

Im Gegensatz zu herkömmlichen CAM Lösungen bietet diese Anwendung die Möglichkeit direkt in der realen Umgebung eingesetzt zu werden. Dies erfordert keine vorherige Aufzeichnung der Umgebung und macht Übungen und Probedurchläufe für die betroffenen Mitarbeiter einfacher, da sie in der gewohnten Arbeitsumgebung gemacht werden können. 


[1] NTB Interstaatliche Hochschule für Technik Buchs, INF Werdenbergstrasse 4, 9471 Buchs, Schweiz,  norbert.frei@ntb.ch

Bild: Microsoft HoloLens [Microsoft].
Bild: Microsoft HoloLens [Microsoft].
Schulung eines Mitarbeiters mit der neuen Anwendung.
Schulung eines Mitarbeiters mit der neuen Anwendung.
Neu entwickeltes Konzept zur Darstellung von CAD Teilen auf der Microsoft HoloLens.
Neu entwickeltes Konzept zur Darstellung von CAD Teilen auf der Microsoft HoloLens.
Virtuelle Bauteile auf einen Werkzeugrevolver montiert.
Virtuelle Bauteile auf einen Werkzeugrevolver montiert.