Optimale Vorgehensweisen für die Entwicklung von XR für industrielle Anwendungen

Zusammenfassung

In den letzten Jahrzehnten haben Entwickler die Industrie in die digitale Welt gebracht. Sie haben Online-Plattformen programmiert, auf denen Menschen alles kaufen oder verkaufen können. Sie haben offene Bibliotheken eingerichtet, in denen alles von 3D CAD bis zur Roherzverhüttung vermittelt wird. Sie haben Netzwerktools für die Zusammenarbeit bei Designoptimierungen und 3D Geometrie entwickelt und vieles mehr. So können Branchenexperten mit nur wenigen Klicks alles teilen und lernen. Dazu müssen sie sich aber noch mit dieser digitalen Welt verbinden.

Dies hat zur nächsten Stufe der digitalen Transformation der Branche geführt. Anstatt die physische Welt der Industrie mit der digitalen zu verbinden, beabsichtigen die Entwickler, sie zu verschmelzen. Im Wesentlichen kommt der digitale Bereich nun über Virtual Reality (VR), Augmented Reality (AR) und Mixed Reality (MR) — gemeinsam als erweiterte Realität (XR) bezeichnet — direkt auf die Produktionsfläche. Aktuelle industrielle Anwendungen dieser Technologien umfassen:

• VR-Schulungen an digitalen Produktionslinien zur Reduzierung der Risiken für Mensch, Produkt und Eigentum.
• AR-unterstützte Wartung ermöglicht es den Mitarbeitern zu sehen, wie Designer ein Problem beheben wollen.
• MR ermöglichte Shops, in denen Kunden vor dem Kauf virtuell touren oder Produkte anprobieren.
• Der industrielle Einsatz von XR Technologien steckt noch in den Kinderschuhen. Branchenentwickler fragen sich also möglicherweise, welche Anwendungen verfügbar sind.

Die Notwendigkeit, XR in die Industrie einzubauen, lässt die Entwickler jedoch eine andere Frage stellen: Was sind die bewährten Verfahren, um diese Erfahrungen zu erstellen? Das wird hier diskutiert.

Dieses E-Book wurde bei engineering.com in Auftrag gegeben.

Was ist XR und wie wird es die Branche verändern?

Obwohl die meisten Entwickler instinktiv den Unterschied zwischen XR Technologien kennen, ist es am besten, sie hier zu definieren, um eine Basis zu erstellen:

• Virtual Reality (VR) ist ein vollständig digitales Erlebnis. Die einzigen Verbindungen zur realen Welt sind die Eingabe- und Anzeigegeräte des Benutzers.
• Augmented Reality (AR) ist eine Mischung aus physischer und virtueller Welt. Digitale Assets, Informationen und Daten werden auf realen Assets überlagert.
• Mixed Reality (MR) verbindet die digitale Welt und die physische Welt vollständig; digitale Assets interagieren mit realen Assets und umgekehrt.
• Erweiterte Realität (XR) umfasst all das.

„Ich würde [XR] im Großen und Ganzen als die Schaffung immersiver Erfahrungen definieren, die die Grenze zwischen physischer und digitaler Realität verwischen“, stimmt Seth Glaze, leitender technischer Produktmanager im Branchenteam von Unity, zu. „Das umfasst speziell VR oder Virtual Reality, AR, Augmented Reality und dann Mixed Reality.“

Ein industrielles Beispiel für VR könnte ein digitales Meeting oder ein Workshop sein. Hier interagieren Mitarbeiter aus aller Welt gleichzeitig mit einer digitalen Landschaft und Digital Twins von realen Assets. In Wirklichkeit trägt jeder Mitarbeiter ein VR Headset und nutzt ein Eingabegerät, um mit der virtuellen Umgebung und Digital Twins zu interagieren. Aber im digitalen Bereich konnten die Mitarbeiter die Zwillinge auf jede Größe skalieren (um kleinste Details zu prüfen oder zu testen) oder die Leistung eines Produkts in jeder Umgebung simulieren.

Jerome Maurey-Delaunay, Senior Solution Architekt im Branchenteam von Unity, betont: „Eine weitere gute Anwendung von VR ist immersives Training, da es oft die einzige Möglichkeit ist, in großem Maßstab zu trainieren. „Man kann [Auszubildende] nicht willentlich in eine Produktionsstätte mitnehmen. [VR] kann [Einrichtungen] Zugang zu [diesen] Angestellten geben ... um sich an die Gefahren [und bewährten Verfahren] zu gewöhnen.“

Das oben genannte Wartungsbeispiel ist jedoch ein guter Deskriptor von AR. Stellen Sie sich vor, ein Wartungstechniker trägt einen Hardhat mit einem Google Lens-ähnlichen Aufsatz. Das Display kann sie benachrichtigen, dass eine Maschine in der Produktionslinie gewartet werden muss, sie an den Standort der Maschine leiten, ihnen das Teil auf der Maschine zeigen, das defekt ist, und dann ein Video überlagern, in dem erklärt wird, wie dieses Teil repariert werden kann.

Mixed Reality geht noch einen Schritt weiter und kombiniert das Konzept der Blend Reality von AR oft mit VR Elementen. Stellen Sie sich das AR-Wartungsbeispiel oben vor. Erst jetzt arbeitet der Wartungstechniker mit VR-Eingabegeräten und Headset von zu Hause aus. Aus der Sicht des Ingenieurs durchqueren sie eine digitale Landschaft, die aus dem digitalen Zwilling der Produktionslinie besteht. Währenddessen repariert ein Roboter, der von diesem Techniker gesteuert wird, an der physischen Produktionslinie eine Maschine.

Herausforderungen bei der Entwicklung industrieller XR-Erfahrungen

Sobald XR-Begriffe vollständig definiert sind und ihr Potenzial für industrielle Anwendungen klar ist, werden sich Entwickler natürlich fragen, welchen Herausforderungen sie bei der Erstellung dieser immersiven Erfahrungen gegenüberstehen werden. Jonathan de Belle, Leiter der Softwareentwicklung im Branchenteam von Unity, erklärt, dass sein Team oft gerufen wird, um Kunden bei der Anpassung ihrer Daten und Designs an XR Anwendungen zu unterstützen. Daher kennt er die üblichen XR Herausforderungen, mit denen Entwickler konfrontiert sind.

Die erste Herausforderung bestehe darin, dass die 3D-Modelle der Kunden zu groß seien, um einfach in ein digitales Erlebnis integriert zu werden. De Belle sagt, sein Team arbeite oft mit „sehr großen, sehr detaillierten Modellen ... Die Teileanzahl ist riesig und jedes dieser Teile ist sehr detailliert, weil [wir mit] Fertigungsdaten arbeiten. Das sind keine traditionellen Videospieldaten.“

Eine damit verbundene, aber andere Herausforderung stellt die große Menge an Metadaten dar, die sich auf 3D Modelle und andere digitale Assets beziehen. Beispiele für diese nicht geometrischen Daten können die Materialeigenschaften eines Assets sein. Bei einer XR Erfahrung können diese Werte abgerufen und zur digitalen Anzeige hinzugefügt werden. Obwohl die Ertragskraft eines Assets nicht aus vielen Daten besteht, wird es wahrscheinlich aus Materialeigenschaftsdaten gezogen, die sich über die gesamte Anlage erstrecken – das können viele Daten sein.

„Es gibt auch die nicht-visuellen Daten“, stimmt de Belle zu. „Man möchte, dass diese Daten in vielen Fällen innerhalb der Anwendung zugänglich sind. Und diese ... relevanten Informationen durchzubringen, ist auch eine Herausforderung, weil es eine Menge davon gibt.“

Diese Datenmenge bringt eine weitere Herausforderung mit sich: XR Hardware-Kompatibilität. Es ist nicht bekannt, welches Gerät ein Benutzer haben könnte, wenn er auf ein XR-Erlebnis in freier Wildbahn zugreift. Daher müssen diese riesigen Datenmengen übertragbar und mit zahlreichen Software- und Hardwaregeräten kompatibel sein, einschließlich veralteter CPUs, GPUs und Headsets.

Im Übrigen bedeutet dies auch, dass Entwickler vor der Herausforderung stehen, ihre XR Anwendungen zukunftssicher zu gestalten. Da viele Mobilgeräte, wie z. B. Telefone, einen Jahresumsatz zwischen Modellen haben, ist es genauso wichtig, sicherzustellen, dass die XR-Erfahrung sowohl auf zukünftigen als auch auf älteren Geräten funktioniert.

Eine weitere Herausforderung für Entwickler bei der Entwicklung von XR-Modellen für industrielle Anwendungen besteht darin, dass sie normalerweise Zugriff auf Digital Twins, proprietäre Daten und Informationen benötigen, die in verschiedenen Unternehmensdatensilos eingeschlossen sind. Dieses Problem wird beim Umgang mit Echtzeitdaten noch verschärft. Da es wichtig ist, dass der digitale Bereich den physischen widerspiegelt, ist die Version Control von 3D Assets und verschiedenen anderen Datenquellen von entscheidender Bedeutung.

Optimale Vorgehensweisen bei der Erstellung von XR Erfahrungen

Obwohl die XR-Erfahrungen anders sein werden, hat Unity gezeigt, dass viele der Herausforderungen für Entwickler gleich bleiben. Daher hat das Unternehmen Best Practices entwickelt, um viele dieser Herausforderungen zu meistern.

Fragen Sie sich: "Was löst diese XR Erfahrung aus?"

Glaze weist darauf hin, dass die erste und oft wichtigste bewährte Vorgehensweise bei der Entwicklung von XR-Anwendungen darin besteht, den Anwendungsfall und die Vorteile zu Beginn der Entwicklung zu verstehen und festzulegen. Bei der Ergänzung industrieller Workflows mit XR sollte es nicht darum gehen, auf den neuesten Technologietrend aufzuspringen. Es ist beispielsweise nicht vorteilhaft, jedes Meeting in eine XR Umgebung zu bringen, wenn ein Videoanruf ausreichend sein kann. Es besteht keine Notwendigkeit, den Nutzern immersive Erfahrungen aufzuzwingen, es sei denn, es wird ein handfestes Problem gelöst.

Indem sie zunächst den Anwendungsfall und den Nutzen einer XR Anwendung definieren, können Entwickler anhand dieser Informationen den Umfang, das Budget und die Entwicklungszeit bestimmen. Sie hilft ihnen auch, viele der oben genannten Herausforderungen einzugrenzen. Sobald diese anfängliche XR-Erfahrung abgeschlossen ist, können Entwickler versuchen, ihren Geltungsbereich zu erweitern oder eine neue zu erstellen.

Die besten XR Erfahrungen sind auf das zu lösende Problem zugeschnitten

Sobald die Entwickler verstehen, welches Problem ihre XR Erfahrung löst, können sie es besser auf diese Bedürfnisse abstimmen. Wenn die Anwendung beispielsweise Folgendes tun soll:

• Helfen Sie Kunden, Produkte auszuprobieren, dann ist der ultimative Ausstellungsraum der „Hinterhof“ der Kunden.
• Trainieren Sie Wartungspersonal, dann ist der ultimative Schulungsraum Ihre eigene Ausrüstung.
• Testen Sie Produktdesigns, dann ist das ultimative Testgelände die natürliche Umgebung Ihres Produkts.

Glaze bezieht sich beispielsweise auf einen australischen Entwickler, der sich auf immersive VR-Trainingserfahrungen für industrielle Anwendungen konzentriert. Eine dieser Erfahrungen bestand darin, Mitarbeiter für die Reparatur von Offshore-Ölplattformen zu schulen. Die Ausrüstung läuft rund um die Uhr und kostet Millionen von Dollar. In der Zwischenzeit könnte es gefährlich sein, Notfallszenarien für diese Assets zu simulieren. Daher ist es schwierig, Mitarbeiter in der realen Welt an den Geräten zu schulen.

Um dieses Problem zu lösen, erstellte der Entwickler benutzerdefinierte Digital Twins von realen Geräten und fügte sie in XR-Anwendungen ein. Während der Schulung üben Mitarbeiter mit diesem Tool nun die Lösung potenzieller Probleme, die in der Realität auftreten können.

Der Entwickler erkannte, dass diese XR Simulationen nicht ausreichen, um irgendeine Ölplattform zu modellieren. Sie müssen die Ölplattform modellieren, an der der Mitarbeiter arbeitet. Andernfalls könnte es passieren, dass sie in einem entscheidenden Moment stolpern, während sie versuchen, ihr Trainingswissen auf die aktuelle Ausrüstungseinstellung zu übertragen.

Nutzen Sie die Modelle, die Sie haben

Die Industrie ist voll mit Daten, Modellen und 3D Geometrie, die in XR Anwendungen verwendet werden können. Glaze verwendete ein Beispiel für ein Unternehmen, das Fahrgeschäfte und Attraktionen für einen Freizeitpark entwickelte. Von diesen Fahrgeschäften und Attraktionen gibt es bereits 3D CAD-Modelle. So können sie eingesetzt werden, um die Entwicklung von XR Anwendungen zu beschleunigen.

Freizeitparks sind begehrte Orte, die aber nicht jeder besuchen kann. Dies kann als entgangener Umsatz für den Park und als entgangene Chance für potenzielle Besucher angesehen werden. Stattdessen konnte der Park mithilfe seiner 3D-Modelle immersive Erlebnisse schaffen, um diese Fans zu erreichen. Jetzt können mehr Menschen auf diese Attraktionen zugreifen, unabhängig von ihrem physischen Standort oder Zustand. Gleichzeitig schafft der Park eine neue Einnahmequelle, die den ROI dieser Attraktionen verbessert.

„Man kann diese Assets immer wieder nutzen“, sagt Glaze. „Sie sind an diesem Punkt aus Sicherheitssicht besiegt. Sie werden nicht Ihr gesamtes CAD-Modell einwerfen. Sie können diese [defekten Modelle] aber auch wiederverwenden, um Ihr Vertriebsteam zu unterstützen. ... Diese [Erfahrungen] können Dinge wie ... virtuelle Anproben sein oder Sie machen einen Rundgang durch Einrichtungen, die Sie mit diesen [Modellen] erstellt haben.“

Reinigen und rationalisieren Sie Ihre Daten für die Arbeit in Echtzeit-3D

Ein Großteil der internen Entwickler von 3D-Daten in der Branche hat Zugriff auf CAD-Dateien. Das ist sinnvoll, da CAD-Tools für industrielle Workflows wie Produktdesign, Entwicklung und Fertigung konzipiert sind. Diese Workflows erfordern mehr Informationen als benötigt oder mit XR Umgebungen kompatibel sind. Aber wie die vorherigen Best Practices behaupten, sollten diese CAD-Daten verwendet werden. De Belle und Maurey-Delaunay erklären, dass dieser Widerspruch in eine weitere bewährte Vorgehensweise für die XR-Entwicklung einfließt: die Optimierung und Vereinfachung von Daten.

„Entfernen Sie Ihre Bewerbung von Ihren Daten, externalisieren Sie die Daten“, sagt Maurey-Delaunay. „Das ist wirklich wichtig, denn für die nächste Hardware, die herauskommen wird, müssen Sie die Daten möglicherweise überarbeiten, um die Hardwareanforderungen dieser Plattform zu erfüllen. Wenn Ihre Daten in Ihre Anwendung eingebettet sind, wird eine ganze [Menge Arbeit] anfallen, um das Projekt erneut zu öffnen [um die Daten zu erfassen].“

Die erste Möglichkeit besteht darin, Ladesysteme auf hierarchischer Detailebene (oder LODing) zu erstellen, bei denen die Funktionen eines 3D Objekts variabel sind. Wenn der Benutzer ein Objekt aus der Ferne sieht, handelt es sich im Wesentlichen um einen einfachen Umriss des 3D Modells – selbst wenn es aus Tausenden von Teilen besteht. Je näher die Benutzer kommen, desto mehr Details werden gezeichnet und die Erfahrung wird um weitere Modelle ergänzt. Letztendlich werden so viele Daten in die digitale Realität übertragen, dass die Nutzer in einzelne Teile zoomen können. De Belle bezeichnet dies als Polygon-Streaming-Methode zur 3D Geometrie.

Er erläutert auch, dass Tools zum Extrahieren von Daten aus CAD-Modellen verwendet werden können, um sie in einer stärker „gamifizierten“ Umgebung zu verwenden. Dies hat einen zusätzlichen Vorteil des Schutzes des geistigen Eigentums (geistiges Eigentum). Diese Tools können je nach Anwendungsfall in XR variieren, wie viel von einem 3D Modell abstrahiert wird.

„Das knüpft an die erste [Best Practice] an“, sagt de Belle. „Fragen Sie sich, was Sie mit diesen Daten machen wollen und welche Teile der Daten ich dann besiegen kann. Dadurch werden Sicherheitsprobleme beseitigt und Datenlecks [reduziert], aber auf der anderen Seite wird das Gesamtgewicht der Daten reduziert und die Verarbeitung vereinfacht, um sie tatsächlich in eine Echtzeiterfahrung zu verwandeln.“

Zukunftssicher für neue XR-Geräte, Datenquellen und Integrationen

Um den ROI einer XR Erfahrung zu optimieren, müssen Entwickler sicherstellen, dass sie zukunftssicher ist. Das bedeutet nicht nur, dass ein digitaler Zwilling innerhalb dieser Anwendungen ein reales Asset in Echtzeit widerspiegeln muss, sondern auch, dass die XR Anwendung selbst mit aktueller XR Hardware kompatibel ist. Dazu sollten Entwickler sicherstellen, dass ihre Daten offenen Standards entsprechen. Dies kann schwierig sein, da sich Standards ständig weiterentwickeln und für XR Anwendungen nicht genau definiert sind.

Um dies zu verhindern, schlägt Maurey-Delaunay vor, dass automatisierte Systeme unerlässlich sind. „Intelligenz in unseren Tools zu haben, macht einen riesigen Unterschied“, sagt er. „Es ist nicht nur eine Konvertierung [von 3D-Modellen], sondern auch eine dynamische Konvertierung, die sich an Ihren Anwendungsfall anpasst ... Komplexe Assemblys können 60 Updates pro Tag sehen, oder? Weil es 30 Leute gibt, die an verschiedenen Teilen daran arbeiten. Diese Automatisierungen sind also entscheidend.“

Klein anfangen, dann weit gehen

Eine XR Erfahrung muss nicht eine ganze Organisation ab der Veröffentlichung umfassen. Es kann und sollte oft klein anfangen, um die Entwicklung zu vereinfachen, Herausforderungen zu reduzieren und Workflow-Integrationen zu verbessern. Es ist viel besser, eine XR Anwendung zu erstellen, die einem Wartungstechniker zeigt, wie man ein Teil repariert, als es aufgrund von Funktionskriechen nie freizugeben. Sobald sich die Erfahrung bewährt hat, kann sie auf andere Situationen ausgeweitet werden.

Maurey-Delaunay weist darauf hin, dass dies wiederum auf die Frage zurückgeht, was die XR Erfahrung lösen wird, da dies dazu beiträgt, den ursprünglichen Anwendungsbereich zu definieren. Er sagt: „Es geht darum, diese kleinen Probleme zu finden, zu lösen und darauf aufzubauen, sobald man den Return on Investment für diese Lösung nachgewiesen hat. Darauf aufbauend geht man immer mehr Probleme innerhalb der Organisation an.“

Wie Unity dabei helfen kann, XR Erfahrungen zu machen

Mit Hilfe von Unity können Entwickler industrielle XR Erfahrungen erstellen, sich dabei an bewährte Verfahren halten und allgemeine Herausforderungen begrenzen.

Unity Pixyz kann beispielsweise ein großartiges Asset für Entwickler sein, die 3D Daten ihrer Organisation in XR Anwendungen einbringen möchten. Das Tool ist in der Lage, CAD, BIM, Mesh, Punktwolken und viele 3D Datenformate zu importieren und zu konvertieren, zu optimieren und die Metadaten innerhalb zu verwalten, um sie für die Verwendung in XR Erfahrungen geeignet zu machen. Unity bietet auch Asset-Management-Tools, die es Entwicklern erleichtern, diese Daten zu finden und zu nutzen, um immersive Erfahrungen zu schaffen.

Zum Beweis verweist Glaze auf ein Unity Kundenbeispiel eines japanischen Bauunternehmens. Das Unternehmen digitalisierte alle Assets und Designs. Jede Maschine, die sie verwendet oder baut, kann in jeder XR Erfahrung verwendet werden, die das Unternehmen erstellen möchte. Und da das Unternehmen das Ökosystem Unity nutzt, können diese Anwendungen sowohl auf Webbrowsern als auch auf nativen Anwendungen eingesetzt werden. Das Unity Ökosystem bot auch eine End-to-End-Plattform, die die Erfassung, Verarbeitung, Aufbereitung und Verwaltung der 3D Assets des Bauunternehmens optimiert.

„Die Stärke von Unity besteht darin, dass wir Ihnen helfen können, XR-Erfahrungen zu erstellen, die auf einem Tablet oder dem neuesten Headset funktionieren“, sagt Glaze, „aber wir helfen Ihnen auch, Ihre alten Geräte zu unterstützen, Ihre Budgets zu erweitern und Mitarbeiter mit neuen Geräten zu schulen.“

Was andere Möglichkeiten angeht, wie Unity Entwicklern bei der Entwicklung von XR-Erfahrungen helfen kann, sagt Glaze: „Ich denke, es kommt darauf an, ob Sie das selbst tun möchten oder ob Sie ein ganzes Team bei Unity haben möchten, das dafür sorgt, dass Sie mit dem neuesten Gerät kompatibel sind, das bald herauskommen wird. In manchen Fällen erhalten wir sogar frühen Zugriff auf Hardware, was unseren Nutzern hilft, die erste zu sein, die sich mit der nächsten großen Sache befasst ... Wir halten uns auch über die neuesten offenen Standards auf dem Laufenden. Sei es Metas neuestes Open-Source-Projekt oder Dateiformate wie Universal Scene Description (USD). Wir verfügen über die Ressourcen, um diesen zu folgen und sicherzustellen, dass unsere Nutzer so aktuell wie möglich bleiben.“

Unity bietet auch Schulungsressourcen, um Entwicklern bei der Entwicklung industrieller XR-Anwendungen zu helfen. Diese Ressourcen umfassen Schulungen, Beratung und Community-Diskussionsforen.