Melhores práticas para desenvolver XR para aplicações industriais

Resumo executivo

Nas últimas décadas, os desenvolvedores trouxeram a indústria para o reino digital. Eles codificaram plataformas online onde as pessoas podem comprar ou vender qualquer coisa. Eles criaram bibliotecas abertas ensinando tudo, desde CAD 3D até fundição de minério bruto. Eles produziram ferramentas de rede para colaborar em otimizações de design e geometria 3D, e muito mais. Como resultado, especialistas da indústria podem compartilhar e aprender qualquer coisa com apenas alguns cliques. Mas, para fazer isso, eles ainda precisam se conectar a esse reino digital.

Isso levou à próxima fase da transformação digital da indústria. Em vez de conectar o reino físico da indústria ao digital, os desenvolvedores pretendem fundi-los. Em essência, o reino digital agora está vindo diretamente para o chão de produção via realidade virtual (VR), realidade aumentada (AR) e realidade mista (MR) — coletivamente referidos como realidade estendida (XR). As aplicações atuais da indústria dessas tecnologias incluem:

• Treinamento em VR em linhas de produção digitais para reduzir os riscos para pessoas, produtos e propriedades.
• Manutenção assistida por AR, permitindo que as pessoas na linha vejam como os designers pretendem resolver um problema.
• Lojas habilitadas para MR onde os clientes podem fazer um tour virtual ou experimentar produtos antes de comprar.
• As aplicações da indústria das tecnologias XR ainda estão em sua infância. Portanto, os desenvolvedores da indústria podem questionar quais aplicações estão disponíveis.

No entanto, a recente adição de XR à indústria fez os desenvolvedores perguntarem outra questão: Quais são as melhores práticas para produzir essas experiências? Isso será discutido aqui.

Este e-book foi encomendado pela engineering.com.

O que é XR e como isso mudará a indústria?

Embora a maioria dos desenvolvedores saiba instintivamente a diferença entre as tecnologias XR, é melhor defini-las aqui para estabelecer uma linha de base:

• A realidade virtual (VR) é uma experiência completamente digital; as únicas conexões com o mundo real são os dispositivos de entrada e exibição do usuário.
• A realidade aumentada (AR) é uma mistura suave entre o mundo físico e o reino virtual; ativos digitais, informações e dados são sobrepostos a ativos do mundo real.
• A realidade mista (MR) mistura completamente o reino digital e o mundo físico; ativos digitais interagem com ativos do mundo real e vice-versa.
• A realidade estendida (XR) abrange tudo isso.

"Eu definiria amplamente [XR] como a criação de experiências imersivas que borram a linha entre as realidades física e digital", concorda Seth Glaze, gerente de produto técnico sênior da equipe de indústria da Unity. "Isso inclui especificamente VR, ou realidade virtual, AR, realidade aumentada e, em seguida, realidade mista."

Um exemplo industrial de VR poderia envolver uma reunião ou workshop digital. Aqui, funcionários de todo o mundo interagem simultaneamente com uma paisagem digital e gêmeos digitais de ativos do mundo real. Na realidade, cada funcionário está usando um headset de VR e um dispositivo de entrada para interagir com o ambiente virtual e os gêmeos digitais. Mas dentro do reino digital, os funcionários poderiam escalar os gêmeos para qualquer tamanho (para inspecionar ou testar os menores detalhes) ou simular o desempenho de um produto em qualquer ambiente.

Outra boa aplicação de VR é "treinamento imersivo [já que] muitas vezes é a única maneira de treinar em escala", diz Jerome Maurey-Delaunay, arquiteto de soluções sênior da equipe de indústria da Unity. "Você não pode levar [os estagiários] para uma fábrica de manufatura sem planejamento. [VR] pode dar [acesso à instalação] a [esses] funcionários ... acostumando as pessoas aos perigos [e melhores práticas]."

O exemplo de manutenção mencionado, no entanto, é um bom descriptor de AR. Imagine que um engenheiro de manutenção está usando um capacete com um anexo semelhante ao Google Lens. O display pode notificá-los de que uma máquina na linha de produção precisa de manutenção, direcioná-los para onde a máquina está localizada, mostrar a parte da máquina que está quebrada e, em seguida, sobrepor um vídeo explicando como consertar essa parte.

A realidade mista leva o conceito da realidade misturada da AR um passo adiante e, ao fazê-lo, muitas vezes combina-o com elementos de VR. Imagine o exemplo de manutenção em AR acima. Só que agora, o engenheiro de manutenção está trabalhando de casa com dispositivos de entrada VR e um headset. Da perspectiva do engenheiro, ele está atravessando uma paisagem digital composta pelo gêmeo digital da linha de produção. Enquanto isso, na linha de produção física, um robô controlado por esse engenheiro está consertando fisicamente uma máquina.

Desafios na criação de experiências industriais em XR

Com os termos de XR totalmente definidos e seu potencial para aplicações industriais claro, os desenvolvedores naturalmente começarão a se perguntar sobre os desafios que enfrentarão ao criar essas experiências imersivas. Jonathan de Belle, gerente de desenvolvimento de software na equipe industrial da Unity, explica que sua equipe é frequentemente chamada para ajudar os clientes a adaptar seus dados e designs para aplicações XR. Como resultado, ele conhece os desafios comuns que os desenvolvedores enfrentam em XR.

Ele explica que o primeiro desafio tende a ser que os modelos 3D do cliente são grandes demais para serem facilmente integrados em uma experiência digital. De Belle diz que sua equipe frequentemente trabalha com "modelos muito grandes e muito detalhados... A contagem de partes é enorme e cada uma dessas partes é altamente detalhada porque [estamos trabalhando com] dados de manufatura. Isso não são dados tradicionais de videogame."

Um desafio relacionado, mas diferente, vem do grande volume de metadados relacionados a modelos 3D e outros ativos digitais. Exemplos desses dados não geométricos podem incluir as propriedades do material de um ativo. Em uma experiência XR, esses valores podem ser extraídos e adicionados à exibição digital. Embora a resistência ao cisalhamento de um ativo não seja muitos dados, é provável que seja extraída de dados de propriedades de materiais que abrangem toda a instalação — o que pode ser uma grande quantidade de dados.

"Você também tem os dados não visuais," concorda de Belle. "Você quer que esses dados sejam acessíveis dentro da aplicação em muitos casos. E conseguir essas... informações relevantes também é um desafio porque há uma grande quantidade delas."

Esse volume de dados traz outro desafio: compatibilidade de hardware XR. Não há como saber qual dispositivo um usuário pode ter ao acessar uma experiência XR no mundo real. Assim, essa vasta quantidade de dados deve ser transferível e compatível com diversos dispositivos de software e hardware, incluindo CPUs, GPUs e headsets legados.

Por extensão, isso também significa que os desenvolvedores enfrentam o desafio de garantir que suas aplicações XR sejam à prova de futuro. Como muitos dispositivos móveis, como telefones, tendem a ter uma rotatividade anual entre modelos, é igualmente importante garantir que a experiência XR funcione em dispositivos futuros, assim como em legados.

Outro desafio que os designers enfrentam ao construir modelos XR para aplicações industriais é que eles normalmente precisam de acesso a gêmeos digitais, dados proprietários e informações bloqueadas dentro de vários silos de dados da empresa. Esse problema é agravado ao lidar com dados em tempo real. Como é importante que o reino digital reflita o físico, o controle de versão de ativos 3D e várias outras fontes de dados é crítico.

Melhores práticas ao criar experiências XR

Embora as experiências XR sejam diferentes, a Unity mostrou que muitos dos desafios que os desenvolvedores enfrentam permanecem os mesmos. Como resultado, a empresa desenvolveu melhores práticas para abordar muitos desses desafios.

Pergunte a si mesmo: "O que esta experiência XR resolve?"

Glaze observa que a primeira e muitas vezes a mais importante melhor prática ao criar aplicações XR é entender e definir o caso de uso e os benefícios no início do desenvolvimento. Adicionar XR aos fluxos de trabalho industriais não deve ser sobre pular na última tendência tecnológica. Por exemplo, não há benefício em trazer todas as reuniões para um ambiente XR quando uma chamada de vídeo pode ser suficiente. Não há necessidade de forçar experiências imersivas aos usuários, a menos que isso resolva um problema tangível.

Ao definir primeiro o caso de uso e o benefício de uma aplicação XR, os desenvolvedores podem usar essas informações para restringir seu escopo, orçamento e tempo de desenvolvimento. Isso também os ajuda a limitar muitos dos desafios mencionados anteriormente. Uma vez que essa experiência XR inicial é concluída, os desenvolvedores podem buscar expandir seu escopo ou construir outra.

As melhores experiências XR são adaptadas ao problema que está sendo resolvido

Uma vez que os desenvolvedores entendem o problema que sua experiência XR está resolvendo, eles podem adaptá-la melhor a essa necessidade. Por exemplo, se a aplicação deve:

• Ajudar os clientes a experimentar produtos, então o showroom definitivo é o ‘quintal’ dos clientes.
• Treinar trabalhadores de manutenção, então a sala de treinamento definitiva é o seu próprio equipamento.
• Testar designs de produtos, então o campo de testes definitivo é o ambiente natural do seu produto.

Por exemplo, a Glaze menciona um desenvolvedor australiano que se concentra em experiências de treinamento imersivas em VR para aplicações industriais. Uma dessas experiências envolveu treinar trabalhadores para consertar plataformas de petróleo em alto-mar. O equipamento funciona 24 horas por dia, 7 dias por semana e custa milhões de dólares para parar. Enquanto isso, simular cenários de emergência nesses ativos pode ser perigoso. Portanto, é difícil treinar trabalhadores no equipamento no mundo real.

Para resolver esse problema, o desenvolvedor criou gêmeos digitais personalizados de equipamentos do mundo real e os adicionou em aplicações XR. Durante o treinamento, os funcionários agora usam essa ferramenta para praticar a resolução de problemas potenciais que podem surgir na realidade.

O desenvolvedor descobriu que não é suficiente que essas simulações XR modelem qualquer plataforma de petróleo; precisa modelar a plataforma de petróleo na qual o funcionário está trabalhando. Caso contrário, eles podem tropeçar durante um momento crucial ao tentar traduzir seu conhecimento de treinamento para a configuração atual do equipamento.

Use os modelos que você tem

A indústria está repleta de dados, modelos e geometria 3D que podem ser utilizados em aplicações XR. A Glaze usou o exemplo de uma empresa que desenvolve brinquedos e atrações para um parque temático. Modelos CAD 3D dessas atrações já existem. Assim, eles podem ser usados para acelerar o desenvolvimento de aplicações XR.

Parques temáticos são locais muito procurados, mas nem todos têm os meios ou a capacidade de visitá-los. Isso pode ser considerado receita perdida para o parque e uma oportunidade perdida para os visitantes em potencial. Em vez disso, o parque poderia construir experiências imersivas usando seus modelos 3D para alcançar esses fãs. Agora mais pessoas podem acessar essas atrações, de longe, independentemente de sua localização física ou condição. Enquanto isso, o parque cria uma nova fonte de receita, melhorando o ROI dessas atrações.

“Você pode aproveitar esses ativos muitas vezes novamente”, diz Glaze. “Eles estão sem recursos nesse ponto de vista de segurança. Você não vai jogar todo o seu modelo CAD. Mas você pode reutilizar esses [modelos sem recursos] para impulsionar sua equipe de vendas. … Essas [experiências] poderiam ser coisas como … experimentações virtuais, ou você está fazendo um tour pelas instalações que você criou usando esses [modelos].”

Limpe e simplifique seus dados para trabalhar em tempo real 3D

Grande parte dos dados 3D internos que os desenvolvedores da indústria têm acesso vem na forma de arquivos CAD. Isso faz sentido, já que as ferramentas CAD são projetadas para fluxos de trabalho industriais, como design, desenvolvimento e fabricação de produtos. Esses fluxos de trabalho exigem mais informações do que o necessário, ou compatíveis, com ambientes XR. Mas como afirma a melhor prática anterior, esses dados CAD devem ser utilizados. De Belle e Maurey-Delaunay explicam que essa contradição alimenta outra melhor prática de desenvolvimento XR: simplificar e agilizar os dados.

“Desassocie sua aplicação dos seus dados, externalize os dados,” diz Maurey-Delaunay. “Isso é realmente importante porque o próximo hardware que vai sair, você pode precisar reestruturar os dados para se adequar aos requisitos de hardware daquela plataforma. Se seus dados estiverem embutidos em sua aplicação, isso vai criar um [monte de trabalho] para reabrir o projeto [para ingerir os dados].”

A primeira maneira de fazer isso é criar sistemas de carregamento hierárquico de nível de detalhe (ou LODing), onde os recursos de um objeto 3D são variáveis. Essencialmente, quando o usuário vê um objeto de longe, é um contorno simples do modelo 3D — mesmo que esse objeto seja feito de milhares de partes. À medida que os usuários se aproximam, mais detalhes são desenhados e mais modelos são adicionados à experiência. Eventualmente, dados suficientes são trazidos para a realidade digital para que os usuários possam ampliar partes individuais. De Belle se refere a isso como um método de streaming de polígonos para geometria 3D.

Ele também explica que ferramentas podem ser usadas para extrair dados de modelos CAD para que possam ser usados em um ambiente mais 'gamificado'. Isso tem o benefício adicional de proteger a propriedade intelectual (PI). Essas ferramentas podem variar quanto a quanto de um modelo 3D é abstraído com base no caso de uso de XR.

“Isso se relaciona com a primeira [melhor prática],” diz de Belle. “Pergunte a si mesmo, 'o que você está tentando fazer com esses dados e então quais partes dos dados posso remover.' Isso vai remover problemas de segurança, [reduzindo] vazamentos de dados, mas, por outro lado, vai reduzir o peso total dos dados e torná-los muito mais fáceis de processar [para] realmente colocá-los em uma experiência em tempo real.”

Preparar para o futuro para novos equipamentos XR, fontes de dados e integrações

Para otimizar o ROI de uma experiência XR, os desenvolvedores precisam garantir que estão preparados para o futuro. Isso não significa apenas que um gêmeo digital dentro dessas aplicações deve refletir um ativo do mundo real em tempo real, mas também significa que a própria aplicação XR é compatível com o hardware XR atual. Para fazer isso, os desenvolvedores devem garantir que seus dados estejam em conformidade com padrões abertos. Isso pode ser difícil, pois os padrões estão sempre evoluindo e não são bem definidos para aplicações XR.

Para combater isso, Maurey-Delaunay sugere que sistemas automatizados são vitais. “Ter inteligência incorporada em nossas ferramentas faz uma grande diferença,” ele diz. “Não é apenas uma conversão [de modelos 3D], são conversões dinâmicas que se adaptam ao seu caso de uso... Montagens complexas podem ver 60 atualizações por dia, certo? Porque há 30 pessoas trabalhando nisso em várias partes. Então, ter essas automações é crítico.”

Comece pequeno, depois expanda

Uma experiência XR não precisa abranger toda uma organização desde seu lançamento. Ela pode, e muitas vezes deve, começar pequena para simplificar o desenvolvimento, reduzir desafios e melhorar integrações de fluxo de trabalho. É muito melhor fazer um aplicativo XR que mostre a um engenheiro de manutenção como consertar uma peça do que nunca lançá-lo devido ao aumento de recursos. Uma vez que a experiência tenha provado seu valor, ela pode ser expandida para outras situações.

Maurey-Delaunay observa que isso se relaciona novamente a perguntar o que a experiência XR vai resolver, pois isso ajuda a definir seu escopo inicial. Ele diz: “É encontrar esses pequenos problemas, resolvê-los e então você constrói a partir disso uma vez que tenha provado o retorno sobre o investimento para essa solução. Você constrói a partir disso para enfrentar mais e mais problemas dentro da organização.”

Como a Unity pode ajudar a criar experiências XR

Com a ajuda da Unity, os desenvolvedores podem construir experiências XR industriais enquanto aderem às melhores práticas e limitam desafios comuns.

Por exemplo, Unity Pixyz pode ser um grande ativo para desenvolvedores que buscam trazer os dados 3D de sua organização para aplicativos XR. A ferramenta é capaz de importar e converter formatos de dados CAD, BIM, malha, nuvem de pontos e muitos formatos de dados 3D, otimizá-los e gerenciar os metadados internos para torná-los adequados para uso em experiências XR. A Unity também oferece ferramentas de gerenciamento de ativos, que facilitam para os desenvolvedores encontrar e usar esses dados para que possam construir experiências imersivas.

Como prova, Glaze aponta para um exemplo de cliente da Unity de uma empresa de construção japonesa. A empresa digitalizou todos os seus ativos e designs. Qualquer máquina que ela usa ou constrói pode ser utilizada em qualquer experiência XR que a empresa deseje criar. E como a empresa usa o ecossistema Unity, esses aplicativos podem ser implantados tanto em navegadores da web quanto em aplicativos nativos. O ecossistema Unity também ofereceu uma plataforma de ponta a ponta que simplifica a ingestão, processamento, preparação e gerenciamento dos ativos 3D da empresa de construção.

“O poder da Unity é que podemos ajudá-lo a criar experiências XR que funcionam em um tablet ou no headset mais recente,” diz Glaze, “mas também ajudamos você a suportar seus dispositivos legados, estendendo seus orçamentos e a necessidade de treinar funcionários em novos equipamentos.”

Quanto a outras maneiras que a Unity pode ajudar os desenvolvedores a produzir experiências XR, Glaze diz: “Acho que se resume a, você quer fazer isso sozinho, ou quer ter uma equipe inteira na Unity ajudando a garantir que você seja compatível com o último dispositivo que está prestes a ser lançado. Em alguns casos, nós até temos acesso antecipado ao hardware, o que ajuda nossos usuários a serem os primeiros a implantar na próxima grande novidade... Também estamos nos mantendo atualizados sobre os últimos padrões abertos. Seja o mais recente projeto de código aberto da Meta, ou formatos de arquivo como descrição de cena universal (USD). Temos os recursos para poder acompanhar isso e garantir que nossos usuários estejam o mais atualizados possível.

A Unity também oferece recursos educacionais para ajudar os desenvolvedores a produzir aplicações industriais de XR. Esses recursos incluem treinamentos, consultoria e fóruns de discussão da comunidade.