De Pixels a Objetos Físicos

A maioria das pessoas pensa emRespingos gaussianos 3Dcomo uma técnica de renderização. Você captura uma cena, treina um modelo e obtém uma visão interativa em tempo real. É aí que a história geralmente termina. Mas um número crescente de artistas e engenheiros está indo além, fazendo uma pergunta genuinamente estranha: e se você conseguisse aguentar?

Imprimir um splat gaussiano como um objeto físico não é mais ficção científica. É um fluxo de trabalho emergente que fica na intersecção da renderização neural, da arte voxel e da impressão industrial a jato de tinta. Os resultados parecem insetos presos em âmbar ou pequenos dioramas congelados no tempo. E o processo é mais acessível do que a maioria das pessoas imagina.

Este artigo percorre todo o processo, desde a captura de uma cena até a colocação de um cristal impresso em sua mesa. Também abrange as ferramentas e decisões mais importantes ao longo do caminho.

O que torna os Splats gaussianos difíceis de imprimir

A impressão 3D padrão funciona com malhas sólidas. Você define superfícies, corta-as em camadas e a impressora deposita o material.Respingos gaussianosnão funciona assim. Um modelo splat é uma nuvem de milhões de pequenos elipsóides, cada um carregando dados de cor, opacidade e orientação. Não existem superfícies duras. Não há bordas limpas.

Isso cria dois problemas imediatos. Primeiro, a maioria dos slicers não tem ideia do que fazer com um arquivo splat. Em segundo lugar, a cor de um respingo típico édependente da visualização. Incline a cabeça e a cor muda. Uma impressão física não pode fazer isso. Você precisa assar em uma cor fixa antes mesmo de o trabalho de impressão começar.

A solução que a maioria dos fluxos de trabalho usa évoxelização. A nuvem splat é convertida em uma grade 3D de pequenos cubos, semelhante à forma como o Minecraft representa um mundo. Cada voxel armazena um valor de cor e um nível de transparência. Essa grade é algo com que uma impressora pode realmente trabalhar.

A peça de transparência é especialmente complicada. Pele, cabelo e superfícies translúcidas finas parecem erradas quando voxelizadas em baixa resolução. Os detalhes finos se agrupam. Acertar isso requer um ajuste cuidadoso dos parâmetros de treinamento e da resolução de voxelização.

Treinando seu Splat para impressão, não apenas para visualização

Se você estiver capturando uma cena especificamente para impressão, treine de maneira diferente do que faria para um visualizador. Algumas decisões tomadas durante o treinamento economizarão horas de pós-processamento posteriormente.

Use Harmônicos Esféricos no Nível 0

Harmônicos esféricoscontrolar o quão dependente da visualização é a cor de cada splat. O nível 3 oferece mudanças de cores ricas e realistas conforme você se move pela cena. O nível 0 bloqueia em uma única cor difusa por splat, sem nenhuma dependência de visualização.

Para impressão, o nível 0 é quase sempre a escolha certa. Você não pode imprimir cores dependentes da visualização. Calcular a média após o treino produz resultados mais confusos do que treinar com nível 0 desde o início.

Você pode definir isso na maioria das estruturas de respingos gaussianos. Ema base de código 3DGS original, é uma alteração de parâmetro único na configuração de treinamento. Estruturas mais recentes comoNerfstudioexponha isso por meio de sua CLI também.

Espaço de cores linear vs. sRGB

O treinamento no espaço de cores linear pode produzir valores de transparência fisicamente mais precisos. A matemática por trás da mistura de opacidade funciona mais naturalmente no espaço linear. A desvantagem é que os pipelines de impressão geralmente esperam entrada sRGB, portanto, você pode introduzir uma etapa de conversão que adiciona complexidade.

Se você estiver trabalhando com um serviço de impressão terceirizado, pergunte qual espaço de cores seu pipeline espera antes de iniciar o treinamento. Suposições de espaço de cores incompatíveis são uma das causas mais comuns de impressões que parecem muito escuras ou muito saturadas.

# Definir o grau SH como 0 em uma chamada típica de treinamento de respingos gaussianos
python trem.py \
  --source_path ./data/my_scene \
  --model_path ./output/my_scene \
  --sh_grau 0 \
  --iterações 30000

Pesquisadores que exploram pipelines de renderização neural geralmente publicam suas configurações de treinamento emArtigos com código, que é uma referência útil quando você está ajustando um destino de saída específico, como impressão física.

O hardware por trás da impressão em cristal

Nem toda impressora 3D pode fazer isso. As impressoras FDM de consumo (do tipo que derrete filamentos de plástico) não podem produzir objetos voxel multicoloridos transparentes. Você precisa de uma indústriaImpressora PolyJet, que lança pequenas gotas de resina fotopolímera em várias cores simultaneamente e depois as cura com luz UV, camada por camada.

A Gaussian splat point cloud being voxelized into a grid for 3D printing

OStratasys J850 Primeé uma das máquinas capazes desse tipo de impressão. Suporta uma ampla gama de cores, incluindo materiais transparentes, o que torna possível o efeito de cristal semelhante ao âmbar. Essas máquinas não são baratas nem estão amplamente disponíveis, razão pela qual a maioria das pessoas trabalha através de um serviço de impressão em vez de possuir um.

Processo Gaussiano Splat de impressão 3D

Cena de captura

Use um modelo para capturar a cena desejada.

Modelo de trem

Treine um modelo de renderização neural para visualização.

Voxelização

Converta a nuvem splat em uma grade 3D de voxels.

Assar cores

Defina cores fixas para o trabalho de impressão.

Imprimir objeto

Use uma impressora jato de tinta industrial para criar o objeto físico.

Os dados voxel são enviados para a impressora como uma série de imagens em camadas. Cada camada é essencialmente uma seção transversal 2D do objeto, com cada pixel codificando qual combinação de tintas será lançada. A impressora sobe a partir da base, construindo o objeto uma camada fina de cada vez.

Ferramentas e serviços que vale a pena conhecer

O ecossistema de ferramentas para fluxos de trabalho do splat-to-print ainda é jovem. Aqui está uma análise prática do que existe agora.

Cristal.ai: Um dos primeiros serviços a oferecer um pipeline direto de impressão de splat gaussiano. Eles lidam com voxelização e impressão e possuem um editor alfa para posicionar e dimensionar seu splat antes de imprimir. Confira o trabalho deles emX (@Crysta_AI).
MágicaVoxel: Um editor de voxel gratuito amplamente utilizado para criar arte voxel. Embora ainda não importe arquivos splat nativamente, ele exporta formatos compatíveis com segmentações PolyJet. O suporte bidirecional ao splat o tornaria uma ferramenta poderosa nesse pipeline.
Nerfstudio: Uma estrutura de código aberto para treinar campos de radiação neural e modelos de splat gaussianos. Ele suporta a exportação de nuvens de pontos e tem uma comunidade ativa construindo exportadores personalizados.
Polycam e Luma AI: capture aplicativos que produzem saídas de splat gaussianas a partir de vídeo do telefone. Ambos são pontos de partida sólidos se você não quiser realizar o treinamento localmente.
PyTorch: A maior parte do código de treinamento de respingos gaussianos é executado no PyTorch. Se você quiser personalizar seu pipeline de treinamento, oTutoriais PyTorchsão uma base sólida.

Para equipes que estão construindo suas próprias ferramentas de voxelização,Abraçando o rostohospeda vários modelos relacionados à compreensão de cenas 3D que podem acelerar o desenvolvimento de pipeline personalizado.

Qual é a aparência real da saída

O objeto impresso é um pequeno bloco de resina transparente com a cena capturada embutida dentro dele. A luz passa através do material transparente, fazendo-o brilhar quando exposta a uma lâmpada. O efeito lembra genuinamente um inseto preservado em âmbar, e é por isso que as pessoas o consideram tão atraente.

A precisão das cores depende muito das decisões de treinamento descritas acima. As impressões treinadas com harmônicos esféricos de nível 0 e correspondência correta do espaço de cores tendem a ser as mais fiéis. A geometria fina e transparente, como pêlo ou cabelo de inseto, continua sendo o detalhe mais difícil de preservar. A resolução do voxel simplesmente não consegue capturar translucidez submilimétrica sem dados significativos.

Uma solução prática que alguns desenvolvedores usam é capturar objetos com fundo neutro e iluminação forte e uniforme. Isso reduz o ruído no splat e fornece ao voxelizer dados de opacidade mais limpos para trabalhar. Se você estiver fotografando um objeto pequeno para impressão, trate-o como uma fotografia de produto. Até a iluminação é extremamente importante.

Falando em fotografia de produto, se você precisar limpar as imagens de referência antes do treino, umRemovedor de fundo AIpode ajudá-lo a isolar seu assunto de forma limpa. Imagens de treinamento mais limpas significam menos artefatos de respingos no modelo final.

Fluxo de trabalho prático: captura para Crystal

Aqui está um fluxo de trabalho condensado de ponta a ponta para quem quiser tentar isso.

Capture seu assunto.Use uma configuração de toca-discos com iluminação consistente. Tire de 60 a 150 fotos sobrepostas de vários ângulos. Evite superfícies reflexivas.
Treine com SH nível 0.Use Nerfstudio ou a base de código 3DGS original. Definirsh_grau 0e treine no espaço de cores linear se o seu serviço de impressão solicitar.
Exporte seu splat.A maioria dos serviços aceita.plyarquivos. Verifique com seu provedor antes de exportar.
Faça upload para um serviço de impressão.Serviços como o Crysta.ai lidam com voxelização e fatiamento. Use o editor deles para dimensionar e posicionar seu objeto.
Revise uma visualização de voxel.Se o serviço oferecer, verifique se há aglomerados na geometria fina antes de aprovar o trabalho de impressão.
Imprima e aguarde.As impressões industriais da PolyJet normalmente levam de horas a dias, dependendo da fila e do tamanho.

O custo total varia de acordo com o tamanho do objeto e do serviço, mas impressões pequenas na faixa de alguns centímetros são acessíveis para amadores. Impressões maiores ou mais detalhadas aumentam rapidamente em tempo e custo.

Para onde esta tecnologia está indo

O estado atual da impressão splat está aproximadamente onde a impressão 3D de mesa estava no início de 2010: tecnicamente impressionante, um tanto meticulosa e claramente em trajetória para se tornar mais acessível. Alguns desenvolvimentos acelerariam isso significativamente.

Melhores algoritmos de voxelização que preservam a transparência fina são o gargalo mais importante no momento. Pesquisa emrepresentação de cena neuralestá se movendo rapidamente. Grupos publicando em locais monitorados porPesquisa de IA do Googlee laboratórios similares estão trabalhando ativamente em representações volumétricas de maior fidelidade que poderiam se traduzir diretamente em melhor qualidade de impressão.

Desafios na impressão Gaussiana Splat

✓

Sem superfícies duras
Os modelos Splat não possuem superfícies definidas.

✓

Cor Dependente da Visualização
As cores mudam com o ângulo de visão.

✓

Compatibilidade com fatiador
A maioria das segmentações de dados não consegue processar arquivos splat.

✓

Problemas de transparência
Detalhes finos podem ficar agrupados na voxelização.

A importação direta de voxel em ferramentas como MagicaVoxel também abriria o fluxo de trabalho para um público muito mais amplo de artistas de voxel. No momento, o pipeline requer um splat gaussiano como entrada. Permitir dados voxel brutos de qualquer fonte permitiria que ilustradores e artistas de jogos criassem objetos de cristal imprimíveis sem nunca tocar em uma rede neural.

Do lado comercial, mais serviços de impressão entrarão neste espaço à medida que o fluxo de trabalho amadurece. Essa competição reduzirá os preços e melhorará as ferramentas. Por enquanto, vale a pena observar os pioneiros e experimentar suas próprias capturas.

Compartilhando e documentando suas impressões

Depois de ter uma impressão física, como você a compartilha? O vídeo é o meio mais eficaz. Girar o objeto sob diferentes condições de iluminação mostra a transparência e a profundidade de uma forma que as fotos estáticas não conseguem. Um pequeno clipe de luz passando pelo cristal é genuinamente impressionante.

Close-up of a PolyJet 3D printer depositing transparent resin layers

Se você estiver postando um vídeo online, o tamanho do arquivo é importante para a velocidade e qualidade do upload. UMcompressor de vídeo grátispode reduzir seu clipe para um tamanho gerenciável sem perda visível de qualidade, facilitando o compartilhamento entre plataformas.

Para fotos estáticas de sua impressão, manter tamanhos de arquivo reduzidos é igualmente útil. Execute suas imagens de referência através de umcompressor de imagem grátisantes de enviar para um portfólio ou mídia social. Ele mantém suas páginas rápidas e seus custos de armazenamento baixos.

Se você está construindo um público em torno do seu trabalho, umferramenta gratuita de auditoria de mídia socialpode ajudá-lo a entender quais plataformas estão realmente gerando engajamento com seu conteúdo. Trabalhos técnicos de nicho como esse tendem a encontrar seu público em lugares inesperados.

Orçamento para um projeto de impressão

Os custos de impressão aumentam mais rapidamente do que a maioria das pessoas espera. Um pequeno teste de impressão pode custar algumas dezenas de dólares. Uma impressão final de alta qualidade de um assunto complexo pode chegar a centenas. Considere também seu tempo para captura, treinamento e iteração.

Se você estiver monitorando despesas em vários projetos criativos, umrastreador de orçamento gratuitotorna mais fácil ver exatamente para onde seu dinheiro está indo a cada mês. A ferramenta oferece suporte a categorias personalizadas, para que você possa rastrear hardware, assinaturas de software e custos de impressão separadamente, sem fazer malabarismos com planilhas.

Para equipes ou estúdios que exploram isso como uma linha de produtos, vale a pena analisar cuidadosamente a estrutura de custos antes de dimensionar. Quanto custa por unidade em diferentes volumes? Onde estão as margens? Essas questões são importantes antes de você investir em um fluxo de trabalho de produção.

O verdadeiro apelo das renderizações neurais físicas

Há algo filosoficamente interessante em todo esse processo. Um splat gaussiano é uma aproximação matemática da luz. Não é uma foto e nem uma malha. É uma representação aprendida de como os fótons se comportaram em torno de um objeto em um momento específico.

Imprimir essa representação cria um objeto que nunca existiu em forma física antes. A abelha que você imprimiu não foi esculpida. Não foi modelado. Foi inferido a partir de fotografias, comprimido em uma nuvem de elipsóides, depois voxelizado e jateado em resina. Esse é um tipo genuinamente novo de artefato.

Se isso é importante para você, depende de por que você está fazendo as coisas. Para os artistas, é um novo meio atraente. Para engenheiros, é um problema técnico difícil com subproblemas interessantes. Para todos os outros, produz objetos simplesmente bonitos de se ver.

Se você quiser se aprofundar na matemática por trás da renderização neural, oAbraçando a documentação do rostoe os espaços comunitários hospedam um número crescente de modelos e documentos focados em 3D. É um bom lugar para encontrar colaboradores e implementações de referência.

Comece hoje

A barreira à entrada é menor do que parece. Você precisa de uma câmera, um assunto, uma GPU para treinamento e acesso a um serviço de impressão. Todo o software no pipeline principal é de código aberto.

Comece pequeno. Capture um único objeto com boa iluminação. Treine com harmônicos esféricos de nível 0. Exportar um.plyarquivo e carregue-o no Crysta.ai ou em um serviço comparável. Revise cuidadosamente a visualização do voxel antes de aprovar a impressão. Itere uma ou duas vezes nos parâmetros de treinamento se o primeiro resultado não for o que você esperava.

A comunidade em torno do respingo gaussiano é ativa e prestativa. Perguntas marcadas emStack Overflow sob respingos gaussianosseja respondido rapidamente. A comunidade GraphQL também desenvolveu ferramentas interessantes para APIs de dados 3D, e oDocumentação GraphQLvale a pena ler se você estiver construindo um serviço em torno de pipelines de dados splat.

As renderizações neurais físicas são uma das coisas genuinamente novas que estão acontecendo na tecnologia criativa no momento. Experimente antes que se torne popular.