Dai pixel agli oggetti fisici

La maggior parte delle persone pensaSplatting gaussiano 3Dcome tecnica di rendering. Catturi una scena, addestri un modello e ottieni una visualizzazione interattiva in tempo reale. È lì che di solito finisce la storia. Ma un numero crescente di artisti e ingegneri si spinge oltre, ponendo una domanda davvero strana: e se potessi tenerlo?

Stampare uno splat gaussiano come oggetto fisico non è più fantascienza. È un flusso di lavoro emergente che si trova all’intersezione tra rendering neurale, voxel art e stampa a getto d’inchiostro industriale. I risultati sembrano insetti intrappolati nell’ambra o minuscoli diorami congelati nel tempo. E il processo è più accessibile di quanto la maggior parte delle persone creda.

Questo articolo illustra l'intero processo, dall'acquisizione di una scena al posizionamento di un cristallo stampato sulla scrivania. Copre anche gli strumenti e le decisioni che contano di più lungo il percorso.

Cosa rende gli simboli gaussiani difficili da stampare

La stampa 3D standard funziona con mesh solide. Definisci le superfici, le dividi in strati e la stampante deposita il materiale.Splatting gaussianonon funziona in questo modo. Un modello splat è una nuvola di milioni di minuscoli ellissoidi, ciascuno contenente dati di colore, opacità e orientamento. Non ci sono superfici dure. Non ci sono bordi netti.

Ciò crea due problemi immediati. Innanzitutto, la maggior parte degli slicer non ha idea di cosa fare con un file splat. In secondo luogo, il colore in un tipico simbolo èdipendente dalla vista. Inclina la testa e il colore cambia. Una stampa fisica non può farlo. È necessario cuocere con un colore fisso prima ancora che il lavoro di stampa abbia inizio.

La soluzione utilizzata dalla maggior parte dei flussi di lavoro èvoxelizzazione. La nuvola simbolica viene convertita in una griglia 3D di piccoli cubi, in modo simile a come Minecraft rappresenta un mondo. Ogni voxel memorizza un valore di colore e un livello di trasparenza. Quella griglia è qualcosa con cui una stampante può effettivamente lavorare.

Il pezzo di trasparenza è particolarmente complicato. Pelliccia, capelli e superfici sottili e traslucide appaiono errate se voxelizzate a bassa risoluzione. I dettagli fini si raggruppano insieme. Per farlo bene è necessario un'attenta messa a punto sia dei parametri di addestramento che della risoluzione della voxelizzazione.

Addestrare il tuo simbolo per la stampa, non solo per la visualizzazione

Se stai catturando una scena appositamente per la stampa, allenati in modo diverso da come faresti per uno spettatore. Alcune decisioni prese durante la formazione consentiranno di risparmiare ore di post-elaborazione successive.

Usa le armoniche sferiche al livello 0

Armoniche sferichecontrolla quanto dipende dalla vista il colore di ogni simbolo. Il livello 3 ti offre cambiamenti di colore ricchi e realistici mentre ti muovi all'interno di una scena. Il livello 0 si blocca in un unico colore diffuso per simbolo, senza alcuna dipendenza dalla vista.

Per la stampa il livello 0 è quasi sempre la scelta giusta. Non è possibile stampare colori dipendenti dalla vista. Calcolare la media dopo l'allenamento produce risultati più confusi rispetto all'allenamento con il livello 0 dall'inizio.

Puoi impostarlo nella maggior parte dei framework di splatting gaussiano. Inla base di codice 3DGS originale, si tratta di una modifica a singolo parametro nella configurazione di training. Framework più recenti comeNerfstudioesporlo anche attraverso la loro CLI.

Spazio colore lineare e sRGB

L'addestramento allo spazio colore lineare può produrre valori di trasparenza fisicamente più accurati. I calcoli alla base della fusione dell'opacità funzionano in modo più naturale nello spazio lineare. Il compromesso è che le pipeline di stampa spesso si aspettano input sRGB, quindi potresti introdurre un passaggio di conversione che aggiunge complessità.

Se lavori con un servizio di stampa di terze parti, chiedi loro quale spazio colore si aspetta la loro pipeline prima di iniziare la formazione. I presupposti di uno spazio colore non corrispondente sono una delle cause più comuni di stampe che appaiono troppo scure o troppo sature.

# Impostazione del grado SH su 0 in una tipica chiamata di addestramento allo splatting gaussiano
python train.py \
  --source_path ./data/mia_scena \
  --percorso_modello ./output/mia_scena \
  --sh_grado 0 \
  --iterazioni 30000

I ricercatori che esplorano le pipeline di rendering neurale spesso pubblicano le loro configurazioni di addestramento suDocumenti con codice, che rappresenta un riferimento utile quando si ottimizza una destinazione di output specifica come la stampa fisica.

L'hardware dietro la stampa di cristalli

Non tutte le stampanti 3D possono farlo. Le stampanti FDM di consumo (del tipo che fondono il filamento di plastica) non possono produrre oggetti voxel multicolori trasparenti. Hai bisogno di un industrialeStampante PolyJet, che emette minuscole goccioline di resina fotopolimerica in più colori contemporaneamente, quindi le polimerizza con luce UV strato dopo strato.

A Gaussian splat point cloud being voxelized into a grid for 3D printing

ILStratasys J850 Primeè una delle macchine capaci di questo tipo di stampa. Supporta un'ampia gamma di colori, compresi i materiali trasparenti, che è ciò che rende possibile l'effetto cristallo simile all'ambra. Queste macchine non sono economiche né ampiamente disponibili, motivo per cui la maggior parte delle persone lavora tramite un servizio di stampa anziché possederne uno.

Processo gaussiano di stampa 3D

Cattura la scena

Utilizza un modello per catturare la scena desiderata.

Modello del treno

Addestra un modello di rendering neurale per la visualizzazione.

Voxelizzazione

Converti la nuvola di simboli in una griglia 3D di voxel.

Cuocere i colori

Imposta i colori fissi per il lavoro di stampa.

Stampa oggetto

Utilizzare la stampante a getto d'inchiostro industriale per creare l'oggetto fisico.

I dati voxel vengono inviati alla stampante come una serie di immagini stratificate. Ogni strato è essenzialmente una sezione trasversale 2D dell'oggetto, con ciascun pixel che codifica la combinazione di inchiostri da proiettare. La stampante procede verso l'alto dalla base, costruendo l'oggetto uno strato sottile alla volta.

Strumenti e servizi che vale la pena conoscere

L’ecosistema degli strumenti per i flussi di lavoro splat-to-print è ancora giovane. Ecco una ripartizione pratica di ciò che esiste in questo momento.

Crystal.ai: uno dei primi servizi a offrire una pipeline di stampa splat gaussiana diretta. Gestiscono la voxelizzazione e la stampa e dispongono di un editor alpha per posizionare e ridimensionare lo splat prima della stampa. Dai un'occhiata al loro lavoroX (@Crysta_AI).
MagicaVoxel: un editor di voxel gratuito ampiamente utilizzato per creare voxel art. Sebbene non importi ancora in modo nativo file splat, esporta formati compatibili con gli slicer PolyJet. Il supporto bidirezionale degli simboli lo renderebbe uno strumento potente in questa pipeline.
Nerfstudio: Un framework open source per l'addestramento dei campi di radianza neurale e dei modelli splat gaussiani. Supporta l'esportazione di nuvole di punti e dispone di una comunità attiva che crea esportatori personalizzati.
Polycam e Luma AI: acquisisci app che producono output splat gaussiani dai video del telefono. Entrambi sono solidi punti di partenza se non si desidera eseguire la formazione a livello locale.
PyTorch: La maggior parte del codice di addestramento sullo splatting gaussiano viene eseguito su PyTorch. Se desideri personalizzare la pipeline di formazione, il fileTutorial su PyTorchsono una base solida.

Per i team che creano i propri strumenti di voxelizzazione,Volto che abbracciaospita diversi modelli relativi alla comprensione della scena 3D che potrebbero accelerare lo sviluppo di pipeline personalizzate.

Come appare effettivamente l'output

L'oggetto stampato è un piccolo blocco di resina trasparente con la scena catturata incorporata al suo interno. La luce passa attraverso il materiale trasparente, facendolo brillare quando viene tenuto davanti a una lampada. L'effetto ricorda davvero un insetto conservato nell'ambra, ed è in parte per questo che le persone lo trovano così avvincente.

La precisione del colore dipende in larga misura dalle decisioni di formazione descritte sopra. Le stampe addestrate con armoniche sferiche di livello 0 e corrispondenza corretta dello spazio colore tendono ad essere le più fedeli. La sottile geometria trasparente, come la pelliccia o i capelli degli insetti, rimane il dettaglio più difficile da preservare. La risoluzione del voxel semplicemente non può catturare la traslucenza submillimetrica senza dati significativi.

Una soluzione pratica utilizzata da alcuni sviluppatori è quella di acquisire oggetti con uno sfondo neutro e un'illuminazione forte e uniforme. Ciò riduce il rumore nello splat e fornisce al voxelizer dati sull'opacità più puliti con cui lavorare. Se stai fotografando un piccolo oggetto per la stampa, trattalo come una fotografia di prodotto. Anche l’illuminazione conta enormemente.

Parlando di fotografia del prodotto, se hai bisogno di ripulire le immagini di riferimento prima della formazione, anRimozione sfondo AIpuò aiutarti a isolare il soggetto in modo pulito. Immagini di training più pulite significano meno artefatti splat nel modello finale.

Flusso di lavoro pratico: Cattura in cristallo

Ecco un flusso di lavoro end-to-end condensato per chiunque voglia provarlo.

Cattura il tuo soggetto.Utilizza una configurazione a giradischi con un'illuminazione coerente. Scatta da 60 a 150 foto sovrapposte da più angolazioni. Evitare superfici riflettenti.
Allenati con SH livello 0.Utilizza Nerfstudio o la codebase 3DGS originale. Impostatosh_grado 0e addestrati nello spazio colore lineare se il tuo servizio di stampa lo richiede.
Esporta il tuo simbolo.La maggior parte dei servizi accetta.plyfile. Verifica con il tuo provider prima di esportare.
Carica su un servizio di stampa.Servizi come Crysta.ai gestiscono la voxelizzazione e l'affettamento. Usa il loro editor per ridimensionare e posizionare il tuo oggetto.
Esamina un'anteprima voxel.Se il servizio ne offre uno, verificare la presenza di grumi nella geometria fine prima di approvare il lavoro di stampa.
Stampa e aspetta.Le stampe PolyJet industriali richiedono in genere ore o giorni a seconda della coda e delle dimensioni.

Il costo totale varia in base alle dimensioni dell'oggetto e al servizio, ma per gli hobbisti sono accessibili stampe di piccole dimensioni nel raggio di pochi centimetri. Stampe più grandi o più dettagliate aumentano rapidamente sia in termini di tempo che di costi.

Dove sta andando questa tecnologia

Lo stato attuale della stampa splat è più o meno allo stesso livello in cui si trovava la stampa 3D desktop all’inizio degli anni 2010: tecnicamente impressionante, un po’ complicato e chiaramente sulla traiettoria per diventare più accessibile. Alcuni sviluppi potrebbero accelerarlo in modo significativo.

Migliori algoritmi di voxelizzazione che preservino la trasparenza fine rappresentano il collo di bottiglia più importante in questo momento. Ricerca inrappresentazione della scena neuralesi sta muovendo velocemente. Gruppi che pubblicano nelle sedi monitorate daRicerca sull'intelligenza artificiale di Googlee laboratori simili stanno lavorando attivamente su rappresentazioni volumetriche ad alta fedeltà che potrebbero tradursi direttamente in una migliore qualità di stampa.

Sfide nella stampa gaussiana splat

✓

Nessuna superficie dura
I modelli splat mancano di superfici definite.

✓

Colore dipendente dalla vista
I colori cambiano con l'angolo di visione.

✓

Compatibilità con l'affettatrice
La maggior parte degli slicer non è in grado di elaborare i file splat.

✓

Problemi di trasparenza
I dettagli fini potrebbero rimanere raggruppati nella voxelizzazione.

L'importazione diretta di voxel in strumenti come MagicaVoxel aprirebbe inoltre il flusso di lavoro a un pubblico molto più ampio di artisti voxel. In questo momento la pipeline richiede uno splat gaussiano come input. Consentire dati voxel grezzi da qualsiasi fonte consentirebbe a illustratori e artisti di giochi di creare oggetti di cristallo stampabili senza mai toccare una rete neurale.

Dal punto di vista aziendale, più servizi di stampa entreranno in questo spazio man mano che il flusso di lavoro maturerà. Questa concorrenza ridurrà i prezzi e migliorerà gli strumenti. Per ora, vale la pena osservare i primi movimenti e sperimentare con le proprie acquisizioni.

Condividere e documentare le tue stampe

Una volta che hai un'impronta fisica, come la condividi? Il video è il mezzo più efficace. La rotazione dell'oggetto in diverse condizioni di illuminazione mostra la trasparenza e la profondità in modi che le foto statiche non possono. Un breve clip di luce che passa attraverso il cristallo è davvero sorprendente.

Close-up of a PolyJet 3D printer depositing transparent resin layers

Se pubblichi video online, la dimensione del file è importante per la velocità e la qualità del caricamento. UNcompressore video gratuitopuò ridurre la clip a dimensioni gestibili senza perdita visibile di qualità, semplificando la condivisione su più piattaforme.

Per le foto della tua stampa, è altrettanto utile mantenere le dimensioni dei file ridotte. Esegui le tue immagini di riferimento attraverso acompressore di immagini gratuitoprima di caricarlo su un portfolio o sui social media. Mantiene le tue pagine veloci e i costi di archiviazione bassi.

Se stai costruendo un pubblico attorno al tuo lavoro, astrumento gratuito di controllo dei social mediapuò aiutarti a capire quali piattaforme stanno effettivamente stimolando il coinvolgimento per i tuoi contenuti. Lavori tecnici di nicchia come questo tendono a trovare il loro pubblico in luoghi inaspettati.

Budget per un progetto di stampa

I costi di stampa aumentano più velocemente di quanto la maggior parte delle persone si aspetti. Una piccola stampa di prova potrebbe costare qualche decina di dollari. Una stampa finale di alta qualità di un argomento complesso può contenerne centinaia. Tieni conto anche del tempo che dedichi all'acquisizione, alla formazione e all'iterazione.

Se stai monitorando le spese di più progetti creativi, amonitoraggio del budget gratuitorende facile vedere esattamente dove vanno i tuoi soldi ogni mese. Lo strumento supporta categorie personalizzate, quindi puoi monitorare separatamente hardware, abbonamenti software e costi di stampa senza destreggiarti tra fogli di calcolo.

Per i team o gli studi che esplorano questa linea di prodotti, vale la pena analizzare attentamente la struttura dei costi prima di ridimensionarla. Qual è il costo per unità a volumi diversi? Dove sono i margini? Queste domande sono importanti prima di investire in un flusso di lavoro di produzione.

Il vero fascino dei rendering neurali fisici

C’è qualcosa di filosoficamente interessante in tutto questo processo. Uno splat gaussiano è un'approssimazione matematica della luce. Non è una foto e non una mesh. È una rappresentazione appresa di come i fotoni si comportano attorno a un oggetto in un momento specifico nel tempo.

Stampare quella rappresentazione crea un oggetto che non è mai esistito prima in forma fisica. L'ape stampata non è stata scolpita. Non è stato modellato. È stato dedotto da fotografie, compresse in una nuvola di ellissoidi, quindi voxelizzate e gettate in resina. Questo è un tipo di artefatto veramente nuovo.

Se questo è importante per te dipende dal motivo per cui stai facendo le cose. Per gli artisti, è un nuovo mezzo avvincente. Per gli ingegneri si tratta di un problema tecnico difficile con sottoproblemi interessanti. Per tutti gli altri produce oggetti semplicemente belli da vedere.

Se vuoi approfondire i calcoli dietro il rendering neurale, ilDocumentazione sul Volto che abbracciae gli spazi comunitari ospitano un numero crescente di modelli e documenti incentrati sul 3D. È un buon posto per trovare collaboratori e implementazioni di riferimento.

Inizia oggi

La barriera all’ingresso è più bassa di quanto sembri. Hai bisogno di una fotocamera, un soggetto, una GPU per la formazione e l'accesso a un servizio di stampa. Tutto il software nella pipeline principale è open source.

Inizia in piccolo. Cattura un singolo oggetto con una buona illuminazione. Allenati con armoniche sferiche di livello 0. Esporta un.plyfile e caricalo su Crysta.ai o un servizio comparabile. Esamina attentamente l'anteprima del voxel prima di approvare la stampa. Itera una o due volte sui parametri di allenamento se il primo risultato non è quello sperato.

La comunità attorno allo splatting gaussiano è attiva e utile. Domande contrassegnateStack Overflow sotto splatting gaussianoottenere una risposta rapida. La comunità GraphQL ha anche sviluppato strumenti interessanti per le API di dati 3D e ilDocumentazione GraphQLvale la pena leggerlo se stai creando un servizio attorno a pipeline di dati splat.

I rendering neurali fisici sono una delle cose veramente nuove che stanno accadendo nella tecnologia creativa in questo momento. Provatelo prima che diventi mainstream.