Fra piksler til fysiske objekter

De fleste tenker på3D Gaussisk sprutsom en gjengivelsesteknikk. Du fanger en scene, trener en modell og får en interaktiv visning i sanntid. Det er der historien vanligvis slutter. Men et økende antall kunstnere og ingeniører presser seg videre og stiller et genuint merkelig spørsmål: hva om du kunne holde det?

Å skrive ut en Gaussisk splat som et fysisk objekt er ikke lenger science fiction. Det er en fremvoksende arbeidsflyt som befinner seg i skjæringspunktet mellom nevral gjengivelse, voxel-kunst og industriell blekkskriving. Resultatene ser ut som insekter fanget i rav, eller bittesmå dioramas frosset i tid. Og prosessen er mer tilgjengelig enn de fleste er klar over.

Denne artikkelen går gjennom hele pipelinen, fra å fange en scene til å plassere en trykt krystall på skrivebordet ditt. Den dekker også verktøyene og beslutningene som betyr mest underveis.

Hva gjør Gaussian Splats vanskelig å skrive ut

Standard 3D-utskrift fungerer med solide masker. Du definerer overflater, deler dem i lag, og skriveren legger materiale.Gaussisk sprutfungerer ikke slik. En splat-modell er en sky av millioner av bittesmå ellipsoider, som hver bærer farge-, opasitet- og orienteringsdata. Det er ingen harde overflater. Det er ingen rene kanter.

Det skaper to umiddelbare problemer. For det første har de fleste slicers ingen anelse om hva de skal gjøre med en splat-fil. For det andre er fargen i en typisk splatvisningsavhengig. Vipp hodet og fargen skifter. En fysisk utskrift kan ikke gjøre det. Du må bake i en fast farge før utskriftsjobben i det hele tatt starter.

Løsningen de fleste arbeidsflyter bruker ervokselisering. Splat-skyen blir konvertert til et 3D-rutenett av små kuber, lik hvordan Minecraft representerer en verden. Hver voxel lagrer en fargeverdi og et gjennomsiktighetsnivå. Det rutenettet er noe en skriver faktisk kan jobbe med.

Gjennomsiktighetsstykket er spesielt vanskelig. Pels, hår og tynne gjennomskinnelige overflater ser feil ut når de vokseliseres med lav oppløsning. Fine detaljer klumper seg sammen. Å få det riktig krever nøye innstilling av både treningsparametere og vokseliseringsoppløsningen.

Tren din Splat for utskrift, ikke bare visning

Hvis du fanger en scene spesielt for utskrift, tren annerledes enn du ville gjort for en seer. Noen få avgjørelser tatt under trening vil spare timer med etterbehandling senere.

Bruk sfæriske harmoniske på nivå 0

Sfæriske harmoniskekontroller hvor visningsavhengig fargen på hver splat er. Nivå 3 gir deg rike, realistiske fargeskift når du beveger deg rundt i en scene. Nivå 0 låser i en enkelt diffus farge per splat, uten visningsavhengighet i det hele tatt.

For utskrift er nivå 0 nesten alltid det riktige valget. Du kan ikke skrive ut visningsavhengige farger. Å midlere det ut etter trening gir gjørre resultater enn trening med nivå 0 fra starten.

Du kan stille inn dette i de fleste gaussiske sprutrammer. Iden originale 3DGS-kodebasen, er det en enkelt parameterendring i treningskonfigurasjonen. Nyere rammer somNerfstudioeksponere dette gjennom deres CLI også.

Lineær vs. sRGB fargerom

Trening i lineært fargerom kan gi mer fysisk nøyaktige transparensverdier. Matematikken bak opasitetsblanding fungerer mer naturlig i lineært rom. Avveiningen er at utskriftsrørledninger ofte forventer sRGB-inndata, så du kan introdusere et konverteringstrinn som legger til kompleksitet.

Hvis du jobber med en tredjeparts utskriftstjeneste, spør dem hvilket fargerom deres pipeline forventer før du begynner å trene. Mismatchede antakelser om fargerom er en av de vanligste årsakene til utskrifter som ser for mørke eller for mettede ut.

# Sette SH-graden til 0 i en typisk Gaussisk spruttreningsanrop
python train.py \
  --kildebane ./data/min_scene \
  --model_path ./output/my_scene \
  --sh_grad 0 \
  --iterasjoner 30000

Forskere som utforsker nevrale gjengivelsesrørledninger publiserer ofte treningskonfigurasjonene sine påPapirer med kode, som er en nyttig referanse når du stiller inn etter et spesifikt utdatamål som fysisk utskrift.

Maskinvaren bak krystallutskrift

Ikke alle 3D-skrivere kan gjøre dette. Forbruker-FDM-skrivere (den typen som smelter plastfilament) kan ikke produsere gjennomsiktige flerfarge voxel-objekter. Du trenger en industriPolyJet-skriver, som sprøyter ut små dråper av fotopolymerharpiks i flere farger samtidig, og herder dem deretter med UV-lys lag for lag.

A Gaussian splat point cloud being voxelized into a grid for 3D printing

DeStratasys J850 Primeer en av maskinene som er i stand til denne typen utskrift. Den støtter et bredt spekter av farger, inkludert gjennomsiktige materialer, som er det som gjør den ravaktige krystalleffekten mulig. Disse maskinene er ikke billige eller allment tilgjengelige, og det er grunnen til at de fleste jobber gjennom en utskriftstjeneste i stedet for å eie en.

3D-utskrift Gaussian Splat-prosess

Fang scene

Bruk en modell for å fange ønsket scene.

Togmodell

Tren en nevral gjengivelsesmodell for visualisering.

Vokselisering

Konverter splat-skyen til et 3D-rutenett med voksler.

Bake farger

Angi faste farger for utskriftsjobben.

Skriv ut objekt

Bruk industriell blekkskriver for å lage det fysiske objektet.

Voxel-dataene sendes til skriveren som en serie lagdelte bilder. Hvert lag er i hovedsak et 2D-tverrsnitt av objektet, med hver piksel som koder for hvilken kombinasjon av blekk som skal sprøytes. Skriveren jobber seg opp fra basen, og bygger objektet ett tynt lag om gangen.

Verktøy og tjenester verdt å vite om

Verktøyøkosystemet for splat-to-print arbeidsflyter er fortsatt ungt. Her er en praktisk oversikt over hva som eksisterer akkurat nå.

Crysta.ai: En av de første tjenestene som tilbyr en direkte Gaussisk splat-utskriftspipeline. De håndterer vokselisering og utskrift, og har en alfa-editor for posisjonering og skalering av splat før utskrift. Sjekk ut arbeidet deresX (@Crysta_AI).
MagicaVoxel: En gratis voxel-editor som er mye brukt for å lage voxel-kunst. Selv om den ikke importerer splat-filer ennå, eksporterer den formater som er kompatible med PolyJet-skjærere. Toveis splat-støtte vil gjøre det til et kraftig verktøy i denne rørledningen.
Nerfstudio: Et rammeverk med åpen kildekode for trening av nevrale utstrålingsfelt og Gaussiske splat-modeller. Den støtter eksport av punktskyer og har et aktivt fellesskap som bygger tilpassede eksportører.
Polycam og Luma AI: Ta opp apper som produserer gaussiske splat-utganger fra telefonvideo. Begge er solide utgangspunkt dersom du ikke ønsker å drive trening lokalt.
PyTorch: De fleste Gaussiske spruttreningskoder kjører på PyTorch. Hvis du ønsker å tilpasse treningspipeline, kan duPyTorch-veiledningerer et solid fundament.

For team som bygger sine egne vokseliseringsverktøy,Klemende ansikter vert for flere modeller relatert til 3D-sceneforståelse som kan akselerere tilpasset rørledningsutvikling.

Hvordan resultatet faktisk ser ut

Det trykte objektet er en liten blokk med klar harpiks med den fangede scenen innebygd i den. Lys passerer gjennom det gjennomsiktige materialet og får det til å lyse når det holdes opp mot en lampe. Effekten ligner virkelig et insekt bevart i rav, noe som er en del av hvorfor folk synes det er så overbevisende.

Fargenøyaktighet avhenger sterkt av treningsbeslutningene beskrevet ovenfor. Utskrifter trent med nivå 0 sfæriske harmoniske og korrekt fargeromsmatching har en tendens til å være de mest trofaste. Fin gjennomsiktig geometri, som insektpels eller hår, er fortsatt den vanskeligste detaljen å bevare. Voxel-oppløsningen kan ganske enkelt ikke fange sub-millimeter-gjennomskinnelighet uten betydelige data.

En praktisk løsning som noen utviklere bruker, er å fange objekter med en nøytral bakgrunn og sterk, jevn belysning. Dette reduserer støy i spruten og gir voxelizer-renseren opasitetsdata å jobbe med. Hvis du fotograferer et lite objekt for utskrift, behandle det som produktfotografering. Selv belysning betyr enormt mye.

Apropos produktfotografering, hvis du trenger å rydde opp i referansebilder før trening, enAI bakgrunnsfjernerkan hjelpe deg med å isolere motivet rent. Renere treningsbilder betyr færre splat-artefakter i den endelige modellen.

Praktisk arbeidsflyt: Capture to Crystal

Her er en fortettet ende-til-ende arbeidsflyt for alle som vil prøve dette.

Fang motivet ditt.Bruk et platespilleroppsett med jevn belysning. Ta 60 til 150 overlappende bilder fra flere vinkler. Unngå reflekterende overflater.
Tren med SH nivå 0.Bruk Nerfstudio eller den originale 3DGS-kodebasen. Settsh_grad 0og tren i lineært fargerom hvis utskriftstjenesten ber om det.
Eksporter splat.De fleste tjenester aksepterer.plyfiler. Sjekk med leverandøren din før du eksporterer.
Last opp til en utskriftstjeneste.Tjenester som Crysta.ai håndterer vokselisering og skjæring. Bruk editoren deres til å skalere og plassere objektet ditt.
Se gjennom en voxel-forhåndsvisning.Hvis tjenesten tilbyr en, sjekk for klumping i fin geometri før du godkjenner utskriftsjobben.
Skriv ut og vent.Industrielle PolyJet-utskrifter tar vanligvis timer til dager avhengig av kø og størrelse.

Den totale kostnaden varierer etter objektstørrelse og service, men små utskrifter på få centimeters rekkevidde er tilgjengelige for hobbyister. Større eller mer detaljerte utskrifter skaleres raskt opp i både tid og kostnad.

Hvor denne teknologien er på vei

Den nåværende tilstanden for splat-utskrift er omtrent der desktop 3D-utskrift var på begynnelsen av 2010-tallet: teknisk imponerende, noe kresen og tydelig på vei mot å bli mer tilgjengelig. Noen få utviklinger vil akselerere det betydelig.

Bedre vokseliseringsalgoritmer som bevarer fin gjennomsiktighet er den viktigste flaskehalsen akkurat nå. Forskning inevrale scenerepresentasjonbeveger seg raskt. Grupper som publiserer på spillesteder sporet avGoogle AI Researchog lignende laboratorier jobber aktivt med volumetriske representasjoner med høyere kvalitet som kan oversettes direkte til bedre utskriftskvalitet.

Utfordringer i Gaussian Splat Printing

✓

Ingen harde overflater
Splat-modeller mangler definerte overflater.

✓

Visningsavhengig farge
Farger skifter med synsvinkel.

✓

Slicer-kompatibilitet
De fleste slicere kan ikke behandle splat-filer.

✓

Åpenhetsproblemer
Fine detaljer kan bli klumpet i vokselisering.

Direkte voxel-import i verktøy som MagicaVoxel vil også åpne arbeidsflyten for et mye bredere publikum av voxel-artister. Akkurat nå krever rørledningen en Gaussisk splat som input. Å tillate rå voxel-data fra en hvilken som helst kilde ville la illustratører og spillkunstnere lage utskrivbare krystallobjekter uten å berøre et nevralt nettverk.

På forretningssiden vil flere utskriftstjenester komme inn i dette området etter hvert som arbeidsflyten modnes. Den konkurransen vil presse ned prisene og forbedre verktøyet. Foreløpig er det verdt å se tidlige bevegelser og eksperimentere med dine egne fanger.

Dele og dokumentere utskriftene dine

Når du har en fysisk utskrift, hvordan deler du den? Video er det mest effektive mediet. Å rotere objektet under forskjellige lysforhold viser gjennomsiktigheten og dybden på måter som statiske bilder ikke kan. Et kort lysklipp som passerer gjennom krystallen er virkelig slående.

Close-up of a PolyJet 3D printer depositing transparent resin layers

Hvis du legger ut video på nettet, er filstørrelsen avgjørende for opplastingshastighet og kvalitet. ENgratis videokompressorkan kutte klippet ned til en håndterlig størrelse uten synlig kvalitetstap, noe som gjør det enklere å dele på tvers av plattformer.

For stillbilder av utskriften er det like nyttig å holde filstørrelsene slanke. Kjør referansebildene dine gjennom engratis bildekompressorfør du laster opp til en portefølje eller sosiale medier. Det holder sidene dine raske og lagringskostnadene lave.

Hvis du bygger et publikum rundt arbeidet ditt, agratis revisjonsverktøy for sosiale medierkan hjelpe deg med å forstå hvilke plattformer som faktisk skaper engasjement for innholdet ditt. Nisjeteknisk arbeid som dette har en tendens til å finne sitt publikum på uventede steder.

Budsjettering for et utskriftsprosjekt

Utskriftskostnadene øker raskere enn de fleste forventer. En liten prøveutskrift kan koste noen dusin dollar. En endelig utskrift av høy kvalitet av et komplekst emne kan bli hundrevis. Ta også med tiden din til fangst, trening og iterasjon.

Hvis du sporer utgifter på tvers av flere kreative prosjekter, agratis budsjettsporinggjør det enkelt å se nøyaktig hvor pengene dine går hver måned. Verktøyet støtter tilpassede kategorier, slik at du kan spore maskinvare-, programvareabonnementer og utskriftskostnader separat uten å sjonglere med regneark.

For team eller studioer som utforsker dette som en produktlinje, er kostnadsstrukturen verdt å analysere nøye før den skaleres. Hva koster det per enhet ved ulike volum? Hvor er marginene? Disse spørsmålene er viktige før du investerer i en produksjonsarbeidsflyt.

Den virkelige appellen til fysiske nevrale gjengivelser

Det er noe filosofisk interessant med hele denne prosessen. En Gaussisk splat er en matematisk tilnærming av lys. Det er ikke et bilde og ikke et nett. Det er en innlært representasjon av hvordan fotoner oppførte seg rundt et objekt på et bestemt tidspunkt.

Å skrive ut den representasjonen skaper et objekt som aldri har eksistert i fysisk form før. Bien du trykker var ikke skulpturert. Den ble ikke modellert. Det ble utledet fra fotografier, komprimert til en sky av ellipsoider, deretter vokselisert og sprayet i harpiks. Det er en genuint ny type artefakt.

Om det betyr noe for deg avhenger av hvorfor du lager ting. For kunstnere er det et overbevisende nytt medium. For ingeniører er det et vanskelig teknisk problem med interessante delproblemer. For alle andre produserer den gjenstander som rett og slett er vakre å se på.

Hvis du ønsker å gå dypere på matematikken bak nevral gjengivelse, kan duHugging Face dokumentasjonog fellesskapsrom er vert for et økende antall 3D-fokuserte modeller og papirer. Det er et bra sted å finne samarbeidspartnere og referanseimplementeringer.

Kom i gang i dag

Inngangsbarrieren er lavere enn den ser ut til. Du trenger et kamera, et motiv, en GPU for opplæring og tilgang til en utskriftstjeneste. All programvare i kjernerørledningen er åpen kildekode.

Begynn i det små. Fang ett enkelt objekt med god belysning. Tren med nivå 0 sfæriske harmoniske. Eksporter a.plyfil og last den opp til Crysta.ai eller en tilsvarende tjeneste. Gjennomgå voxel-forhåndsvisningen nøye før du godkjenner utskriften. Gjenta en eller to ganger på treningsparametere hvis det første resultatet ikke er det du håpet på.

Samfunnet rundt Gaussisk sprut er aktivt og hjelpsomt. Spørsmål merket påStack Overflow under gaussisk sprutfå raskt svar. GraphQL-fellesskapet har også utviklet interessant verktøy for 3D-data APIer, ogGraphQL dokumentasjoner verdt å lese hvis du bygger en tjeneste rundt splat datarørledninger.

Fysiske nevrale gjengivelser er en av de genuint nye tingene som skjer innen kreativ teknologi akkurat nå. Prøv det før det blir mainstream.