Von Pixeln zu physischen Objekten

Die meisten Leute denken an3D-Gaußsches Splattingals Rendering-Technik. Sie erfassen eine Szene, trainieren ein Modell und erhalten eine interaktive Echtzeitansicht. Dort endet die Geschichte normalerweise. Aber immer mehr Künstler und Ingenieure gehen noch weiter und stellen eine wirklich seltsame Frage: Was wäre, wenn man es halten könnte?

Das Drucken eines Gaußschen Kleckses als physisches Objekt ist keine Science-Fiction mehr. Es handelt sich um einen aufstrebenden Workflow, der an der Schnittstelle zwischen neuronalem Rendering, Voxel-Kunst und industriellem Tintenstrahldruck liegt. Die Ergebnisse sehen aus wie in Bernstein gefangene Insekten oder winzige Dioramen, die in der Zeit eingefroren sind. Und der Prozess ist zugänglicher, als die meisten Menschen glauben.

Dieser Artikel geht durch die gesamte Pipeline, von der Aufnahme einer Szene bis zur Platzierung eines gedruckten Kristalls auf Ihrem Schreibtisch. Es behandelt auch die Tools und Entscheidungen, die auf dem Weg dorthin am wichtigsten sind.

Was das Drucken von Gaußschen Splats erschwert

Der Standard-3D-Druck funktioniert mit festen Netzen. Sie definieren Oberflächen, schneiden sie in Schichten und der Drucker trägt Material auf.Gaußsches Splattingfunktioniert so nicht. Ein Splat-Modell ist eine Wolke aus Millionen winziger Ellipsoide, von denen jedes Farb-, Deckkraft- und Ausrichtungsdaten enthält. Es gibt keine harten Oberflächen. Es gibt keine sauberen Kanten.

Das schafft zwei unmittelbare Probleme. Erstens haben die meisten Slicer keine Ahnung, was sie mit einer Splat-Datei machen sollen. Zweitens ist die Farbe in einem typischen SplatAnsichtsabhängig. Neigen Sie Ihren Kopf und die Farbe ändert sich. Ein physischer Druck kann das nicht leisten. Sie müssen eine feste Farbe einbrennen, bevor der Druckauftrag überhaupt beginnt.

Die Lösung, die die meisten Workflows verwenden, istVoxelisierung. Die Spritzwolke wird in ein 3D-Gitter aus kleinen Würfeln umgewandelt, ähnlich wie Minecraft eine Welt darstellt. Jedes Voxel speichert einen Farbwert und eine Transparenzstufe. Mit diesem Raster kann ein Drucker tatsächlich arbeiten.

Besonders knifflig ist die Transparenz. Fell, Haare und dünne durchscheinende Oberflächen sehen falsch aus, wenn sie bei niedriger Auflösung voxelisiert werden. Feine Details häufen sich. Um dies richtig zu machen, ist eine sorgfältige Abstimmung sowohl der Trainingsparameter als auch der Voxelisierungsauflösung erforderlich.

Trainieren Sie Ihren Splat zum Drucken, nicht nur zum Anzeigen

Wenn Sie eine Szene speziell für den Druck aufnehmen, trainieren Sie anders als für einen Betrachter. Ein paar Entscheidungen, die während des Trainings getroffen werden, ersparen später stundenlange Nachbearbeitung.

Verwenden Sie sphärische Harmonische auf Stufe 0

Sphärische HarmonischeSteuern Sie, wie ansichtsabhängig die Farbe jedes Splats ist. Stufe 3 sorgt für satte, realistische Farbverschiebungen, während Sie sich durch eine Szene bewegen. Stufe 0 sperrt eine einzelne diffuse Farbe pro Splat, ohne jegliche Ansichtsabhängigkeit.

Beim Drucken ist die Stufe 0 fast immer die richtige Wahl. Ansichtsabhängige Farben können nicht gedruckt werden. Eine Mittelung nach dem Training führt zu schlechteren Ergebnissen als ein Training mit Stufe 0 von Anfang an.

Sie können dies in den meisten Gaußschen Splatting-Frameworks festlegen. Indie ursprüngliche 3DGS-Codebasis, es handelt sich um eine einzelne Parameteränderung in der Trainingskonfiguration. Neuere Frameworks wieNerfstudioMachen Sie dies auch über ihre CLI sichtbar.

Linearer vs. sRGB-Farbraum

Das Training im linearen Farbraum kann zu physikalisch genaueren Transparenzwerten führen. Die Mathematik hinter der Deckkraftmischung funktioniert im linearen Raum natürlicher. Der Nachteil besteht darin, dass Druckpipelines häufig sRGB-Eingaben erwarten, sodass Sie möglicherweise einen Konvertierungsschritt einführen, der die Komplexität erhöht.

Wenn Sie mit einem Druckdienstleister eines Drittanbieters zusammenarbeiten, fragen Sie diesen, welchen Farbraum seine Pipeline erwartet, bevor Sie mit der Schulung beginnen. Nicht übereinstimmende Farbraumannahmen sind eine der häufigsten Ursachen dafür, dass Ausdrucke zu dunkel oder zu gesättigt wirken.

# SH-Grad in einem typischen Gaußschen Splatting-Trainingsaufruf auf 0 setzen
Python train.py \
  --source_path ./data/my_scene \
  --model_path ./output/my_scene \
  --sh_degree 0 \
  --iterations 30000

Forscher, die sich mit neuronalen Rendering-Pipelines befassen, veröffentlichen ihre Trainingskonfigurationen häufig aufPapiere mit CodeDies ist eine nützliche Referenz, wenn Sie ein bestimmtes Ausgabeziel wie den physischen Druck optimieren.

Die Hardware hinter dem Kristalldruck

Das kann nicht jeder 3D-Drucker. Verbraucher-FDM-Drucker (die Art, die Kunststofffilamente schmelzen) können keine transparenten mehrfarbigen Voxelobjekte erzeugen. Sie brauchen eine IndustriePolyJet-Drucker, das winzige Tröpfchen Photopolymerharz in mehreren Farben gleichzeitig versprüht und diese dann Schicht für Schicht mit UV-Licht aushärtet.

A Gaussian splat point cloud being voxelized into a grid for 3D printing

DerStratasys J850 Primeist eine der Maschinen, die diese Art von Druck ausführen können. Es unterstützt ein breites Spektrum an Farben, einschließlich transparenter Materialien, was den bernsteinähnlichen Kristalleffekt ermöglicht. Diese Maschinen sind nicht billig oder weit verbreitet, weshalb die meisten Menschen lieber über einen Druckdienstleister arbeiten, als einen zu besitzen.

3D-Druck Gaußscher Splat-Prozess

Szene erfassen

Verwenden Sie ein Modell, um die gewünschte Szene einzufangen.

Zugmodell

Trainieren Sie ein neuronales Rendering-Modell für die Visualisierung.

Voxelisierung

Wandeln Sie die Splat-Wolke in ein 3D-Voxelgitter um.

Backfarben

Legen Sie feste Farben für den Druckauftrag fest.

Objekt drucken

Verwenden Sie einen industriellen Tintenstrahldrucker, um das physische Objekt zu erstellen.

Die Voxeldaten werden als Reihe geschichteter Bilder an den Drucker gesendet. Jede Schicht ist im Wesentlichen ein 2D-Querschnitt des Objekts, wobei jedes Pixel angibt, welche Kombination von Tinten ausgespritzt werden soll. Der Drucker arbeitet sich von der Basis nach oben und baut das Objekt eine dünne Schicht nach der anderen auf.

Wissenswerte Tools und Services

Das Tooling-Ökosystem für Splat-to-Print-Workflows ist noch jung. Hier ist eine praktische Aufschlüsselung dessen, was derzeit existiert.

Crysta.ai: Einer der ersten Dienste, der eine direkte Gaußsche Splat-Druck-Pipeline anbietet. Sie übernehmen die Voxelisierung und das Drucken und verfügen über einen Alpha-Editor zum Positionieren und Skalieren Ihres Splats vor dem Drucken. Schauen Sie sich ihre Arbeit anX (@Crysta_AI).
MagicaVoxel: Ein kostenloser Voxel-Editor, der häufig zum Erstellen von Voxel-Kunstwerken verwendet wird. Splat-Dateien werden zwar noch nicht nativ importiert, es werden jedoch Formate exportiert, die mit PolyJet-Slicern kompatibel sind. Die bidirektionale Splat-Unterstützung würde es zu einem leistungsstarken Werkzeug in dieser Pipeline machen.
Nerfstudio: Ein Open-Source-Framework zum Training neuronaler Strahlungsfelder und Gaußscher Splat-Modelle. Es unterstützt den Export von Punktwolken und verfügt über eine aktive Community, die benutzerdefinierte Exporteure erstellt.
Polycam und Luma AI: Erfassen Sie Apps, die Gaußsche Splat-Ausgaben aus Telefonvideos erzeugen. Beides sind solide Ausgangspunkte, wenn Sie das Training nicht vor Ort durchführen möchten.
PyTorch: Der meiste Gaußsche Splatting-Trainingscode läuft auf PyTorch. Wenn Sie Ihre Trainingspipeline anpassen möchten, ist diePyTorch-Tutorialssind ein solides Fundament.

Für Teams, die ihre eigenen Voxelisierungstools erstellen,Umarmendes Gesichtbeherbergt mehrere Modelle im Zusammenhang mit dem 3D-Szenenverständnis, die die Entwicklung benutzerdefinierter Pipelines beschleunigen könnten.

Wie die Ausgabe tatsächlich aussieht

Das gedruckte Objekt ist ein kleiner Block aus klarem Harz, in den die aufgenommene Szene eingebettet ist. Licht dringt durch das transparente Material und lässt es leuchten, wenn man es an eine Lampe hält. Der Effekt erinnert wirklich an ein in Bernstein konserviertes Insekt, weshalb die Menschen ihn so verlockend finden.

Die Farbgenauigkeit hängt stark von den oben beschriebenen Trainingsentscheidungen ab. Ausdrucke, die mit sphärischen Harmonischen der Stufe 0 und korrekter Farbraumanpassung trainiert wurden, sind in der Regel am originalgetreuesten. Feine transparente Geometrien wie Insektenfell oder Haare sind nach wie vor die am schwierigsten zu bewahrenden Details. Ohne aussagekräftige Daten ist die Voxelauflösung einfach nicht in der Lage, eine Transluzenz im Submillimeterbereich zu erfassen.

Ein praktischer Workaround, den einige Entwickler nutzen, besteht darin, Objekte mit neutralem Hintergrund und starker, gleichmäßiger Beleuchtung aufzunehmen. Dadurch wird das Rauschen im Splat reduziert und der Voxelizer erhält sauberere Opazitätsdaten, mit denen er arbeiten kann. Wenn Sie ein kleines Objekt zum Drucken fotografieren, behandeln Sie es wie eine Produktfotografie. Auch die Beleuchtung ist enorm wichtig.

Apropos Produktfotografie: Wenn Sie vor dem Training Referenzbilder bereinigen müssen, können Sie Folgendes tun:KI-Hintergrundentfernerkann Ihnen dabei helfen, Ihr Motiv sauber zu isolieren. Sauberere Trainingsbilder bedeuten weniger Splat-Artefakte im endgültigen Modell.

Praktischer Arbeitsablauf: Capture to Crystal

Hier ist ein komprimierter End-to-End-Workflow für alle, die dies ausprobieren möchten.

Erfassen Sie Ihr Motiv.Verwenden Sie einen Plattenspieler-Aufbau mit gleichmäßiger Beleuchtung. Nehmen Sie 60 bis 150 überlappende Fotos aus mehreren Blickwinkeln auf. Vermeiden Sie reflektierende Oberflächen.
Trainiere mit SH Level 0.Verwenden Sie Nerfstudio oder die ursprüngliche 3DGS-Codebasis. Satzsh_degree 0und trainieren Sie im linearen Farbraum, wenn Ihr Druckdienst dies verlangt.
Exportieren Sie Ihren Splat.Die meisten Dienste akzeptieren.plyDateien. Erkundigen Sie sich vor dem Export bei Ihrem Anbieter.
Hochladen zu einem Druckdienst.Dienste wie Crysta.ai kümmern sich um Voxelisierung und Slicing. Verwenden Sie ihren Editor, um Ihr Objekt zu skalieren und zu positionieren.
Sehen Sie sich eine Voxelvorschau an.Wenn der Dienst dies anbietet, überprüfen Sie die feine Geometrie auf Verklumpungen, bevor Sie den Druckauftrag genehmigen.
Drucken und warten.Industrielle PolyJet-Drucke dauern je nach Warteschlange und Größe in der Regel Stunden bis Tage.

Die Gesamtkosten variieren je nach Objektgröße und Service, für Bastler sind jedoch auch kleine Drucke im Bereich von wenigen Zentimetern erschwinglich. Größere oder detailliertere Ausdrucke lassen sich sowohl im Zeit- als auch im Kostenaufwand schnell vergrößern.

Wohin diese Technologie führt

Der aktuelle Stand des Splat-Drucks entspricht in etwa dem Stand des Desktop-3D-Drucks Anfang der 2010er Jahre: technisch beeindruckend, etwas knifflig und eindeutig auf dem Weg, zugänglicher zu werden. Einige Entwicklungen würden das deutlich beschleunigen.

Bessere Voxelisierungsalgorithmen, die eine feine Transparenz bewahren, sind derzeit der größte Engpass. Forschung inDarstellung neuronaler Szenengeht schnell voran. Gruppen, die an von verfolgten Orten veröffentlichenGoogle KI-Forschungund ähnliche Labore arbeiten aktiv an volumetrischen Darstellungen mit höherer Wiedergabetreue, die direkt zu einer besseren Druckqualität führen könnten.

Herausforderungen beim Gaußschen Splat-Druck

✓

Keine harten Oberflächen
Splat-Modellen fehlen definierte Oberflächen.

✓

Ansichtsabhängige Farbe
Die Farben verändern sich mit dem Betrachtungswinkel.

✓

Slicer-Kompatibilität
Die meisten Slicer können keine Splat-Dateien verarbeiten.

✓

Transparenzprobleme
Feine Details können bei der Voxelisierung verklumpen.

Der direkte Voxel-Import in Tools wie MagicaVoxel würde den Workflow auch einem viel breiteren Publikum von Voxel-Künstlern zugänglich machen. Im Moment benötigt die Pipeline einen Gaußschen Splat als Eingabe. Durch die Zulassung roher Voxeldaten aus beliebigen Quellen könnten Illustratoren und Spielekünstler druckbare Kristallobjekte erstellen, ohne jemals ein neuronales Netzwerk zu berühren.

Auf der Unternehmensseite werden mit zunehmender Reife des Workflows mehr Druckdienste in diesen Bereich eintreten. Dieser Wettbewerb wird die Preise senken und die Werkzeugausstattung verbessern. Im Moment lohnt es sich, die Vorreiter zu beobachten und mit eigenen Aufnahmen zu experimentieren.

Teilen und Dokumentieren Ihrer Drucke

Sobald Sie einen physischen Ausdruck haben, wie teilen Sie ihn mit anderen? Video ist das effektivste Medium. Durch Drehen des Objekts unter verschiedenen Lichtbedingungen werden Transparenz und Tiefe auf eine Art und Weise zur Geltung gebracht, wie es bei statischen Fotos nicht der Fall ist. Ein kurzer Lichtstrahl, der durch den Kristall dringt, ist wirklich auffällig.

Close-up of a PolyJet 3D printer depositing transparent resin layers

Wenn Sie Videos online veröffentlichen, ist die Dateigröße für die Upload-Geschwindigkeit und -Qualität von Bedeutung. Akostenloser VideokompressorSie können Ihren Clip ohne sichtbaren Qualitätsverlust auf eine überschaubare Größe reduzieren und ihn so einfacher auf verschiedenen Plattformen teilen.

Bei Standbildern Ihres Ausdrucks ist es ebenso sinnvoll, die Dateigröße gering zu halten. Führen Sie Ihre Referenzbilder durch aKostenloser Bildkompressorvor dem Hochladen in ein Portfolio oder soziale Medien. Dadurch bleiben Ihre Seiten schnell und Ihre Speicherkosten niedrig.

Wenn Sie ein Publikum rund um Ihre Arbeit aufbauen, akostenloses Social-Media-Audit-Toolkann Ihnen helfen zu verstehen, welche Plattformen tatsächlich das Engagement für Ihre Inhalte fördern. Technische Nischenarbeiten wie diese finden ihr Publikum oft an unerwarteten Orten.

Budgetierung für ein Druckprojekt

Die Druckkosten summieren sich schneller, als die meisten Menschen erwarten. Ein kleiner Testdruck könnte ein paar Dutzend Dollar kosten. Ein qualitativ hochwertiger Enddruck eines komplexen Themas kann mehrere Hundert kosten. Berücksichtigen Sie auch Ihre Zeit für Erfassung, Schulung und Iteration.

Wenn Sie Ausgaben über mehrere kreative Projekte hinweg verfolgen, akostenloser Budget-Trackermacht es einfach, genau zu sehen, wohin Ihr Geld jeden Monat fließt. Das Tool unterstützt benutzerdefinierte Kategorien, sodass Sie Hardware, Softwareabonnements und Druckkosten separat verfolgen können, ohne mit Tabellenkalkulationen jonglieren zu müssen.

Für Teams oder Studios, die dies als Produktlinie erkunden, lohnt es sich, die Kostenstruktur vor der Skalierung sorgfältig zu analysieren. Was kostet es pro Einheit bei unterschiedlichen Volumina? Wo sind die Ränder? Diese Fragen sind wichtig, bevor Sie in einen Produktionsworkflow investieren.

Der wahre Reiz physikalischer neuronaler Renderings

Dieser ganze Prozess hat etwas philosophisch Interessantes. Ein Gaußscher Splat ist eine mathematische Näherung des Lichts. Es ist kein Foto und kein Netz. Dabei handelt es sich um eine erlernte Darstellung des Verhaltens von Photonen um ein Objekt zu einem bestimmten Zeitpunkt.

Durch das Drucken dieser Darstellung wird ein Objekt erstellt, das noch nie zuvor in physischer Form existiert hat. Die Biene, die Sie drucken, war nicht modelliert. Es wurde nicht modelliert. Es wurde anhand von Fotos abgeleitet, zu einer Wolke aus Ellipsoiden komprimiert, dann voxelisiert und in Harz gespritzt. Das ist eine wirklich neue Art von Artefakt.

Ob Ihnen das wichtig ist, hängt davon ab, warum Sie Dinge herstellen. Für Künstler ist es ein faszinierendes neues Medium. Für Ingenieure handelt es sich um ein schwieriges technisches Problem mit interessanten Teilproblemen. Für alle anderen entstehen Objekte, die einfach schön anzusehen sind.

Wenn Sie sich eingehender mit der Mathematik hinter dem neuronalen Rendering befassen möchten, finden Sie hier:Hugging Face-Dokumentationund Gemeinschaftsräume beherbergen eine wachsende Zahl von 3D-fokussierten Modellen und Artikeln. Es ist ein guter Ort, um Mitarbeiter und Referenzimplementierungen zu finden.

Beginnen Sie noch heute

Die Eintrittsbarriere ist niedriger als es aussieht. Sie benötigen eine Kamera, ein Motiv, eine GPU für das Training und Zugang zu einem Druckdienst. Die gesamte Software in der Kernpipeline ist Open Source.

Fangen Sie klein an. Erfassen Sie ein einzelnes Objekt bei guter Beleuchtung. Trainieren Sie mit sphärischen Harmonischen der Stufe 0. Exportieren Sie a.plyDatei herunterladen und auf Crysta.ai oder einen vergleichbaren Dienst hochladen. Überprüfen Sie die Voxelvorschau sorgfältig, bevor Sie den Druck genehmigen. Wiederholen Sie die Trainingsparameter ein- oder zweimal, wenn das erste Ergebnis nicht Ihren Erwartungen entspricht.

Die Community rund um Gaußsches Splatting ist aktiv und hilfsbereit. Fragen markiert mitStapelüberlauf unter Gauß-Splattingbekomme schnell eine Antwort. Die GraphQL-Community hat auch interessante Tools für 3D-Daten-APIs entwickeltGraphQL-Dokumentationist eine Lektüre wert, wenn Sie einen Dienst rund um Splat-Datenpipelines aufbauen.

Physische neuronale Renderings gehören zu den wirklich neuen Dingen, die derzeit in der kreativen Technologie passieren. Probieren Sie es aus, bevor es zum Mainstream wird.