从像素到物理对象

大多数人想到的3D 高斯溅射作为一种渲染技术。您捕获场景、训练模型并获得实时交互式视图。故事通常就到此结束。但越来越多的艺术家和工程师正在进一步推进，提出一个真正奇怪的问题：如果你能握住它怎么办？

将高斯斑点打印为物理对象不再是科幻小说。这是一个新兴的工作流程，位于神经渲染、体素艺术和工业喷墨打印的交叉点。结果看起来就像被困在琥珀中的昆虫，或者是时间冻结的微小立体模型。而且这个过程比大多数人意识到的更容易实现。

本文将介绍整个流程，从捕捉场景到将打印的水晶放置在您的桌子上。它还涵盖了在此过程中最重要的工具和决策。

是什么让高斯斑点难以打印

标准 3D 打印适用于实体网格。您定义表面，将它们切成层，然后打印机沉积材料。高斯泼溅不是这样的。 splat 模型是由数百万个微小椭球体组成的云，每个椭球体都带有颜色、不透明度和方向数据。没有坚硬的表面。没有干净的边缘。

这造成了两个迫在眉睫的问题。首先，大多数切片器不知道如何处理 splat 文件。其次，典型的泼溅颜色是视点相关。倾斜你的头，颜色就会发生变化。物理打印无法做到这一点。您需要在打印作业开始之前烘烤固定颜色。

大多数工作流程使用的解决方案是体素化。 splat 云被转换为小立方体的 3D 网格，类似于 Minecraft 代表世界的方式。每个体素存储一个颜色值和一个透明度级别。该网格是打印机实际可以使用的东西。

透明部分尤其棘手。以低分辨率体素化时，毛皮、头发和薄的半透明表面看起来不正确。精细的细节聚集在一起。要做到这一点需要仔细调整训练参数和体素化分辨率。

训练您的 Splat 进行打印，而不仅仅是查看

如果您正在捕捉专门用于打印的场景，则训练方式与针对观看者的训练方式不同。训练期间做出的一些决定将节省以后的后处理时间。

在 0 级使用球谐函数

球谐函数控制每个图块的颜色与视图的相关程度。当您在场景中移动时，级别 3 可为您提供丰富、逼真的色彩变化。 0 级锁定每个splat 的单一漫反射颜色，完全不依赖于视图。

对于打印来说，级别 0 几乎总是正确的选择。您无法打印与视图相关的颜色。训练后对其进行平均会产生比从一开始就使用 0 级进行训练的结果更混乱的结果。

您可以在大多数高斯泼溅框架中进行设置。在原始 3DGS 代码库，它是训练配置中的单个参数更改。较新的框架如纳夫工作室也通过他们的 CLI 公开这一点。

线性与 sRGB 色彩空间

线性颜色空间的训练可以产生物理上更准确的透明度值。不透明度混合背后的数学在线性空间中工作得更自然。代价是打印管道通常需要 sRGB 输入，因此您可能会引入增加复杂性的转换步骤。

如果您正在与第三方打印服务合作，请在开始培训之前询问他们的管道需要什么色彩空间。色彩空间假设不匹配是导致打印件看起来太暗或太饱和的最常见原因之一。

# 在典型的高斯泼溅训练调用中将 SH 度设置为 0
蟒蛇火车.py \
  --source_path ./data/my_scene \
  --model_path ./output/my_scene \
  --sh_level 0 \
  --迭代30000次

探索神经渲染管道的研究人员经常在以下网站上发布他们的训练配置论文与代码，当您针对特定输出目标（如物理打印）进行调整时，这是一个有用的参考。

水晶打印背后的硬件

并非所有 3D 打印机都能做到这一点。消费类 FDM 打印机（熔化塑料丝的那种）无法生产透明的多色体素物体。你需要一个工业聚喷打印机，它同时喷射多种颜色的光聚合物树脂微小液滴，然后用紫外线逐层固化它们。

A Gaussian splat point cloud being voxelized into a grid for 3D printing

这Stratasys J850 Prime是能够进行此类打印的机器之一。它支持多种颜色，包括透明材料，这使得琥珀般的水晶效果成为可能。这些机器并不便宜或广泛使用，这就是为什么大多数人通过打印服务而不是拥有一台机器来工作。

3D打印高斯喷射工艺

捕捉场景

使用模型捕捉所需的场景。

火车模型

训练用于可视化的神经渲染模型。

体素化

将 splat 云转换为体素的 3D 网格。

烘烤颜色

为打印作业设置固定颜色。

打印对象

使用工业喷墨打印机来创建物理对象。

体素数据作为一系列分层图像发送到打印机。每层本质上是物体的二维横截面，每个像素编码要喷射的墨水组合。打印机从底部开始工作，一次一层薄薄地打印物体。

值得了解的工具和服务

用于“splat-to-print”工作流程的工具生态系统还很年轻。这是目前存在的情况的实际细分。

Crysta.ai：首批提供直接高斯喷射打印管道的服务之一。它们处理体素化和打印，并有一个 alpha 编辑器，用于在打印之前定位和缩放您的 splat。查看他们的工作X（@Crysta_AI）。
魔法体素：免费的体素编辑器，广泛用于创建体素艺术。虽然它本身不导入 splat 文件，但它导出与 PolyJet 切片机兼容的格式。双向 splat 支持将使其成为该管道中的强大工具。
纳夫工作室：用于训练神经辐射场和高斯分布模型的开源框架。它支持导出点云，并拥有一个活跃的社区来构建自定义导出器。
Polycam 和 Luma AI：捕获从手机视频产生高斯 splat 输出的应用程序。如果您不想在本地进行培训，两者都是坚实的起点。
火炬：大多数高斯泼溅训练代码都在 PyTorch 上运行。如果您想定制您的训练流程，PyTorch 教程是一个坚实的基础。

对于构建自己的体素化工具的团队来说，抱脸托管多个与 3D 场景理解相关的模型，可以加速自定义管道的开发。

输出实际上是什么样的

打印的物体是一小块透明树脂，其中嵌入了捕获的场景。光线穿过透明材料，使其在灯下发光。这种效果确实类似于保存在琥珀中的昆虫，这也是人们觉得它如此引人注目的部分原因。

颜色准确性在很大程度上取决于上述训练决策。经过 0 级球谐函数和正确色彩空间匹配训练的打印往往是最忠实的。精细的透明几何形状，如昆虫的皮毛或头发，仍然是最难保留的细节。如果没有大量数据，体素分辨率根本无法捕获亚毫米半透明度。

一些开发人员使用的一种实用解决方法是捕捉具有中性背景和强烈均匀照明的对象。这减少了 splat 中的噪声，并为体素分析器提供了更清晰的不透明度数据来处理。如果您正在拍摄用于打印的小物体，请将其视为产品摄影。甚至照明也非常重要。

说到产品摄影，如果您需要在训练前清理参考图像，AI背景去除器可以帮助您干净地隔离您的主题。更干净的训练图像意味着最终模型中的斑点伪影更少。

实用工作流程：捕获到晶体

这是一个精简的端到端工作流程，适合任何想要尝试此操作的人。

捕捉你的主题。使用具有一致照明的转盘设置。从多个角度拍摄 60 到 150 张重叠的照片。避免反光表面。
使用 SH 0 级进行训练。使用 Nerfstudio 或原始 3DGS 代码库。放sh_度 0如果您的打印服务需要，则可以在线性色彩空间中进行训练。
导出您的 splat。大多数服务接受.ply文件。导出前请咨询您的提供商。
上传到打印服务。Crysta.ai 等服务可处理体素化和切片。使用他们的编辑器来缩放和定位您的对象。
查看体素预览。如果该服务提供一项服务，请在批准打印作业之前检查精细几何形状是否结块。
打印并等待。工业 PolyJet 打印通常需要数小时到数天的时间，具体取决于队列和尺寸。

总成本因物体尺寸和服务而异，但爱好者可以使用几厘米范围内的小印刷品。更大或更详细的打印在时间和成本上都会迅速增加。

这项技术的发展方向

喷射打印的当前状态大致与 2010 年代初桌面 3D 打印的状态相同：技术上令人印象深刻，但有些挑剔，并且显然正朝着变得更容易使用的方向发展。一些进展将显着加速这一进程。

保持良好透明度的更好的体素化算法是目前最重要的瓶颈。研究领域神经场景表示正在快速前进。在跟踪地点发布的团体谷歌人工智能研究类似的实验室正在积极研究更高保真度的体积表示，这可以直接转化为更好的打印质量。

高斯喷射打印的挑战

✓

无硬表面
Splat 模型缺乏定义的表面。

✓

视点相关颜色
颜色随着视角的变化而变化。

✓

切片机兼容性
大多数切片器无法处理 splat 文件。

✓

透明度问题
精细的细节可能会在体素化中聚集在一起。

在 MagicaVoxel 等工具中直接导入体素也将为更广泛的体素艺术家受众开放工作流程。现在管道需要高斯 splat 作为输入。允许来自任何来源的原始体素数据将使插画家和游戏艺术家无需接触神经网络即可创建可打印的水晶对象。

在业务方面，随着工作流程的成熟，更多的打印服务将进入这个领域。这种竞争将压低价格并改进工具。目前，值得关注先行者并尝试自己的捕获。

共享和记录您的打印作品

一旦你有了实体印刷品，你如何分享它？视频是最有效的媒介。在不同的照明条件下旋转物体可以以静态照片无法做到的方式显示透明度和深度。穿过水晶的一小段光线确实引人注目。

Close-up of a PolyJet 3D printer depositing transparent resin layers

如果您在线发布视频，文件大小对于上传速度和质量很重要。一个free video compressor可以将您的剪辑缩小到可管理的大小，而不会造成明显的质量损失，从而更轻松地跨平台共享。

For still photos of your print, keeping file sizes lean is equally useful.通过运行您的参考图像免费图像压缩器在上传到作品集或社交媒体之前。它可以使您的页面保持快速并降低存储成本。

如果您正在围绕您的作品建立受众群体，免费社交媒体审核工具可以帮助您了解哪些平台真正推动了您的内容的参与度。像这样的利基技术工作往往会在意想不到的地方找到它的受众。

印刷项目的预算

打印成本的增加速度比大多数人预期的要快。一个小的测试打印可能需要几十美元。复杂主题的高质量最终打印可能会达到数百张。还要考虑捕获、训练和迭代的时间。

如果您要跟踪多个创意项目的费用，免费预算追踪器可以轻松了解您每个月的资金去向。该工具支持自定义类别，因此您可以单独跟踪硬件、软件订阅和打印成本，而无需处理电子表格。

对于将其作为产品线进行探索的团队或工作室，在扩展之前值得仔细分析成本结构。不同数量的单位成本是多少？利润在哪里？在投资生产工作流程之前，这些问题很重要。

物理神经渲染的真正吸引力

整个过程在哲学上有一些有趣的地方。高斯分布是光的数学近似。它不是照片，也不是网格。它是对光子在特定时刻在物体周围如何行为的学习表示。

打印该表示会创建一个以前从未以物理形式存在的对象。您打印的蜜蜂不是雕刻的。它没有被建模。它是从照片中推断出来的，压缩成椭圆体云，然后进行体素化并喷射在树脂中。这是一种真正的新型人工制品。

这对你是否重要取决于你制作东西的原因。对于艺术家来说，这是一种引人注目的新媒介。对于工程师来说，这是一个带有有趣子问题的困难技术问题。对于其他人来说，它生产的物品看起来很漂亮。

如果您想更深入地了解神经渲染背后的数学原理，拥抱脸部文档社区空间拥有越来越多的 3D 模型和论文。这是寻找合作者和参考实现的好地方。

今天开始

进入门槛比看起来要低。您需要一台相机、一个主题、一个用于训练的 GPU 以及一个打印服务。核心管道中的所有软件都是开源的。

从小处开始。在光线良好的情况下捕捉单个物体。使用 0 级球谐函数进行训练。导出一个.ply文件并将其上传到 Crysta.ai 或类似服务。在批准打印之前仔细检查体素预览。如果第一个结果不是您所希望的，则对训练参数进行一次或两次迭代。

围绕高斯泼溅的社区非常活跃且乐于助人。已标记的问题高斯分布下的堆栈溢出很快得到答复。 GraphQL 社区还为 3D 数据 API 开发了有趣的工具，并且GraphQL 文档如果您正在围绕 splat 数据管道构建服务，则值得一读。

物理神经渲染是目前创意技术中真正发生的新事物之一。在它成为主流之前尝试一下。