ピクセルから物理的オブジェクトへ

ほとんどの人が考えるのは3D ガウススプラッティングレンダリング技術として。シーンをキャプチャし、モデルをトレーニングし、リアルタイムのインタラクティブなビューを取得します。通常はそこで話が終わります。しかし、ますます多くのアーティストやエンジニアがさらに前進し、まったく奇妙な質問を投げかけています。

ガウススプラットを物理オブジェクトとして印刷することは、もはや SF ではありません。これは、ニューラルレンダリング、ボクセルアート、産業用インクジェット印刷の交差点に位置する新たなワークフローです。その結果、琥珀の中に閉じ込められた昆虫、または時が止まった小さなジオラマのように見えます。そして、このプロセスは、ほとんどの人が思っているよりも簡単に実行できます。

この記事では、シーンのキャプチャから印刷されたクリスタルを机に置くまでのパイプライン全体を説明します。また、その過程で最も重要なツールと意思決定についても説明します。

ガウススプラットの印刷が難しい理由

標準の 3D プリントはソリッドメッシュで機能します。サーフェスを定義し、それらをレイヤーにスライスすると、プリンターがマテリアルを堆積します。ガウススプラッティングそのようには機能しません。スプラットモデルは、色、不透明度、方向のデータを保持する何百万もの小さな楕円体の雲です。硬い表面はありません。きれいなエッジはありません。

これにより、当面の 2 つの問題が生じます。まず、ほとんどのスライサーはスプラットファイルをどう処理すればよいのかわかりません。次に、典型的なスプラットの色は次のとおりです。ビューに依存する。首を傾けると色が変わります。物理的な印刷物ではそれができません。印刷ジョブを開始する前に、固定カラーでベイクする必要があります。

ほとんどのワークフローで使用されるソリューションは次のとおりです。ボクセル化。スプラットクラウドは、Minecraft が世界を表現する方法と同様に、小さな立方体の 3D グリッドに変換されます。各ボクセルには、色の値と透明度のレベルが保存されます。そのグリッドは、プリンターが実際に使用できるものです。

透明部分は特に注意が必要です。低解像度でボクセル化すると、ファー、ヘア、薄い半透明のサーフェスが正しく見えません。細かいディテールがまとまってます。これを正しく行うには、トレーニングパラメーターとボクセル化解像度の両方を慎重に調整する必要があります。

表示するだけでなく、印刷するために Splat をトレーニングする

印刷専用のシーンをキャプチャしている場合は、ビューアの場合とは異なるトレーニングを行ってください。トレーニング中にいくつかの決定を下すことで、後の後処理にかかる時間を節約できます。

レベル 0 で球面調和関数を使用する

球面調和関数各スプラットの色がビューにどの程度依存するかを制御します。レベル 3 では、シーン内を移動するときに豊かでリアルなカラーシフトが得られます。レベル 0 は、ビューにまったく依存せず、スプラットごとに 1 つの拡散カラーにロックされます。

印刷の場合、ほとんどの場合、レベル 0 が正しい選択です。ビュー依存のカラーは印刷できません。トレーニング後に平均化すると、最初からレベル 0 でトレーニングする場合よりも不鮮明な結果が得られます。

これは、ほとんどのガウススプラッティングフレームワークで設定できます。でオリジナルの 3DGS コードベース、これはトレーニング設定内の単一のパラメーターの変更です。のような新しいフレームワークナーフスタジオこれを CLI を通じて公開することもできます。

リニア色空間と sRGB 色空間

線形色空間でトレーニングすると、より物理的に正確な透明度の値を生成できます。不透明度ブレンディングの背後にある計算は、線形空間でより自然に機能します。トレードオフとして、印刷パイプラインは sRGB 入力を期待することが多いため、複雑さを増す変換ステップを導入する可能性があります。

サードパーティの印刷サービスを利用している場合は、トレーニングを開始する前に、そのパイプラインがどのようなカラースペースを想定しているかを尋ねてください。色空間の仮定の不一致は、プリントが暗すぎたり、彩度が高すぎたりする最も一般的な原因の 1 つです。

# 典型的なガウス スプラッティング トレーニング コールで SH 次数を 0 に設定する
Python train.py \
  --source_path ./data/my_scene \
  --model_path ./output/my_scene \
  --sh_degree 0 \
  --反復数 30000

ニューラルレンダリングパイプラインを研究している研究者は、トレーニング構成を次のサイトで公開することがよくあります。コード付き論文これは、物理的な印刷などの特定の出力ターゲットを調整するときに役立ちます。

クリスタル印刷の背後にあるハードウェア

すべての 3D プリンターがこれを実行できるわけではありません。家庭用 FDM プリンタ (プラスチックフィラメントを溶かすタイプ) では、透明なマルチカラーボクセルオブジェクトを生成できません。産業用が必要ですポリジェットプリンター、複数色のフォトポリマー樹脂の小さな液滴を同時に噴射し、UV ライトで層ごとに硬化させます。

A Gaussian splat point cloud being voxelized into a grid for 3D printing

のストラタシス J850 プライムはこの種の印刷が可能なマシンの 1 つです。透明な素材を含む幅広い色域をサポートしているため、琥珀のようなクリスタル効果が可能です。これらの印刷機は安くないし、広く入手できるわけではないため、ほとんどの人は印刷機を所有せずに印刷サービスを利用しています。

3D プリンティングガウススプラットプロセス

シーンをキャプチャする

モデルを使用して目的のシーンをキャプチャします。

鉄道模型

視覚化のためにニューラルレンダリングモデルをトレーニングします。

ボクセル化

スプラットクラウドをボクセルの 3D グリッドに変換します。

カラーをベイク処理する

印刷ジョブの固定色を設定します。

印刷オブジェクト

産業用インクジェットプリンタを使用して物理オブジェクトを作成します。

ボクセルデータは、一連のレイヤー化されたイメージとしてプリンターに送信されます。各レイヤーは基本的にオブジェクトの 2D 断面であり、各ピクセルが噴射するインクの組み合わせをエンコードしています。プリンターはベースから上に向かって進み、オブジェクトを一度に 1 つの薄い層で構築します。

知っておく価値のあるツールとサービス

スプラットから印刷までのワークフローのツールエコシステムはまだ誕生したばかりです。ここでは、現在存在するものの実際的な内訳を示します。

クリスタアイ: 直接ガウススプラットプリンティングパイプラインを提供する最初のサービスの 1 つ。これらはボクセル化と印刷を処理し、印刷前にスプラットの位置決めと拡大縮小を行うためのアルファエディターを備えています。彼らの作品をチェックしてくださいX (@Crysta_AI)。
Magicaボクセル: ボクセルアートの作成に広く使用されている無料のボクセルエディター。スプラットファイルはまだネイティブにインポートされませんが、PolyJet スライサーと互換性のある形式でエクスポートされます。双方向スプラットのサポートにより、このパイプラインの強力なツールになります。
ナーフスタジオ: ニューラル放射フィールドとガウススプラットモデルをトレーニングするためのオープンソースフレームワーク。点群のエクスポートをサポートしており、カスタムエクスポーターを構築するアクティブなコミュニティがあります。
Polycam と Luma AI: 電話のビデオからガウススプラット出力を生成するアプリをキャプチャします。ローカルでトレーニングを実行したくない場合は、どちらも確実な出発点となります。
パイトーチ: ほとんどのガウススプラッティングトレーニングコードは PyTorch で実行されます。トレーニングパイプラインをカスタマイズする場合は、PyTorch チュートリアル強固な基盤です。

独自のボクセル化ツールを構築しているチームの場合、ハグフェイスは、カスタムパイプライン開発を加速できる 3D シーンの理解に関連するいくつかのモデルをホストします。

実際の出力はどのように見えるか

印刷されたオブジェクトは、キャプチャされたシーンがその中に埋め込まれた透明な樹脂の小さなブロックです。透明な素材なので光が透過し、ランプにかざすと光ります。その効果はまさに琥珀の中に保存された昆虫に似ており、それが人々がこの琥珀に非常に魅力的であると感じる理由の一部です。

色の精度は、上記のトレーニングの決定に大きく依存します。レベル 0 の球面調和関数と正しい色空間マッチングでトレーニングされたプリントは、最も忠実になる傾向があります。昆虫の毛皮や髪の毛のような微細な透明なジオメトリは、依然として保存するのが最も難しいディテールです。ボクセル解像度では、重要なデータがなければミリメートル未満の半透明性を捉えることはできません。

一部の開発者が使用する実際的な回避策の 1 つは、ニュートラルな背景と強力で均一な照明でオブジェクトをキャプチャすることです。これにより、スプラット内のノイズが軽減され、ボククライザーがよりクリーンな不透明度データを使用できるようになります。印刷用に小さなオブジェクトを撮影する場合は、製品の写真と同様に扱ってください。照明さえも非常に重要です。

製品写真に関して言えば、トレーニング前に参照画像をクリーンアップする必要がある場合は、AI背景除去ツール被写体をきれいに分離するのに役立ちます。トレーニング画像がよりクリーンになると、最終モデルのスプラットアーティファクトが少なくなります。

実践的なワークフロー: Crystal へのキャプチャ

これを試してみたい人のために、エンドツーエンドのワークフローが凝縮されています。

被写体を捉えます。安定した照明を備えたターンテーブルセットアップを使用してください。複数の角度から60～150枚の写真を重ねて撮影します。反射面は避けてください。
SHレベル0でトレーニングします。Nerfstudio またはオリジナルの 3DGS コードベースを使用します。セットsh_degree 0印刷サービスが要求した場合は、線形色空間でトレーニングします。
スプラットをエクスポートします。ほとんどのサービスが受け入れます。プライファイル。エクスポートする前にプロバイダーに確認してください。
印刷サービスにアップロードします。Crysta.ai などのサービスはボクセル化とスライスを処理します。エディタを使用してオブジェクトを拡大縮小したり位置決めしたりできます。
ボクセルのプレビューを確認します。サービスが提供している場合は、印刷ジョブを承認する前に、細かいジオメトリの固まりを確認してください。
印刷して待ちます。産業用 PolyJet プリントには通常、キューとサイズに応じて数時間から数日かかります。

総費用はオブジェクトのサイズとサービスによって異なりますが、数センチメートル範囲の小さなプリントは愛好家にとってアクセス可能です。より大きなプリントやより詳細なプリントは、時間とコストの両方で急速にスケールアップします。

このテクノロジーがどこへ向かうのか

スプラットプリンティングの現在の状態は、2010 年代初頭のデスクトップ 3D プリンティングの状態とほぼ同じです。技術的には優れていますが、やや扱いにくいですが、明らかに、よりアクセスしやすくなる方向に向かっています。いくつかの開発がそれを大幅に加速するでしょう。

微細な透明性を維持する、より優れたボクセル化アルゴリズムが、現時点で最も重要なボトルネックとなっています。研究分野ニューラルシーン表現速く動いています。会場で公開しているグループを追跡Google AI 研究同様の研究室は、印刷品質の向上に直接つながる可能性のある、より忠実度の高い体積表現に積極的に取り組んでいます。

ガウススプラットプリンティングの課題

✓

硬い表面がない
スプラットモデルには定義されたサーフェスがありません。

✓

ビュー依存の色
見る角度によって色が変化します。

✓

スライサーの互換性
ほとんどのスライサーはスプラットファイルを処理できません。

✓

透明性の問題
ボクセル化では細かい部分が固まってしまう場合があります。

MagicaVoxel のようなツールでボクセルを直接インポートすると、より幅広いボクセルアーティストにワークフローを提供できるようになります。現時点では、パイプラインには入力としてガウススプラットが必要です。あらゆるソースからの生のボクセルデータを許可すると、イラストレーターやゲームアーティストは、ニューラルネットワークに触れることなく、印刷可能なクリスタルオブジェクトを作成できるようになります。

ビジネス面では、ワークフローが成熟するにつれて、より多くの印刷サービスがこの分野に参入するでしょう。この競争により価格が下がり、工具も改善されるでしょう。現時点では、先行者を観察し、独自のキャプチャを試してみる価値があります。

プリントの共有と文書化

物理的なプリントを作成したら、どのように共有しますか?ビデオは最も効果的なメディアです。さまざまな照明条件の下でオブジェクトを回転させると、静止写真では表現できない透明度と奥行きが表現されます。クリスタルを通過する短い光のクリップは本当に印象的です。

Close-up of a PolyJet 3D printer depositing transparent resin layers

ビデオをオンラインに投稿する場合、アップロード速度と品質にはファイルサイズが重要です。あ無料のビデオコンプレッサー目に見える品質の低下なしにクリップを扱いやすいサイズにカットできるため、プラットフォーム間で共有しやすくなります。

印刷物の静止写真の場合も、ファイルサイズを小さく保つことが同様に役立ちます。参照画像を実行します。無料の画像コンプレッサーポートフォリオやソーシャルメディアにアップロードする前に。ページの高速性を維持し、ストレージのコストを低く抑えます。

自分の作品を中心に視聴者を構築している場合は、無料のソーシャルメディア監査ツールどのプラットフォームが実際にコンテンツのエンゲージメントを促進しているかを理解するのに役立ちます。このようなニッチな技術作品は、予期せぬ場所で視聴者を見つける傾向があります。

印刷プロジェクトの予算編成

印刷コストは、ほとんどの人が予想するよりも早く増加します。小さなテスト印刷には数十ドルかかる場合があります。複雑な主題の高品質な最終プリントは何百枚にも及ぶことがあります。キャプチャ、トレーニング、反復にかかる時間も考慮に入れてください。

複数のクリエイティブプロジェクトにわたる経費を追跡している場合は、無料の予算トラッカー毎月のお金がどこに使われているかを簡単に確認できます。このツールはカスタムカテゴリをサポートしているため、スプレッドシートを操作することなく、ハードウェア、ソフトウェアのサブスクリプション、および印刷コストを個別に追跡できます。

これを製品ラインとして検討しているチームやスタジオにとって、拡張する前にコスト構造を慎重に分析する価値があります。さまざまなボリュームでのユニットあたりのコストはいくらですか?余白はどこにあるのでしょうか？これらの質問は、実稼働ワークフローに投資する前に重要です。

物理ニューラルレンダーの本当の魅力

このプロセス全体には哲学的に興味深い点があります。ガウススプラットは、光の数学的近似です。写真でもメッシュでもありません。これは、特定の瞬間にオブジェクトの周囲でフォトンがどのように動作するかを学習した表現です。

その表現を印刷すると、これまで物理的な形で存在したことのないオブジェクトが作成されます。あなたがプリントしたミツバチは彫刻されていません。モデル化されていませんでした。それは写真から推測され、楕円体の雲に圧縮され、ボクセル化されて樹脂に噴射されました。それは真に新しい種類のアーティファクトです。

それがあなたにとって重要かどうかは、なぜ物を作るのかによって決まります。アーティストにとって、それは魅力的な新しいメディアです。エンジニアにとって、これは興味深い下位問題を伴う難しい技術的問題です。他の人にとっては、見た目に美しいオブジェクトが生成されます。

ニューラルレンダリングの背後にある数学をさらに詳しく知りたい場合は、ハグフェイスのドキュメントコミュニティスペースでは、3D に焦点を当てたモデルや論文が増え続けています。コラボレーターやリファレンス実装を見つけるのに最適な場所です。

今すぐ始めましょう

見た目よりも参入障壁は低いです。カメラ、被写体、トレーニング用の GPU、および印刷サービスへのアクセスが必要です。コアパイプライン内のすべてのソフトウェアはオープンソースです。

小さなことから始めましょう。適切な照明で単一のオブジェクトをキャプチャします。レベル 0 の球面調和関数を使用してトレーニングします。エクスポート。プライファイルを作成し、Crysta.ai または同等のサービスにアップロードします。印刷を承認する前に、ボクセルのプレビューを注意深く確認してください。最初の結果が期待したものと異なる場合は、トレーニングパラメーターを 1 回または 2 回繰り返します。

ガウススプラッティングに関するコミュニティは活発で役に立ちます。タグ付けされた質問ガウススプラッティング下のスタックオーバーフローすぐに答えてください。 GraphQL コミュニティは、3D データ API 用の興味深いツールも開発しました。GraphQL ドキュメントスプラットデータパイプラインを中心にサービスを構築している場合は、読む価値があります。

物理的なニューラルレンダリングは、現在クリエイティブテクノロジーで起こっている真に新しいことの 1 つです。主流になる前にぜひ試してみてください。