「Arcturus Vision Gaussian XR」アプリの使い方
アプリのインストール方法と、3D Gaussian Splattingシーンを没入感のある3D空間で体験する方法をご紹介します。
■アプリをインストールする
1. Steam Frameを起動し、SteamアプリからSteamアカウントにログインします。
2. Steamアプリの検索欄で「Arcturus Vision Gaussian XR」を検索し、「Add to library」を選択します。
3.「ライブラリ」を開き、検索欄に「arc」と入力します。
4.「Arcturus Vision Gaussian XR」を選択し、「インストール」を選択します。
ーシーンを開く
Arcturus Vision Gaussian XRの起動画面から、最初のシーンを開く
1. どちらかのコントローラーを「Enter Scenes」に向けます。
2. コントローラーのトリガーを1回押します。
3. 最初のシーンが表示されるまで待ちます。
※左右どちらかのコントローラーのサムスティックを押し込むことで、起動画面を閉じてシーンを開くこともできます。
ーArcturus Vision Gaussian XR内を移動する
1.移動・回転する
1. どちらかのコントローラーを「Enter Scenes」に向けます。
2. 右のサムスティックを左右に動かすと、向きを回転できます。
3.「X」ボタンまたは「B」ボタンを押すと、一定の角度ずつ向きを回転できます。
2.サイズ調整・位置のリセット・シーンの切り替え・ヘルプの表示
・シーンのサイズを調整する： 両方のコントローラーのグリップボタンを押したまま、両手を広げたり近づけたりして、シーンのサイズを調整します。
・表示位置をリセットする： 「A」ボタンを押すと、表示位置がリセットされます。
・シーンを切り替える： 左のサムスティックを押し込むと前のシーン、右のサムスティックを押し込むと次のシーンに切り替わります。
・ヘルプを表示／非表示にする： 左コントローラーの「View」ボタン、または右コントローラーの「Menu」ボタンを押すと、コントローラー操作のヘルプの表示／非表示を切り替えられます。
※操作中に位置や向きが分からなくなった場合は、グリップボタンを離して「A」ボタンを押してください。表示位置と向きが中央にリセットされます。
■Cameraの録画データからGaussianシーンを作成する
Arcturus Vision Cameraで録画し、転送したMP4ファイルを、Arcturus Vision Gaussian XRで表示できる「scene.sog」ファイルに変換します。
この初期バージョンは、NVIDIA GPUを搭載したLinuxワークステーションでの使用を想定しています。開始する前に、以下の必要なソフトウェアをインストールしてください。
・uv
・COLMAP：PATH上で「colmap」として実行できる状態にしてください。
・LichtFeld Studio：PATH上で「LichtFeld-Studio」として実行できる状態にしてください。
1.スクリプトをダウンロードして展開する
1. AV Cam to 3DGSのスクリプトをダウンロードします。
2. ダウンロードしたファイルを展開し、「avcam_to_3dgs.py」があるフォルダでターミナルを開きます。
3. 以下のコマンドを実行し、スクリプトを実行可能にします：
chmod +x avcam_to_3dgs.py
2.変換を実行する
同期したCameraのMP4ファイルと、新しい出力先フォルダを指定して、以下を実行します：
.avcam_to_3dgs.py recording.mp4 output-directory
LichtFeld Studioが起動し、トレーニングの進行状況を確認できます。
画面を表示せずに実行する場合は、コマンドに「–headless」を追加します：
./avcam_to_3dgs.py recording.mp4 output-directory –headless
スクリプトは、同期されたステレオ画像を抽出してトーンマッピングを行い、録画データに含まれるキャリブレーション情報と軌跡データを使用して、位置合わせされたCOLMAPシーンを構築します。
その後、半解像度でトレーニングを実行し、Gaussian数を150万に制限して、処理結果を「output-directory/scene.sog」に出力します。
処理が途中で停止した場合
・同じコマンドに「–resume」を追加して、再度実行してください。
・初回の実行時は、新しい空の出力先フォルダを使用してください。
※最高のディテールで処理する場合は、「–training-image-scale 1」を追加してください。ただし、トレーニング時間が長くなり、GPUメモリの使用量も増加します。
※対応している環境では、ハードウェアによる動画デコードとGPU版COLMAPが自動的に使用されます。対応していない場合は警告が表示され、CPU処理に切り替わります。
■完成した3DGSシーンをSteam Frameに転送する
完成した3D Gaussian SplattingシーンをSteam Frameにコピーし、Arcturus Vision Gaussian XRで表示します。
1. 完成したシーンを、拡張子「.sog」のバンドル形式SOG v2ファイルとしてエクスポートします。
2. Arcturus Vision Gaussian XRが起動している場合は、終了します。
3. Steam FrameをUSBでMac／PCに接続し、開発者モードが有効になっていることを確認します。
4. adbを使用できる環境でターミナルまたはPowerShellを開き、お使いのコンピューターに応じたコマンドを実行します。
※コマンド例に記載されている転送元のパスは、Mac／PC上にある完成したSOGファイルの保存場所に置き換えてください。
macOSのターミナル
adb push “/path/to/your-scene.sog”\
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”
Windows PowerShelll
adb push “C:\path\to\your-scene.sog”`
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”
5. adbにファイル転送が正常に完了したことが表示されるまで待ちます。転送が完了したら、SteamライブラリからArcturus Vision Gaussian XRを起動します。
Arcturus Vision Gaussian XRは、起動時に「Scenes」フォルダ内の対応するシーンを自動的に検出します。