「Arcturus Vision Gaussian XR」應用程式的使用方法
以下介紹應用程式的安裝方法,以及如何在沉浸式的3D空間中體驗3D Gaussian Splatting場景。
■安裝應用程式
1. 啟動Steam Frame,並登入與啟用應用程式時所使用的Steam帳號。
2. 於Steam應用程式的搜尋欄中搜尋「Arcturus Vision Gaussian XR」,選擇「新增至收藏庫」。
3.開啟「收藏庫」,選取搜尋欄,並輸入「arc」。
4.選取「Arcturus Vision Gaussian XR」,然後選取「安裝」。

ー開啟場景
從Arcturus Vision Gaussian XR的啟動畫面中,開啟第一個場景

1. 使用其中一個控制器對準「Enter Scenes」。
2. 按下一次扳機鍵。
3. 等待第一個畫面出現。
※您也可以按下任一側的類比搖桿,以關閉啟動畫面。
ー在Arcturus Vision Gaussian XR中移動

1.移動・旋轉
1. 使用其中一個控制器對準「Enter Scenes」。
2. 移動左側的搖桿,在場景中移動。
3.按下右側控制器的「X」鍵和「B」鍵,可以每次以固定角度旋轉。
2.調整大小、重設位置、切換場景、使用說明
・調整場景大小: 同時按住兩台控制器上的握把按鈕,並將雙手向外張開或向內靠攏,以調整場景的大小。
・重設顯示位置: 按下「A」按鈕,重設顯示位置。
・切換場景: 按下左側的搖桿可切換至上一個場景,按下右側的搖桿則可切換至下一個場景。
・顯示/隱藏說明: 按下左控制器上的「View」按鈕,或右控制器上的「Menu」按鈕,即可切換控制器操作說明的顯示/隱藏狀態。
※若在操作過程中無法辨識位置或方向,鬆開握把按鈕並按下「A」按鈕,即可將畫面重置回中央位置。
■從Camera的錄影檔建立Gaussian場景
將已使用Arcturus Vision Camera錄影並傳輸的MP4檔案,轉換為可在Arcturus Vision Gaussian XR中顯示的「scene.sog」檔案。
此初始版本是針對搭載NVIDIA GPU的Linux工作站所設計。開始之前,請先安裝以下所需軟體。
・uv
・COLMAP:請將其設定為可在PATH路徑上以「colmap」名稱執行的狀態。
・LichtFeld Studio:請將其設定為可在PATH路徑上以「LichtFeld-Studio」名稱執行的狀態。
1.下載並解壓縮script
1. 下載AV Cam to 3DGS的script。
2. 解壓縮下載的檔案,並在包含「avcam_to_3dgs.py」的資料夾中開啟終端機(Terminal)。
3. 執行以下指令,讓script具備執行權限:
chmod +x avcam_to_3dgs.py
2.執行轉換
指定已同步的Camera的MP4檔案以及新的輸出資料夾,並執行以下操作:
.avcam_to_3dgs.py recording.mp4 output-directory
啟動LichtFeld Studio,您可查看訓練的進度。若要不顯示畫面直接執行,則添加「–headless」參數:
./avcam_to_3dgs.py recording.mp4 output-directory –headless
此script會擷取同步的立體影像並進行色調映射,然後利用錄影檔中的校正資訊與軌跡資料,建立經過位置對齊的COLMAP場景。之後以半解析度進行訓練,並將Gaussian的數量限制為 150萬,最後將結果輸出至「output-directory/scene.sog」。
若處理過程中途停止:
・請在相同指令後加上「–resume」,並重新執行。
・首次執行時,請使用新的空白輸出資料夾。
※若要以最高細節進行處理,新增「–training-image-scale 1」。但是這會延長訓練時間,並增加GPU記憶體的使用量。
※若系統支援,會自動使用硬體影片解碼和GPU版本的COLMAP;若不支援,則會顯示警告訊息,並切換為CPU處理。
■將完成的3DGS場景傳輸至Steam Frame
將完成的3D Gaussian Splatting場景複製到Steam Frame中,並透過Arcturus Vision Gaussian XR顯示
1. 將完成的場景匯出為副檔名為「.sog」的 SOG v2 捆綁格式檔案。
2. 若Arcturus Vision Gaussian XR正在執行,請將其關閉。
3. 將Steam Frame透過USB連接至Mac/PC,並確認已啟用開發者模式。
4. 在可使用adb的環境中開啟終端機或PowerShell,並根據您使用的電腦執行相應的指令。
※請將範例中列出的來源路徑,替換為您Mac/PC上已完成的SOG檔案的儲存位置。
macOS終端機
adb push “/path/to/your-scene.sog”\
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”
Windows PowerShelll
adb push “C:\path\to\your-scene.sog”`
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”
5. 等待adb顯示檔案傳輸已正常完成,隨後從Steam收藏庫中啟動Arcturus Vision Gaussian XR。
Arcturus Vision Gaussian XR會在啟動時自動偵測「Scenes」資料夾內的對應場景。