Arcturus Vision Gaussian XR 應用程式

「Arcturus Vision Gaussian XR」應用程式的使用方法

以下介紹應用程式的安裝方法,以及如何在沉浸式的3D空間中體驗3D Gaussian Splatting場景。

■安裝應用程式

1. 啟動Steam Frame,並登入與啟用應用程式時所使用的Steam帳號。
2. 於Steam應用程式的搜尋欄中搜尋「Arcturus Vision Gaussian XR」,選擇「新增至收藏庫」。
3.開啟「收藏庫」,選取搜尋欄,並輸入「arc」。
4.選取「Arcturus Vision Gaussian XR」,然後選取「安裝」。

jp-pc-step1

ー開啟場景

從Arcturus Vision Gaussian XR的啟動畫面中,開啟第一個場景

jp-pc-step1

1. 使用其中一個控制器對準「Enter Scenes」。
2. 按下一次扳機鍵。
3. 等待第一個畫面出現。

※您也可以按下任一側的類比搖桿,以關閉啟動畫面。

ー在Arcturus Vision Gaussian XR中移動

jp-pc-step1

1.移動・旋轉

1. 使用其中一個控制器對準「Enter Scenes」。
2. 移動左側的搖桿,在場景中移動。
3.按下右側控制器的「X」鍵和「B」鍵,可以每次以固定角度旋轉。

2.調整大小、重設位置、切換場景、使用說明

・調整場景大小: 同時按住兩台控制器上的握把按鈕,並將雙手向外張開或向內靠攏,以調整場景的大小。
・重設顯示位置: 按下「A」按鈕,重設顯示位置。
・切換場景: 按下左側的搖桿可切換至上一個場景,按下右側的搖桿則可切換至下一個場景。
・顯示/隱藏說明: 按下左控制器上的「View」按鈕,或右控制器上的「Menu」按鈕,即可切換控制器操作說明的顯示/隱藏狀態。

※若在操作過程中無法辨識位置或方向,鬆開握把按鈕並按下「A」按鈕,即可將畫面重置回中央位置。

■從Camera的錄影檔建立Gaussian場景

將已使用Arcturus Vision Camera錄影並傳輸的MP4檔案,轉換為可在Arcturus Vision Gaussian XR中顯示的「scene.sog」檔案。

此初始版本是針對搭載NVIDIA GPU的Linux工作站所設計。開始之前,請先安裝以下所需軟體。

・uv
・COLMAP:請將其設定為可在PATH路徑上以「colmap」名稱執行的狀態。
・LichtFeld Studio:請將其設定為可在PATH路徑上以「LichtFeld-Studio」名稱執行的狀態。

1.下載並解壓縮script

1. 下載AV Cam to 3DGS的script。
2. 解壓縮下載的檔案,並在包含「avcam_to_3dgs.py」的資料夾中開啟終端機(Terminal)。
3. 執行以下指令,讓script具備執行權限:

chmod +x avcam_to_3dgs.py

2.執行轉換

指定已同步的Camera的MP4檔案以及新的輸出資料夾,並執行以下操作:

.avcam_to_3dgs.py recording.mp4 output-directory

啟動LichtFeld Studio,您可查看訓練的進度。若要不顯示畫面直接執行,則添加「–headless」參數:

./avcam_to_3dgs.py recording.mp4 output-directory –headless

此script會擷取同步的立體影像並進行色調映射,然後利用錄影檔中的校正資訊與軌跡資料,建立經過位置對齊的COLMAP場景。之後以半解析度進行訓練,並將Gaussian的數量限制為 150萬,最後將結果輸出至「output-directory/scene.sog」。

若處理過程中途停止:

・請在相同指令後加上「–resume」,並重新執行。
・首次執行時,請使用新的空白輸出資料夾。

※若要以最高細節進行處理,新增「–training-image-scale 1」。但是這會延長訓練時間,並增加GPU記憶體的使用量。

※若系統支援,會自動使用硬體影片解碼和GPU版本的COLMAP;若不支援,則會顯示警告訊息,並切換為CPU處理。

■將完成的3DGS場景傳輸至Steam Frame

將完成的3D Gaussian Splatting場景複製到Steam Frame中,並透過Arcturus Vision Gaussian XR顯示

1. 將完成的場景匯出為副檔名為「.sog」的 SOG v2 捆綁格式檔案。
2. 若Arcturus Vision Gaussian XR正在執行,請將其關閉。
3. 將Steam Frame透過USB連接至Mac/PC,並確認已啟用開發者模式。
4. 在可使用adb的環境中開啟終端機或PowerShell,並根據您使用的電腦執行相應的指令。

※請將範例中列出的來源路徑,替換為您Mac/PC上已完成的SOG檔案的儲存位置。

macOS終端機

adb push “/path/to/your-scene.sog”\
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”

Windows PowerShelll

adb push “C:\path\to\your-scene.sog”`
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”

5. 等待adb顯示檔案傳輸已正常完成,隨後從Steam收藏庫中啟動Arcturus Vision Gaussian XR。

Arcturus Vision Gaussian XR會在啟動時自動偵測「Scenes」資料夾內的對應場景。