「Arcturus Vision Gaussian XR」应用程序的使用方法
以下介绍应用程序的安装方法,以及如何在沉浸式的3D空间中体验3D Gaussian Splatting 场景。
■安装应用程序
1. 启动Steam Frame,并登录用于启用应用程序的 Steam 账号。
2. 在Steam应用程序的搜索栏中搜索「Arcturus Vision Gaussian XR」,选择「添加至库」。
3. 打开「库」,选择搜索栏,并输入「arc」。
4. 选择「Arcturus Vision Gaussian XR」,然后选择「安装」。

ー打开场景
从Arcturus Vision Gaussian XR的启动画面中,打开第一个场景。

1. 使用其中一个控制器对准「Enter Scenes」。
2. 按下一次扳机键。
3. 等待第一个画面出现。
※您也可以按下任一侧的类比摇杆,以关闭启动画面。
ー在Arcturus Vision Gaussian XR中移动

1.移动・旋转
1. 使用其中一个控制器对准「Enter Scenes」。
2. 移动左侧的摇杆,在场景中移动。
3. 按下右侧控制器的「X」键和「B」键,可以每次以固定角度旋转。
2.调整大小、重置位置、切换场景、使用说明
・调整场景大小:同时按住两台控制器上的握把按钮,并将双手向外张开或向内靠拢,以调整场景的大小。
・重置显示位置:按下「A」按钮,重置显示位置。
・切换场景:按下左侧的摇杆可切换至上一个场景,按下右侧的摇杆则可切换至下一个场景。
・显示/隐藏说明:按下左控制器上的「View」按钮,或右控制器上的「Menu」按钮,即可切换控制器操作说明的显示/隐藏状态。
※若在操作过程中无法辨识位置或方向,请松开握把按钮并按下「A」按钮,即可将画面重置回中央位置。
■从 Camera 的录影文件创建Gaussian场景
将已使用Arcturus Vision Camera录影并传输的MP4文件,转换为可在Arcturus Vision Gaussian XR中显示的「scene.sog」文件。
此初始版本是针对搭载 NVIDIA GPU 的 Linux 工作站所设计。开始之前,请先安装以下所需软件。
・uv
・COLMAP:请将其设置为可通过 PATH 以「colmap」名称执行。
・LichtFeld Studio:请将其设置为可通过 PATH 以「LichtFeld-Studio」名称执行。
1.下载并解压缩 script
1. 下载 AV Cam to 3DGS 的 script。
2. 解压缩下载的文件,并在包含「avcam_to_3dgs.py」的文件夹中打开终端机(Terminal)。
3. 执行以下命令,使script具备执行权限:
chmod +x avcam_to_3dgs.py
2.执行转换
指定已同步的 Camera 的MP4文件以及新的输出文件夹,并执行以下操作:
.avcam_to_3dgs.py recording.mp4 output-directory
启动 LichtFeld Studio,您可以查看训练进度。若要不显示画面直接运行,则添加「–headless」参数:
./avcam_to_3dgs.py recording.mp4 output-directory –headless
此script会提取同步的立体影像并进行色调映射,然后利用录影文件中的校准信息与轨迹数据,建立经过位置对齐的COLMAP场景。之后以半分辨率进行训练,并将Gaussian的数量限制为150万,最后将结果输出至「output-directory/scene.sog」。
若处理过程中途停止:
・请在相同指令后加上「–resume」,并重新执行。
・首次执行时,请使用新的空白输出文件夹。
※若要以最高细节进行处理,请添加「–training-image-scale 1」。但是,这会延长训练时间,并增加GPU内存的使用量。
※若系统支持,会自动使用硬件视频解码和GPU版本的COLMAP;若不支持,则会显示警告消息,并切换为CPU处理。
■传输完成的3DGS场景到Steam Frame
把完成的3D Gaussian Splatting场景复制到Steam Frame中,并通过Arcturus Vision Gaussian XR显示
1. 将完成的场景导出为扩展名为「.sog」的SOG v2捆绑格式文件。
2. 若Arcturus Vision Gaussian XR正在运行,请将其关闭。
3. 将Steam Frame通过USB连接至Mac/PC,并确认已启用开发者模式。
4. 在可使用adb的环境中打开终端机或PowerShell,并根据您使用的电脑执行相应的命令。
※请将示例中列出的源路径替换为您Mac/PC上已完成的SOG文件的存储位置。
macOS终端机
adb push “/path/to/your-scene.sog”\
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”
Windows PowerShelll
adb push “C:\path\to\your-scene.sog”`
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”
5. 等待adb显示文件传输已正常完成,随后从Steam库中启动Arcturus Vision Gaussian XR。
Arcturus Vision Gaussian XR会在启动时自动检测「Scenes」文件夹内的对应场景。