Arcturus Vision Gaussian XR 应用程序

「Arcturus Vision Gaussian XR」应用程序的使用方法

以下介绍应用程序的安装方法,以及如何在沉浸式的3D空间中体验3D Gaussian Splatting 场景。

■安装应用程序

1. 启动Steam Frame,并登录用于启用应用程序的 Steam 账号。
2. 在Steam应用程序的搜索栏中搜索「Arcturus Vision Gaussian XR」,选择「添加至库」。
3. 打开「库」,选择搜索栏,并输入「arc」。
4. 选择「Arcturus Vision Gaussian XR」,然后选择「安装」。

jp-pc-step1

ー打开场景

从Arcturus Vision Gaussian XR的启动画面中,打开第一个场景。

jp-pc-step1

1. 使用其中一个控制器对准「Enter Scenes」。
2. 按下一次扳机键。
3. 等待第一个画面出现。

※您也可以按下任一侧的类比摇杆,以关闭启动画面。

ー在Arcturus Vision Gaussian XR中移动

jp-pc-step1

1.移动・旋转

1. 使用其中一个控制器对准「Enter Scenes」。
2. 移动左侧的摇杆,在场景中移动。
3. 按下右侧控制器的「X」键和「B」键,可以每次以固定角度旋转。

2.调整大小、重置位置、切换场景、使用说明

・调整场景大小:同时按住两台控制器上的握把按钮,并将双手向外张开或向内靠拢,以调整场景的大小。
・重置显示位置:按下「A」按钮,重置显示位置。
・切换场景:按下左侧的摇杆可切换至上一个场景,按下右侧的摇杆则可切换至下一个场景。
・显示/隐藏说明:按下左控制器上的「View」按钮,或右控制器上的「Menu」按钮,即可切换控制器操作说明的显示/隐藏状态。

※若在操作过程中无法辨识位置或方向,请松开握把按钮并按下「A」按钮,即可将画面重置回中央位置。

■从 Camera 的录影文件创建Gaussian场景

将已使用Arcturus Vision Camera录影并传输的MP4文件,转换为可在Arcturus Vision Gaussian XR中显示的「scene.sog」文件。

此初始版本是针对搭载 NVIDIA GPU 的 Linux 工作站所设计。开始之前,请先安装以下所需软件。

・uv
・COLMAP:请将其设置为可通过 PATH 以「colmap」名称执行。
・LichtFeld Studio:请将其设置为可通过 PATH 以「LichtFeld-Studio」名称执行。

1.下载并解压缩 script

1. 下载 AV Cam to 3DGS 的 script。
2. 解压缩下载的文件,并在包含「avcam_to_3dgs.py」的文件夹中打开终端机(Terminal)。
3. 执行以下命令,使script具备执行权限:

chmod +x avcam_to_3dgs.py

2.执行转换

指定已同步的 Camera 的MP4文件以及新的输出文件夹,并执行以下操作:

.avcam_to_3dgs.py recording.mp4 output-directory

启动 LichtFeld Studio,您可以查看训练进度。若要不显示画面直接运行,则添加「–headless」参数:

./avcam_to_3dgs.py recording.mp4 output-directory –headless

此script会提取同步的立体影像并进行色调映射,然后利用录影文件中的校准信息与轨迹数据,建立经过位置对齐的COLMAP场景。之后以半分辨率进行训练,并将Gaussian的数量限制为150万,最后将结果输出至「output-directory/scene.sog」。

若处理过程中途停止:

・请在相同指令后加上「–resume」,并重新执行。
・首次执行时,请使用新的空白输出文件夹。

※若要以最高细节进行处理,请添加「–training-image-scale 1」。但是,这会延长训练时间,并增加GPU内存的使用量。

※若系统支持,会自动使用硬件视频解码和GPU版本的COLMAP;若不支持,则会显示警告消息,并切换为CPU处理。

■传输完成的3DGS场景到Steam Frame

把完成的3D Gaussian Splatting场景复制到Steam Frame中,并通过Arcturus Vision Gaussian XR显示

1. 将完成的场景导出为扩展名为「.sog」的SOG v2捆绑格式文件。
2. 若Arcturus Vision Gaussian XR正在运行,请将其关闭。
3. 将Steam Frame通过USB连接至Mac/PC,并确认已启用开发者模式。
4. 在可使用adb的环境中打开终端机或PowerShell,并根据您使用的电脑执行相应的命令。

※请将示例中列出的源路径替换为您Mac/PC上已完成的SOG文件的存储位置。

macOS终端机

adb push “/path/to/your-scene.sog”\
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”

Windows PowerShelll

adb push “C:\path\to\your-scene.sog”`
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”

5. 等待adb显示文件传输已正常完成,随后从Steam库中启动Arcturus Vision Gaussian XR。

Arcturus Vision Gaussian XR会在启动时自动检测「Scenes」文件夹内的对应场景。