Arcturus Vision Gaussian XR 시작하기
앱을 설치하고 몰입감 있는 3D 환경에서 3D Gaussian Splatting 장면을 감상하는 방법을 알아보세요.
■ 앱 설치하기
1. Steam Frame의 전원을 켜고 Steam 앱에서 Steam 계정으로 로그인합니다.
2. Steam 앱에서 ‘Arcturus Vision Gaussian XR’을 검색한 후 ‘라이브러리에 추가’를 선택합니다.
3. ‘라이브러리’를 열고 검색창에 ‘arc’를 입력합니다.
4. ‘Arcturus Vision Gaussian XR’을 선택한 후 ‘설치’를 선택합니다.
ー장면 열기
Arcturus Vision Gaussian XR 홈 화면에서 첫 번째 장면을 엽니다.
1. 왼쪽 또는 오른쪽 컨트롤러로 ‘Enter Scenes’를 가리킵니다.
2. 컨트롤러의 트리거를 한 번 누릅니다.
3. 첫 번째 장면이 나타날 때까지 기다립니다.
※ 왼쪽 또는 오른쪽 컨트롤러의 스틱을 눌러 홈 화면을 닫고 장면을 열 수도 있습니다.
ーArcturus Vision Gaussian XR 탐색하기
1. 이동 및 회전하기
1. 왼쪽 또는 오른쪽 컨트롤러로 ‘Enter Scenes’를 가리킵니다.
2. 오른쪽 컨트롤러의 스틱을 왼쪽이나 오른쪽으로 움직여 시점을 회전합니다.
3. ‘X’ 또는 ‘B’ 버튼을 눌러 정해진 각도만큼 시점을 회전합니다.
2. 장면 크기 조절, 위치 초기화, 장면 전환 및 도움말 보기
・장면 크기 조절: 양쪽 컨트롤러의 그립 버튼을 누른 상태에서 양손을 서로 멀리 벌리거나 가까이 모아 장면의 크기를 조절합니다.
・시점 초기화: ‘A’ 버튼을 눌러 시점을 초기화합니다.
・장면 전환: 왼쪽 컨트롤러의 스틱을 눌러 이전 장면으로 이동하거나 오른쪽 컨트롤러의 스틱을 눌러 다음 장면으로 이동합니다.
・도움말 표시/숨기기: 왼쪽 컨트롤러의 ‘View’ 버튼 또는 오른쪽 컨트롤러의 ‘Menu’ 버튼을 눌러 컨트롤러 도움말을 표시하거나 숨깁니다.
※ 탐색 중 현재 위치나 방향을 파악하기 어려운 경우 그립 버튼에서 손을 떼고 ‘A’ 버튼을 눌러 시점과 방향을 중앙 위치로 초기화하세요.
■카메라 녹화 영상으로 Gaussian장면 만들기
Arcturus Vision Camera로 녹화한 후 컴퓨터로 전송한 MP4 파일을 Arcturus Vision Gaussian XR에서 볼 수 있는 scene.sog 파일로 변환합니다.
현재 버전은 NVIDIA GPU가 탑재된 Linux 워크스테이션에서 사용하는 것을 전제로 합니다. 시작하기 전에 필요한 소프트웨어가 모두 설치되어 있는지 확인하세요.
・uv
・PATH에 colmap으로 등록된 COLMAP
・PATH에 LichtFeld-Studio로 등록된 LichtFeld Studio
1. 스크립트 다운로드 및 압축 해제
1. AV Cam to 3DGS 스크립트를 다운로드합니다.
2. 다운로드한 파일의 압축을 해제한 후, avcam_to_3dgs.py가 있는 폴더에서 터미널을 엽니다.
3. 다음 명령어를 실행하여 스크립트에 실행 권한을 부여합니다:
chmod +x avcam_to_3dgs.py
2. 변환 실행하기
동기화된 Camera MP4 파일과 새 출력 디렉터리를 지정한 후 다음 명령어를 실행합니다.
.avcam_to_3dgs.py recording.mp4 output-directory
LichtFeld Studio가 실행되며 학습 진행 상황을 확인할 수 있습니다.
인터페이스를 표시하지 않고 실행하려면 명령어에 –headless를 추가합니다.
./avcam_to_3dgs.py recording.mp4 output-directory –headless
스크립트는 동기화된 스테레오 이미지를 추출하고 톤 매핑한 다음, 녹화 파일에 포함된 캘리브레이션 및 궤적 데이터를 사용해 정렬된 COLMAP 장면을 생성합니다.
이후 절반 해상도로 학습을 진행하고 가우시안의 개수를 150만 개로 제한한 다음, 결과 파일을 output-directory/scene.sog에 저장합니다.
프로세스가 완료되기 전에 중단된 경우
・같은 명령어에 –resume을 추가하여 다시 실행합니다.
・처음 실행할 때는 비어 있는 새 출력 디렉터리를 사용하세요.
※ 최대한 높은 디테일을 원한다면 –training-image-scale 1을 추가하세요. 학습 시간이 늘어나고 GPU 메모리 사용량이 증가합니다.
※ 지원되는 경우 하드웨어 가속 동영상 디코딩과 GPU 가속 COLMAP이 자동으로 사용됩니다. 사용할 수 없는 경우 경고가 표시되며 CPU 처리로 전환됩니다.
■ 완성된 3DGS 장면을 Steam Frame으로 전송하기
완성된 3D 가우시안 스플래팅 장면을 Steam Frame으로 복사한 후 Arcturus Vision Gaussian XR에서 볼 수 있습니다.
1. 완성된 장면을 .sog 확장자의 번들 SOG v2 파일로 내보냅니다.
2. Arcturus Vision Gaussian XR이 실행 중이라면 앱을 종료합니다.
3. USB를 사용해 Steam Frame을 Mac 또는 PC에 연결하고 개발자 모드가 활성화되어 있는지 확인합니다.
4. adb를 사용할 수 있는 환경에서 터미널 또는 PowerShell을 열고 사용하는 컴퓨터에 맞는 명령어를 실행합니다.
※ 아래 명령어 예시에서 소스 경로는 Mac 또는 PC에 저장된 완성된 SOG 파일의 위치로 변경하세요.
macOS 터미널
adb push “/path/to/your-scene.sog”\
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”
Windows PowerShelll
adb push “C:\path\to\your-scene.sog”`
“/home/steamos/.local/share/Steam/steamapps/common/ArcturusVisionGaussianXR/Scenes/”
5. adb에서 파일 전송이 성공적으로 완료되었다는 메시지가 표시될 때까지 기다립니다. 전송이 완료되면 Steam 라이브러리에서 Arcturus Vision Gaussian XR을 실행합니다.
Arcturus Vision Gaussian XR은 앱이 실행될 때 Scenes 폴더에 있는 호환 가능한 장면을 자동으로 인식합니다.