스마트폰으로 영상을 찍다가 문득 이런 생각이 든 적 있으십니까. "이 영상을 그대로 3D로 만들 수 있으면 얼마나 좋을까." 저도 직접 영상을 찍고 편집하면서 그 벽을 느꼈는데, 가우시안 스플래팅이라는 기술이 그 생각을 현실로 당겨오고 있습니다. 아이폰으로 찍은 영상 하나만으로도 사진 수준의 3D 공간을 만들어낼 수 있다는 게 처음엔 믿기지 않았습니다.
스마트폰 촬영만으로 3D가 된다는 것
저는 평소에 영상을 꽤 자주 찍는 편입니다. 처음에는 DSLR이 없으면 제대로 된 영상을 못 만든다고 생각했는데, 어느 순간부터 스마트폰 카메라만으로도 충분한 결과물이 나오기 시작했습니다. 뉴진스가 직접 스마트폰으로 뮤직비디오를 촬영한 장면을 봤을 때, 솔직히 이건 예상 밖이었습니다. 조명이나 앵글이 아니라 기기 자체의 성능이 그 수준까지 올라왔다는 걸 실감했거든요.
가우시안 스플래팅(Gaussian Splatting)은 바로 그 스마트폰 영상을 재료로 삼습니다. 여기서 가우시안 스플래팅이란, 수천 개의 작은 타원형 점, 즉 '스플랫(Splat)'을 3차원 공간에 배치하고 겹쳐서 실제 장면처럼 보이게 만드는 3D 장면 복원 기술입니다. 기존의 폴리곤 모델링처럼 면과 꼭짓점으로 형태를 직접 만드는 방식이 아니라, 사진에서 추출한 데이터를 기반으로 가우시안 분포를 활용해 장면을 통계적으로 표현하는 방식입니다.
작동 순서는 생각보다 단순합니다.
- 대상 주변을 빠짐없이 카메라로 촬영한다
- 포스트샷(Postshot) 같은 프로그램에 영상 파일을 드래그 앤 드롭하여 모델을 훈련시킨다
- 결과물을 언리얼 엔진(Unreal Engine)에 가져와 실시간 렌더링으로 확인한다
실시간 렌더링(Real-time Rendering)이란, 장면을 미리 계산해두지 않고 보는 시점이 바뀔 때마다 즉각 화면을 그려내는 방식을 의미합니다. 기존 3D 복원 기술인 NeRF(Neural Radiance Field)는 GPU 요구량이 높고 훈련 시간도 길어서 빠른 피드백을 얻기 어려웠는데, 가우시안 스플래팅은 그 문턱을 상당히 낮췄습니다. 제가 직접 써봤는데, 결과를 확인하는 속도가 확실히 빨라서 시행착오를 반복하기에 훨씬 편했습니다.
이미 현실에 들어와 있는 기술들
가우시안 스플래팅이 실험실 기술이 아니라는 걸 느끼게 된 건, 구글 맵의 이멀시브 뷰(Immersive View) 기능을 처음 봤을 때였습니다. 커피숍 내부를 3D로 미리 둘러볼 수 있는 그 기능이 바로 가우시안 스플래팅 기반입니다. 평면 사진이나 360도 파노라마와는 질감 자체가 달랐습니다.
영화 슈퍼맨에서는 이 기술의 독특한 특성을 오히려 적극적으로 활용했습니다. 가우시안 스플래팅은 촬영되지 않은 각도에서 보면 살짝 뭉개지는 듯한 느낌이 생기는데, 제작진은 그걸 홀로그램 같은 신비로운 시각 효과로 연출했습니다. 단점을 장점으로 뒤집은 사례라 개인적으로는 인상적이었습니다.
XR(Extended Reality) 분야에서도 존재감이 커지고 있습니다. XR이란 증강 현실(AR), 가상 현실(VR), 혼합 현실(MR)을 통칭하는 개념으로, 현실과 디지털 환경을 혼합하여 새로운 경험을 만드는 기술 전반을 가리킵니다. 애플 비전 프로(Apple Vision Pro)나 갤럭시 XR 같은 기기에서 실제 사람을 실시간으로 사실적으로 렌더링하는 데 가우시안 스플래팅이 쓰이고 있습니다. 현실과 가상의 경계를 자연스럽게 이어붙이려면 이질감이 없어야 하는데, 그 핵심이 결국 얼마나 실물에 가깝게 렌더링하느냐에 달려 있기 때문입니다.
테슬라는 자율주행 AI 훈련에 베이지안 가우시안즈(Bayesian Gaussians)를 활용하고 있습니다. 베이지안 가우시안즈란, 불확실성까지 함께 수치화하여 모델이 데이터가 없는 상황에서도 현실적인 추론을 할 수 있도록 돕는 확률 기반 표현 방식입니다. 실제 도로에서는 수집하기 어려운 희귀한 장면을 시뮬레이션으로 만들어 AI에게 학습시킬 수 있다는 점에서, 자율주행 기술의 안전성 향상에 직접 기여하고 있습니다. 국내 자율주행 분야의 성장 속도를 고려하면, 이 기술이 국내 모빌리티 산업에도 확산될 가능성은 충분해 보입니다(출처: 한국자동차연구원).
CG 스튜디오에서는 풀밭이나 숲 같은 자연 배경을 기존 방식으로 모델링하는 대신 가우시안 스플래팅으로 처리하여 제작 시간을 줄이고 있습니다. 게임 산업에서도 제작 파이프라인 효율화 도구로 먼저 자리를 잡고, 이후에는 주 렌더링 방식 자체가 바뀔 거라는 전망도 나옵니다.
지금 배워두는 것이 유리한 이유
저 경험상 이건 좀 다릅니다. 새로운 기술이 나올 때마다 "나중에 배워야지" 했다가 시기를 놓친 경험이 있어서, 이번엔 조금 더 일찍 움직여보려 합니다. 가우시안 스플래팅은 진입 장벽이 생각보다 낮습니다. 포스트샷은 영상 파일을 드래그 앤 드롭하는 것만으로 시작할 수 있고, GPU 요구량도 NeRF에 비해 적어서 일반적인 개발 환경에서도 충분히 돌아갑니다.
4D 가우시안 스플래팅 기술은 시간 축까지 더해 움직이는 3D 장면을 웹 브라우저에서 실시간으로 보여줄 수 있습니다. 4D 가우시안 스플래팅이란, 기존의 정적인 3D 장면 복원에 시간 개념을 추가해 움직임과 변화까지 재현하는 기술입니다. 이게 온라인 쇼핑몰에 적용되면 운동화나 의류를 입체적으로 착용해보는 경험이 가능해지는데, 제가 직접 관련 데모를 봤을 때는 기대보다 훨씬 자연스러운 움직임에 놀랐습니다. 이런 방향으로 기술이 가고 있다는 것을 생각하면, 지금이 배우기에 적절한 시점임을 느낍니다.
글로벌 AR·VR 시장 규모는 2030년까지 약 1조 달러 이상으로 성장할 것으로 전망되며, 이 시장을 구성하는 핵심 렌더링 기술로 가우시안 스플래팅이 자리잡을 가능성이 높습니다(출처: Statista).
가우시안 스플래팅은 지금도 촬영되지 않은 각도에서 품질이 떨어지는 한계가 있습니다. 그러나 그 간극은 지속적으로 좁혀지고 있습니다. 스마트폰 카메라로 뮤직비디오를 찍고, 드론으로 도시를 3D로 복원하는 시대가 이미 열렸습니다. 다음 단계는 그 장면들을 실시간으로 걸어 다닐 수 있는 공간으로 만드는 것입니다. 지금 이 기술에 관심을 갖고 조금씩 익혀두는 것만으로도, 앞으로 열릴 변화에 한 발 앞서 있을 수 있습니다.