Question01

안녕하세요, 감독님.
웹진 이데아 구독자분들께 소개 부탁드립니다.

반갑습니다. 영화감독이자 XR 작가로 활동 중인 정지현입니다.
영화와 XR분야에서 활동한 지 벌써 4년째 접어들었습니다. 그 전에는 15년간 광고와 프로모션 영상을 제작하는 프로덕션을 운영해왔습니다.
올해 개막한 부천판타스틱영화제 단편경쟁부문에서 영화 ‘바르도’ 작품이 ‘왓챠가 주목한 단편상’을 수상했으며, XR 작품은 내년 후반 공연을 목표로 뮤지컬 이머시브시어터 작품을 기획 중에 있습니다.

▲ 단편영화 ‘바르도’ 촬영 현장

Question02

감독님께서 XR 등 신기술을 활용해 영화를 제작하셨다고 하셨는데요,
대표 작품을 소개 부탁드립니다.

네, 대표작인 XR 영화 ‘허수아비’를 소개하고 싶습니다.
작품 허수아비는 ‘불새로부터 저주받은 허수아비가 유저(관객)를 만나 자신을 구해 준 유저와 잠시나마 저주에서 풀려 즐겁게 놀게 되는데 다시 불새의 공격을 받게 되지만 이번에는 유저에 대한 고마움과 즐거운 만남으로 인해 따뜻한 작별인사를 하며 사라진다.’ 라는 내용의 작품으로 2019년 한국예술종합학교 영화과 재학 중 산학협력 수업 내 프로젝트의 일환으로 시작된 이머시브 시어터 작품*입니다. 그 후 2020년 선댄스 영화제에 초청되며 연이어 여러 버전의 작품으로 발전되었습니다.

2019년 프로젝트를 시작할 당시 세 가지 형태로 작품을 발전시켜 나갈 계획이 있었는데 그 첫 번째 버전이 선댄스 영화제에 초대되었던 로케이션 기반의 형태이며 두 번째 버전은 장소의 한계를 벗어 난 네트워크 기반의 형태, 마지막으로 세 번째 버전은 AI기술을 활용하여 작품에 적용시키는 것이었습니다.
로케이션 기반의 형태는 배우와 유저가 서로 물리적으로 닿을 수 있는 같은 장소에서 진행되는 방식으로 제작되었으며, 네트워크 기반의 형태는 배우와 관객이 같은 공간에 함께 없더라도 각자의 공간에서 인터넷이 연결된 해드셋을 쓰고 가상의 공간에서 만나 공연을 진행하는 것이 특징입니다. 마지막으로 AI기술 기반의 형태는 실제 사람 배우의 말투나 행동 습관 등을 학습하여 상황마다 다르게 대응할 수 있는 인공지능 캐릭터가 작품 속에 등장하는 식으로 만들어지는 것을 계획하였습니다.

2020년 2월 당시 미국 공연을 마친 저희 팀은 전 세계에 Covid-19가 퍼지며 장소기반 형태의 작품을 더 이상 공연하기가 힘들어졌고 이 상황은 저희 작품의 두 번째 계획이었던 네트워크 기반 버전의 작품을 더 빨리 개발하게 만드는 계기가 되었습니다.
VR 이머시브 씨어터 작품에서 연출은 배우의 연기 부분 외에도 월드라고 불리우는 가상공간의 세계를 안정적으로 만들어 내는 부분까지 작품의 결에 맞는 방식으로 제작해내야 했습니다.
웹을 통해 플랫폼에 접속하는 방식으로 제작했었는데, 고용량의 데이터를 전송하고 받는 과정이 힘들기에 (혹은 사용자마다의 인터넷 성능이 달라) 기존 작품의 데이터를 크게 줄여야 했습니다. 이때 3D 오브젝트의 폴리곤을 줄이거나 맵핑 이미지 용량을 줄이는 등의 기술적 방식이 적용되었고 인터렉션 기능 또한 데이터 전송량이 적은 방식으로 코딩해야했습니다. 이 과정에서 데이터의 숫자만 보며 줄이는 것이 아닌 데이터의 용량을 줄이면서도 작품을 잘 표현할 수 있는 적합한 방법을 찾아내야 하는 것이 중요했습니다. 연출자는 이런 기술적 미션을 장애물로 느끼지 않고 새로운 표현기법을 개발해 나가는 과정으로 받아들이는 것 또한 중요합니다.
이와 같은 과정으로 제작 된 두 번째 버전인 ‘허수아비 VRC’는 같은 해 11월 영국 레인댄스영화제에 초청되며 "Spirit of Raindance" 상을 수상하였고 이후 각종 국제무대에 초청되었습니다.

* 이머시브 씨어터 란 배우와 관객이 서로를 더욱 가까이 하며 실감나는 몰입을 지향하려고 하는 연극을 말합니다.

▲ XR 작품 ‘허수아비’ 리허설 현장

Question03

작품 하시는데 많이 고생하셨을 거 같은데요,
제작과정을 조금 더 상세히 설명해주실 수 있을까요?

허수아비 작품의 첫 번째 버전에서는 모션캡쳐수트를 착용 한 배우와 위치센서, 온도의 차갑고 뜨거움을 느끼게 해 주는 써멀패드가 부착된 장갑을 낀 유저가 서로 인터렉션 하는 기술을 중심으로 전개됩니다. 작품을 체험하기 전 미리 볼류메트릭기술*을 통해 캡쳐 된 유저의 얼굴이 극의 마지막 즈음에 하늘로 떠오르게 하는 방식 또한 작품의 독창적인 기술적용 사례입니다.
레퍼런스로 삼을 만한 작품이 존재하지 않았던 만큼 프리 프로덕션 단계에서 많은 시행착오가 있었는데요, 모션캡쳐수트의 위치 센서 오류를 잡는 것은 선댄스 공연 전까지도 해결해야 하는 저희의 가장 큰 난제였습니다.

허수아비 작품의 두 번째 버전은 기존에 존재하는 VR플랫폼 ‘VRChat’에서 공연을 진행했습니다.
모든 작업소스를 VRChat에 트랜스 업로딩해야 했는데 이 역시 기존에 VR 플랫폼에서 실시간 극 형태의 작품을 공연한 예시가 없어 개발단계에서 어려움을 겪었습니다. 자주 업데이트되는 플랫폼의 특성상 업데이트 때마다 작품의 빌드와 업로드를 다시 해야 했습니다. 그리고 실제 공연에 참여하는 유저들이 대부분 외국에서 접속하는 상황이어서 시차 문제가 있었고 네트워크 연결 상태가 각기 달라 네트워크 에러에 대한 대처가 우리 팀이 극복해 나가야 할 어려운 점이었습니다.

이렇게 셀 수 없이 많은 어려움에도 불구하고 작품을 마무리 할 수 있었던 힘은 첫 번째 버전의 작품이 얻은 영화제 수상의 기쁜 성과들 때문이기도 했으나 연극을 접하기 힘든 오지에 사는 학생들이 가상세계를 통해 처음으로 연극이라는 것을 접하며 배우를 만나보는 경험을 하게 되고 그로 인해 우리 팀에게 감사의 메시지를 전해 왔던 일 등의 관객들이 보내온 응원 가득한 메시지 때문이었습니다.
더불어 이 작품을 통해 네트워크 기반 작품의 가능성을 보았고 지속가능한 작업분야라는 확신을 얻게 해 주어 개인적으로도 작품의 발전방향을 정해 나갈 수 있게 만들어 준 흐뭇한 프로젝트였습니다.

※ 볼류메트릭기술: Lidar 센서(피사체와 카메라간의 거리 측정)가 장착 된 카메라로 사람이나 오브제를 입체로 캡쳐하는 기술.

▲ 버전1. 배우 얼굴 실시간 캡쳐하는 리허설 장면

Question04

감독님의 앞으로의 추진계획이 궁금합니다!

내년 후반 마무리를 목표로 하는 이머시브 뮤지컬 씨어터 작품은 <버전1> 허수아비의 얼굴 표정과 몸동작을 각기 다른 배우가 연기하여 한 캐릭터를 완성해냈던 경험에서 기술적 영감을 받았는데요,
다수의 아티스트가 동시에 실시간으로 한 캐릭터를 연기하고 노래하는 재미있는 시도를 녹여 낸 XR 이머시브 뮤지컬 씨어터를 만들 계획입니다.
영화로는 올해 완성된 단편영화 ‘바르도’의 장편 영화를 제안받아 올 하반기에 시나리오 집필에 집중 한 뒤 내년에 장편 제작준비에 들어가려고 합니다.
장기적인 계획으로는 기존에 주류를 이루는 전통적 방식의 영화작업과 6축 기반의 가상공간에서 이루어지는 연극작품 사이의 공통점과 차이점을 활용하는 작업을 하고 싶습니다. 그래서 현재는 그것에 필요한 툴을 개발하는 일에 참여하고 있는데요, 우선 배우와 오브제를 입체로 캡쳐 해야 하는 단계가 필요하다고 보았기에 캡쳐 장비개발을 기획하고 있습니다. 기존 볼류메트릭 카메라는 실사로 보이도록 캡쳐하기에 너무 저 해상도이고 고사양의 캡쳐 장비일 경우에는 고가의 실내 스튜디오 내에서만 이루어져야하 하는 상황입니다. 저희는 이를 개선하기 위해 어느 장소에서도 설치가 용이하고 합리적인 비용으로 캡쳐 작업이 가능한 카메라를 개발하는 중입니다.
추후 제품이 완성된 후에는 그 툴을 이용하여 6축에서 보는 실사 바탕의 영화를 제작 해보고자 합니다.

▲ 바르도 제작진