모젼스랩 기술을 적용한 ‘판타스틱’의 한 장면. 배우의 움직임에 따라 배경이 변한다. [사진 모젼스랩]12일 오후 8시 서울 중구 정동 경향아트힐에서 열린 퓨전 국악 공연 ‘판타스틱’. 꽹과리, 북, 징 같은 국악 타악기를 신나게 연주하던 무대의 배우가 관객들에게 말을 걸었다. “자, 다 같이 징 소리를 내볼까요?” 그러자 관객들이 한 손에 든 스마트폰에서 공연 시작 때 내려받은 전용 앱을 작동시켰다. 박자에 맞춰 버튼을 누르자 스마트폰마다 징 소리가 울려나왔다. 무대와 객석에서 거대한 타악기 합주가 시작됐다.
이는 기술벤처기업 모젼스랩이 국내 최초로 개발한 증강현실 상호작용 기술을 실제 공연에 적용한 것이다. 여기에는 영상 콘텐트 제작 기술과 모바일 상호작용 기술이 결합됐다. 영상처리 기술을 이용해 고속 카메라로 배우의 움직임을 실시간 추적해 이에 맞는 영상이나 음향을 만들어 공연 도중에 적용할 수 있다. 또한 관객이 가진 스마트폰 같은 모바일 기기로 실시간으로 공연에 참여하고, 촉각과 운동감을 느끼는 햅틱 기술을 활용해 배우의 움직임을 함께할 수도 있다. 입장 전 관객이 터치스크린 앞에서 찍은 사진을 공연 중 무대 배경으로 사용하는 것은 가장 간단한 예다.
공연장에서 배우와 관객이 실시간으로 반응을 주고받을 수 있게 한 것이다. 이를 통해 관객 반응을 기록하고, 누적 기록을 분석해 관객이 공연의 어떤 부분에서 반응하는지도 알아볼 수 있다.
이 기술은 문화부와 한국콘텐츠진흥원의 ‘콘텐트 테크놀로지 개발 지원사업’을 통해 기획·제작됐다. 경희대 경영대 김재경 교수가 과제를 이끌고 있으며, 모젼스랩 외에 국민대, 한독미디어대, 티원시스템즈가 참여했다. 모젼스랩은 12일부터 판타스틱 공연에 이 기술을 적용해 관객들에게 선보인다.
심서현 기자
