KR20180052496A - 가상 공연 스튜디오 시스템 - Google Patents

Abstract

본 발명은 가상 공연 스튜디오 시스템에 관한 것으로서, 더욱 상세하게는 실시간 3D스캔 방식의 3D 액터를 이용한 하이브리드 트랙킹(트랙킹 센서 및 센서 없는 트랙킹)기술의 3D 가상스튜디오 기술과 평면 및 곡면 몰입 스크린 영상 발생 기술을 이용한 가상 공연 스튜디오 시스템에 관한 것이다.
본 발명에 의하면, 공연시 운영자가 없이도 혼자서도 자동으로 자신의 공연을 대형 스크린으로 보면서 몰입 공연을 할 수 있게 되고, 이 공연을 녹화, 방송 및 원격 배우와 동시 공연이 가능하게 한다.

Description

가상 공연 스튜디오 시스템{VIRTUAL PERFORMANCE-STUDIO SYSTEM}

본 발명은 가상 공연 스튜디오 시스템에 관한 것으로서, 더욱 상세하게는 실시간 3D스캔 방식의 3D 액터를 이용한 하이브리드 트랙킹(트랙킹 센서 및 센서 없는 트랙킹)기술의 3D 가상스튜디오 기술과 평면 및 곡면 몰입 스크린 영상 발생 기술을 이용한 가상 공연 스튜디오 시스템에 관한 것이다.

가상 공연을 위한 스튜디오 시스템은, 일반 공연에서 필요한 무대, 조명, 카메라들의 기능 특히 지미집과 같은 카메라 트랙의 움직임, 관중의 반응을 가상으로 제공하고 공연자가 자신이 실제 같이 보이는 공연장에서 하듯 느낌을 제공하여야 하는데 기존의 장치들은 그와 같은 기능을 제공하기에 크게 미흡한 문제점이 있었다.

KR 10-2011-0030227 A

본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 가상 공연은 일반 공연에서 필요한 무대, 조명, 카메라들의 기능 특히 지미집과 같은 카메라 트랙의 움직임, 관중의 반응을 가상으로 제공하고 공연자가 자신이 실제 같이 보이는 공연장에서 하듯 느낌을 제공하여야 한다. 본 발명은, 이러한 공연을 다시 편집 및 녹화를 거쳐 방송으로 이어지며 이러한 공연을 적은 스튜디오에서 구현 하는 기술을 제공하는데 그 목적이 있다.

이와 같은 목적을 달성하기 위하여 본 발명에 따른 가상 공연 스튜디오 시스템은, 배우 혼자서 자신의 모습이 자신 앞의 스크린 혹은 TV에 가상 공연 스튜디오 공연장처럼 보이며 노래나 춤을 연습하거나 연기 할 수 있는 자동 가상 공연 개인 스튜디오를 구현하기 위해 복수의 고정 및 트랙킹 카메라를 포함하고 이들을 사용하는 실시간 가상 스튜디오에서 합성된 영상을 스튜디오 앞의 단수 혹은 복수의 평면 TV나 프로젝터 등의 몰입형 평면 혹은 곡면 스크린에 보이게 하되 이를 실제 카메라들의 움직임을 가상스튜디오에서 같이 움직이는 Tracking 센서 방식과, 또 고정된 카메라의 경우에 가상 카메라로 움직이는 (Trackless)를 사용하여 배우 트랙킹 및 트랙리스 가상 카메라를 이용하여 마치 연기자가 실제 방송국의 뮤직 스튜디오에서 방송하는 것처럼 자신은 스크린으로 보고, 또 이를 인터넷으로 전세계 누구에게나 방송이 가능하게 한다.

본 발명에 의하면, 공연시 운영자가 없이도 혼자서도 자동으로 자신의 공연을 대형 스크린으로 보면서 몰입 공연을 할 수 있게 되고, 이 공연을 녹화, 방송 및 원격 배우와 동시 공연이 가능하게 하는 효과가 있다.

도 1 및 도 2는 가상 공연장의 구조를 도시한 도면.
도 3은 가상 3D 스튜디오의 구조를 도시한 도면.
도 4는 가상 공연장의 실제 카메라 비디오 스크린과 가상카메라 배치 개념도.
도 5는 가상 카메라들의 출력화면 합성하는 가상카메라 출력 이용도.
도 6은 곡면 스크린에 프로젝터를 구현하는 기술을 설명하기 위한 도면.
도 7은 가상 캐릭터 애니메이션 모드(3D 캐릭터 모드)를 설명하기 위한 도면.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명은 오디션 연습을 하기 위한 자신의 모습, 표정, 노래하는 춤을 스스로 보며 연습하고, 녹화하고, 또 방송도 가능한 오디션 스튜디오 기술에 대한 것이다. 이 구슬은 그 동안 노래방, 가라오케 시설에도 스튜디오 가라오케를 가능하게 하여 노래하는 사람이 마치 자신이 뮤직 스테이지에서 노래를 하듯 방송화면을 자동으로 보여줌으로써 오디션을 준비하거나 가라오케 같은 장소에서 가상현실로(Virtual Reality) 노래하는 방송 스테이지를 실시간으로 노래하는 사람 앞의 대형 몰입 곡면 스크린에 보여줌으로써 실제와 같은 느낌의 가상 스테이지와 여러 대의 카메라 효과, 지미집, 트랙킹 효과, 영상 합성 스위칭 믹싱이 자동으로 발생하게 하여 준다.

이렇게 자동, 반자동, 수동으로 혼자서도 자신의 스테이지 방송이 방송국의 음악 스테이지에서 전문 방송 기술자들에 의해 만들어지는 영상화면과 인터넷 등의 방송이 가능하게 한다. 또한 원격지에 있는 노래 혹은 연출을 하는 사람들이 같은 가상공간에서 마치 함께 공연을 하는 것처럼 VR(가상현실) 공연, 노래를 할 수 있게 하고 이를 방송하여 전 세계에도 누구나 이것을 볼 수 있게 한다. 이를 위한 가상 스튜디오 기술에 특수 효과를 별도 카메라 효과를 극대화하기 위한 이전 특허 기술인 트랙리스 카메라 기술과, 이 기술의 한계였던 트랙킹 기술과의 접목을 통해 두 가지 트랙킹을 동시에 지원하는 하이브리드 트랙킹 기술을 발명하여 카메라 효과를 방송국의 뮤직 방송시처럼 여러 대의 카메라가 움직이며 보이는 효과를 자동, 반자동, 수동으로 만들어지게 한다.

본 발명에서는 트랙킹, 트랙리스 카메라 기술과 달리 복수의 카메라를 이용한 실시간 3D캐릭터 모델을 이용한 3D스캔 기술을 이용하여 기존의 트랙킹 기술과 함께 트랙리스의 한계를 극복하도록 하는 3D라이브 액터를 활용하여 가상 카메라와 원거리 모드에서 라이브 3D캐릭터를 활용할 수 있도록 한다. 이러한 기술은 트랙리스 모드의 한계를 극복하는 트랙킹 화면을 제공하게 된다. 또한 적은 공간에서도 몰입 스튜디오 효과를 주어 노래나 연극 가상공간에 자신이 있는 것으로 착각하게 커브스크린(측면스크린의) 대형 화면을 발생하는 다면 곡면 스크린 영상 발생을 가사스튜디오의 3D렌더 기법을 써서 구현하고, 이를 거리감과 입체감을 주기위한 홀로그램 효과를 추가 하는 것을 통하여 손쉽게 홀로그램 가상 스테이지를 실시간으로 재현하여 오디션 스튜디오, 원격공연, 녹화, 방송이 자동, 반자동으로 가능하게 한다.

발명의 장비는 또 가상스튜디오의 스튜디오 제작을 사용자가 스튜디오 전문 지식 없이도 편리한 편집기능으로 자신의 스튜디오를 장식하고, 이름, 오디션 제목, 자막을 넣을 수 있게 하고 자신의 뮤직 스튜디오에서 오디션, 혹은 방송을 하게 한다.

또한 자신의 스튜디오 노래춤공연을 전 세계 누구에게도 보여줄 수 있고, 보는 사람의 카메라(핸드폰 등)을 무대에 보여주어 상대방들의 표정을 보며 공연을 할 수 있는 스마트 공연 개인 스튜디오가 되게 한다. 이러한 서비스는 유료화가 가능하게 하여 돈을 내는 사람은 이 공연을 볼 수 있게 하며 다양한 과금 및 서비스 요금 ,광고를 할 수 있는 개인 방송 사업이 가능하게 한다.

가상 공연은 일반 공연에서 필요한 무대, 조명, 카메라들의 기능 특히 지미집과 같은 카메라 트랙의 움직임, 관중의 반응을 가상으로 제공하고 공연자가 자신이 실제 같이 보이는 공연장에서 하듯 느낌을 제공하여야 한다. 이러한 공연을 다시 편집 및 녹화를 거쳐 방송으로 이어지며 이러한 공연을 적은 스튜디오에서 구현 하는 기술을 개발한다.

먼저 가상 공연장을 위해 가상 스튜디오 기술을 이용하여 3D그래픽의 스튜디오를 다양하게 선택 대리 수정 할 수 있게 하는 가상 공연장 선택-편집 기능을 필요로 한다.

이 가상스테이지에는 무대공연에 가장 중요한 조명이 가상의 조명과 실제 조명의 연동을 통해 조명의 효과를 극대화 하고, 복수의 카메라들이 배우의 움직임에 트랙킹이 되는 배우 트랙킹 기능을 갖게 되고 이 트랙킹 센서가 가상스튜디오의 트랙킹 가상스튜디오를 구현하게 하기 위해 복수의 트래킹 카메라가 1대의 가상스튜디오에서 지원이 되며, 이를 복수의 트랙킹 카메라들이 멀티 가상카메라 출력 화면을 3D DVE효과를 줄 수 있게 3D렌더 장치 안에서 합성 출력이 가능하게 하여 실제 공연장에서 카메라들을 2대 이상 합성해 효과를 주는 공연 효과를 가능하게 한다.

이러한 카메라 트래킹 카메라의 가상스튜디오는 카메라 영상이 배우의 전신을 트랙하고 이 전신의 트랙모드를 트랙리스 모드로 보이게 하는 하이브리드(Hybrid Tracking)방식으로 공연장의 지미집 효과를 주게 하여 커다란 스튜디오 공연장의 다양한 가상카메라 액션으로 실제 카메라는 2-6개를 서로 가상 카메라를 무한한 카메라를 사용하게 해주는 기술을 필요로 한다.

또한 이들의 복수의 카메라의 이미지를 이용한 캐릭터 모델의 texture를 찾아내어 실시간으로 3D라이브 배우를 만들고 이를 카메라의 가상스크린 사용 대신 실시간 3D배우를 사용하는 기능을 제공한다. 단 이 기능은 화질의 한계를 갖고 있어 주로 Trackless무드에 사용을 하여 원거리의 카메라에 대해 사용을 하지만3D스캔 기술에 따라 실제 사용이 더 많아질 수 있다

이러한 기능을 공연자가 스스로 공연장을 느끼게 하기 위해 위 기능의 실시간 스크린에 보여주어 자신이 출력 화면을 가상공연장 앞 화면에 프로젝터와 같은 자신의 공연을 보며 공연을 하게하며 이 때 적은 공간에 큰 효과를 만들어 주기 위한 커브스크린을 가능하게 하는 멀티 프로젝터 스크린(혹은 TV) 출력을 만들어 대형 몰입 공연장을 공연자 앞에 보여주게 한다.

이 때 몰입감을 극대화하기 위한 반투명 유리를 이용한 홀로그래픽 스크린을 사용할 수도 있다. 이러한 공연은 실시간으로 녹화 방송이 되게 하여 관객들이 꼭 공연장에 오지 않아도 전 세계 어느 곳에서도 즐길 수 있게 되며, 이를 관객의 가상 공연장에 스크린에 가상공간 관객 내에 혹은 또 다른 스크린에 보여 양방향 대화가 가능하게 하고, 또한 원격 공연자가 원격지에서 크로마키 카메라 혹은 depth CAM과 같은 비디오를 보내 이들과 함께 가상 원격 공연이 가능하게 한다.

본 발명은,

- 가상스튜디오 기술을 이용하여 다양하게 제공되는 공연장의 스타일들에서 사용자가 한 공연 무대를 선택하는 단계

- 선택된 공연장을 수정, 편집, 추가하는 단계로 장식품들의 크기, 칼라, 표정, 재배치, 를 하는 방식으로 자신만의 공연 스튜디오를 손쉽게 만드는 단계

- 가상 카메라들을 배치 장면을 하는 가상카메라 세정/설치 단계

- 각 가상카메라에 사용되는 실제 카메라 영상을 보이는 가상스크린 배치 및 스케일링 세정. (트랙킹 모드의 경우 가상 스튜디오 크기와 실제 카메라 배우와의 크기, 외 매칭)

- 트랙킹 모드를 위한 위 카메라의 ptz위치, 각도, 룸 정보의 3D그래픽 스튜디오와의 세팅단계.

- 이를 3D공연 디오에 배치한 가상 공연 카메라들의 매스터 렌더 가상 카메라로 영상을 내보내는 단계

- 트랙킹 카메라에서 트랙리스 모드로 매스터 렌더 가상카메라로 움직이며 렌더를 하는 트랙리스 모드로 카메라 트랙을 설정하는 단계

- 이들의 가상카메라 및 트랙들을 공연에 맞게 순서를 정한 방송이 되게 하는 단계로 순서는 다양한 순서로 출력을 하게 하는 공연 단계를 제공한다.

이와 같은 트랙킹, 트랙리스 공연의 출력화면은 복수의 프로젝터로 실제 스크린에 보여지게 되고 이 때 커브 곡면 스크린의 모양에 찌그러짐 없이 화면에 영상을 보여주는 영상 처리를 3D렌더 기법으로 수행하여 이들의 영상은 각 프로젝터로 보내주어 커브스크린에 공연 영상을 보여주게 된다.

본 발명의 가상 공연 스튜디오 시스템(100)의 구성적 특징을 간략히 설명하면 다음과 같다.

배우 혼자서 자신의 모습이 자신 앞의 스크린 혹은 TV에 가상 공연 스튜디오 공연장처럼 보이며 노래나 춤을 연습하거나 연기 할 수 있는 자동 가상 공연 개인 스튜디오를 구현하기 위해 복수의 고정 및 트랙킹 카메라를 포함하고 이들을 사용하는 실시간 가상 스튜디오에서 합성된 영상을 스튜디오 앞의 단수 혹은 복수의 평면 TV나 프로젝터 등의 몰입형 평면 혹은 곡면 스크린에 보이게 하되 이를 실제 카메라들의 움직임을 가상스튜디오에서 같이 움직이는 Tracking 센서 방식과, 또 고정된 카메라의 경우에 가상 카메라로 움직이는 (Trackless)를 사용하여 배우 트랙킹 및 트랙리스 가상 카메라를 이용하여 마치 연기자가 실제 방송국의 뮤직 스튜디오에서 방송하는 것처럼 자신은 스크린으로 보고, 또 이를 인터넷으로 전세계 누구에게나 방송이 가능하게 한다.

출력 스크린이 커브형 곡면 스크린의 경우 프로젝터에서 이들의 영상 왜곡을 렌더 장치에서 직접 별정된 출력을 제공하여 별도의 커브스크린 서버를 쓰지 않고 가상 스튜디오에서 직접 곡면 스크린 렌더 영상을 프로젝터 형 가상 카메라를 이용하여 가상 곡면 스크린 렌더 이미지를 출력하는 방식으로 구현할 수 있다.

배우 앞의 카메라를 이용한 배우 트랙킹 카메라 (영상처리, depth camera 등)을 써서 강사의 위치는 따라가게 하고 이 영상이 가상 스튜디오 내에서 이동하게 하는 트랙킹 기능을 지원할 수 있다.

트랙킹 기능을 액터의 전신에 대해 가상스튜디오 상기 가상 비디오 스크린에 적용하여 가상카메라와 실제 카메라를 실제 스튜디오에서와 같은 위치, 각도 등을 같게 구현하는 가상 카메라의 위치, 각도, 카메라 즉 등을 일치시키는 트랙킹 모드와 일치 시키지 않는 트랙리스 모드를 동시에 지원하는 하이브리드 모드를 지원하는 것을 포함할 수 있다.

복수의 가상 카메라를 이용하여 두 개 이상의 가상 카메라 출력화면들을 3D 공간상에 다시 배치하고 투명도를 조정하게 하여 이를 또 다른 가상 카메라로 보여주는 화면을 출력하는 가상합성의 MIXER, 3D효과(애니메이션)를 같은 3D그래픽 가상 스튜디오에서 발생하는 기술을 포함하며 상기 곡면 스크린 영상을 출력하면서 동시에 평면 스크린 렌더 영상을 압축 전송하여 인터넷으로 방송하면서 동시에 녹화하는 기능을 포함할 수 있다.

원격지에 크로마키 장치 앞의 IP 카메라를 써서 원격지 사람들이 함께 있을 수 있게 하는 원격지 배우 가상 합성 스튜디오 방송이 가능하게 하며, 외부 가라오케 장비를 연결하여 자막과 음악을 이용할 때 노래자막은 스크린에 보이고 녹화/녹음은 자막 없이 하는 기능을 제공할 수 있다.

카메라는 두 개 이상의 카메라 혹은 depth를 측정할 수 있는 카메라를 포함하여 크로마키 기능을 대체하는 것을 포함하며, 가상 공연의 공연자와 공연장에 참여한 복수의 관객을 가상 관객석 혹은 가상 공연장에 배치하여 현장감을 높이는 것을 포함할 수 있다.

원격지에서 가상 공연을 보도록 하는 인터넷 방송 및 양방향 화상 회의 기능을 포함하여 상대방을 보며 대화를 나눌 수 있는 공연이 가능하게 할 수 있다.

원격지의 공연자 혹은 관객이 가상 카메라 스위칭을 할 수 있도록 하여 관객이 장면을 선택 할 수 있는 원격모드를 지원할 수 있다.

공연자의 카메라 영상을 가상 스크린을 이용하는 방식이 아닌 실시간 3D 스캔된 3D공연자 캐릭터를 사용하게 하여 트랙리스 트랙킹을 완벽하게 구현하게 한다. 이 기술은 사용된 카메라들의 영상을 이용하여 캐릭터 모델의 3D data를 실시간으로 구현하는 실시간 3D 스캔시술을 사용하게 된다. 이 3D모델의 정확도에 따라 가상공연 스튜디오의 가상 카메라가 원거리 모드에서 사용을 하게 하지만, 성능에 따라 근거리 까지 사용을 가능하게 한다.

이하에서는 본 발명의 가상 공연 스튜디오 시스템에 대하여, 도면을 참조하여 설명한다.

도 1 및 도 2는 가상 공연장의 구조를 도시한 도면이다.

도 1에서와 같이 가상 공연장은 공연을 하는 크로마키 스튜디오와 전면부에 대형 커브스크린이 있고, 한 대 혹은 복수의 프로젝터로 구성된다. 이 때 크로마키 스튜디오가 크기에 따라 PTZ 카메라가 복수로 배치되며 이 때 스크린의 몰입감과 카메라를 반 통과 유리나 필름을 써서 처리 할 수도 있다.

각 카메라는 공연자/배우 위치를 알 수 있는 카메라 영상 처리로 각 카메라의 PTZ 제어를 통해 공연자를 추적하고 이 때의 카메라 정보는 발명의 장치에 보내준다 이들의 카메라 비디오는 크로마키가 되어 가상 스튜디오의 배우 스크린에 보여지게 된다.

도 3은 가상 3D 스튜디오의 구조를 도시한 도면이다.

도 3에서 보여지듯 PTZ Camera는 배우의 영상을 카메라의 PTZ값과 공연자/배우의 위치정보로 가상스튜디오 내부에 크로마키된 배우 비디오가 있는 투명스크린은(비디오 배우스크린) 실제 카메라의 공연자가 가상무대에 배치가 되도록 하고 같은 방법으로 다른 실제 카메라들도 비디오 배우 스크린은 가상무대에 배치를 하게 된다. 이 때 복수의 배우가 있을 때는 각각의 배우에 대해 배치를 하게 된다.

도 4는 가상 공연장의 실제 카메라 비디오 스크린과 가상카메라 배치 개념도이고, 도 5는 가상 카메라들의 출력화면 합성하는 가상카메라 출력 이용도이다.

도 4는 가상 그래픽 무대에 배치할 배우 비디오 스크린과 실제 카메라의 위치, 그리고 실제 카메라에 위치에 가정한 가상 카메라 VC1-1, VC2-1을 보여주고 실제 PTZ 카메라의 위치에 배치를 하여, 카메라가 움직일 때 함께 움직이게 한다. 트래킹 모드를 지원하고, VC1-2,3는 실제 카메라의 위 유사한 각도 방향으로 자유로이 움직이게 하는 트랙리스 방식을 사용하게 하여 트랙킹 모드와 트랙리스 모드가 동시에 지원이 되게 한다. 이 때 각각의 가상카메라는 해당 배우 스크린을 할당하여 자신의 위치에서 가장 근사한 방향의 배우 스크린을 보여지게 한다. 이 때 여러 대의 가상 카메라 동시 센서가 가능하게 하여 이들의 출력을 합성하게 하는 기능을 제공하여 도 5와 같은 2개 혹은 2 이상의 가상 카메라 출력을 합성할 수 있는 기능으로 공연자의 가상합성출력을 만들어지게 한다 이러한 가상카메라들을 스위칭하여 영상을 출력하도록 스위처와 믹서 효과를 가상카메라를 선택하여 출력을 시키도록 하여 가상 공연이 TV사 스크린에 보이게 한다.

이러한 가상 카메라의 스위칭을 정해진 순서로 혹은 랜덤(무작위 순서)로, 혹은 제스처에 따른 장면 전환 등 다양한 방식으로 자동, 반자동, 혹은 수동으로 이루어지게 하여 가상 공연을 하게 한다.

이 때 가상 공연장에 함께 참여한 관객을 가상 공연장의 가상 관객과 함께 크로마키 혹은 depth CAMERA를 이용해 보여주고 관객의 모습도 함께 보여주는 가상 카메라를 써서 보여주게 한다.

또한 원격지에 있는 원격 공연자가 배경에 크로마키를 써서 ip CAMERA로 원격지에 보내어 이를 가상공연장의 비디오 스크린을 설정하여 참여시킬 수 있게 한다. 이 때 원격 공연자의 오디오 및 비디오의 네트워크 전송 지연을 고려하여 공연의 특성에 맞게 녹화, 및 생방송의 공연을 하게 하여 녹화는 이 지연을 보상하여 동기 녹화를 하고, 생방송의 라이브 시연은 모든 비디오 오디오를 최대한 최소 지연 모드로 구현한다.

라이브 가상공연 스튜디오는 자신의 공연을 보면서 스스로의 노래, 춤 등을 하는 것이 중요하여 라이브 스크린에 실시간으로 자신과 스튜디오를 가상현실로 보여주어야 하므로 실시간으로 공연자 앞에 가상현실의 가상공연장을 실제처럼 보여주는 것이 중요하다 이를 위한 스크린은 대형의 스크린에 실제 사이즈의 크기 내지 유사한 공연장을 3D 혹은 유사 홀로그래픽으로 보여줄 수 있게 할 수 있다.

이러한 공간을 최대의 효과로 최소의 비용으로 가능한 방식은 대형 곡면 스크린의 방식이 사용되어 질 수 있으며 이러한 곡면 스크린의 영상 왜곡을 3D 그래픽 엔진에서 동시에 처리할 수 있도록 하여 추가의 곡면 스크린 발생장치를 쓰지 안하도 되게 하나의 가상 그래픽에서 처리를 하도록 하는 기술을 개발하여 하나의 장치에서 실행하게 한다.

도 6은 곡면 스크린에 프로젝터를 구현하는 기술을 설명하기 위한 도면이고, 도 7은 가상 캐릭터 애니메이션 모드(3D 캐릭터 모드)를 설명하기 위한 도면이다.

도 6에서는 3D 영상 처리 그래픽 엔진 안에서 이를 구현하나 이를 위해 또 하나의 가상 카메라를 실제 가상 공연장에 사용하는 프로젝터와, 곡면 스크린을 실제 특성과 같게 가상 3D 스튜디오에 매치된 곡면 스크린 중앙에서 스크린 크기로 AC면에 렌더링 된(프로젝션 된)가상 공연장 3D Studio 화면을 AC면에 가상 카메라 VC-4로 만들어 두고, 이 VC-4를 곡면 스크린 AC에 매핑시켜 이를 프로젝터 Vp로 다시 렌더하여 실제 가상공연장의 Projector로 보내는 방식을 쓴다.

이 방식을 곡면 스크린 가상 공연 시스템의 경우 각 가상 카메라마다 적용하여 두어 실제의 가상 공연장 내부의 곡면 스크린, 몰입 스크린을 구현하게 한다.

같은 원리로 멀티 프로젝터를 쓰는 경우도 커브스크린 영상을 가능하게 하여 대형 프로젝터 스크린도 가능하게 할 수 있다.

댄싱과 같이 3D캐릭터를 이용한 댄싱 교습이나 백댄서를 이용하여 가상 공연장을 만드는 기술을 통해 댄싱 연습 및 댄싱 공연을 다른 캐릭터도 수행하게 하는 기능은 일반적인 방법을 사용하여 가능하지만 실제 배우가 자신의 3D 캐릭터로 실제 가상 스튜디오 내부에 3D로 실시간 캐릭터를 발생시키는 것은 실사 수준의 3D 스캐닝 기술이 어려우므로 단순한 3D 캐릭터에 정면 및 측면의 카메라 입력으로 캐릭터 자세 중 유사한 모델에 근사 캐릭터를 만들고 이를 가상 카메라가 근거리에서가 아닌 원거리에서 마음대로 트랙을 발생시킬 수 있게 한다.

실시간 3D 액터 모델은 사람의 캐릭터의 모델에 라이브 카메라들의 비디오 영상을 이용하여 모델의 텍스튜어를 최대한 빠른 시간에 추정 할 수 있게 모델을 개발한다. 이 때 모델 캐릭터와 해상도를 높이기 위해 가상 공연이 시작되기 전 캐릭터 모델을 카메라들을 이용하여 스캔받고 이를 가진 영상처리를 통해 각 액터의 캐릭터 모델을 미리 준비 하였던 실제 공연 위 라이브 카메라의 영상에서 3D 액터 캐릭터의 자세를 실시간으로 가상 공연 스튜디오에 사용하게 하는 기능으로 주로 가상카메라와 원거리 모드에서 사용을 효과적으로 할 수 있게 한다.

100: 가상 공연 스튜디오 시스템

Claims (13)

1. 가상 공연 스튜디오 시스템으로서,
   배우 혼자서 자신의 모습이 자신 앞의 스크린 혹은 TV에 가상 공연 스튜디오 공연장처럼 보이며 노래나 춤을 연습하거나 연기 할 수 있는 자동 가상 공연 개인 스튜디오를 구현하기 위해 복수의 고정 및 트랙킹 카메라를 포함하고 이들을 사용하는 실시간 가상 스튜디오에서 합성된 영상을 스튜디오 앞의 단수 혹은 복수의 평면 TV나 프로젝터 등의 몰입형 평면 혹은 곡면 스크린에 보이게 하되 이를 실제 카메라들의 움직임을 가상스튜디오에서 같이 움직이는 Tracking 센서 방식과, 또 고정된 카메라의 경우에 가상 카메라로 움직이는 (Trackless)를 사용하여 배우 트랙킹 및 트랙리스 가상 카메라를 이용하여 마치 연기자가 실제 방송국의 뮤직 스튜디오에서 방송하는 것처럼 자신은 스크린으로 보고, 또 이를 인터넷으로 전세계 누구에게나 방송이 가능하게 하는, 가상 공연 스튜디오 시스템.
2. 청구항 1에 있어서,
   출력 스크린이 커브형 곡면 스크린의 경우 프로젝터에서 이들의 영상 왜곡을 렌더 장치에서 직접 별정된 출력을 제공하여 별도의 커브스크린 서버를 쓰지 않고 가상 스튜디오에서 직접 곡면 스크린 렌더 영상을 프로젝터 형 가상 카메라를 이용하여 가상 곡면 스크린 렌더 이미지를 출력하는 방식으로 구현하는 것
   을 특징으로 하는 가상 공연 스튜디오 시스템.
3. 청구항 1에 있어서,
   배우 앞의 카메라를 이용한 배우 트랙킹 카메라 (영상처리, depth camera 등)을 써서 강사의 위치는 따라가게 하고 이 영상이 가상 스튜디오 내에서 이동하게 하는 트랙킹 기능을 지원하며
   을 특징으로 하는 가상 공연 스튜디오 시스템.
4. 청구항 3에 있어서,
   트랙킹 기능을 액터의 전신에 대해 가상스튜디오 가상 비디오(텍스튜어) 스크린에 적용하여 가상카메라와 실제 카메라를 실제 스튜디오에서와 같은 위치, 각도 등을 같게 구현하는 가상 카메라의 위치, 각도, 카메라 즉 등을 일치시키는 트랙킹 모드와 일치 시키지 않는 트랙리스 모드를 동시에 지원하는 하이브리드 모드를 지원하는 것
   을 특징으로 하는 가상 공연 스튜디오 시스템.
5. 청구항 1에 있어서,
   복수의 가상 카메라를 이용하여 두 개 이상의 가상 카메라 출력화면들을 3D 공간상에 다시 배치하고 투명도를 조정하게 하여 이를 또 다른 가상 카메라로 보여주는 화면을 출력하는 가상합성의 MIXER, 3D효과(애니메이션)를 같은 3D그래픽 가상 스튜디오에서 발생하는 것
   을 특징으로 하는 가상 공연 스튜디오 시스템.
6. 청구항 2에 있어서,
   곡면 스크린 영상을 출력하면서 동시에 평면 스크린 렌더 영상을 압축 전송하여 인터넷으로 방송하면서 동시에 녹화하는 기능을 포함하는 것
   을 특징으로 하는 가상 공연 스튜디오 시스템.
7. 청구항 1 또는 청구항 6에 있어서,
   원격지에 크로마키 장치 앞의 IP 카메라를 써서 원격지 사람들이 함께 있을 수 있게 하는 원격지 배우 가상 합성 스튜디오 방송이 가능한 것
   을 특징으로 하는 가상 공연 스튜디오 시스템.
8. 청구항 1에 있어서,
   외부 가라오케 장비를 연결하여 자막과 음악을 이용할 때 노래자막은 스크린에 보이고 녹화/녹음은 자막 없이 하는 기능을 제공하는 것
   을 특징으로 하는 가상 공연 스튜디오 시스템.
9. 청구항 1에 있어서,
   카메라는 두 개 이상의 카메라 혹은 depth를 측정할 수 있는 카메라를 포함하여 크로마키 기능을 대체하는 것
   을 특징으로 하는 가상 공연 스튜디오 시스템.
10. 청구항 1에 있어서,
    가상 공연의 공연자와 공연장에 참여한 복수의 관객을 가상 관객석 혹은 가상 공연장에 배치하여 현장감을 높이는 것
    을 특징으로 하는 가상 공연 스튜디오 시스템.
11. 청구항 7에 있어서,
    원격지에서 가상 공연을 보도록 하는 인터넷 방송 및 양방향 화상 회의 기능을 포함하여 상대방을 보며 대화를 나눌 수 있는 공연이 가능하게 하는 것
    을 특징으로 하는 가상 공연 스튜디오 시스템.
12. 청구항 9에 있어서,
    원격지의 공연자 혹은 관객이 가상 카메라 스위칭을 할 수 있도록 하여 관객이 장면을 선택 할 수 있는 원격모드를 지원 하는 것
    을 특징으로 하는 가상 공연 스튜디오 시스템.
13. 청구항 1에 있어서,
    공연자의 카메라 영상을 가상 스크린을 이용하는 방식이 아닌 실시간 3D 스캔된 3D공연자 캐릭터를 사용하게 하여 트랙리스 트랙킹을 완벽하게 구현하게 한다. 이 기술은 사용된 카메라들의 영상을 이용하여 캐릭터 모델의 3D data를 실시간으로 구현하는 실시간 3D 스캔시술을 사용하게 된다. 이 3D모델의 정확도에 따라 가상공연 스튜디오의 가상 카메라가 원거리 모드에서 사용을 하게 하지만, 성능에 따라 근거리 까지 사용을 가능하게 하는 것
    을 특징으로 하는 가상 공연 스튜디오 시스템.
    

Images