KR20240022199A

KR20240022199A - Mobile variable virtual studio system for performances, lectures, and broadcast filming

Info

Publication number: KR20240022199A
Application number: KR1020220100573A
Authority: KR
Inventors: 김희수
Original assignee: 주식회사 스윗펌킨
Priority date: 2022-08-11
Filing date: 2022-08-11
Publication date: 2024-02-20

Abstract

본 발명은 공연, 강연 및 방송촬영 등이 가능한 이동식 가변형 가상 스튜디오 시스템에 관한 것으로서, 더욱 상세하게는 실시간 3D스캔 방식의 3D 액터를 이용한 하이브리드 트랙킹(트랙킹 센서 및 센서 없는 트랙킹)기술의 3D 가상스튜디오 기술과 평면 및 곡면 몰입 스크린 영상 발생 기술을 이용한 가상 공연 스튜디오 시스템에 관한 것이다. 본 발명에 의하면, 공연시 운영자가 없이도 혼자서도 자동으로 자신의 공연을 대형 스크린으로 보면서 몰입 공연을 할 수 있게 되고, 이 공연을 녹화, 방송 및 원격 배우와 동시 공연이 가능하게 한다.The present invention relates to a portable and variable virtual studio system capable of performing, lectures and broadcast filming, etc., and more specifically, to a 3D virtual studio technology using hybrid tracking (tracking sensor and sensor-less tracking) technology using 3D actors using real-time 3D scanning. and a virtual performance studio system using flat and curved immersive screen image generation technology. According to the present invention, it is possible to perform an immersive performance by automatically viewing one's own performance on a large screen without an operator during the performance, and this performance can be recorded, broadcast, and performed simultaneously with a remote actor.

Description

{Mobile variable virtual studio system for performances, lectures, and broadcast filming}

가상 공연을 위한 스튜디오 시스템은, 일반 공연에서 필요한 무대, 조명, 카메라들의 기능 특히 지미집과 같은 카메라 트랙의 움직임, 관중의 반응을 가상으로 제공하고 공연자가 자신이 실제 같이 보이는 공연장에서 하듯 느낌을 제공하여야 하는데 기존의 장치들은 그와 같은 기능을 제공하기에 크게 미흡한 문제점이 있었다. The studio system for virtual performances virtually provides the functions of the stage, lighting, and cameras required for general performances, especially the movement of camera tracks such as Jimmy Jip, and the reactions of the audience, and provides the performer with the feeling of being in a performance hall that looks real. However, existing devices are significantly inadequate in providing such functions.

본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 가상 공연은 일반 공연에서 필요한 무대, 조명, 카메라들의 기능 특히 지미집과 같은 카메라 트랙의 움직임, 관중의 반응을 가상으로 제공하고 공연자가 자신이 실제 같이 보이는 공연장에서 하듯 느낌을 제공하여야 한다. 본 발명은, 이러한 공연을 다시 편집 및 녹화를 거쳐 방송으로 이어지며 이러한 공연을 적은 스튜디오에서 구현 하는 기술을 제공하는데 그 목적이 있다.The present invention was created to solve this problem. The virtual performance virtually provides the functions of the stage, lighting, and cameras required in general performances, especially the movement of camera tracks such as Jimmy Jip, and the reactions of the audience, and allows the performer to perform his or her own actions. It must provide the feeling of being in a real-looking performance hall. The purpose of the present invention is to provide a technology for editing and recording these performances and broadcasting them in a small studio.

상기와 같은 목적을 달성하기 위한 본 발명인 공공연, 강연 및 방송촬영등이 가능한 이동식 가변형 가상 스튜디오 시스템은 복수의 카메라가 마운팅되는 카메라 설치부재가 촬영 공간에 구비되고, 방송 프로그램을 제작하기 위하여 출연자들을 카메라로 촬영하기 위한 예능 프로그램촬영 스튜디오로서, 차량(10)의 적재바닥에 설치되고, 촬영 공간이 형성되어 있는 스튜디오 본체와, 상기 스튜디오 본체의 좌측에 형성된 좌측 개구와, 상기 스튜디오 본체의 우측에 형성된 우측 개구와, 상기 좌측 개구에 슬라이딩 가능하도록 삽입 구비되어서 스튜디오 본체의 좌측면을 구성하고, 상기 좌측 개구의 내외로 슬라이드 무빙되어서 촬영 공간의 좌측 영역을 확장하는 가변 좌측부와, 상기 우측 개구에 슬라이딩 가능하도록 삽입 구비되어서 스튜디오 본체의 우측면을 구성하고, 상기 우측 개구의 내외로 슬라이드 무빙되어서 촬영 공간의 우측 영역을 확장하는 가변 우측부를 포함하여 구성되고, 출연자들을 촬영하지 않는 경우에는 상기 가변 좌측부와 가변 우측부는 촬영 공간의 내부로 슬라이딩되어서 촬영 공간의 좌우측 폭이 스튜디오 본체의 좌우측 폭으로 좁아지고, 출연자들을 촬영하는 경우에는, 상기 가변 좌측부는 상기 좌측 개구로부터 돌출되도록 좌측 외향으로 슬라이딩되어서 촬영 공간의 좌측이 확장되고, 상기 가변 우측부는 상기 우측 개구로부터 돌출되도록 우측 외향으로 슬라이딩되어서 촬영 공간의 우측이 확장됨으로써, 촬영 공간의 좌우측 폭이 좌우로 돌출된 가변 좌우측부의 폭으로 확장된다. 되는 것을 특징으로 한다. 또한 본 발명에 따른 공연, 강연 및 방송촬영등이 가능한 이동식 가변형 가상 스튜디오 시스템은배우 혼자서 자신의 모습이 자신 앞의 스크린 혹은 TV에 가상 공연 스튜디오 공연장처럼 보이며 노래나 춤을 연습하거나 연기 할 수 있는 자동 가상 공연 개인 스튜디오를 구현하기 위해 복수의 고정 및 트랙킹 카메라를 포함하고 이들을 사용하는 실시간 가상 스튜디오에서 합성된 영상을 스튜디오 앞의 단수 혹은 복수의 평면 TV나 프로젝터 등의 몰입형 평면 혹은 곡면 스크린에 보이게 하되 이를 실제 카메라들의 움직임을 가상스튜디오에서 같이 움직이는 Tracking 센서 방식과, 또 고정된 카메라의 경우에 가상 카메라로 움직이는 (Trackless)를 사용하여 배우 트랙킹 및 트랙리스 가상 카메라를 이용하여 마치 연기자가 실제 방송국의 뮤직 스튜디오에서 방송하는 것처럼 자신은 스크린으로 보고, 또 이를 인터넷으로 전세계 누구에게나 방송이 가능하게 한다.In order to achieve the above object, the present inventor's portable, variable virtual studio system capable of public performances, lectures, and broadcast filming is equipped with a camera installation member on which a plurality of cameras are mounted in the filming space, and performers are provided with cameras to produce broadcast programs. An entertainment program shooting studio for shooting with a studio body installed on the loading floor of a vehicle 10 and forming a shooting space, a left opening formed on the left side of the studio body, and a right side formed on the right side of the studio body. An opening, a variable left part that is slidably inserted into the left opening to form the left side of the studio main body, and a variable left part that slides and moves in and out of the left opening to expand the left area of the shooting space, and is slidable into the right opening It is provided with an insert and constitutes the right side of the studio main body, and includes a variable right part that slides and moves in and out of the right opening to expand the right area of the shooting space. When not filming performers, the variable left part and the variable right part are It slides into the inside of the shooting space so that the width of the left and right sides of the shooting space narrows to the width of the left and right sides of the studio main body, and when filming performers, the variable left portion slides outward to the left to protrude from the left opening to expand the left side of the shooting space. Then, the variable right portion slides outward to the right so as to protrude from the right opening, thereby expanding the right side of the photographing space, so that the left and right widths of the photographing space are expanded to the width of the variable left and right portions protruding to the left and right. It is characterized by being In addition, the portable, variable virtual studio system capable of performing, lectures, and broadcast filming according to the present invention is an automatic system where actors can practice or act singing or dancing by looking like a virtual performance studio on the screen or TV in front of them. In order to implement a virtual performance personal studio, multiple fixed and tracking cameras are included and the composited images in a real-time virtual studio using these are displayed on an immersive flat or curved screen such as a single or multiple flat-screen TVs or projectors in front of the studio. This can be done using a tracking sensor method that moves the movement of real cameras in a virtual studio, and in the case of a fixed camera, a virtual camera that moves (Trackless) to actor tracking and a trackless virtual camera, as if the actor were listening to the music of a real broadcasting station. As if broadcasting from a studio, you can watch it on the screen and broadcast it to anyone around the world over the Internet.

가상현실을 이용한, 가상 스튜디오 강의장치에 사용될 수 있으며, 더 나아가 원격회의 및 원격 스튜디오기술에도 응용 가능하다. 또한 차량(트럭)의 적재공간에 이동식 스튜디오를 탑재하고, 촬영 시에는 스튜디오의 촬영 공간을 확장할 수 있고, 그 결과 5 톤이나 10 톤과 같은 소형 트럭에도 예능 프로그램촬영을 위한 이동식 스튜디오를 설치할 수 있는 효과가 있다. 공간 가변형 예능 프로그램 촬영용 이동식 스튜디오의 초기 투자비용을 절감할 수 있는 효과가 있다. 좌우측면을 슬라이드식으로 외부로 돌출하거나 촬영 공간 내부로 들이는 구성에 의하여 평소(이동이나 보관 시)에는 이동식 스튜디오의 폭이 좁혀져서 보관 및 차량 탑재 그리고 이동이 용이할 수 있고, 촬영 시에는 촬영 공간의 폭이 커지고 촬영 공간의 면적을 확장할 수 있도록 함으로써 촬영 공간이 넓어지는 효과가 있고, 따라서 예능 프로그램촬영을 위한 많은 개수의 카메라를 설치할 수 있고 또 그 카메라들을 쉽고 편리하게 설치할 수 있는 효과가 있으며 촬영 공간의 면적이 넓어지도록 함으로써 출연자들과 카메라 간의 거리를 적정한 거리로 유지할 수 있는 효과가 있고, 그 결과 신뢰성 있는 촬영 영상 획득할 수 있는 효과가 있다. 공연시 운영자가 없이도 혼자서도 자동으로 자신의 공연을 대형 스크린으로 보면서 몰입 공연을 할 수 있게 되고, 이 공연을 녹화, 방송 및 원격 배우와 동시 공연이 가능하게 하는 효과가 있다.It can be used in a virtual studio lecture device using virtual reality, and can further be applied to teleconferencing and remote studio technology. In addition, a mobile studio can be mounted in the loading space of a vehicle (truck), and the studio's shooting space can be expanded during filming. As a result, a mobile studio for entertainment program filming can be installed even in small trucks such as 5 tons or 10 tons. There is an effect. It has the effect of reducing the initial investment cost of a mobile studio for filming space-variable entertainment programs. By sliding the left and right sides outward or into the shooting space, the width of the mobile studio is narrowed during normal use (when moving or storing), making it easy to store, mount in a vehicle, and move. By increasing the width of the space and expanding the area of the shooting space, the shooting space has the effect of being expanded. Therefore, a large number of cameras can be installed for filming entertainment programs, and the cameras can be installed easily and conveniently. In addition, by increasing the area of the shooting space, there is an effect of maintaining an appropriate distance between the performers and the camera, which has the effect of obtaining reliable shooting images. During a performance, you can automatically watch your own performance on a large screen without an operator and perform an immersive performance, and this performance can be recorded, broadcast, and performed simultaneously with remote actors.

도1 및 도 2는 가상 공연장의 구조를 도시한 도면이다.
도 3은 가상 3D 스튜디오의 구조를 도시한 도면이다.
도 4는 가상 공연장의 실제 카메라 비디오 스크린과 가상카메라 배치 개념도이고,
도 5는 가상 카메라들의 출력화면 합성하는 가상카메라 출력 이용도이다.
도 6은 곡면 스크린에 프로젝터를 구현하는 기술을 설명하기 위한 도면이고,
도 7은 가상 캐릭터 애니메이션 모드(3D 캐릭터 모드)를 설명하기 위한 도면이다.Figures 1 and 2 are diagrams showing the structure of a virtual performance hall.
Figure 3 is a diagram showing the structure of a virtual 3D studio.
Figure 4 is a conceptual diagram of the actual camera video screen and virtual camera arrangement in the virtual performance hall.
Figure 5 is a diagram showing the use of virtual camera output for combining output screens of virtual cameras.
Figure 6 is a diagram to explain a technology for implementing a projector on a curved screen,
Figure 7 is a diagram for explaining a virtual character animation mode (3D character mode).

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다. 본 발명은 오디션 연습을 하기 위한 자신의 모습, 표정, 노래하는 춤을 스스로 보며 연습하고, 녹화하고, 또 방송도 가능한 오디션 스튜디오 기술에 대한 것이다. 이 구슬은 그 동안 노래방, 가라오케 시설에도 스튜디오 가라오케를 가능하게 하여 노래하는 사람이 마치 자신이 뮤직 스테이지에서 노래를 하듯 방송화면을 자동으로 보여줌으로써 오디션을 준비하거나 가라오케 같은 장소에서 가상현실로(Virtual Reality) 노래하는 방송 스테이지를 실시간으로 노래하는 사람 앞의 대형 몰입 곡면 스크린에 보여줌으로써 실제와 같은 느낌의 가상 스테이지와 여러 대의 카메라 효과, 지미집, 트랙킹 효과, 영상 합성 스위칭 믹싱이 자동으로 발생하게 하여 준다. 이렇게 자동, 반자동, 수동으로 혼자서도 자신의 스테이지 방송이 방송국의 음악 스테이지에서 전문 방송 기술자들에 의해 만들어지는 영상화면과 인터넷 등의 방송이 가능하게 한다. 또한 원격지에 있는 노래 혹은 연출을 하는 사람들이 같은 가상공간에서 마치 함께 공연을 하는 것처럼 VR(가상현실) 공연, 노래를 할 수 있게 하고 이를 방송하여 전 세계에도 누구나 이것을 볼 수 있게 한다. 이를 위한 가상 스튜디오 기술에 특수 효과를 별도카메라 효과를 극대화하기 위한 이전 특허 기술인 트랙리스 카메라 기술과, 이 기술의 한계였던 트랙킹 기술과의 접목을 통해 두 가지 트랙킹을 동시에 지원하는 하이브리드 트랙킹 기술을 발명하여 카메라 효과를 방송국의 뮤직 방송시처럼 여러 대의 카메라가 움직이며 보이는 효과를 자동, 반자동, 수동으로 만들어지게 한다. 본 발명에서는 트랙킹, 트랙리스 카메라 기술과 달리 복수의 카메라를 이용한 실시간 3D캐릭터 모델을 이용한 3D스캔 기술을 이용하여 기존의 트랙킹 기술과 함께 트랙리스의 한계를 극복하도록 하는 3D라이브 액터를 활용하여 가상 카메라와 원거리 모드에서 라이브 3D캐릭터를 활용할 수 있도록 한다. 이러한 기술은 트랙리스 모드의 한계를 극복하는 트랙킹 화면을 제공하게 된다. 또한 적은 공간에서도 몰입 스튜디오 효과를 주어 노래나 연극 가상공간에 자신이 있는 것으로 착각하게 커브스크린(측면스크린의) 대형 화면을 발생하는 다면 곡면 스크린 영상 발생을 가사스튜디오의 3D렌더 기법을 써서 구현하고, 이를 거리감과 입체감을 주기위한 홀로그램 효과를 추가 하는 것을 통하여 손쉽게 홀로그램 가상 스테이지를 실시간으로 재현하여 오디션 스튜디오, 원격공연, 녹화, 방송이 자동, 반자동으로 가능하게 한다. 발명의 장비는 또 가상스튜디오의 스튜디오 제작을 사용자가 스튜디오 전문 지식 없이도 편리한 편집기능으로 자신의 스튜디오를 장식하고, 이름, 오디션 제목, 자막을 넣을 수 있게 하고 자신의 뮤직 스튜디오에서 오디션, 혹은 방송을 하게 한다. 또한 자신의 스튜디오 노래춤공연을 전 세계 누구에게도 보여줄 수 있고, 보는 사람의 카메라(핸드폰 등)을 무대에 보여주어 상대방들의 표정을 보며 공연을 할 수 있는 스마트 공연 개인 스튜디오가 되게 한다. 이러한 서비스는 유료화가 가능하게 하여 돈을 내는 사람은 이 공연을 볼 수 있게 하며 다양한 과금 및 서비스 요금 ,광고를 할 수 있는 개인 방송 사업이 가능하게 한다. 가상 공연은 일반 공연에서 필요한 무대, 조명, 카메라들의 기능 특히 지미집과 같은 카메라 트랙의 움직임, 관중의 반응을 가상으로 제공하고 공연자가 자신이 실제 같이 보이는 공연장에서 하듯 느낌을 제공하여야 한다. 이러한 공연을 다시 편집 및 녹화를 거쳐 방송으로 이어지며 이러한 공연을 적은 스튜디오에서 구현 하는 기술을 개발한다. 먼저 가상 공연장을 위해 가상 스튜디오 기술을 이용하여 3D그래픽의 스튜디오를 다양하게 선택 대리 수정 할 수 있게 하는 가상 공연장 선택-편집 기능을 필요로 한다. 이 가상스테이지에는 무대공연에 가장 중요한 조명이 가상의 조명과 실제 조명의 연동을 통해 조명의 효과를 극대화 하고, 복수의 카메라들이 배우의 움직임에 트랙킹이 되는 배우 트랙킹 기능을 갖게 되고 이 트랙킹 센서가 가상스튜디오의 트랙킹 가상스튜디오를 구현하게 하기 위해 복수의 트래킹 카메라가 1대의 가상스튜디오에서 지원이 되며, 이를 복수의 트랙킹 카메라들이 멀티 가상카메라 출력 화면을 3D DVE효과를 줄 수 있게 3D렌더 장치 안에서 합성 출력이 가능하게 하여 실제 공연장에서 카메라들을 2대 이상 합성해 효과를 주는 공연 효과를 가능하게 한다. 이러한 카메라 트래킹 카메라의 가상스튜디오는 카메라 영상이 배우의 전신을 트랙하고 이 전신의 트랙모드를 트랙리스 모드로 보이게 하는 하이브리드(Hybrid Tracking)방식으로 공연장의 지미집 효과를 주게 하여 커다란 스튜디오 공연장의 다양한 가상카메라 액션으로 실제 카메라는 2-6개를 서로 가상 카메라를 무한한 카메라를 사용하게 해주는 기술을 필요로 한다. 또한 이들의 복수의 카메라의 이미지를 이용한 캐릭터 모델의 texture를 찾아내어 실시간으로 3D라이브 배우를 만들고 이를 카메라의 가상스크린 사용 대신 실시간 3D배우를 사용하는 기능을 제공한다. 단 이 기능은 화질의 한계를 갖고 있어 주로 Trackless무드에 사용을 하여 원거리의 카메라에 대해 사용을 하지만3D스캔 기술에 따라 실제 사용이 더 많아질 수 있다. 이러한 기능을 공연자가 스스로 공연장을 느끼게 하기 위해 위 기능의 실시간 스크린에 보여주어 자신이 출력 화면을 가상공연장 앞 화면에 프로젝터와 같은 자신의 공연을 보며 공연을 하게하며 이 때 적은 공간에 큰 효과를 만들어 주기 위한 커브스크린을 가능하게 하는 멀티 프로젝터 스크린(혹은 TV) 출력을 만들어 대형 몰입 공연장을 공연자 앞에 보여주게 한다. 이 때 몰입감을 극대화하기 위한 반투명 유리를 이용한 홀로그래픽 스크린을 사용할 수도 있다. 이러한 공연은 실시간으로 녹화 방송이 되게 하여 관객들이 꼭 공연장에 오지 않아도 전 세계 어느 곳에서도 즐길 수 있게 되며, 이를 관객의 가상 공연장에 스크린에 가상공간 관객 내에 혹은 또 다른 스크린에 보여 양방향 대화가 가능하게 하고, 또한 원격 공연자가 원격지에서 크로마키 카메라 혹은 depth CAM과 같은 비디오를 보내 이들과 함께 가상 원격 공연이 가능하게 한다. 본 발명은, 가상스튜디오 기술을 이용하여 다양하게 제공되는 공연장의 스타일들에서 사용자가 한 공연 무대를 선택하는 단계, 선택된 공연장을 수정, 편집, 추가하는 단계로 장식품들의 크기, 칼라, 표정, 재배치, 를 하는 방식으로 자신만의 공연 스튜디오를 손쉽게 만드는 단계, 가상 카메라들을 배치 장면을 하는 가상카메라 세정/설치 단계, 각 가상카메라에 사용되는 실제 카메라 영상을 보이는 가상스크린 배치 및 스케일링 세정. (트랙킹 모드의 경우 가상 스튜디오 크기와 실제 카메라 배우와의 크기, 외 매칭) 트랙킹 모드를 위한 위 카메라의 ptz위치, 각도, 룸 정보의 3D그래픽 스튜디오와의 세팅단계. 이를 3D공연 디오에 배치한 가상 공연 카메라들의 매스터 렌더 가상 카메라로 영상을 내보내는 단계, 트랙킹 카메라에서 트랙리스 모드로 매스터 렌더 가상카메라로 움직이며 렌더를 하는 트랙리스 모드로 카메라 트랙을 설정하는 단계, 이들의 가상카메라 및 트랙들을 공연에 맞게 순서를 정한 방송이 되게 하는 단계로 순서는 다양한 순서로 출력을 하게 하는 공연 단계를 제공한다. 이와 같은 트랙킹, 트랙리스 공연의 출력화면은 복수의 프로젝터로 실제 스크린에 보여지게 되고 이 때 커브 곡면 스크린의 모양에 찌그러짐 없이 화면에 영상을 보여주는 영상 처리를 3D렌더 기법으로 수행하여 이들의 영상은 각 프로젝터로 보내주어 커브스크린에 공연 영상을 보여주게 된다. 본 발명의 가상 공연 스튜디오 시스템(100)의 구성적 특징을 간략히 설명하면 다음과 같다. 배우 혼자서 자신의 모습이 자신 앞의 스크린 혹은 TV에 가상 공연 스튜디오 공연장처럼 보이며 노래나 춤을 연습하거나 연기 할 수 있는 자동 가상 공연 개인 스튜디오를 구현하기 위해 복수의 고정 및 트랙킹 카메라를 포함하고 이들을 사용하는 실시간 가상 스튜디오에서 합성된 영상을 스튜디오 앞의 단수 혹은 복수의 평면 TV나 프로젝터 등의 몰입형 평면 혹은 곡면 스크린에 보이게 하되 이를 실제 카메라들의 움직임을 가상스튜디오에서 같이 움직이는 Tracking 센서 방식과, 또 고정된 카메라의 경우에 가상 카메라로 움직이는 (Trackless)를 사용하여 배우 트랙킹 및 트랙리스 가상 카메라를 이용하여 마치 연기자가 실제 방송국의 뮤직 스튜디오에서 방송하는 것처럼 자신은 스크린으로 보고, 또 이를 인터넷으로 전세계 누구에게나 방송이 가능하게 한다. 출력 스크린이 커브형 곡면 스크린의 경우 프로젝터에서 이들의 영상 왜곡을 렌더 장치에서 직접 별정된 출력을 제공하여 별도의 커브스크린 서버를 쓰지 않고 가상 스튜디오에서 직접 곡면 스크린 렌더 영상을 프로젝터 형 가상 카메라를 이용하여 가상 곡면 스크린 렌더 이미지를 출력하는 방식으로 구현할 수 있다. 배우 앞의 카메라를 이용한 배우 트랙킹 카메라 (영상처리, depth camera 등)을 써서 강사의 위치는 따라가게 하고 이 영상이 가상 스튜디오 내에서 이동하게 하는 트랙킹 기능을 지원할 수 있다. 트랙킹 기능을 액터의 전신에 대해 가상스튜디오 상기 가상 비디오 스크린에 적용하여 가상카메라와 실제 카메라를 실제 스튜디오에서와 같은 위치, 각도 등을 같게 구현하는 가상 카메라의 위치, 각도, 카메라 즉 등을 일치시키는 트랙킹 모드와 일치 시키지 않는 트랙리스 모드를 동시에 지원하는 하이브리드 모드를 지원하는 것을 포함할 수 있다. 복수의 가상 카메라를 이용하여 두 개 이상의 가상 카메라 출력화면들을 3D 공간상에 다시 배치하고 투명도를 조정하게 하여 이를 또 다른 가상 카메라로 보여주는 화면을 출력하는 가상합성의 MIXER, 3D효과(애니메이션)를 같은 3D그래픽 가상 스튜디오에서 발생하는 기술을 포함하며 상기 곡면 스크린 영상을 출력하면서 동시에 평면 스크린 렌더 영상을 압축 전송하여 인터넷으로 방송하면서 동시에 녹화하는 기능을 포함할 수 있다. 원격지에 크로마키 장치 앞의 IP 카메라를 써서 원격지 사람들이 함께 있을 수 있게 하는 원격지 배우 가상 합성 스튜디오 방송이 가능하게 하며, 외부 가라오케 장비를 연결하여 자막과 음악을 이용할 때 노래자막은 스크린에 보이고 녹화/녹음은 자막 없이 하는 기능을 제공할 수 있다. 카메라는 두 개 이상의 카메라 혹은 depth를 측정할 수 있는 카메라를 포함하여 크로마키 기능을 대체하는 것을 포함하며, 가상 공연의 공연자와 공연장에 참여한 복수의 관객을 가상 관객석 혹은 가상 공연장에 배치하여 현장감을 높이는 것을 포함할 수 있다. 원격지에서 가상 공연을 보도록 하는 인터넷 방송 및 양방향 화상 회의 기능을 포함하여 상대방을 보며 대화를 나눌 수 있는 공연이 가능하게 할 수 있다. 원격지의 공연자 혹은 관객이 가상 카메라 스위칭을 할 수 있도록 하여 관객이 장면을 선택 할 수 있는 원격모드를 지원할 수 있다. 공연자의 카메라 영상을 가상 스크린을 이용하는 방식이 아닌 실시간 3D 스캔된 3D공연자 캐릭터를 사용하게 하여 트랙리스 트랙킹을 완벽하게 구현하게 한다. 이 기술은 사용된 카메라들의 영상을 이용하여 캐릭터 모델의 3D data를 실시간으로 구현하는 실시간 3D 스캔시술을 사용하게 된다. 이 3D모델의 정확도에 따라 가상공연 스튜디오의 가상 카메라가 원거리 모드에서 사용을 하게 하지만, 성능에 따라 근거리 까지 사용을 가능하게 한다. 이하에서는 본 발명의 가상 공연 스튜디오 시스템에 대하여, 도면을 참조하여 설명한다. 도 1 및 도 2는 가상 공연장의 구조를 도시한 도면이다. 도 1에서와 같이 가상 공연장은 공연을 하는 크로마키 스튜디오와 전면부에 대형 커브스크린이 있고, 한 대 혹은 복수의 프로젝터로 구성된다. 이 때 크로마키 스튜디오가 크기에 따라 PTZ 카메라가 복수로 배치되며 이 때 스크린의 몰입감과 카메라를 반 통과 유리나 필름을 써서 처리 할 수도 있다. 각 카메라는 공연자/배우 위치를 알 수 있는 카메라 영상 처리로 각 카메라의 PTZ 제어를 통해 공연자를 추적하고 이 때의 카메라 정보는 발명의 장치에 보내준다 이들의 카메라 비디오는 크로마키가 되어 가상 스튜디오의 배우 스크린에 보여지게 된다. 도 3은 가상 3D 스튜디오의 구조를 도시한 도면이다. 도 3에서 보여지듯 PTZ Camera는 배우의 영상을 카메라의 PTZ값과 공연자/배우의 위치정보로 가상스튜디오 내부에 크로마키된 배우 비디오가 있는 투명스크린은(비디오 배우스크린) 실제 카메라의 공연자가 가상무대에 배치가 되도록 하고 같은 방법으로 다른 실제 카메라들도 비디오 배우 스크린은 가상무대에 배치를 하게 된다. 이때 복수의 배우가 있을 때는 각각의 배우에 대해 배치를 하게 된다. 도 4는 가상 공연장의 실제 카메라 비디오 스크린과 가상카메라 배치 개념도이고, 도 5는 가상 카메라들의 출력 화면 합성하는 가상카메라 출력 이용도이다. 도 4는 가상 그래픽 무대에 배치할 배우 비디오 스크린과 실제 카메라의 위치, 그리고 실제 카메라에 위치에 가정한 가상 카메라 VC1-1, VC2-1을 보여주고 실제 PTZ 카메라의 위치에 배치를 하여, 카메라가 움직일 때 함께 움직이게 한다. 트래킹 모드를 지원하고, VC1-2,3는 실제 카메라의 위 유사한 각도 방향으로 자유로이 움직이게 하는 트랙리스 방식을 사용하게 하여 트랙킹 모드와 트랙리스 모드가 동시에 지원이 되게 한다. 이 때 각각의 가상카메라는 해당 배우 스크린을 할당하여 자신의 위치에서 가장 근사한 방향의 배우 스크린을 보여지게 한다. 이 때 여러 대의 가상 카메라 동시 센서가 가능하게 하여 이들의 출력을 합성하게 하는 기능을 제공하여 도 5와 같은 2개 혹은 2 이상의 가상 카메라 출력을 합성할 수 있는 기능으로 공연자의 가상합성출력을 만들어지게 한다 이러한 가상카메라들을 스위칭하여 영상을 출력하도록 스위처와 믹서 효과를 가상카메라를 선택하여 출력을 시키도록 하여 가상 공연이 TV사 스크린에 보이게 한다. 이러한 가상 카메라의 스위칭을 정해진 순서로 혹은 랜덤(무작위 순서)로, 혹은 제스처에 따른 장면 전환 등 다양한 방식으로 자동, 반자동, 혹은 수동으로 이루어지게 하여 가상 공연을 하게 한다. 이 때 가상 공연장에 함께 참여한 관객을 가상 공연장의 가상 관객과 함께 크로마키 혹은 depth CAMERA를 이용해 보여주고 관객의 모습도 함께 보여주는 가상 카메라를 써서 보여주게 한다. 또한 원격지에 있는 원격 공연자가 배경에 크로마키를 써서 ip CAMERA로 원격지에 보내어 이를 가상공연장의 비디오 스크린을 설정하여 참여시킬 수 있게 한다. 이 때 원격 공연자의 오디오 및 비디오의 네트워크 전송 지연을 고려하여 공연의 특성에 맞게 녹화, 및 생방송의 공연을 하게 하여 녹화는 이 지연을 보상하여 동기 녹화를 하고, 생방송의 라이브 시연은 모든 비디오 오디오를 최대한 최소 지연 모드로 구현한다. 라이브 가상공연 스튜디오는 자신의 공연을 보면서 스스로의 노래, 춤 등을 하는 것이 중요하여 라이브 스크린에 실시간으로 자신과 스튜디오를 가상현실로 보여주어야 하므로 실시간으로 공연자 앞에 가상현실의 가상공연장을 실제처럼 보여주는 것이 중요하다 이를 위한 스크린은 대형의 스크린에 실제 사이즈의 크기 내지 유사한 공연장을 3D 혹은 유사 홀로그래픽으로 보여줄 수 있게 할 수 있다. 이러한 공간을 최대의 효과로 최소의 비용으로 가능한 방식은 대형 곡면 스크린의 방식이 사용되어 질 수 있으며 이러한 곡면 스크린의 영상 왜곡을 3D 그래픽 엔진에서 동시에 처리할 수 있도록 하여 추가의 곡면 스크린 발생장치를 쓰지 안하도 되게 하나의 가상 그래픽에서 처리를 하도록 하는 기술을 개발하여 하나의 장치에서 실행하게 한다. 도 6은 곡면 스크린에 프로젝터를 구현하는 기술을 설명하기 위한 도면이고, 도 7은 가상 캐릭터 애니메이션 모드(3D 캐릭터 모드)를 설명하기 위한 도면이다. 도 6에서는 3D 영상 처리 그래픽 엔진 안에서 이를 구현하나 이를 위해 또 하나의 가상 카메라를 실제 가상 공연장에 사용하는 프로젝터와, 곡면 스크린을 실제 특성과 같게 가상 3D 스튜디오에 매치된 곡면 스크린 중앙에서 스크린 크기로 AC면에 렌더링 된(프로젝션 된)가상 공연장 3D Studio 화면을 AC면에 가상 카메라 VC-4로 만들어 두고, 이 VC-4를 곡면 스크린 AC에 매핑시켜 이를 프로젝터 Vp로 다시 렌더하여 실제 가상공연장의 Projector로 보내는 방식을 쓴다. 이 방식을 곡면 스크린 가상 공연 시스템의 경우 각 가상 카메라마다 적용하여 두어 실제의 가상 공연장 내부의 곡면 스크린, 몰입 스크린을 구현하게 한다. 같은 원리로 멀티 프로젝터를 쓰는 경우도 커브스크린 영상을 가능하게 하여 대형 프로젝터 스크린도 가능하게 할 수 있다. 댄싱과 같이 3D캐릭터를 이용한 댄싱 교습이나 백댄서를 이용하여 가상 공연장을 만드는 기술을 통해 댄싱 연습 및 댄싱 공연을 다른 캐릭터도 수행하게 하는 기능은 일반적인 방법을 사용하여 가능하지만 실제 배우가 자신의 3D 캐릭터로 실제 가상 스튜디오 내부에 3D로 실시간 캐릭터를 발생시키는 것은 실사 수준의 3D 스캐닝 기술이 어려우므로 단순한 3D 캐릭터에 정면 및 측면의 카메라 입력으로 캐릭터 자세 중 유사한 모델에 근사 캐릭터를 만들고 이를 가상 카메라가 근거리에서가 아닌 원거리에서 마음대로 트랙을 발생시킬 수 있게 한다. 실시간 3D 액터 모델은 사람의 캐릭터의 모델에 라이브 카메라들의 비디오 영상을 이용하여 모델의 텍스튜어를 최대한 빠른 시간에 추정 할 수 있게 모델을 개발한다. 이 때 모델 캐릭터와 해상도를 높이기 위해 가상 공연이 시작되기 전 캐릭터 모델을 카메라들을 이용하여 스캔받고 이를 가진 영상처리를 통해 각 액터의 캐릭터 모델을 미리 준비 하였던 실제 공연 위 라이브 카메라의 영상에서 3D 액터 캐릭터의 자세를 실시간으로 가상 공연 스튜디오에 사용하게 하는 기능으로 주로 가상카메라와 원거리 모드에서 사용을 효과적으로 할 수 있게 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. Prior to this, the terms or words used in this specification and claims should not be construed as limited to their usual or dictionary meanings, and the inventor should appropriately use the concept of terms to explain his or her invention in the best way. It must be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle of definability. Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention and do not represent the entire technical idea of the present invention, so at the time of filing this application, various alternatives are available to replace them. It should be understood that equivalents and variations may exist. The present invention relates to audition studio technology that allows audition practice by viewing one's own appearance, facial expressions, singing and dancing, practicing, recording, and broadcasting. This bead has made studio karaoke possible in karaoke rooms and karaoke facilities, allowing singers to prepare for auditions by automatically showing the broadcast screen as if they were singing on a music stage, or to use virtual reality in places such as karaoke. ) By showing the singing broadcast stage in real time on a large immersive curved screen in front of the singer, it automatically generates a realistic virtual stage, multiple camera effects, jimmy zip, tracking effects, and video synthesis switching and mixing. . In this way, you can automatically, semi-automatically, or manually broadcast your own stage broadcasts on video screens and the Internet created by professional broadcasting technicians on the broadcasting station's music stage. In addition, people who sing or direct in remote locations can perform VR (virtual reality) performances and songs as if they were performing together in the same virtual space, and broadcast them so that anyone around the world can see them. For this purpose, we invented a hybrid tracking technology that supports both types of tracking simultaneously by combining special effects with virtual studio technology and trackless camera technology, a previously patented technology to maximize camera effects, and tracking technology, which was a limitation of this technology. Camera effects are created automatically, semi-automatically, or manually as multiple cameras move, similar to when broadcasting music at a broadcasting station. In the present invention, unlike tracking and trackless camera technology, a 3D scanning technology using a real-time 3D character model using multiple cameras is used to create a virtual camera using a 3D live actor that overcomes the limitations of trackless along with existing tracking technology. It allows you to use live 3D characters in remote mode. This technology provides a tracking screen that overcomes the limitations of trackless mode. In addition, by giving an immersive studio effect even in a small space, we use Lyrica Studio's 3D rendering technique to create a multi-sided curved screen image that creates a large curved screen (side screen) to make you think you are in the virtual space of a song or play. By adding a hologram effect to give a sense of distance and three-dimensionality, the holographic virtual stage can be easily reproduced in real time, enabling automatic and semi-automatic audition studios, remote performances, recording, and broadcasting. The invention's equipment also allows users to create a virtual studio by decorating their studio with convenient editing functions, adding names, audition titles, and subtitles, and auditioning or broadcasting in their music studio without any studio expertise. do. In addition, you can show your studio singing and dancing performance to anyone around the world, and you can show the viewer's camera (cell phone, etc.) on the stage, making it a smart performance personal studio where you can perform while watching the other people's expressions. These services enable paid services so that anyone who pays can watch the performance, and a personal broadcasting business that allows for various charges, service fees, and advertisements is possible. A virtual performance must virtually provide the functions of the stage, lighting, and cameras required in a general performance, especially the movement of camera tracks such as Jimmy Jip, and the reactions of the audience, and provide the performer with the feeling of being in a performance hall that looks real. These performances are then edited and recorded for broadcast, and the technology to implement these performances in a small studio is developed. First, for a virtual performance hall, a virtual performance hall selection-editing function is required that allows various selections and modifications of the 3D graphic studio using virtual studio technology. In this virtual stage, the lighting, which is most important for stage performances, maximizes the effect of lighting by linking virtual lighting and real lighting, and has an actor tracking function in which multiple cameras track the actor's movements, and this tracking sensor is used in the virtual stage. In order to implement the studio's tracking virtual studio, multiple tracking cameras are supported in one virtual studio, and composite output is provided in the 3D render device so that multiple tracking cameras can provide a 3D DVE effect on the multi-virtual camera output screen. This makes it possible to achieve performance effects by combining two or more cameras in an actual performance hall. The virtual studio of these camera tracking cameras is a hybrid tracking method in which the camera image tracks the entire body of the actor and makes the track mode of the whole body appear in trackless mode, giving the effect of a jimmy house in a performance hall, creating various virtual environments in a large studio performance hall. Camera actions require technology that allows the use of 2-6 real cameras, virtual cameras, and infinite cameras. In addition, it finds the texture of the character model using images from multiple cameras, creates a 3D live actor in real time, and provides the function of using a real-time 3D actor instead of using the camera's virtual screen. However, this function has limitations in image quality, so it is mainly used in trackless mood and for distant cameras, but its actual use may increase depending on 3D scanning technology. In order for performers to feel the performance hall for themselves, these functions are shown on the real-time screen of the above function, allowing them to perform while viewing their own performance on the screen in front of the virtual performance hall like a projector. At this time, it creates a big effect in a small space. By creating a multi-projector screen (or TV) output that enables a curved screen to display a large immersive performance hall in front of the performers. In this case, a holographic screen using translucent glass can be used to maximize immersion. These performances are recorded and broadcast in real time so that the audience can enjoy them anywhere in the world without having to come to the performance hall. They can be displayed on a screen in the audience's virtual performance hall, within the audience in a virtual space, or on another screen, enabling two-way conversation. In addition, remote performers can send videos such as chroma key cameras or depth CAM from a remote location, enabling virtual remote performances with them. The present invention uses virtual studio technology to select a performance stage from a variety of performance hall styles provided, and to modify, edit, and add the selected performance hall, including the size, color, expression, and rearrangement of decorations. Steps to easily create your own performance studio, virtual camera cleaning/installation steps to place virtual cameras, and virtual screen placement and scaling cleaning to display actual camera images used in each virtual camera. (In the case of tracking mode, matching the size of the virtual studio with the actual camera actor, etc.) Setting step with the 3D graphics studio of the ptz position, angle, and room information of the above camera for tracking mode. Exporting the video to the master render virtual camera of the virtual performance cameras placed in the 3D performance video, setting the camera track in trackless mode to move and render from the tracking camera to the master render virtual camera in trackless mode, these This is the step of broadcasting the virtual cameras and tracks in an order appropriate for the performance. The order provides a performance step that outputs them in various orders. The output screen of such a tracking and trackless performance is displayed on an actual screen using multiple projectors. At this time, image processing to display the image on the screen without distorting the shape of the curved screen is performed using a 3D rendering technique, and each of these images is It is sent to a projector and the performance video is shown on a curved screen. The structural features of the virtual performance studio system 100 of the present invention are briefly described as follows. It includes and uses multiple fixed and tracking cameras to create an automatic virtual performance personal studio where actors can practice singing or dancing or act while appearing on a screen or TV in front of them like a virtual performance studio performance hall. Videos synthesized in a real-time virtual studio are displayed on an immersive flat or curved screen, such as a single or multiple flat-screen TVs or projectors in front of the studio, using a tracking sensor method that moves the movements of real cameras in the virtual studio, and a fixed camera. In the case of this, using a moving virtual camera (Trackless) to track the actor and using a trackless virtual camera, the actor sees it on the screen as if he were broadcasting from an actual broadcasting station's music studio, and broadcasts it to anyone around the world on the Internet. Make it possible. In the case where the output screen is a curved screen, the projector provides a specific output directly from the render device for image distortion, so that the curved screen render image can be viewed directly in the virtual studio using a projector-type virtual camera without using a separate curve screen server. This can be implemented by outputting a virtual curved screen render image. By using an actor tracking camera (image processing, depth camera, etc.) using the camera in front of the actor, you can support the tracking function that follows the instructor's position and allows this image to move within the virtual studio. Tracking that matches the position, angle, camera, etc. of the virtual camera by applying the tracking function to the virtual video screen of the virtual studio for the entire body of the actor to implement the same position, angle, etc. of the virtual camera and the real camera as in the actual studio. This may include supporting a hybrid mode that simultaneously supports a trackless mode that does not match the mode. MIXER of virtual compositing, which uses multiple virtual cameras to rearrange two or more virtual camera output screens in 3D space and adjust transparency to output a screen showing them through another virtual camera, 3D effect (animation) is used in the same way. It includes technology that occurs in a 3D graphics virtual studio, and may include the ability to output the curved screen image while simultaneously compressing and transmitting the flat screen render image, broadcasting it on the Internet, and recording it at the same time. By using an IP camera in front of a chroma key device in a remote location, it is possible to broadcast a virtual compositing studio for remote actors that allows remote people to be together. When using subtitles and music by connecting external karaoke equipment, the song subtitles are displayed on the screen and recorded/recorded. The ability to record without subtitles can be provided. The camera includes two or more cameras or a camera capable of measuring depth, replacing the chroma key function, and places the performers of the virtual performance and multiple audiences participating in the performance hall in the virtual audience seat or virtual performance hall to enhance the sense of presence. may include Including internet broadcasting and two-way video conferencing functions that allow users to view virtual performances from a remote location, performances can be made possible by having a conversation while looking at the other person. It can support a remote mode that allows remote performers or audiences to select scenes by allowing virtual camera switching. Trackless tracking is perfectly implemented by using real-time 3D scanned 3D performer characters rather than using a virtual screen for the performer's camera image. This technology uses a real-time 3D scanning procedure that implements 3D data of the character model in real time using images from the cameras used. Depending on the accuracy of this 3D model, the virtual performance studio's virtual camera can be used in long-distance mode, but depending on performance, it can be used up to close range. Hereinafter, the virtual performance studio system of the present invention will be described with reference to the drawings. Figures 1 and 2 are diagrams showing the structure of a virtual performance hall. As shown in Figure 1, the virtual performance hall consists of a chromakey studio where performances are performed, a large curved screen at the front, and one or more projectors. At this time, depending on the size of the chroma key studio, multiple PTZ cameras are placed, and at this time, the immersion of the screen and the camera can be processed using a half-pass glass or film. Each camera tracks the performer through PTZ control of each camera through camera image processing that allows the location of the performer/actor to be known, and the camera information at this time is sent to the device of the invention. Their camera video becomes a chroma key and is used in the virtual studio. Actors are shown on the screen. Figure 3 is a diagram showing the structure of a virtual 3D studio. As shown in Figure 3, the PTZ Camera displays the actor's video using the camera's PTZ value and the performer/actor's location information. A transparent screen with the actor's video chroma-keyed inside the virtual studio (video actor screen) allows the performer from the actual camera to appear on the virtual stage. In the same way, other real cameras are placed on the video actor screen and placed on the virtual stage. At this time, when there are multiple actors, arrangements are made for each actor. Figure 4 is a conceptual diagram of the actual camera video screen and virtual camera arrangement in the virtual performance hall, and Figure 5 is a diagram of the use of the virtual camera output to composite the output screens of the virtual cameras. Figure 4 shows the location of the actor video screen and the real camera to be placed on the virtual graphic stage, and virtual cameras VC1-1 and VC2-1 assumed to be located in the real camera, and placed in the location of the actual PTZ camera, so that the camera Make it move together when you move. Tracking mode is supported, and VC1-2,3 uses a trackless method that allows the camera to freely move in a similar angle direction above the actual camera, allowing tracking mode and trackless mode to be supported simultaneously. At this time, each virtual camera allocates the corresponding actor screen and displays the actor screen in the most approximate direction from its position. At this time, a function is provided to enable simultaneous sensors of multiple virtual cameras and synthesize their outputs, so that a virtual composite output of the performer can be created with the function to synthesize the output of two or more than two virtual cameras as shown in Figure 5. By switching these virtual cameras and outputting the video, the switcher and mixer effects are used to select the virtual camera and output the video, so that the virtual performance is displayed on the TV company screen. The switching of these virtual cameras is performed automatically, semi-automatically, or manually in various ways, such as in a set order or randomly (random order), or by changing scenes according to gestures, to enable virtual performances. At this time, the audience participating in the virtual performance hall is shown together with the virtual audience in the virtual performance hall using chromakey or depth CAMERA, and a virtual camera that also shows the audience's appearance is shown. In addition, a remote performer in a remote location can use a chroma key in the background and send it to the remote location via IP CAMERA to set up a video screen in the virtual performance hall and participate. At this time, considering the network transmission delay of the remote performer's audio and video, recording and live performance are performed according to the characteristics of the performance. Recording is performed synchronously by compensating for this delay, and live demonstration of live broadcast uses all video and audio. Implement in minimum delay mode as much as possible. In a live virtual performance studio, it is important to show yourself and the studio in virtual reality on a live screen in real time because it is important for you to sing and dance while watching your own performance. Therefore, it is important to show the virtual performance hall in real time in front of the performer as if it were real. Importantly, the screen for this purpose can display the actual size or similar performance hall in 3D or similar holographic form on a large screen. A large curved screen can be used to maximize space with minimal cost, and the image distortion of the curved screen can be processed simultaneously in the 3D graphics engine, eliminating the need for an additional curved screen generator. We have developed a technology that allows processing to be done on a single virtual graphic so that it can be executed on a single device. FIG. 6 is a diagram for explaining a technology for implementing a projector on a curved screen, and FIG. 7 is a diagram for explaining a virtual character animation mode (3D character mode). In Figure 6, this is implemented within the 3D image processing graphics engine, but for this purpose, another virtual camera is used in the actual virtual performance hall, and a curved screen is matched to the virtual 3D studio to match the actual characteristics of the curved screen. AC is adjusted to the screen size at the center. The 3D Studio screen of the virtual performance hall rendered (projected) on the surface is created as a virtual camera VC-4 on the AC side, and this VC-4 is mapped to the curved screen AC and re-rendered with the projector Vp to become the Projector of the actual virtual performance hall. How to send it In the case of a curved screen virtual performance system, this method is applied to each virtual camera to create a curved screen and immersive screen inside the actual virtual performance hall. Using the same principle, curved screen images can be made possible when using multiple projectors, making it possible to use large projector screens as well. Like dancing, the ability to have other characters perform dancing practice and dance performances through dancing lessons using 3D characters or technology to create a virtual performance hall using back dancers is possible using general methods, but it is possible to use actual actors as their own 3D characters. Since it is difficult to create a real-time character in 3D inside an actual virtual studio using photo-realistic 3D scanning technology, an approximate character is created on a similar model among the character poses using camera input from the front and sides on a simple 3D character, and a virtual camera captures this from a close range. It allows you to create tracks at will from a distance. The real-time 3D actor model uses video footage from live cameras on the human character model to develop a model so that the model's texture can be estimated as quickly as possible. At this time, a virtual performance begins to increase the model character and resolution. A function that allows the posture of 3D actor characters to be used in the virtual performance studio in real time from the video of the live camera on the actual performance, in which the character model of each actor was prepared in advance through image processing by scanning the character model using cameras before being put on. This allows it to be effectively used mainly in virtual camera and remote mode.

100: 가상 공연 스튜디오 시스템100: Virtual Performance Studio System

Claims

As a virtual performance studio system, multiple fixed and tracking cameras are used to create an automatic virtual performance personal studio where actors can practice singing or dancing or act while looking like a virtual performance studio performance hall on a screen or TV in front of them. A tracking sensor method that includes and uses real-time virtual studios to display synthesized images on immersive flat or curved screens such as single or multiple flat-screen TVs or projectors in front of the studio, and moves the movements of actual cameras together in the virtual studio. And, in the case of a fixed camera, using a moving virtual camera (Trackless), actor tracking and a trackless virtual camera are used to watch the actor on the screen as if he were broadcasting from a real broadcasting station's music studio, and then broadcast it on the Internet. A virtual performance studio system that allows broadcasting to anyone around the world.