KR101453531B1 - 3D Real-Time Virtual Studio System And Method For Producting Virtual Studio Image In Real-Time Virtual Studio System - Google Patents
3D Real-Time Virtual Studio System And Method For Producting Virtual Studio Image In Real-Time Virtual Studio System Download PDFInfo
- Publication number
- KR101453531B1 KR101453531B1 KR1020130151728A KR20130151728A KR101453531B1 KR 101453531 B1 KR101453531 B1 KR 101453531B1 KR 1020130151728 A KR1020130151728 A KR 1020130151728A KR 20130151728 A KR20130151728 A KR 20130151728A KR 101453531 B1 KR101453531 B1 KR 101453531B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- virtual studio
- virtual
- background
- subject
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법에 관한 것으로서, 더욱 상세하게는 3차원 가상 스튜디오 영상의 크기 및 위치를 자유롭게 조절할 수 있는 3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법에 관한 것이다.The present invention relates to a three-dimensional real-time virtual studio apparatus and a method for generating a virtual-studio image in a three-dimensional real-time virtual studio apparatus, and more particularly, Time virtual studio apparatus and a method for generating a virtual studio image in a three-dimensional real-time virtual studio apparatus.
1960년대 흑백 텔레비전의 등장 이후, 텔레비전 부분의 방송기술은 전자 통신 기술 분야의 발전과 더불어 눈부시게 발전을 거듭하였다. 1980년대에는 칼라 TV가 도입되면서 사회전반에 획기적인 변화를 일으켰으며, 90년대 말부터 시작된 고화질 텔레비전(High Definition TeleVision; 이원, 간단히 'HDTV'라 함)의 방송은 또 다른 방송시대를 열었다.Since the advent of black and white television in the 1960s, the broadcasting technology of the television segment has developed remarkably with the development of the field of electronic communication technology. In the 1980s, the introduction of color television revolutionized the entire society. Broadcasting of High Definition TeleVision ("HDTV") started at the end of the 90s opened another broadcasting era.
최근의 고화질 텔레비전 방송에서는 그래픽과 실사 영상의 합성 기술의 발전은 실사 영상과 가상의 그래픽 영상을 구분할 수 없을 정도로 정교한 실시간 합성 영상을 방송하기에 이르렀다.In recent high-definition television broadcasting, the development of the synthesis technique of graphics and live-action video has resulted in broadcasting a sophisticated real-time composite image that can not distinguish live-action video from virtual live-action video.
실시간 합성 영상의 대표적인 예로서 가상 스튜디오(Virtual Studio), 가상 캐릭터(Virtual Character), 가상 이미징(Virtual Imaging) 기술 등을 들 수 있다. 이중에서도 가상 스튜디오 기술이 각광받고 있었다.Virtual studio, virtual character, and virtual imaging technologies are examples of real-time composite images. Virtual studio technology has been attracting attention.
이러한 가상 스튜디오 기술은 색상차를 이용하여 화면의 합성을 전기적으로 수행하는 특수 효과인 크로마키(Chroma Key) 기법을 사용한다. 예를 들면, 날씨 예보와 같이 기상 아나운서의 뒤배경으로 구름영상이나 그래픽 화면을 합성시키는 것이 그 대표적인 예라 할 수 있었다.This virtual studio technology uses Chroma Key technique, which is a special effect to electrically synthesize the screen using the color difference. For example, as a weather forecast, it is a typical example to combine a cloud image or a graphic screen as a background behind a meteorological announcer.
하지만, 종래의 크로마키 기법을 이용한 가상 스튜디오 영상은 가상 스튜디오 안에 비쳐진 각 영상들의 크기 및 위치 조절이 어려운 문제점이 있었고, 설사 가능하더라도 별도의 프로그램화하여 출력할 수 밖에 없어 크기 및 위치 조절된 영상을 바로 보여주지 못한 문제점이 있었다.However, there is a problem that it is difficult to adjust the size and position of each image seen in the virtual studio by using the conventional chromakey technique, and even if it is possible, it is only necessary to output it as a separate program, There was a problem that I could not immediately show.
이러한 문제점을 안고 있는 대표적인 종래기술로서, 2008년 01월 10일자로 등록된 한국등록특허 제0795552호에서 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치를 들 수 있다.As a representative prior art having such a problem, Korean Patent No. 0795552, registered on Jan. 10, 2008, discloses a three-dimensional virtual studio device using video-texting.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 가상 스튜디오상에 구현된 각 영상 객체의 크기 및 위치를 실시간 형태로 다양하게 조절할 수 있는3차원 리얼타임 가상 스튜디오 장치 및 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a three-dimensional real-time virtual studio device and a three-dimensional real-time virtual studio device capable of variously adjusting the size and position of each video object implemented on a virtual studio, And a method for generating a virtual studio image in a device.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징은 다음과 같다.The features of the present invention for achieving the objects of the present invention as described above and performing the characteristic functions of the present invention described below are as follows.
본 발명의 일 관점에 따르면, 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 영상 카메라부; 생성된 상기 영상 정보에서 배경 영상을 제거한 피사체 영상만을 출력하는 크로마키 엔진부; 가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체를 포함한 3차원 영상정보를 생성하는 가상 카메라부; 및 출력된 상기 피사체 영상과 생성된 상기 3차원 영상 정보를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상을 생성하는 랜더 엔진부;를 포함하고, 상기 랜더 엔진부는 상기 제1 가상 스튜디오 영상의 피사체 영상이 위치할 임의의 지점에 액터판을 생성하는 액터판 생성부; 상기 액터판에 상기 피사체의 비디오 신호를 맵핑(Mapping)한 후 제2 가상 스튜디오 영상을 출력하는 액터 영상 출력부; 및 상기 가상 카메라의 360도 카메라 무빙(moving)을 이용하여 상기 제2 가상 스튜디오 영상을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상을 클릭함에 따라 실시간 형태로 상기 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상을 출력하는 무빙 영상 출력부를 포함하는 3차원 리얼타임 가상 스튜디오 장치가 제공된다.According to an aspect of the present invention, there is provided an image processing apparatus comprising: an image camera unit for photographing a subject and a background image to generate image information; A chroma key engine unit for outputting only the subject image from which the background image is removed from the generated image information; A virtual camera unit for generating three-dimensional image information including a plurality of background image objects to be a background of the virtual studio; And a render engine unit that three-dimensionally renders and synthesizes the output subject image and the generated three-dimensional image information, and then generates a first virtual studio image, wherein the render engine unit comprises: An actor plate generation unit for generating an actor plate at an arbitrary point at which an image is to be positioned; An actor image output unit for mapping a video signal of the subject to the actor plate and outputting a second virtual studio image; Enlarging, and moving the second virtual studio image using a 360-degree camera moving image of the virtual camera, and then clicking the corresponding image. Then, the first virtual studio image is reduced, enlarged, And a moving image output unit for outputting the moved third virtual studio image.
여기서, 본 발명의 일 관점에 따른 상기 랜더 엔진부는 상기 제2 가상 스튜디오 영상 또는 제3 가상 스튜디오 영상에 포함된 복수개의 배경 영상 객체중 임의의 배경 영상 객체의 크기를 조정하는 배경 객체 크기 조정부;를 더 포함할 수 있다.Here, the render engine unit according to an aspect of the present invention may include a background object size adjuster that adjusts the size of a background image object among a plurality of background image objects included in the second virtual studio image or the third virtual studio image .
또한, 본 발명의 일 관점에 따른 상기 랜더 엔진부는 상기 액터판의 크기 및 위치를 조정하고, 조정된 상기 액터판에 맞게 상기 피사체 영상을 조절하여 투사하는 액터판 조정부;를 더 포함할 수 있다.According to an aspect of the present invention, the render engine unit may further include an actor plate adjusting unit adjusting the size and position of the actor plate, and adjusting and projecting the object image according to the adjusted actor plate.
또한, 본 발명의 일 관점에 따르면, (a) 영상 카메라를 통해 피사체와 배경 영상을 촬영하여 영상 정보를 생성하는 단계; (b) 크로마키 엔진을 통해 생성된 상기 영상 정보에서 배경 영상을 제거한 피사체 영상만을 출력하는 단계; (c) 가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체를 포함한 3차원 영상정보를 가상 카메라에서 생성하는 단계; 및 (d) 출력된 상기 피사체 영상과 가상 카메라를 통해 생성된 상기 3차원 영상 정보를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상을 랜더 엔진부에서 생성하는 단계;를 포함하고, 상기 (d) 단계는 상기 제1 가상 스튜디오 영상의 피사체 영상이 위치할 지점에 생성된 액터판에 상기 피사체의 비디오신호를 맵핑(Mapping)한 후 제2 가상 스튜디오 영상을 출력하고, 상기 가상 카메라의 360도 카메라 무빙(moving)을 이용하여 상기 제2 가상 스튜디오 영상을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상을 클릭함에 따라 실시간 형태로 상기 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상을 출력하는 가상 스튜디오 영상 생성 방법이 제공된다.According to an aspect of the present invention, there is provided a method of generating a video image, comprising: (a) capturing a subject and a background image through a video camera to generate image information; (b) outputting only the object image from which the background image is removed from the image information generated through the chroma key engine; (c) generating three-dimensional image information including a plurality of background image objects as a background of the virtual studio in a virtual camera; And (d) rendering the output of the subject image and the three-dimensional image information generated through the virtual camera in a three-dimensional rendering manner, and then generating a first virtual studio image in the render engine unit, wherein (d ) Maps a video signal of the subject to an actor plate generated at a position where the subject image of the first virtual studio image is located, and outputs a second virtual studio image, The second virtual studio image is reduced, enlarged, moved up, down, left, and right using moving and stored, and then the corresponding virtual image is clicked. The third virtual studio image is reduced, enlarged, A virtual studio image generation method is provided.
여기서, 본 발명의 일 관점에 따른 상기 (d) 단계는 (d-1) 상기 제2 가상 스튜디오 영상 또는 제3 가상 스튜디오 영상에 포함된 복수개의 배경 영상 객체중 임의의 배경 영상 객체의 크기를 조정하는 단계; 및 (d-2) 상기 액터판의 크기 및 위치를 조정하고, 조정된 상기 액터판에 맞게 상기 피사체의 비디오신호를 맵핑(Mapping)하는 단계를 더 포함하여 이루어질 수 있다.According to an aspect of the present invention, the step (d) includes the steps of (d-1) adjusting the size of a background image object among a plurality of background image objects included in the second virtual studio image or the third virtual studio image ; And (d-2) adjusting the size and position of the actor plate and mapping the video signal of the subject to the adjusted actor plate.
이상과 같이, 본 발명에 따르면, 카메라 무빙(moving, 선형적인 움직임)을 이용하여 비디오 신호를 맵핑한 가상 스튜디오 영상을 실시간으로 축소, 확대 및 상하 좌우 이동시킴으로써 다양한 형태의 실감나는 가상 영상을 보여줄 수 있는 효과가 있다.As described above, according to the present invention, a virtual studio image in which a video signal is mapped using a moving camera (linear motion) can be displayed in real time by reducing, enlarging, and moving up and down and left and right. There is an effect.
특히, 본 발명은 가상 스튜디오 영상에 포함된 배경 영상 각 객체와 피사체 영상을 독립적으로 실행시켜 각 객체와 피사체의 크기를 각기 다르게 조정할 수 있게 되어 강조하고자 하는 영상을 제대로 보여줄 수 있고, 이로써 다양한 형태의 더욱더 실감나는 가상 영상을 보여줌과 동시에 운영자 측면에서 보면 기존 제품의 제작 번거로움을 대폭 개선하여 제작자의 생산성을 극대화시킬 수 있는 효과가 있다.In particular, according to the present invention, each background image object and an object image included in a virtual studio image are independently executed, and the size of each object and a subject can be adjusted differently so that an image to be emphasized can be displayed properly. It is possible to maximize the productivity of the maker by dramatically improving the production hassle of the existing product from the viewpoint of the operator as well as showing the realistic virtual image.
도 1은 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)를 예시적으로 나타낸 도면이다.
도 2는 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)의 랜더 엔진부(140)의 구성을 보다 상세하게 나타낸 도면이다.
도 3 및 도 4는 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)의 랜더 엔진부(140)에서 기존의 그래픽 배경을 조절하여 원근감을 표현하는 방식이 아닌 X,Y,Z의 위치 값과 FOV(Field of View) 값을 갖는 가상 카메라 방식의 영상 화면을 나타낸 도면이다.
도 5는 본 발명의 제2 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)에서의 가상 스튜디오 영상 생성 방법(S100)을 예시적으로 나타낸 도면이다.
도 6은 본 발명의 제2 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)에서의 가상 스튜디오 영상 생성 방법(S100)의 S140 단계를 보다 상세하게 나타낸 도면이다.
도 7 및 도 8은 본 발명의 일 실시예들에 의해 구현된 제3 가상 스튜디오 영상(148)의 일례를 나타낸 도면이다.1 is a diagram illustrating an exemplary 3D real-time
FIG. 2 is a diagram illustrating a detailed configuration of the
3 and 4 are diagrams for explaining an example of a method of rendering a 3D virtual real-time
5 is a diagram illustrating a virtual studio image generation method (S100) in a 3D real-time
FIG. 6 is a detailed view illustrating step S140 of the virtual studio image generation method S100 in the 3D real-time
7 and 8 are views showing an example of the third
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the present invention. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.
제1 실시예First Embodiment
도 1은 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)를 예시적으로 나타낸 도면이고, 도 2는 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)의 랜더 엔진부(140)의 구성을 보다 상세하게 나타낸 도면이며, 도 3 및 도 4는 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)의 랜더 엔진부(140)에서 생성된 영상 화면을 나타낸 도면이다.FIG. 1 is a diagram illustrating an example of a 3D real-time
도시된 바와 같이, 본 발명의 제1 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)는 영상 카메라부(110), 크로마키 엔진부(120), 가상 카메라부(130) 및 랜더 엔진부(140)를 포함한다.As shown, the 3D real-time
먼저, 본 발명에 따른 영상 카메라부(110)는 배경 영상(112)을 뒤로하는 피사체 영상(111)과 함께 배경 영상(112)을 촬영한 후 영상 정보(110a)를 생성한다. 이러한 영상 카메라부(110)는 통상적으로 널리 알려진 사진 카메라, 스마트폰 카메라와 같은 원리를 갖는다.First, the
다음으로, 본 발명에 따른 크로마키 엔진부(120)는 앞서 설명한 영상 카메라부(110)에서 생성된 영상 정보(110a)에서 배경 영상(112)을 제거한 피사체 영상(111)만을 크로마키 기법을 이용하여 출력하여 가상의 피사체 영상(121)을 생성하는 역할을 한다.Next, the
이때 사용되는 크로마키 기법은 영상 카메라(110)로부터의 나오는 신호를 전자적으로 읽고, 화상의 특정한 성분들을 체계적으로 제거하여 공백으로 만드는 기법을 의미한다. 상기 공백은 가상 카메라로부터 나오는 영상 신호로 채워져 두 개의 카메라로부터 전자적으로 결합된 화면을 구성하여 실제로는 존재하지 않는 가상의 영상 화면을 만들어내는데 필요하다.The chroma key technique used here is a technique for electronically reading the signal from the
다음으로, 본 발명에 따른 가상 카메라부(130)는 가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체(131,132,133)를 포함한 가상의 3차원 영상정보(130a)를 생성하는 역할을 한다.Next, the
다음으로, 본 발명에 따른 랜더 엔진부(140)는 크로마키 엔진부(120)로부터 출력된 피사체 영상(121)과 가상 카메라부(130)에 의해 생성된 3차원 영상 정보(130a)를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상(146)을 생성한다. Next, the
이러한 제1 가상 스튜디오 영상은 통상적으로 알려진 두개의 영상을 3차원 랜더링하여 합성하는 기법과 동일하다고 할 수 있으나, 본 실시예에서는 크로마키된 피사체 영상을 합성대상중 하나로 인식하여 처리하는 것이 다르다 할 수 있을 것이다.Such a first virtual studio image can be said to be the same as a technique of three-dimensionally rendering and synthesizing two known images, but in this embodiment, it is different from recognizing and processing the chroma keyed object image as one of the objects to be synthesized There will be.
이와 같은 본 발명의 랜더 엔진부(140)는 제1 가상 스튜디오 영상(146)안에 합성된 피사체 영상(121)을 제1 가상 스튜디오 영상(146)안에 존재하는 3차원 영상 정보(130a)의 임의의 지점에 위치시키도록 비디오신호 맵핑(Mapping)기법을 사용하고, 비디오신호 맵핑(Mapping)된 피사체 영상(121)과 함께 3차원 영상 정보(130a)의 각 객체의 크기 및 위치를 가상 카메라(130)의 무빙 기능을 이용하여 조정하는 역할을 한다.The
이를 위해, 본 발명에 따른 랜더 엔진부(140)는 도 2에 도시된 바와 같이 액터판 생성부(141), 액터 영상 출력부(142), 무빙 영상 출력부(143), 배경 객체 크기 조정부(144) 및 액터판 조정부(145)를 포함한다.2, the
먼저, 본 발명에 따른 액터판 생성부(141)는 랜더 엔진부(140)에서 생성된 제1 가상 스튜디오 영상(146)의 피사체 영상(121)이 위치할 임의의 지점에 액터판(146a)을 생성하는 역할을 한다. The actor
이런 다음, 본 발명에 따른 액터 영상 출력부(142)는 액터판 생성부(141)에서 생성된 액터판(146a)에 제1 가상 스튜디오 영상(146)의 피사체 영상(121)을 투사하여 비디오 신호를 맵핑(Mapping)한 후 제2 가상 스튜디오 영상(147)을 출력한다. The actor
이로써, 제1 가상 스튜디오 영상(146)에 포함된 배경 영상 객체(130a)의 해당하는 객체속에 비디오 신호를 맵핑(Mapping)한 피사체 영상(121)이 위치하여 제1 가상 스튜디오 영상(146)과 다른 형태의 제2 가상 스튜디오 영상(147)을 출력할 수 있게 된다.The
다음으로, 본 발명에 따른 무빙 영상 출력부(143)는 가상 카메라(130)의 360도 카메라 무빙(moving)을 이용하여 액터 영상 출력부(142)에서 생성된 제2 가상 스튜디오 영상(147)을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상(피사체 영상, 배경 영상 객체 전체중 적어도 하나 이상을 의미함)을 클릭함에 따라 실시간 형태로 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상(148)을 출력하게 된다. 이와 같이 구현된 제3 가상 스튜디오 영상(148)의 예는 도 7 및 도 8에 나타내었다.Next, the moving
다시말해, 상기 제3 가상 스튜디오 영상(148)은 배경 영상 객체(130a) 및 비디오 신호를 맵핑(Mapping)한 피사체 영상(121)을 포함한 제3 가상 스튜디오 영상 전체(148)를 본 발명의 가상 카메라를 통해 축소, 확대 및 상하 좌우 이동된 결과가 가장 근접한 결과이다.In other words, the third
다음으로, 본 발명에 따른 배경 객체 크기 조정부(144)는 앞서 설명한 제2 가상 스튜디오 영상(147) 또는 제3 가상 스튜디오 영상(148)에 포함된 복수개의 배경 영상 객체(130a)중 임의의 배경 영상 객체의 크기를 조정하는 역할을 한다. Next, the background object size adjuster 144 according to the present invention adjusts the background image size of an arbitrary background image among a plurality of
더욱이, 본 발명에 따른 액터판 조정부(145)는 액터판 생성부(141)에서 생성된 액터판(146a)의 크기 및 위치를 조정하고, 조정된 액터판에 맞게 피사체 영상(121)을 조절하여 맵핑(Mapping)할 수 있게 된다.In addition, the actor
이와 같이, 제3 가상 스튜디오 영상 전체(148)를 축소, 확대 및 상하 좌우 이동시킬 수 있을뿐만 아니라, 특정 영상인 배경 영상 객체(130a)의 해당하는 객체 및/또는 피사체 영상(121)을 더욱더 조정할 수 있게 되어 강조하고자 하는 특정 가상 스튜디오 영상을 표출시킬 수 있음과 동시에 다양한 가상 스튜디오 영상을 보여줄 수 있는 잇점을 제공하게 되는 것이다.In this way, not only can the entire third
제2 실시예Second Embodiment
도 5는 본 발명의 제2 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)에서의 가상 스튜디오 영상 생성 방법(S100)을 예시적으로 나타낸 도면이며, 도 6은 본 발명의 제2 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)에서의 가상 스튜디오 영상 생성 방법(S100)의 S140 단계를 보다 상세하게 나타낸 도면이다.5 is a diagram illustrating a virtual studio image generation method (SlOO) in a three-dimensional real-time
도 5에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 3차원 리얼타임 가상 스튜디오 장치(100)에서의 가상 스튜디오 영상 생성 방법(S100)은 다양한 형태의 크기 및 위치 조정이 가능한 3차원 가상 스튜디오 영상을 생성하기 위하여 S110 단계 내지 S140 단계를 포함하여 이루어진다.5, a virtual studio image generation method (S100) in a 3D real-time
먼저, 본 발명에 따른 S110 단계에서는 영상 카메라(110)를 통해 피사체(111)와 배경 영상(112)을 촬영하여 영상 정보(110a)를 생성한다.First, in step S110 according to the present invention, the subject 111 and the
이후, 본 발명에 따른 S120 단계에서는 크로마키 엔진(120)을 통해 생성된 영상 정보(110a)에서 배경 영상(112)을 크로마키 기법을 이용하여 제거한후 피사체 영상(121)만을 출력한다.In step S120 according to the present invention, the
이때 사용되는 크로마키 기법은 영상 카메라(110)로부터의 나오는 신호를 전자적으로 읽고, 화상의 특정한 성분들을 체계적으로 제거하여 공백으로 만드는 기법을 의미한다. 상기 공백은 가상 카메라로부터 나오는 영상 신호로 채워져 두 개의 카메라로부터 전자적으로 결합된 화면을 구성하여 실제로는 존재하지 않는 가상의 영상 화면을 만들어내는데 필요하다.The chroma key technique used here is a technique for electronically reading the signal from the
이후, 본 발명에 따른 S130 단계에서는 가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체(131, 132, 133)를 포함한 3차원 영상정보(130a)를 가상 카메라(130)에서 생성한다.In step S130 according to the present invention, the
마지막으로, 본 발명에 따른 S140 단계에서는 S130 단계에 의해 출력된 피사체 영상(121)과 가상 카메라(130)를 통해 생성된 3차원 영상 정보(130a)를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상(146)을 랜더 엔진부(140)에서 생성한다.Finally, in step S140 according to the present invention, the
이때, 생성된 제1 가상 스튜디오 영상(146)은 통상적으로 알려진 두개의 영상을 3차원 랜더링하여 합성하는 기법과 동일하다고 할 수 있으나, 본 실시예에서는 크로마키된 피사체 영상(121)을 합성대상중 하나로 인식하여 처리하는 것이 다르다 할 수 있을 것이다.In this case, the generated first
이에 더하여, 본 발명에 따른 S140 단계에서는 도 6에 도시된 바와 같이 제1 가상 스튜디오 영상(146)의 피사체 영상(121)이 위치할 지점에 생성된 액터판(146a)에 피사체 영상(121)을 비디오 신호로 맵핑(Mapping)한 후 제2 가상 스튜디오 영상(147)을 출력한다(S141).6, in step S140, a
이로써, 제1 가상 스튜디오 영상(146)에 포함된 배경 영상 객체(130a)의 해당하는 객체속에 비디오 신호를 맵핑(Mapping)한 피사체 영상(121)을 위치시켜 제1 가상 스튜디오 영상(146)과 다른 형태의 제2 가상 스튜디오 영상(147)을 출력할 수 있게 된다(S142).In this way, a
이어서, 본 발명에 따른 S140 단계에서는 가상 카메라(130)의 360도 카메라 무빙(moving)을 이용하여 출력된 상기 제2 가상 스튜디오 영상(147)을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상(피사체 영상, 배경 영상 객체 전체중 적어도 하나 이상을 의미함)을 클릭함에 따라 실시간 형태로 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상(148)을 출력하게 된다(S143).In step S140 according to the present invention, the second
다시말해, 상기 제3 가상 스튜디오 영상(148)은 배경 영상 객체 및 비디오 신호를 맵핑(Mapping)한 피사체 영상을 포함하여 제3 가상 스튜디오 영상 전체(148)를 축소, 확대 및 상하 좌우 이동된 결과가 가장 근접한 결과이다. 이와 같이 구현된 제3 가상 스튜디오 영상(148)의 예는 도 7 및 도 8에 나타내었다.In other words, the third
그리고, 본 발명에 따른 S140 단계에서는 앞서 설명한 제2 가상 스튜디오 영상 또는 제3 가상 스튜디오 영상에 포함된 복수개의 배경 영상 객체중 임의의 배경 영상 객체의 크기를 조정하고, 액터판의 크기 및 위치를 조정하고, 조정된 상기 액터판에 맞게 상기 피사체 영상의 크기 및 위치등을 조절하여 맵핑(Mapping)하게 된다(S144).In step S140 according to the present invention, the size of an arbitrary background image object among the plurality of background image objects included in the second virtual studio image or the third virtual studio image described above is adjusted and the size and position of the actor plate are adjusted And adjusts the size and position of the subject image in accordance with the adjusted actor plate, thereby mapping (S144).
이와 같이, 제3 가상 스튜디오 영상 전체를 기존의 그래픽 배경을 조절하여 원근감을 표현하는 방식이 아닌 X,Y,Z의 위치 값과 FOV(Field of View) 값을 갖는 가상 카메라 방식의 영상 화면을 나타내어 제3 가상 스튜디오 영상 전체를 축소, 확대 및 상하 좌우 이동시킬 수 있을뿐만 아니라, 특정 영상인 배경 영상 객체의 해당하는 객체 및/또는 피사체 영상을 더욱더 조정할 수 있게 되어 강조하고자 하는 특정 가상 스튜디오 영상을 표출시킬 수 있음과 동시에 다양한 가상 스튜디오 영상을 보여줄 수 있는 잇점을 제공하게 되는 것이다.As described above, a virtual camera-type image screen having a position value of X, Y, Z and a field of view (FOV) value is displayed instead of a method of expressing the perspective by adjusting the existing graphic background of the entire third virtual studio image The entire virtual studio image can be reduced, enlarged, and moved up and down and left and right. In addition, a corresponding virtual object image and / or a subject image of a background image object, which is a specific image, And can display various virtual studio images at the same time.
이상에서와 같이, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the exemplary embodiments or constructions. You can understand that you can do it. The embodiments described above are therefore to be considered in all respects as illustrative and not restrictive.
100 : 3차원 리얼타임 가상 스튜디오 장치 110 : 영상 카메라부
120 : 크로마키 엔진부 130 : 가상 카메라부
140 : 랜더 엔진부 141 : 액터판 생성부
142 : 액터 영상 출력부 143 : 무빙 영상 출력부
144 : 배경 객체 크기 조정부 145 : 액터판 조정부100: three-dimensional real-time virtual studio device 110:
120: chroma key engine unit 130: virtual camera unit
140: Lander engine unit 141: Actor plate generating unit
142: Actor image output unit 143: Moving image output unit
144: background object size adjustment unit 145: actor plate adjustment unit
Claims (5)
생성된 상기 영상 정보에서 배경 영상을 제거한 피사체 영상만을 출력하는 크로마키 엔진부;
가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체를 포함한 가상의 3차원 영상정보를 생성하는 가상 카메라부; 및
출력된 상기 피사체 영상과 생성된 상기 3차원 영상 정보를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상을 생성하는 랜더 엔진부;를 포함하고,
상기 랜더 엔진부는,
상기 제1 가상 스튜디오 영상의 피사체 영상이 위치할 임의의 지점에 액터판을 생성하는 액터판 생성부;
상기 제1 가상 스튜디오 영상에 포함된 배경 영상 객체의 해당 객체속에 비디오 신호를 맵핑한 상기 피사체 영상이 위치하여 상기 제1 가상 스튜디오 영상과 다른 형태의 영상을 출력할 수 있도록 상기 액터판에 상기 피사체 영상의 비디오신호를 맵핑(Mapping)한 후 제2 가상 스튜디오 영상을 출력하는 액터 영상 출력부;
상기 가상 카메라의 360도 카메라 무빙(moving)을 이용하여 상기 제2 가상 스튜디오 영상을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상을 클릭함에 따라 실시간 형태로 상기 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상을 출력하는 무빙 영상 출력부;
상기 제2 가상 스튜디오 영상 또는 제3 가상 스튜디오 영상에 포함된 복수개의 배경 영상 객체중 임의의 배경 영상 객체의 크기를 조정하는 배경 객체 크기 조정부; 및
상기 액터판의 크기 및 위치를 조정하고, 조정된 상기 액터판에 맞게 상기 피사체 영상을 조절하여 맵핑(Mapping)하는 액터판 조정부;
를 포함하는 것을 특징으로 하는 3차원 리얼타임 가상 스튜디오 장치.
An image camera unit for photographing a subject and a background image to generate image information;
A chroma key engine unit for outputting only the subject image from which the background image is removed from the generated image information;
A virtual camera unit for generating virtual three-dimensional image information including a plurality of background image objects to be a background of the virtual studio; And
And a render engine unit for three-dimensionally rendering and synthesizing the output subject image and the generated three-dimensional image information to generate a first virtual studio image,
The render engine unit,
An actor plate generation unit for generating an actor plate at an arbitrary point at which a subject image of the first virtual studio image is to be positioned;
The method of claim 1 or 2, wherein the object image, in which a video signal is mapped, is output to a corresponding object of a background image object included in the first virtual studio image, An actor image output unit for mapping a video signal of the first virtual studio and outputting a second virtual studio image;
Enlarging, and moving the second virtual studio image using the 360-degree camera moving of the virtual camera and storing the virtual studio image by moving it up, down, left, and right, A moving image output unit for outputting a third virtual studio image;
A background object size adjuster for adjusting a size of a background image object among a plurality of background image objects included in the second virtual studio image or the third virtual studio image; And
An actor plate adjusting unit adjusting the size and position of the actor plate and adjusting and mapping the subject image according to the adjusted actor plate;
Dimensional real-time virtual studio device.
(b) 크로마키 엔진을 통해 생성된 상기 영상 정보에서 배경 영상을 제거한 피사체 영상만을 출력하는 단계;
(c) 가상 스튜디오의 배경이 되는 복수개의 배경 영상 객체를 포함한 3차원 영상정보를 가상 카메라에서 생성하는 단계; 및
(d) 출력된 상기 피사체 영상과 가상 카메라를 통해 생성된 상기 3차원 영상 정보를 3차원 랜더링하여 합성한 후 제1 가상 스튜디오 영상을 랜더 엔진부에서 생성하는 단계;를 포함하고,
상기 (d) 단계는,
상기 제1 가상 스튜디오 영상에 포함된 배경 영상 객체의 해당 객체속에 비디오 신호를 맵핑한 피사체 영상이 위치하여 상기 제1 가상 스튜디오 영상과 다른 형태의 영상을 출력할 수 있도록 상기 제1 가상 스튜디오 영상의 피사체 영상이 위치할 지점에 생성된 액터판에 상기 피사체 영상의 비디오 신호를 맵핑(Mapping)한 후 제2 가상 스튜디오 영상을 출력하고, 상기 가상 카메라의 360도 카메라 무빙(moving)을 이용하여 상기 제2 가상 스튜디오 영상을 축소, 확대 및 상하 좌우 이동시켜 저장한 후 해당하는 영상을 클릭함에 따라 실시간 형태로 상기 축소, 확대 및 상하 좌우 이동된 제3 가상 스튜디오 영상을 출력하며,
상기 (d) 단계는,
(d-1) 상기 제2 가상 스튜디오 영상 또는 제3 가상 스튜디오 영상에 포함된 복수개의 배경 영상 객체중 임의의 배경 영상 객체의 크기를 조정하는 단계; 및
(d-2) 상기 액터판의 크기 및 위치를 조정하고, 조정된 상기 액터판에 맞게 상기 피사체 영상을 맵핑(Mapping)하는 단계;
를 더 포함하는 것을 특징으로 하는 3차원 리얼타임 가상 스튜디오 장치에서의 가상 스튜디오 영상 생성 방법.(a) capturing a subject and a background image through a video camera to generate image information;
(b) outputting only the object image from which the background image is removed from the image information generated through the chroma key engine;
(c) generating three-dimensional image information including a plurality of background image objects as a background of the virtual studio in a virtual camera; And
(d) rendering the output image of the subject and the 3D image information generated through the virtual camera in a 3D rendering manner, and creating a first virtual studio image in the render engine unit,
The step (d)
The object image of the video object is mapped to a corresponding object of the background object included in the first virtual studio image so that the object of the first virtual studio image A second virtual studio image is mapped by mapping a video signal of the subject image to an actor plate formed at a position where the image is to be positioned, and the moving image of the second Expanding and moving the virtual studio image in the up, down, left, and right directions, and then clicking the corresponding image, the third virtual studio image is reduced, enlarged, and moved up and down and left and right in real-
The step (d)
(d-1) adjusting the size of an arbitrary background image object among a plurality of background image objects included in the second virtual studio image or the third virtual studio image; And
(d-2) adjusting the size and position of the actor plate and mapping the subject image to the adjusted actor plate;
And generating a virtual studio image in the 3D real-time virtual studio apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130151728A KR101453531B1 (en) | 2013-12-06 | 2013-12-06 | 3D Real-Time Virtual Studio System And Method For Producting Virtual Studio Image In Real-Time Virtual Studio System |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130151728A KR101453531B1 (en) | 2013-12-06 | 2013-12-06 | 3D Real-Time Virtual Studio System And Method For Producting Virtual Studio Image In Real-Time Virtual Studio System |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101453531B1 true KR101453531B1 (en) | 2014-10-24 |
Family
ID=51998450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130151728A KR101453531B1 (en) | 2013-12-06 | 2013-12-06 | 3D Real-Time Virtual Studio System And Method For Producting Virtual Studio Image In Real-Time Virtual Studio System |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101453531B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101769873B1 (en) | 2016-10-25 | 2017-08-21 | 신현시 | Studio shooting appartus and method for providing shooting serivce thereof |
CN107770595A (en) * | 2017-09-19 | 2018-03-06 | 浙江科澜信息技术有限公司 | A kind of method of real scene embedded in virtual scene |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050105308A (en) * | 2004-04-28 | 2005-11-04 | 주식회사 다림비젼 | 3d virtual studio karaoke |
KR20090028674A (en) * | 2007-09-15 | 2009-03-19 | 김영대 | 3d virtual studio teaching and conference apparatus |
KR20090044105A (en) * | 2007-10-31 | 2009-05-07 | (주)한국인터넷소프트웨어 | Live-image providing system using contents of 3d virtual space |
KR20130106483A (en) * | 2012-03-20 | 2013-09-30 | 주식회사 다림비젼 | Physical picture machine |
-
2013
- 2013-12-06 KR KR1020130151728A patent/KR101453531B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050105308A (en) * | 2004-04-28 | 2005-11-04 | 주식회사 다림비젼 | 3d virtual studio karaoke |
KR20090028674A (en) * | 2007-09-15 | 2009-03-19 | 김영대 | 3d virtual studio teaching and conference apparatus |
KR20090044105A (en) * | 2007-10-31 | 2009-05-07 | (주)한국인터넷소프트웨어 | Live-image providing system using contents of 3d virtual space |
KR20130106483A (en) * | 2012-03-20 | 2013-09-30 | 주식회사 다림비젼 | Physical picture machine |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101769873B1 (en) | 2016-10-25 | 2017-08-21 | 신현시 | Studio shooting appartus and method for providing shooting serivce thereof |
CN107770595A (en) * | 2017-09-19 | 2018-03-06 | 浙江科澜信息技术有限公司 | A kind of method of real scene embedded in virtual scene |
CN107770595B (en) * | 2017-09-19 | 2019-11-22 | 浙江科澜信息技术有限公司 | A method of it being embedded in real scene in virtual scene |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101723210B1 (en) | Method For Producting Virtual Stereo Studio Image In Real-Time Virtual Stereo Studio System | |
US11019259B2 (en) | Real-time generation method for 360-degree VR panoramic graphic image and video | |
KR101961015B1 (en) | Smart augmented reality service system and method based on virtual studio | |
CN103426163B (en) | System and method for rendering affected pixels | |
US9160938B2 (en) | System and method for generating three dimensional presentations | |
KR102230416B1 (en) | Image processing device, image generation method, and computer program | |
US4925294A (en) | Method to convert two dimensional motion pictures for three-dimensional systems | |
KR101538947B1 (en) | The apparatus and method of hemispheric freeviewpoint image service technology | |
KR100795552B1 (en) | 3D Virtual Studio Using VIDEO Texturing | |
CN109218630B (en) | Multimedia information processing method and device, terminal and storage medium | |
KR20210032549A (en) | Image processing apparatus, image processing method, and computer program | |
JP2022031304A (en) | Video conversion system, video conversion method, and video conversion program | |
KR20150105069A (en) | Cube effect method of 2d image for mixed reality type virtual performance system | |
US11579746B2 (en) | Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology | |
JP2005020607A (en) | Composite image output device and composite image output processing program | |
JP2011035638A (en) | Virtual reality space video production system | |
KR101453531B1 (en) | 3D Real-Time Virtual Studio System And Method For Producting Virtual Studio Image In Real-Time Virtual Studio System | |
KR20070010306A (en) | Device taking a picture and method to generating the image with depth information | |
JP2011151773A (en) | Video processing apparatus and control method | |
KR20150114103A (en) | 3D Real-Time Virtual Stereo Studio System And Method For Producting Virtual Stereo Studio Image In Real-Time Virtual Stereo Studio System | |
WO2021171982A1 (en) | Image processing device, three-dimensional model generating method, learning method, and program | |
JP5924833B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
JP7271095B2 (en) | Image generation device, image generation method, and program | |
JP7011728B2 (en) | Image data output device, content creation device, content playback device, image data output method, content creation method, and content playback method | |
KR102145017B1 (en) | 3D virtual studio system, and 3D virtual studio image synthesis method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170808 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180716 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190717 Year of fee payment: 6 |