KR102145017B1 - 3D virtual studio system, and 3D virtual studio image synthesis method - Google Patents

3D virtual studio system, and 3D virtual studio image synthesis method Download PDF

Info

Publication number
KR102145017B1
KR102145017B1 KR1020130028718A KR20130028718A KR102145017B1 KR 102145017 B1 KR102145017 B1 KR 102145017B1 KR 1020130028718 A KR1020130028718 A KR 1020130028718A KR 20130028718 A KR20130028718 A KR 20130028718A KR 102145017 B1 KR102145017 B1 KR 102145017B1
Authority
KR
South Korea
Prior art keywords
image
virtual studio
performer
image information
virtual
Prior art date
Application number
KR1020130028718A
Other languages
Korean (ko)
Other versions
KR20140114940A (en
Inventor
김창헌
감형렬
정소현
최원재
황병주
손윤호
임재호
황철희
안태규
권린
이상일
박태정
Original Assignee
(주)위니웍스
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)위니웍스, 고려대학교 산학협력단 filed Critical (주)위니웍스
Priority to KR1020130028718A priority Critical patent/KR102145017B1/en
Publication of KR20140114940A publication Critical patent/KR20140114940A/en
Application granted granted Critical
Publication of KR102145017B1 publication Critical patent/KR102145017B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명은, 3D 가상스튜디오 영상정보가 저장된 가상스튜디오 3D영상저장부 와; 상기 3D 가상스튜디오 영상정보에 대응되는 세트에서 출연자를 촬영하는 복수의 카메라부와; 상기 3D 가상스튜디오 영상정보에 대응하여 상기 세트 내에서 출연자의 이동을 추적하는 이동추적부와; 상기 복수의 카메라부에 의하여 획득된 복수의 영상정보 및 상기 이동추적부에 의하여 추적된 출연자의 이동궤적정보를 이용하여 상기 3D 가상스튜디오 영상정보에 대응되는 출연자 3D영상을 형성하는 3D영상형성부와; 상기 3D영상형성부에 의하여 형성된 출연자 3D영상과 상기 3D영상저장부에 저장된 3D 가상스튜디오 영상정보를 합성하여 최종 3D영상을 형성하는 최종 3D영상형성부를 포함하는 것을 특징으로 하는 3D 가상스튜디오시스템을 개시한다.The present invention includes a virtual studio 3D image storage unit in which 3D virtual studio image information is stored; A plurality of camera units for photographing performers from a set corresponding to the 3D virtual studio image information; A movement tracking unit for tracking the movement of a performer in the set in response to the 3D virtual studio image information; A 3D image forming unit for forming a 3D image of a performer corresponding to the 3D virtual studio image information using a plurality of image information obtained by the plurality of camera units and movement trajectory information of the performer tracked by the movement tracking unit; and ; Disclosed is a 3D virtual studio system comprising a final 3D image forming unit for forming a final 3D image by synthesizing the 3D image of the performer formed by the 3D image forming unit and 3D virtual studio image information stored in the 3D image storage unit. do.

Description

3D 가상스튜디오시스템 및 3D 가상스튜디오 영상합성방법 {3D virtual studio system, and 3D virtual studio image synthesis method}3D virtual studio system, and 3D virtual studio image synthesis method}

본 발명은 3D 가상스튜디오시스템에 관한 것으로서, 보다 상세하게는 촬영된 실사를 미리 제작된 3D 가상스튜디오와 합성하여 3D영상을 형성하는 3D 가상스튜디오시스템 및 3D 가상스튜디오 영상합성방법에 관한 것이다.The present invention relates to a 3D virtual studio system, and more particularly, to a 3D virtual studio system and a 3D virtual studio image synthesizing method for forming a 3D image by synthesizing a photographed real picture with a 3D virtual studio prepared in advance.

3D TV의 보급과 TV 방송사에서 3D TV 방송을 시험 방송함에 따라서 3D 컨텐츠의 수요가 급격히 증가하고 있다. As 3D TV spreads and TV broadcasters test 3D TV broadcasts, the demand for 3D contents is rapidly increasing.

그런데 3D 컨텐츠를 기존의 방식으로 제작하기 위해서는 스테레오스코픽 카메라를 비롯하여 비디오 저장장치, 그리고 그에 맞는 기술들이 필요하다.However, in order to produce 3D contents in a conventional manner, a stereoscopic camera, a video storage device, and appropriate technologies are required.

본 발명의 목적은, 촬영된 실사를 미리 제작된 3D 가상스튜디오와 합성하여 3D영상을 형성하는 3D 가상스튜디오시스템 및 3D 가상스튜디오 영상합성방법을 제시함으로써 보다 다양한 3D 영상의 제작이 가능하도록 함에 있다. An object of the present invention is to provide a 3D virtual studio system and a 3D virtual studio image synthesizing method for synthesizing a 3D image by synthesizing a photographed real picture with a 3D virtual studio prepared in advance, thereby enabling the production of more various 3D images.

본 발명은 상기와 같은 본 발명의 목적을 달성하기 위하여 창출된 것으로서, 본 발명은, 3D 가상스튜디오 영상정보가 저장된 가상스튜디오 3D영상저장부와; 상기 3D 가상스튜디오 영상정보에 대응되는 세트에서 출연자를 촬영하는 복수의 카메라부와; 상기 3D 가상스튜디오 영상정보에 대응하여 상기 세트 내에서 출연자의 이동을 추적하는 이동추적부와; 상기 복수의 카메라부에 의하여 획득된 복수의 영상정보 및 상기 이동추적부에 의하여 추적된 출연자의 이동궤적정보를 이용하여 상기 3D 가상스튜디오 영상정보에 대응되는 출연자 3D영상을 형성하는 3D영상형성부와; 상기 3D영상형성부에 의하여 형성된 출연자 3D영상과 상기 3D영상저장부에 저장된 3D 가상스튜디오 영상정보를 합성하여 최종 3D영상을 형성하는 최종 3D영상형성부를 포함하는 것을 특징으로 하는 3D 가상스튜디오시스템을 개시한다.The present invention has been created to achieve the object of the present invention as described above, the present invention, a virtual studio 3D image storage unit in which 3D virtual studio image information is stored; A plurality of camera units for photographing performers from a set corresponding to the 3D virtual studio image information; A movement tracking unit for tracking the movement of a performer in the set in response to the 3D virtual studio image information; A 3D image forming unit for forming a 3D image of a performer corresponding to the 3D virtual studio image information using a plurality of image information obtained by the plurality of camera units and movement trajectory information of the performer tracked by the movement tracking unit; and ; Disclosed is a 3D virtual studio system comprising a final 3D image forming unit for forming a final 3D image by synthesizing the 3D image of the performer formed by the 3D image forming unit and 3D virtual studio image information stored in the 3D image storage unit. do.

상기 3D 가상스튜디오 영상정보에 대응되는 세트는, 바닥 및 벽체의 색깔이 단일의 색깔을 가질 수 있다.In the set corresponding to the 3D virtual studio image information, the color of the floor and the wall may have a single color.

상기 3D 가상스튜디오 영상정보에 대응되는 세트는, 바닥면적 및 높이가 일정한 값을 가지며, 상기 3D영상저장부에 저장된 3D 가상스튜디오 영상정보는, 상기 세트의 바닥면적 및 높이에 대응할 수 있다.The set corresponding to the 3D virtual studio image information has a floor area and a height constant, and the 3D virtual studio image information stored in the 3D image storage unit may correspond to the floor area and height of the set.

상기 복수의 카메라부는 한 쌍으로 설치되며, 가상스크린의 폭(Ws)은, 상기 한 쌍의 카메라부의 시야범위에 의하여 정의되고, 제1거리(Lc)는 상기 한 쌍의 카메라부 사이의 거리로 정의되며, 시차는 Lc/Ws 로 정의되고, 시청자의 표준 눈간격(We), 상기 3D영상이 표시되는 스크린의 표준폭(Wr)라 할 때, Lc/Ws의 최대값은 We/Wr인 것이 바람직하다.The plurality of camera units are installed as a pair, the width (W s ) of the virtual screen is defined by the viewing range of the pair of camera units, and the first distance (L c ) is between the pair of camera units. It is defined as a distance, and the parallax is defined as L c / W s , and when the standard eye distance of the viewer (W e ) and the standard width of the screen on which the 3D image is displayed (W r ), L c / W s It is preferable that the maximum value is W e /W r .

상기 3D영상저장부에 저장된 3D 가상스튜디오 영상정보는, 시차가 상기 한 쌍의 카메라부의 시차에 매칭된 값을 가질 수 있다.The 3D virtual studio image information stored in the 3D image storage unit may have a parallax value matched with the parallax of the pair of camera units.

본 발명은 또한 복수의 카메라를 이용하여 미리 저장된 3D 가상스튜디오 영상정보에 대응되는 세트에서 출연자를 촬영함과 아울러 상기 3D 가상스튜디오 영상정보에 대응하여 상기 세트 내에서 출연자의 이동을 추적하여 복수의 카메라부에 의하여 획득된 복수의 영상정보 및 상기 이동추적부에 의하여 추적된 출연자의 이동궤적정보를 이용하여 상기 3D 가상스튜디오 영상정보에 대응되는 출연자 3D영상을 획득하는 출연자 3D영상획득단계와; 상기 3D영상획득단계에 의하여 획득된 출연자 3D영상과 미리 저장된 3D 가상스튜디오 영상정보를 합성하여 최종 3D영상을 형성하는 최종 3D영상형성단계를 포함하는 것을 특징으로 하는 3D 가상스튜디오 영상합성방법을 개시한다.The present invention also uses a plurality of cameras to photograph a performer in a set corresponding to the 3D virtual studio image information stored in advance, and to track the movement of the performer within the set in response to the 3D virtual studio image information. A performer 3D image acquisition step of acquiring a performer 3D image corresponding to the 3D virtual studio image information using a plurality of image information obtained by the unit and the movement trajectory information of the performer tracked by the movement tracking unit; Disclosed is a 3D virtual studio image synthesizing method comprising a final 3D image forming step of synthesizing the performer 3D image obtained by the 3D image acquisition step and the previously stored 3D virtual studio image information to form a final 3D image. .

본 발명에 따른 3D 가상스튜디오시스템 및 3D 가상스튜디오 영상합성방법은, 3D 가상스튜디오 영상을 미리 제작하여 저장하고, 합성될 실사를 촬영 및 3D 영상 렌더링 후, 미리 제작된 3D 가상스튜디오 영상과 합성함으로써 보다 다양한 3D 영상을 제작할 수 있는 이점이 있다. In the 3D virtual studio system and the 3D virtual studio image synthesis method according to the present invention, a 3D virtual studio image is produced and stored in advance, and a real image to be synthesized is photographed and 3D image is rendered, and then synthesized with a 3D virtual studio image prepared in advance. There is an advantage of being able to produce various 3D images.

도 1은 본 발명에 따른 3D 가상스튜디오시스템의 구성을 보여주는 구성도이다.
도 2는 도 1의 3D 가상스튜디오시스템에서 카메라부와 관련하여 3D영상의 시야를 정의하기 위한 개념도이다.1 is a block diagram showing the configuration of a 3D virtual studio system according to the present invention.
2 is a conceptual diagram for defining a field of view of a 3D image in relation to a camera unit in the 3D virtual studio system of FIG. 1.

이하 본 발명에 따른 3D 가상스튜디오시스템 및 3D 가상스튜디오 영상합성방법에 관하여 첨부된 도면을 참조하여 설명하면 다음과 같다.Hereinafter, a 3D virtual studio system and a 3D virtual studio image synthesis method according to the present invention will be described with reference to the accompanying drawings.

본 발명에 따른 3D 가상스튜디오시스템은, 도 1에 도시된 바와 같이, 3D 가상스튜디오 영상정보가 저장된 가상스튜디오 3D영상저장부(100)와; 3D 가상스튜디오 영상정보에 대응되는 세트에서 출연자를 촬영하는 복수의 카메라부(210, 220)와; 3D 가상스튜디오 영상정보에 대응하여 세트 내에서 출연자의 이동을 추적하는 이동추적부(230)와; 복수의 카메라부(210, 220)에 의하여 획득된 복수의 영상정보 및 이동추적부에 의하여 추적된 출연자의 이동궤적정보를 이용하여 3D 가상스튜디오 영상정보에 대응되는 출연자 3D영상을 형성하는 3D영상형성부(310)와; 3D영상형성부(310)에 의하여 형성된 출연자 3D영상과 3D영상저장부(100)에 저장된 3D 가상스튜디오 영상정보를 합성하여 최종 3D영상을 형성하는 최종 3D영상형성부(320)를 포함한다.A 3D virtual studio system according to the present invention includes, as shown in FIG. 1, a virtual studio 3D image storage unit 100 in which 3D virtual studio image information is stored; A plurality of camera units 210 and 220 for photographing a performer from a set corresponding to the 3D virtual studio image information; A movement tracking unit 230 for tracking movement of a performer within the set in response to the 3D virtual studio image information; A 3D image formation that forms a 3D image of a performer corresponding to the 3D virtual studio image information using a plurality of image information acquired by a plurality of camera units 210 and 220 and movement trajectory information of the performer tracked by the movement tracking unit A unit 310; And a final 3D image forming unit 320 for forming a final 3D image by synthesizing the 3D image of the performer formed by the 3D image forming unit 310 and 3D virtual studio image information stored in the 3D image storage unit 100.

상기 가상스튜디오 3D영상저장부(100)는, 후술하는 출연자 3D영상과 합성될 3D 가상스튜디오 영상정보가 저장되는 구성으로서 하드디스크, PC 등 3D 가상스튜디오 영상정보가 저장되며 후술하는 최종 3D영상형성부(320)와 데이터 통신이 가능한 구성이면 어떠한 구성도 가능하다.The virtual studio 3D image storage unit 100 stores 3D virtual studio image information to be synthesized with a performer 3D image to be described later, and stores 3D virtual studio image information such as a hard disk and a PC, and a final 3D image forming unit to be described later. Any configuration is possible as long as data communication with the 320 is possible.

상기 3D 가상스튜디오 영상정보는, 3D 실사 이미지 또는 동영상, 3D 그래픽디자인 툴을 이용한 3D 그래픽 이미지 등 다양한 구성이 가능하다.The 3D virtual studio image information may be configured in various ways, such as a 3D photorealistic image or a moving picture, and a 3D graphic image using a 3D graphic design tool.

특히 상기 3D 가상스튜디오 영상정보는, 실시간 3D 영상(동영상)을 형성하기 위하여 3D 모델링 데이터로 이루어지며, 출연자의 촬영 및 세트 내의 이동에 대응하여, 3D 가상스튜디오에 대한 3D영상을 형성하도록 구성될 수 있다.In particular, the 3D virtual studio image information is composed of 3D modeling data to form a real-time 3D image (moving image), and may be configured to form a 3D image for the 3D virtual studio in response to the performer's photographing and movement within the set. have.

또한 상기 3D 가상스튜디오 영상정보는, 보다 다양한 가상 스튜디오의 이미지 형성을 위하여 바다, 우주 등의 배경이미지 및 책상, 의자 등의 가상 스튜디오의 소도구이미지를 분리하여 포함할 수 있다.In addition, the 3D virtual studio image information may separately include a background image such as the sea and the universe and a prop image of a virtual studio such as a desk and a chair in order to form a more diverse virtual studio image.

상기와 같이, 상기 3D 가상스튜디오 영상정보가, 배경이미지 및 소도구이미지를 분리하여 저장하는 경우 후술하는 최종 3D영상형성부(320)에 의한 영상합성시 배경이미지 및 소도구이미지를 조합함으로써 보다 다양한 3D영상을 형상할 수 있게 된다.As described above, when the 3D virtual studio image information separates and stores a background image and a prop image, a more diverse 3D image is provided by combining the background image and the prop image when the final 3D image forming unit 320 described later combines the image. Can be shaped.

상기 카메라부(210, 220)는, 복수개, 예를 들면 두개로 설치되어 3D 가상스튜디오 영상정보에 대응되는 세트에서 출연자를 촬영하는 구성으로서 다양한 구성이 가능하다.The camera units 210 and 220 are provided in plural, for example, two, and are capable of photographing a performer in a set corresponding to the 3D virtual studio image information.

여기서 상기 3D 가상스튜디오 영상정보에 대응되는 세트는, 후술하는 3D 가상스튜디오 영상정보와 크로마키 기법 등을 이용하여 합성할 수 있도록 바닥 및 벽체의 색깔이 단일의 색깔을 가지는 것이 바람직하다.Here, the set corresponding to the 3D virtual studio image information preferably has a single color of the floor and the wall so that it can be synthesized using 3D virtual studio image information and a chroma key technique to be described later.

또한 상기 3D 가상스튜디오 영상정보에 대응되는 세트는, 바닥면적 및 높이가 일정한 값을 가지는 것이 바람직하며, 이때 3D영상저장부에 저장된 3D 가상스튜디오 영상정보는, 세트의 바닥면적 및 높이에 대응하는 것이 더욱 바람직하다.In addition, it is preferable that the set corresponding to the 3D virtual studio image information has a floor area and a height, and the 3D virtual studio image information stored in the 3D image storage unit corresponds to the floor area and height of the set. More preferable.

구체적으로 3D영상저장부에 저장된 3D 가상스튜디오 영상정보는, 세트의 바닥면적 및 높이에 따라서 카메라부(210, 220)에 의하여 촬영되는 이미지의 해상도를 고려하여 세트의 바닥면적 및 높이에 대응하는 해상도를 가짐이 바람직하다.Specifically, the 3D virtual studio image information stored in the 3D image storage unit is a resolution corresponding to the floor area and height of the set in consideration of the resolution of the image captured by the camera units 210 and 220 according to the floor area and height of the set. It is preferable to have.

또한 상기 복수의 카메라부(210, 220)는 한 쌍으로 설치됨이 바람직하며, 이때 도 2에 도시된 바와 같이, 가상스크린의 폭(Ws)은, 한 쌍의 카메라부(210, 220)의 시야범위에 의하여 정의되고, 제1거리(Lc)는 한 쌍의 카메라부(210, 220) 사이의 거리로 정의되며, 시차는 Lc/Ws 로 정의되고, 시청자의 표준 눈간격(We), 3D영상이 표시되는 스크린의 표준폭(Wr)라 할 때, Lc/Ws의 최대값은 We/Wr인 것이 더욱 바람직하다.In addition, the plurality of camera units (210, 220) is preferably installed in a pair, and at this time, as shown in Figure 2, the width (W s ) of the virtual screen, the pair of camera units (210, 220) It is defined by the field of view, and the first distance (L c ) is defined as the distance between the pair of camera units 210 and 220, the parallax is defined as L c /W s , and the viewer's standard eye distance (W e ), when the standard width (W r ) of the screen on which the 3D image is displayed, the maximum value of L c /W s is more preferably W e /W r .

그리고 상기 3D영상저장부에 저장된 3D 가상스튜디오 영상정보는, 시차가 상기 한 쌍의 카메라부(210, 220)의 시차에 매칭된 값을 가지는 것이 더욱 바람직하다.In addition, it is more preferable that the 3D virtual studio image information stored in the 3D image storage unit has a parallax value matched with the parallax of the pair of camera units 210 and 220.

한편, 카메라부(210, 220) 및 3D영상저장부에 저장된 3D 가상스튜디오 영상정보의 시차와 관련하여, 시차는 촬영자가 카메라부(210, 220)와 가상스크린과의 거리 L0의 1/2~100배 사이에 위치되도록 설정됨이 바람직하다.Meanwhile, in relation to the parallax of the 3D virtual studio image information stored in the camera units 210 and 220 and the 3D image storage unit, the parallax is 1/2 of the distance L 0 between the camera units 210 and 220 and the virtual screen. It is preferably set to be located between ~100 times.

L0의 1/2보다 작으면 시청자에게 눈의 피로감을 주게 되며, 100배보다 큰 경우에는 3D 시각효과가 거의 없기 때문이다.If it is less than 1/2 of L 0 , it causes eye fatigue to the viewer, and if it is greater than 100 times, there is almost no 3D visual effect.

상기 이동추적부(230)는, 3D 가상스튜디오 영상정보에 대응하여 세트 내에서 출연자의 이동을 추적하는 구성으로서, 출연자에 의하여 착용된 위치센서, 가시광선 영역을 벗어난 적외선 등을 이용한 격자그리드 등 세트 내에서 출연자의 이동을 추적할 수 있는 구성이면 어떠한 구성도 가능하다.The movement tracking unit 230 is a configuration for tracking the movement of the performer in the set in response to the 3D virtual studio image information, and a set such as a grid grid using a position sensor worn by the performer, infrared rays outside the visible light range, etc. Any configuration is possible as long as it is a configuration that can track the movement of the performer within.

또한 상기 이동추적부(230)는, 카메라부(210, 220)와 별도로 구성되지 않고 한 쌍의 카메라부(210, 220)에 의하여 촬영된 이미지를 분석하여 그 이동을 추적하여 계산하는 프로그램과 같이 논리적 구성으로 구성될 수 있다.In addition, the movement tracking unit 230 is not configured separately from the camera units 210 and 220, but is similar to a program that analyzes the image captured by the pair of camera units 210 and 220 and tracks and calculates the movement. It can be organized in a logical configuration.

한편 상기 세트는, 카메라부로서, 출연자의 실사를 촬영하는 카메라부(210, 220)의 위치를 파악하기 위한 장비로서, 카메라부(210, 220)의 위치, 팬(pab), 틸트(tilt) 등을 추적하는 적외석 카메라 등이 설치될 수 있다.Meanwhile, the set, as a camera unit, is an equipment for determining the position of the camera units 210 and 220 for photographing a real picture of the performer, and the position of the camera units 210 and 220, pan (pab), and tilt (tilt) An infrared camera or the like can be installed to track the back.

또한 상기 세트는, 출연자의 육성 등 오디오정보를 획득하기 위한 음향장비, 출연자에 대한 조명을 위한 조명장비, 시각적 효과를 높이기 위한 소품 등이 설치될 수 있다.In addition, the set may be provided with sound equipment for acquiring audio information such as fostering of a performer, lighting equipment for lighting a performer, and props for enhancing visual effects.

상기 3D영상형성부(310)는, 복수의 카메라부(210, 220)에 의하여 획득된 복수의 영상정보 및 이동추적부에 의하여 추적된 출연자의 이동궤적정보를 이용하여 3D 가상스튜디오 영상정보에 대응되는 출연자 3D영상을 형성하는 구성으로서 다양한 구성이 가능하다.The 3D image forming unit 310 corresponds to the 3D virtual studio image information by using the plurality of image information acquired by the plurality of camera units 210 and 220 and the movement trajectory information of the performer tracked by the movement tracking unit. Various configurations are possible as a configuration that forms a 3D image of the performer.

상기 3D영상형성부(310)는, 3D 랜더링 기법을 구현하는 프로그램 등에 의하여 구성되며 물리적 구성이 아닌 프로그램 등의 논리적 구성이다.The 3D image forming unit 310 is configured by a program that implements a 3D rendering technique, and is a logical configuration such as a program rather than a physical configuration.

상기 최종 3D영상형성부(320)는, 3D영상형성부(310)에 의하여 형성된 출연자 3D영상과 3D영상저장부(100)에 저장된 3D 가상스튜디오 영상정보를 합성하여 최종 3D영상을 형성하는 구성으로서 다양한 구성이 가능하다.The final 3D image forming unit 320 combines the 3D image of the performer formed by the 3D image forming unit 310 and the 3D virtual studio image information stored in the 3D image storage unit 100 to form a final 3D image. Various configurations are possible.

상기 최종 3D영상형성부(320)는, 3D영상형성부(310)와 유사한 구성으로서 크로마키 기법 등을 구현하는 프로그램 등에 의하여 구성되며 물리적 구성이 아닌 프로그램 등의 논리적 구성이다.The final 3D image forming unit 320 is a configuration similar to the 3D image forming unit 310, configured by a program that implements a chroma key technique, etc., and is a logical configuration such as a program rather than a physical configuration.

한편 상기 최종 3D영상형성부(320)에 의하여 형성되는 3D영상은, 3D영상형성부(310)에 의하여 형성된 출연자 3D영상과 3D영상저장부(100)에 저장된 3D 가상스튜디오 영상정보를 서로 동기화하여 구성되는바, 원활한 3D영상의 형성을 위하여 3D영상저장부(100)에 저장된 3D 가상스튜디오의 time을 지연시킬 필요가 있다.Meanwhile, the 3D image formed by the final 3D image forming unit 320 is synchronized with the 3D image of the performer formed by the 3D image forming unit 310 and the 3D virtual studio image information stored in the 3D image storage unit 100. As configured, it is necessary to delay the time of the 3D virtual studio stored in the 3D image storage unit 100 in order to smoothly form a 3D image.

구체적으로, 먼저 출연자 3D영상은 카메라부(210, 220)에 의하여 촬영되고 동시에 3D영상저장부(100)에 저장된 3D 가상스튜디오 영상정보는 세트 내에 출연자의 이동에 대응하여, 3D 가상스튜디오에 대한 3D영상을 형성할 수 있다.Specifically, first, the 3D image of the performer is photographed by the camera units 210 and 220, and the 3D virtual studio image information stored in the 3D image storage unit 100 at the same time corresponds to the movement of the performer in the set. You can form an image.

이때 출연자 3D영상은 3D영상형성부(310)에 의하여 형성되는바 출연자 3D영상를 형성하기 위한 처리시간이 필요하므로, 출연자 3D영상 및 가상스튜디오 3D영상의 동기화를 위하여 처리시간만큼 가상스튜디오 3D영상의 시간을 지연시킴이 바람직하다.At this time, the 3D image of the performer is formed by the 3D image forming unit 310, so the processing time for forming the 3D image of the performer is required, so the time of the virtual studio 3D image is as much as the processing time to synchronize the 3D image of the performer and the virtual studio 3D image. It is desirable to delay.

한편 상기와 같은 3D 가상스튜디오시스템은, 다음과 같은 구성을 가지는 3D 가상스튜디오 영상합성방법에 의하여 수행될 수 있다.Meanwhile, the 3D virtual studio system as described above may be performed by a 3D virtual studio image synthesis method having the following configuration.

즉, 본 발명에 따른 3D 가상스튜디오 영상합성방법은, 복수의 카메라를 이용하여 미리 저장된 3D 가상스튜디오 영상정보에 대응되는 세트에서 출연자를 촬영함과 아울러 상기 3D 가상스튜디오 영상정보에 대응하여 상기 세트 내에서 출연자의 이동을 추적하여 복수의 카메라부에 의하여 획득된 복수의 영상정보 및 상기 이동추적부에 의하여 추적된 출연자의 이동궤적정보를 이용하여 상기 3D 가상스튜디오 영상정보에 대응되는 출연자 3D영상을 획득하는 출연자 3D영상획득단계와; 상기 3D영상획득단계에 의하여 획득된 출연자 3D영상과 미리 저장된 3D 가상스튜디오 영상정보를 합성하여 최종 3D영상을 형성하는 최종 3D영상형성단계를 포함하여 구성될 수 있다.That is, in the 3D virtual studio image synthesis method according to the present invention, a performer is photographed from a set corresponding to the 3D virtual studio image information stored in advance using a plurality of cameras, and in response to the 3D virtual studio image information. The performer's movement is tracked at and the performer's 3D image corresponding to the 3D virtual studio image information is obtained using a plurality of image information acquired by a plurality of camera units and the movement trajectory information of the performer tracked by the movement tracking unit. Performing the 3D image acquisition step; It may comprise a final 3D image forming step of forming a final 3D image by synthesizing the performer 3D image obtained by the 3D image acquisition step and 3D virtual studio image information stored in advance.

이상은 본 발명에 의해 구현될 수 있는 바람직한 실시예의 일부에 관하여 설명한 것에 불과하므로, 주지된 바와 같이 본 발명의 범위는 위의 실시예에 한정되어 해석되어서는 안 될 것이며, 위에서 설명된 본 발명의 기술적 사상과 그 근본을 함께 하는 기술적 사상은 모두 본 발명의 범위에 포함된다고 할 것이다.Since the above is only described with respect to some of the preferred embodiments that can be implemented by the present invention, as well known, the scope of the present invention should not be limited to the above embodiments and should not be interpreted. It will be said that both the technical idea and the technical idea together with the fundamental are included in the scope of the present invention.

100 : 3D영상저장부
210, 220 : 카메라부 230 : 이동추적부
310 : 3D영상형성부 320: 최종 3D영상형성부100: 3D image storage unit
210, 220: camera unit 230: movement tracking unit
310: 3D image forming unit 320: final 3D image forming unit

Claims (10)

3D 가상스튜디오 영상정보가 저장된 가상스튜디오 3D영상저장부와;
상기 3D 가상스튜디오 영상정보에 대응되는 세트에서 출연자를 촬영하는 복수의 카메라부와;
상기 3D 가상스튜디오 영상정보에 대응하여 상기 세트 내에서 출연자의 이동을 추적하는 이동추적부와;
상기 복수의 카메라부에 의하여 획득된 복수의 영상정보 및 상기 이동추적부에 의하여 추적된 출연자의 이동궤적정보를 이용하여 상기 3D 가상스튜디오 영상정보에 대응되는 출연자 3D영상을 형성하는 3D영상형성부와;
상기 3D영상형성부에 의하여 형성된 출연자 3D영상과 상기 3D영상저장부에 저장된 3D 가상스튜디오 영상정보를 합성하여 최종 3D영상을 형성하는 최종 3D영상형성부를 포함하며,
상기 3D 가상스튜디오 영상정보에 대응되는 세트는, 바닥면적 및 높이가 일정한 값을 가지며,
상기 3D영상저장부에 저장된 3D 가상스튜디오 영상정보는, 상기 세트의 바닥면적 및 높이에 대응하며,
상기 최종 3D영상형성부는, 상기 3D 가상스튜디오 영상정보, 출연자 3D영상 및 상기 이동추적부에 의하여 추적된 상기 세트 내에서의 출연자의 이동궤적정보를 이용하여 최종 3D영상을 형성하는 것을 특징으로 하는 3D 가상스튜디오시스템.A virtual studio 3D image storage unit storing 3D virtual studio image information;
A plurality of camera units for photographing performers from a set corresponding to the 3D virtual studio image information;
A movement tracking unit for tracking the movement of a performer in the set in response to the 3D virtual studio image information;
A 3D image forming unit for forming a 3D image of a performer corresponding to the 3D virtual studio image information using a plurality of image information obtained by the plurality of camera units and movement trajectory information of the performer tracked by the movement tracking unit; and ;
A final 3D image forming unit for forming a final 3D image by synthesizing the 3D image of the performer formed by the 3D image forming unit and 3D virtual studio image information stored in the 3D image storage unit,
The set corresponding to the 3D virtual studio image information has a floor area and a height constant,
The 3D virtual studio image information stored in the 3D image storage unit corresponds to the floor area and height of the set,
The final 3D image forming unit forms a final 3D image by using the 3D virtual studio image information, the performer 3D image, and the movement trajectory information of the performer in the set tracked by the movement tracking unit. Virtual studio system. 청구항 1에 있어서,
상기 3D 가상스튜디오 영상정보에 대응되는 세트는, 바닥 및 벽체의 색깔이 단일의 색깔을 가지는 것을 특징으로 하는 3D 가상스튜디오시스템.The method according to claim 1,
3D virtual studio system, characterized in that the set corresponding to the 3D virtual studio image information has a single color of a floor and a wall. 삭제delete 청구항 1에 있어서,
상기 복수의 카메라부는 한 쌍으로 설치되며,
가상스크린의 폭(Ws)은, 상기 한 쌍의 카메라부의 시야범위에 의하여 정의되고, 제1거리(Lc)는 상기 한 쌍의 카메라부 사이의 거리로 정의되며, 시차는 Lc/Ws 로 정의되고, 시청자의 표준 눈간격(We), 상기 3D영상이 표시되는 스크린의 표준폭(Wr)라 할 때, Lc/Ws의 최대값은 We/Wr인 것을 특징으로 하는 3D 가상스튜디오시스템.The method according to claim 1,
The plurality of camera units are installed in a pair,
The width (W s ) of the virtual screen is defined by the viewing range of the pair of camera units, the first distance (L c ) is defined as the distance between the pair of camera units, and the parallax is L c / W It is defined as s , and the maximum value of L c /W s is W e /W r when the viewer's standard eye distance (W e ) and the standard width of the screen on which the 3D image is displayed (W r ) 3D virtual studio system. 청구항 4에 있어서,
상기 3D영상저장부에 저장된 3D 가상스튜디오 영상정보는, 시차가 상기 한 쌍의 카메라부의 시차에 매칭된 값을 가지는 것을 특징으로 하는 3D 가상스튜디오시스템.The method of claim 4,
The 3D virtual studio image information stored in the 3D image storage unit, wherein the parallax has a value matched with the parallax of the pair of camera units. 3D영상저장부에 미리 저장된 3D 가상스튜디오 영상정보에 대응되는 세트에서 복수의 카메라를 이용하여 출연자를 촬영함과 아울러 상기 3D 가상스튜디오 영상정보에 대응하여 상기 세트 내에서 출연자의 이동을 이동추적부에 의하여 추적하여 복수의 카메라부에 의하여 획득된 복수의 영상정보 및 상기 이동추적부에 의하여 추적된 출연자의 이동궤적정보를 이용하여 상기 3D 가상스튜디오 영상정보에 대응되는 출연자 3D영상을 획득하는 출연자 3D영상획득단계와;
상기 3D영상획득단계에 의하여 획득된 출연자 3D영상과 미리 저장된 3D 가상스튜디오 영상정보를 합성하여 최종 3D영상을 형성하는 최종 3D영상형성단계를 포함하며,
상기 출연자 3D영상획득단계는, 복수의 카메라부에 의하여 획득된 복수의 영상정보에서 배경영역을 제거하여 출연자에 대한 이미지만을 추출하는 이미지추출단계를 포함하며,
상기 3D 가상스튜디오 영상정보에 대응되는 세트는, 바닥면적 및 높이가 일정한 값을 가지며,
상기 3D영상저장부에 저장된 3D 가상스튜디오 영상정보는, 상기 세트의 바닥면적 및 높이에 대응하며,
상기 이동추적부는, 상기 3D 가상스튜디오 영상정보에 대응하여 상기 세트 내에서 출연자의 이동을 추적하고,
상기 최종 3D영상형성단계는, 상기 3D 가상스튜디오 영상정보, 출연자 3D영상 및 상기 이동추적부에 의하여 추적된 상기 세트 내에서의 출연자의 이동궤적정보를 이용하여 최종 3D영상을 형성하는_것을 특징으로 하는 3D 가상스튜디오 영상합성방법.In a set corresponding to the 3D virtual studio image information stored in advance in the 3D image storage unit, the performer photographs the performer using a plurality of cameras, and the movement of the performer within the set in response to the 3D virtual studio image information is moved to the movement tracking unit. Performer 3D image for acquiring a performer 3D image corresponding to the 3D virtual studio image information by using a plurality of image information acquired by a plurality of camera units and tracked by the movement tracking unit An acquisition step;
Comprising a final 3D image forming step of forming a final 3D image by synthesizing the performer 3D image obtained by the 3D image acquisition step and the previously stored 3D virtual studio image information,
The performer 3D image acquisition step includes an image extraction step of extracting only an image of the performer by removing a background area from a plurality of image information acquired by a plurality of camera units,
The set corresponding to the 3D virtual studio image information has a floor area and a height constant,
The 3D virtual studio image information stored in the 3D image storage unit corresponds to the floor area and height of the set,
The movement tracking unit tracks the movement of the performer in the set in response to the 3D virtual studio image information,
In the final 3D image forming step, the final 3D image is formed using the 3D virtual studio image information, the performer 3D image, and the movement trajectory information of the performer in the set tracked by the movement tracking unit. 3D virtual studio image synthesis method. 청구항 6에 있어서,
상기 3D 가상스튜디오 영상정보에 대응되는 세트는, 바닥 및 벽체의 색깔이 단일의 색깔을 가지는 것을 특징으로 하는 3D 가상스튜디오 영상합성방법.The method of claim 6,
3D virtual studio image synthesis method, characterized in that the set corresponding to the 3D virtual studio image information has a single color of a floor and a wall. 삭제delete 청구항 6에 있어서,
상기 복수의 카메라부는 한 쌍으로 설치되며,
가상스크린의 폭(Ws)은, 상기 한 쌍의 카메라부의 시야범위에 의하여 정의되고, 제1거리(Lc)는 상기 한 쌍의 카메라부 사이의 거리로 정의되며, 시차는 Lc/Ws 로 정의되고, 시청자의 표준 눈간격(We), 상기 3D영상이 표시되는 스크린의 표준폭(Wr)라 할 때, Lc/Ws의 최대값은 We/Wr인 것을 특징으로 하는 3D 가상스튜디오 영상합성방법.The method of claim 6,
The plurality of camera units are installed in a pair,
The width (W s ) of the virtual screen is defined by the viewing range of the pair of camera units, the first distance (L c ) is defined as the distance between the pair of camera units, and the parallax is L c / W It is defined as s , and the maximum value of L c /W s is W e /W r when the viewer's standard eye distance (W e ) and the standard width of the screen on which the 3D image is displayed (W r ) 3D virtual studio image synthesis method. 청구항 9에 있어서,
상기 3D영상저장부에 저장된 3D 가상스튜디오 영상정보는, 시차가 상기 한 쌍의 카메라의 시차에 매칭된 값을 가지는 것을 특징으로 하는 3D 가상스튜디오 영상합성방법.The method of claim 9,
3D virtual studio image information stored in the 3D image storage unit, wherein the parallax has a value matched with the parallax of the pair of cameras.
KR1020130028718A 2013-03-18 2013-03-18 3D virtual studio system, and 3D virtual studio image synthesis method KR102145017B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130028718A KR102145017B1 (en) 2013-03-18 2013-03-18 3D virtual studio system, and 3D virtual studio image synthesis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130028718A KR102145017B1 (en) 2013-03-18 2013-03-18 3D virtual studio system, and 3D virtual studio image synthesis method

Publications (2)

Publication Number Publication Date
KR20140114940A KR20140114940A (en) 2014-09-30
KR102145017B1 true KR102145017B1 (en) 2020-09-21

Family

ID=51758387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130028718A KR102145017B1 (en) 2013-03-18 2013-03-18 3D virtual studio system, and 3D virtual studio image synthesis method

Country Status (1)

Country Link
KR (1) KR102145017B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102205964B1 (en) * 2020-05-06 2021-01-21 주식회사 스위트케이 Fall prevention system and fall prevention method using dual camera and infrared camera

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101219859B1 (en) 2011-08-31 2013-01-09 성균관대학교산학협력단 Apparatus and method for semi-auto convergence in 3d photographing apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100956455B1 (en) * 2007-09-15 2010-05-06 김영대 3D Virtual Studio Teaching and Conference Apparatus
KR100901111B1 (en) * 2007-10-31 2009-06-08 (주)한국인터넷소프트웨어 Live-Image Providing System Using Contents of 3D Virtual Space

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101219859B1 (en) 2011-08-31 2013-01-09 성균관대학교산학협력단 Apparatus and method for semi-auto convergence in 3d photographing apparatus

Also Published As

Publication number Publication date
KR20140114940A (en) 2014-09-30

Similar Documents

Publication Publication Date Title
US9094675B2 (en) Processing image data from multiple cameras for motion pictures
US9160938B2 (en) System and method for generating three dimensional presentations
US9445072B2 (en) Synthesizing views based on image domain warping
Matsuyama et al. 3D video and its applications
US20120013711A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
JP5183277B2 (en) Stereoscopic image display device
US20150002636A1 (en) Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras
KR101538947B1 (en) The apparatus and method of hemispheric freeviewpoint image service technology
US20130215229A1 (en) Real-time compositing of live recording-based and computer graphics-based media streams
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
EP2643972A1 (en) Improved method and system for creating three-dimensional viewable video from a single video stream
CN104349155B (en) Method and equipment for displaying simulated three-dimensional image
WO2019085022A1 (en) Generation method and device for optical field 3d display unit image
KR101723210B1 (en) Method For Producting Virtual Stereo Studio Image In Real-Time Virtual Stereo Studio System
US10271038B2 (en) Camera with plenoptic lens
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
CA2933704A1 (en) Systems and methods for producing panoramic and stereoscopic videos
CN107172413A (en) Method and system for displaying video of real scene
EP3057316B1 (en) Generation of three-dimensional imagery to supplement existing content
US20140347352A1 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
KR102145017B1 (en) 3D virtual studio system, and 3D virtual studio image synthesis method
KR101453531B1 (en) 3D Real-Time Virtual Studio System And Method For Producting Virtual Studio Image In Real-Time Virtual Studio System
JP5924833B2 (en) Image processing apparatus, image processing method, image processing program, and imaging apparatus
Lo et al. Three dimensional high dynamic range veillance for 3D range-sensing cameras
EP3107287A1 (en) Methods, systems and apparatus for local and automatic color correction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right