KR20150105069A - Cube effect method of 2d image for mixed reality type virtual performance system - Google Patents
Cube effect method of 2d image for mixed reality type virtual performance system Download PDFInfo
- Publication number
- KR20150105069A KR20150105069A KR1020140027265A KR20140027265A KR20150105069A KR 20150105069 A KR20150105069 A KR 20150105069A KR 1020140027265 A KR1020140027265 A KR 1020140027265A KR 20140027265 A KR20140027265 A KR 20140027265A KR 20150105069 A KR20150105069 A KR 20150105069A
- Authority
- KR
- South Korea
- Prior art keywords
- image information
- image
- information
- photographing
- central
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
Abstract
Description
본 발명은 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법에 관한 것으로, 보다 상세하게는 촬영되고 있는 촬영인물의 평면 영상정보에 가상 스튜디오의 영상을 합성하여 가상영상정보를 생성하는 경우, 촬영인물을 다방향에서 촬영하여 다 방향의 평면 영상정보를 생성하고, 다방향에서 촬영된 평면 영상정보를 합성하여 3차원 영상과 같이 입체감이 표현되도록 하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법에 관한 것이다.
The present invention relates to a planar image stereoscopic synthesis method for a mixed reality type virtual performance system, and more particularly, to a stereoscopic image stereoscopic composite method for synthesizing a virtual image information by synthesizing an image of a virtual studio with plane image information of a photographing person, Planar image stereoscopic synthesis for a mixed reality virtual performance system in which a person is photographed in multiple directions to generate multi-directional plane image information, and plane image information photographed in multiple directions is combined to produce a stereoscopic effect like a three-dimensional image ≪ / RTI >
일반적인 가상 스튜디오 기술은 크로마키공간내에 촬영인물이 위치한 상태에서 크로마키공간을 배경으로 촬영인물에 관한 동영상정보를 생성하고, 동영상정보내의 크로마키영상정보에 다른 영상이미지를 합성하는 기술을 말한다.A typical virtual studio technique is a technique of generating moving image information about a photographer in the background of a chroma key space in a state where a photographer is positioned within a chroma key space and synthesizing another image image with chroma key image information in moving image information.
이러한 가상 스튜디오 기술과 관련된 종래 선행기술로써, 대한민국 등록특허 제10-0901111호인 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템은 차원 가상공간영상과, 삼차원 가상공간영상에 비디오 텍스쳐링(Texturing)하여 합성되는 부분영상과, 연출장면의 촬영영상을 크로마키(Chroma Key) 처리한 연출영상을 콘텐츠로서 저장하는 콘텐츠 데이터베이스(200); 연출영상 및 부분영상이 가상공간상에 위치하는 정보와 가상공간의 트랙정보를 나타내는 가상카메라 트랙정보를 포함하여 이루어지는 가상스튜디오형성정보를 저장하고, 지정된 연출영상에 대응하는 가상스튜디오형성정보에 따라 연출영상/가상공간영상/부분영상을 상기 콘텐츠 데이터베이스(200)에서 독출하고, 상기독출한 연출영상 및 부분영상을 상기 독출한 가상공간영상에 비디오 텍스쳐링(Texturing) 및 렌더링(Rendering)처리하여 가상스튜디오영상을 생성하고, 상기 생성된 가상스튜디오영상을 상기 독출한 오디오데이터와 함께 상기 통신망(400)을 통해 상기 원격단말기(500)에 전송하는 영상제공서버(100); 상기 영상제공서버(100)에 접속하며, 상기 영상제공서버(100)를 통해 가상공간영상 및 부분영상을 전달받고, 블루스크린을 배경으로 촬영한 연출장면을 크로마키(Chroma Key) 처리하여 연출영상을 생성한 후, 상기 생성된 연출영상과 상기 전송받은 가상공간영상 및 부분영상에 대응하는 가상스튜디오형성정보를 생성하여, 상기 생성된 연출영상 및 가상스튜디오형성정보를 상기 영상제공서버(100)에 전달하는 가상스튜디오장치(300);를 포함하여 구성된다.As a prior art related to this virtual studio technology, Korean Patent Registration No. 10-0901111, which is an image providing system using three-dimensional virtual space contents, includes a 3D virtual space image, a partial image obtained by texturing a 3D virtual space image A content database 200 for storing as a content a directed image obtained by performing chroma key processing on a shot image of a directed scene; The virtual studio formation information including the information on the virtual space and the virtual camera track information indicating the track information on the virtual space is stored and the virtual studio formation information is generated according to the virtual studio formation information corresponding to the designated presentation video A video / virtual space image / partial image is read out from the content database 200, and a rendered image and a partial image are subjected to video texturing and rendering processing to the read virtual space image, And transmits the generated virtual studio image together with the read audio data to the remote terminal 500 through the communication network 400; A virtual space image and a partial image are received through the image providing server 100, and a chroma key processing is performed on a directed scene captured on a blue screen as a background, And generates virtual studio formation information corresponding to the generated directed image, the received virtual space image and the partial image, and transmits the generated directed video and virtual studio formed information to the image providing server 100 And a virtual studio device (300) for transmitting the virtual studio device (300).
이러한 종래 가상 스튜디오 기술은 상황설정에 따른 서로 다른 다수의 배경 영상을 삼차원 가상공간영상으로 데이터베이스화하고, 상황 설정에 따라 연출된 영상을 크로마키(Chroma Key) 처리하여 연출영상을 획득한 후 데이터베이스에서 선택한 상황 설정에 맞는 가상공간영상을 선택 합성하여 제공할 수 있는 이점을 제공하고 있다.In this conventional virtual studio technology, a plurality of different background images according to a situation setting are converted into a database by using a three-dimensional virtual space image, chroma key processing is performed on the images produced according to the situation setting, It is possible to selectively provide a virtual space image suitable for the selected situation setting.
하지만, 이와 같은 종래 선행기술은 가상 스튜디오 공간 자체를 3차원하여 표현하고 있으나, 실제 촬영하고 있는 인물은 평면 영상만을 제공하기 때문에 촬영 인물의 입체감을 표현할 수 없는 문제점을 내포하고 있다.However, although the conventional prior art described above shows the virtual studio space itself as a three-dimensional representation, the actual photographing person presents a problem that the stereoscopic effect of the photographing person can not be expressed because only the plane image is provided.
한편, 다른 종래 선행기술로써, 대한민국 등록특허 제10-09118392호인 3D 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법에서는 3D 영상의 획득을 위해 고가의 기계 장치를 사용하는 대신에 일반 범용 카메라를 이용하여 3D 객체를 저작할 수 있는 기능을 제공하고, 증강 현실 구현과 자동적인 사용자 움직임 추출 기능을 통해 사용자와의 강건한 상호 작용성을 제공하고, 사용자가 원격지 서버로부터 컨텐츠 객체를 전송받을 수 있게 함으로써 다수의 사용자가 멀티미디어 컨텐츠 객체를 공유할 수 있는 이점을 제공하고 있다.On the other hand, as a prior art prior art, Korean Patent No. 10-09118392 discloses a personal multimedia studio platform device and method for 3D content authoring, in which a general-purpose camera is used instead of an expensive mechanical device for 3D image acquisition To provide robust interactivity with users through the implementation of augmented reality and automated user movement extraction, and by allowing users to receive content objects from remote servers, The user of the multimedia contents object can share the multimedia contents object.
이러한 종래 선행기술은 전술한 바와 같이 촬영 인물까지도 입체감있게 표현되도록 하는 기술을 제공하기는 하나, 종래 선행기술은 하나의 평면 동영상정보에 가상 객체를 합성하는 방법이기 때문에 느낌상 실사이미지와는 많은 차이가 발생하고 있다.However, the prior art is a method of synthesizing a virtual object in one plane moving picture information, so that the difference between the actual image and the actual image .
이로 인해 종래 선행기술은 입체감이 실사이미지처럼 보이지 않아 시청자가 거부감을 느끼는 경우가 많이 발생하는 문제점을 내포하고 있다.
Therefore, the conventional art has a problem that the stereoscopic effect does not look like a real image, and the viewer often feels rejection.
본 발명은 실제 촬영되고 있는 인물에 관한 동영상정보를 입체감 있게 표현하되, 실제 촬영된 동영상정보를 기반으로 입체감이 표현되도록 하여 시청자로부터 거부감이 들지 않도록 하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법을 제공하는 데 있다.
The present invention relates to a planar image stereoscopic synthesis for a mixed reality type virtual performance system in which moving image information about a person being photographed is displayed in a three-dimensional sense, and stereoscopic feeling is expressed based on the actually photographed moving image information, Technique.
상기한 기술적 과제를 달성하기 위한 본 발명의 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법은 촬영할 인물을 적어도 3방향 이상 촬영하여 복수 개의 동영상정보를 획득하고, 상기 동영상정보 각각에 포함된 이미지정보들에 촬영시간을 기록하는 동영상정보 촬영단계; 상기 복수 개의 동영상정보를 실시간으로 입력받고, 상기 복수 개의 동영상정보 각각의 이미지정보들 가운데 동일한 촬영시간에 해당하는 이미지정보들을 추출하는 동시간 촬영이미지 추출단계; 추출된 이미지정보들을 가상의 3차원 공간에 정렬시키되, 상기 동영상정보 촬영단계에서 촬영하는 방향의 각도와 동일한 각도로 상기 이미지정보들을 배치하고, 상기 이미지정보들 각각에 기준점좌표를 생성하며, 상기 기준점좌표가 일치되도록 상기 이미지정보들을 정렬시키는 이미지정보 정렬단계; 및, 가상의 3차원 공간상에 정렬된 이미지정보들 가운데, 중앙에 배치되는 중앙이미지정보를 기준으로 우측에 배치되는 우측이미지정보를 이용하여 중앙이미지정보의 우측영역을 굴곡시키고, 중앙에 배치되는 중앙이미지정보를 기준으로 좌측에 배치되는 좌측이미지정보를 이용하여 중앙이미지정보의 좌측영역을 굴곡시키는 이미지정보 굴곡단계; 를 포함한다.According to an aspect of the present invention, there is provided a planar image stereoscopic synthesis method for a mixed reality type virtual performance system, comprising: acquiring a plurality of moving image information by photographing a person to be photographed in at least three directions; A moving picture information photographing step of recording a photographing time on the information; Extracting image information corresponding to the same photographing time among image information of each of the plurality of moving image information by receiving the plurality of moving image information in real time; Arranging the extracted image information in an imaginary three-dimensional space, arranging the image information at an angle equal to an angle in a direction of photographing in the moving image information photographing step, generating reference point coordinates in each of the image information, Aligning the image information so that the coordinates coincide with each other; And a right side image information centered on the center of the image information on the basis of the center image information arranged on the virtual three-dimensional space, An image information bending step of bending the left area of the central image information using left image information arranged on the left side based on the central image information; .
이 경우, 상기 동영상정보 촬영단계에서는 상기 인물을 촬영하는 경우, 크로마키공간내에서 촬영하여 상기 인물의 배경에 관한 크로마키영상정보가 포함되도록 상기 동영상정보를 생성하며, 상기 이미지정보 굴곡단계 이후에, 상기 크로마키영상정보에 배경영상정보를 삽입하는 배경영상 삽입단계; 를 더 포함한다.In this case, when the person is photographed in the moving picture information photographing step, the moving picture information is generated so as to include chroma key image information related to the background of the person, which is photographed in the chroma key space, A background image inserting step of inserting background image information into the chroma key image information; .
이 경우, 상기 이미지정보 굴곡단계에서는, 중앙에 배치되는 중앙이미지정보를 기준으로 우측에 배치되는 우측이미지정보를 이용하여 중앙이미지정보의 우측영역을 굴곡시키는 경우 기설정된 보간식에 의해 보간하여 굴곡시키며, 중앙에 배치되는 중앙이미지정보를 기준으로 좌측에 배치되는 좌측이미지정보를 이용하여 중앙이미지정보의 좌측영역을 굴곡시키는 경우, 기설정된 보간식에 의해 보간하여 굴곡시킬 수 있다.In this case, in the image information bending step, when the right side region of the central image information is bent using the right side image information disposed on the right side based on the central image information arranged at the center, , When the left side region of the central image information is bent using the left side image information arranged on the left side based on the central image information arranged at the center, it can be bent by interpolation by a predetermined interpolation formula.
또한, 상기 이미지정보 정렬단계세서 기준점좌표의 생성 방식은, 각각의 이미지정보들 각각의 영역의 외곽영역의 좌표값을 생성하고, 각각의 해당 영역의 면적을 연산한 상태에서 중점이나 질점을 생성하거나 또는, 각각의 이미지정보들의 픽셀정보값들 패턴 유사도를 분석하여 패턴 유사도의 비율이 가장 높은 영역을 찾아내고, 유사도의 비율이 가장 높은 영역의 픽셀정보값들 가운데 가장 희귀한 픽셀정보를 찾아내어 기준점좌표를 생성할 수 있다.
The method of generating coordinate points of the image information alignment step may include generating coordinate values of an outer area of each of the image information and generating a center point or a mass point in a state in which the area of each of the corresponding areas is calculated, Alternatively, the pattern similarity degree of the pixel information values of each image information is analyzed to find the region having the highest pattern similarity ratio, the most rare pixel information among the pixel information values of the region having the highest similarity ratio is found, Coordinates can be generated.
본 발명은 종래 선행기술에서 실사이미지를 이용하지 않고 인위적인 방식으로 입체감을 표현하여 시청자가 거부감을 느끼던 것과는 달리, 촬영하고 있는 인물의 실사이미지를 실제로 보는듯하게 입체감이 부여된 상태에서 가상의 공간에 있는듯한 시각효과를 구현하여 시청자로 하여금 거부감이 들지 않도록 하는 효과가 있다.
The present invention differs from the prior art in that a viewer feels rejection by expressing a three-dimensional sensation in an artificial manner without using a real image in a prior art, It is possible to prevent the viewer from having a sense of rejection.
도 1은 본 발명의 일 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법의 순서도이다.
도 2는 도 1에 도시된 동영상정보 촬영단계에 의해 동영상을 촬영하는 예에 관한 구성도이다.
도 3은 도 1에 도시된 이미지정보 정렬단계에 의해 이미지들이 정렬된 예에 관한 구성도이다.
도 4는 도 1에 도시된 이미지정보 굴곡단계에 의해 중앙이미지정보의 좌측영역과 우측영역이 굴곡된 상태의 구성도이다.
도 5는 도 1에 도시된 배경영상 삽입단계에 의해 굴곡이 시행된 중앙이미지정보의 배경에 가상의 배경이미지를 삽입한 상태의 구성도이다.1 is a flow chart of a planar image stereoscopic synthesis method for a mixed reality type virtual performance system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an example of photographing a moving image by the moving image information photographing step shown in FIG.
FIG. 3 is a configuration diagram relating to an example in which images are aligned by the image information alignment step shown in FIG. 1;
FIG. 4 is a block diagram of a state in which the left and right regions of the central image information are bent by the image information bending step shown in FIG.
FIG. 5 is a diagram illustrating a state in which a virtual background image is inserted in the background of the central image information in which the bending is performed by the background image inserting step shown in FIG. 1. FIG.
이하, 상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시 예에 대한 설명을 통하여 명백히 드러나게 될 것이다.Hereinafter, other objects and features of the present invention will be apparent from the following description of embodiments with reference to the accompanying drawings.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted in an ideal or overly formal sense unless explicitly defined in the present application Do not.
이하에서는, 본 발명의 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법을 첨부된 도 1 내지 도 5를 참조하여 상세히 설명한다.Hereinafter, a planar image stereoscopic synthesis method for a mixed reality type virtual performance system according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 5.
도 1은 본 발명의 일 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법의 순서도이다.1 is a flow chart of a planar image stereoscopic synthesis method for a mixed reality type virtual performance system according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법은 동영상정보 촬영단계(S10), 촬영이미지 추출단계(S20), 이미지정보 정렬단계(S30) 및, 이미지정보 굴곡단계(S40)를 포함한다.As shown in FIG. 1, the planar image stereoscopic synthesis method for a mixed reality type virtual performance system according to an embodiment of the present invention includes a moving picture information photographing step S10, a photographing image extracting step S20, (S30), and an image information bending step (S40).
이와 같은 본 발명의 일 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법 가운데 동영상정보 촬영단계(S10)는 카메라(2)의 촬영을 통해 이루어질 수 있으며, 촬영이미지 추출단계(S20), 이미지정보 정렬단계(S30) 및, 이미지정보 굴곡단계(S40)는 이미지프로세싱이 가능한 피씨와 같은 통신단말에 의해 이미지에 관한 연산이 이루어질 수 있다.In the planar image stereoscopic synthesis technique for the mixed reality type virtual performance system according to an embodiment of the present invention, the moving picture information photographing step S10 may be performed by photographing the
상기 동영상정보 촬영단계(S10)는 도 2에 도시된 바와 같이, 크로마키공간(1)내에 촬영 인물이 배치된 상태에서 3대의 카메라(2)를 이용하여 3방향 이상 다른 각도에서 인물을 촬영하게 된다. 이와 같은 상태에서 동영상정보 촬영단계(S10)를 진행하게 되면, 동영상정보 촬영단계(S10)에서는 촬영할 인물을 3방향 이상 촬영하여 복수 개의 동영상정보를 획득하게 된다. 또한, 동영상정보 촬영단계(S10)는 동영상정보뿐만 아니라, 동영상정보 각각에 포함된 이미지정보들에 촬영시간을 실시간으로 기록하게 된다.As shown in FIG. 2, the moving picture information photographing step S10 photographs a person at three or more different angles using three
상기 촬영이미지 추출단계(S20)는 전술한 동영상정보 촬영단계(S10)의 의해 생성된 적어도 3개의 동영상정보를 이미지 프로세싱 장치(미도시)에서 실시간으로 입력받고, 3개의 동영상정보 각각의 이미지정보들 가운데 동일한 촬영시간에 해당하는 이미지정보들을 추출하게 된다. 즉, 촬영이미지 추출단계(S20)에서는 동영상정보에 포함된 평면이미지들에 후술하는 입체감을 부여하기 위하여 동영상정보에 포함된 이미지들 각각을 추출하게 된다.The photographed image extracting step S20 extracts at least three pieces of moving image information generated by the moving image information photographing step S10 in real time in an image processing apparatus (not shown), extracts image information of each of the three pieces of moving image information The image information corresponding to the same shooting time is extracted. That is, in the photographed image extracting step S20, each of the images included in the moving image information is extracted in order to give a stereoscopic effect to the plane images included in the moving image information.
상기 이미지정보 정렬단계(S30)에서는 도 3에 도시된 바와 같이, 촬영이미지 추출단계(S20)에 의해 추출된 이미지정보들을 가상의 3차원 공간에 정렬시키되, 동영상정보 촬영단계(S10)에서 촬영하는 방향의 각도와 동일한 각도로 이미지정보들을 배치하게 된다. 여기서, 각각의 이미지정보들의 명칭은 중앙이미지정보(3a), 좌측이미지정보(3b) 및, 우측이미지정보(3c)라 지칭한다. 이때, 이미지정보 정렬단계(S30)에서는 이미지정보들(3a, 3b, 3c) 각각에 기준점좌표(1c)를 생성하며, 기준점좌표(1c)가 일치되도록 이미지정보들을 정렬시키게 된다. 여기서, 기준점좌표(1c)의 생성은 각각의 이미지정보들 각각의 영역의 외곽영역의 좌표값을 생성하고, 각각의 좌표값을 이용하여 해당 영역의 면적을 연산한 상태에서 중점이나 질점을 생성하여 구현될 수 있다. 또한, 기준점좌표(1c)의 생성에 관한 다른 방식으로는 각각의 이미지정보들의 픽셀정보값들 패턴 유사도를 분석하여 패턴 유사도의 비율이 가장 높은 영역을 찾아내고, 유사도의 비율이 가장 높은 영역의 픽셀정보값들 가운데 가장 희귀한(존재율이 가장 낮은) 픽셀정보를 찾아내고, 각각 이미지정보마다 가장 희귀한 픽셀정보에 기준점좌표(1c)를 생성할 수 있다. 예를 들어, 촬영될 인물의 옷에 구비된 단추의 색상이 다른 색상과 구분되어 희귀한 픽셀정보를 가질 때, 해당 픽셀정보 또는 해당 픽셀정보들의 중앙지점에 기준점좌표(1c)를 생성할 수 있다.In the image information sorting step S30, as shown in FIG. 3, the image information extracted by the image extracting step S20 is arranged in a virtual three-dimensional space, The image information is arranged at the same angle as the angle of the direction. Here, the name of each image information is referred to as the central image information 3a, the
상기 이미지정보 굴곡단계(S40)는 이미지정보 정렬단계(S30)에서 3개의 이미지정보들이 기준점좌표(1c)를 기준으로 정렬된 상태인 경우, 정렬된 이미지정보들 가운데, 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 우측에 배치되는 우측이미지정보(3c)를 이용하여 중앙이미지정보(3a)의 우측영역을 굴곡시키게 된다. 이와 같은 중앙이미지정보(3a)의 우측영역 굴곡은 도 4에 도시된 바와 같다. 또한, 이와 같은 방식으로 도 5에 도시된 바와 같이, 이미지정보 굴곡단계(S40)에서는 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 좌측에 배치되는 좌측이미지정보(3b)를 이용하여 중앙이미지정보(3a)의 좌측영역을 굴곡시키게 된다. 여기서, 이미지정보의 굴곡은 특정필터(예; distort 필터)를 이용하여 이미지의 특정영역(점, 선, 면)을 기준으로 픽셀이미지가 모이거나 퍼지도록 하여 이미지정보의 밀집도를 조절하는 것을 말한다. 즉, 본 발명에서는 좌측이미지정보(3b)와 중앙이미지정보(3a)를 비교하여, 좌측이미지정보(3b)의 좌측영역에 관한 밀집도 정보를 중앙이미지정보(3a)의 좌측영역 밀집도에 반영되도록 하고, 우측영역에 관한 밀집도정보를 중앙이미지정보(3a)의 우측영역 밀집도에 반영되도록 하게 된다. 이 경우, 입체감의 효과를 보다 상승시키기 위하여 후술하는 보관과정을 진행할 수 있다. 또한, 이이지정보 굴곡단계에서는 전술한 바와 같이, 이미지정보 굴곡시에 중앙이미지정보(3a)의 중앙 수직선을 기준으로 좌측영역과 우측영역을 굴곡시키되, 추가적으로 상부영역과 하부영역도 전술한 바와 같은 굴곡과정을 통해 굴곡될 수 있으며, 본 실시예에서는 당업자가 용이하게 이해할 수 있도록 좌측영역과 우측영역이 굴곡된 것에 대한 예로 한정하여 설명하기로 한다.In the image information bending step S40, when three pieces of image information are aligned on the basis of the
이와 같은 이미지정보 굴곡단계(S40)를 거치게 되면, 도 4에 도시된 바와 같이, 중앙이미지정보(3a)는 좌측이미지정보(3b)와 우측이미지정보(3c)를 기준으로 굴곡되어 좌측영역과 우측영역이 각각 굴곡된 상태로 변하게 됨으로써, 입체감을 부여할 수 있게 된다.4, the central image information 3a is bent on the basis of the
이때, 입체감이 부여된 중앙이미지정보(3a)의 배경은 크로마키공간(1)내에서 촬영된 것이기 때문에 크로마키영상정보가 포함되어 있다.At this time, since the background of the central image information 3a to which the stereoscopic effect is imparted is captured in the
이 경우, 크로마키영상정보에 배경영상정보(4)를 삽입하는 배경영상 삽입단계(S50)를 진행하게 되면, 도 5에 도시된 바와 같이, 가상의 배경이미지가 삽입된 영상이미지를 획득할 수 있게 된다.In this case, when the background image inserting step (S50) for inserting the
상기한 바와 같이, 입체감이 부여된 중앙이미지정보(3a)들을 생성하기 위하여 전술한 동영상정보 촬영단계(S10), 촬영이미지 추출단계(S20), 이미지정보 정렬단계(S30), 이미지정보 굴곡단계(S40) 및, 배경영상 삽입단계(S50)를 계속적으로 진행하게 되면, 가상의 배경화면에서 입체감이 부여된 인물이 움직이는 동영상을 제작할 수 있게 된다.As described above, in order to generate the three-dimensional central image information 3a, the moving picture information photographing step S10, the photographing image extracting step S20, the image information aligning step S30, the image information bending step S40) and the background image inserting step (S50), it is possible to produce a moving image in which a person with a three-dimensional sensation moves on a virtual background screen.
따라서, 본 발명의 일 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법은 종래 선행기술에서 실사이미지를 이용하지 않고 인위적인 방식으로 입체감을 표현하여 시청자가 거부감을 느끼던 것과는 달리, 촬영하고 있는 인물의 실사이미지를 실제로 보는듯하게 입체감이 부여된 상태에서 가상의 공간에 있는듯한 시각효과를 구현하여 시청자로 하여금 거부감이 들지 않도록 하게 된다.
Therefore, according to the planar image stereoscopic synthesis method for a mixed reality type virtual performance system according to an embodiment of the present invention, unlike the prior art, the stereoscopic feeling is expressed in an artificial manner without using the real image, A virtual effect is imposed in a virtual space in a state in which a stereoscopic effect is imparted to the viewer so that the viewer does not feel rejection.
한편, 상기한 이미지정보 굴곡단계(S40)는 실사이미지와 동일한 굴곡을 위하여 다음과 같은 기술적 특징을 포함할 수 있다.Meanwhile, the image information bending step S40 may include the following technical features for the same bending as the real image.
이를 위하여 이미지정보 굴곡단계(S40)에서는 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 우측에 배치되는 우측이미지정보(3c)의 밀집도를 중앙이미지정보(3a)의 우측영역에 반영하여 중앙이미지정보(3a)의 우측영역을 굴곡시키는 경우 기설정된 보간식을 감안하여 보간한 상태로 굴곡시키게 된다. 여기서, 보간식은 선형보간식을 이용할 수 있으며, 선형보간식 이외에 nearest, bilinear, bicubic, cubic convolution, lanczos3, lanczos8, sinc 가운데 선택되는 어느 하나의 보간법을 이용할 수 있다.To this end, in the image information bending step S40, the density of the right image information 3c disposed on the right side based on the central image information 3a arranged at the center is reflected on the right side region of the central image information 3a, When the right side region of the information 3a is bent, it is bent in an interpolated state in consideration of a predetermined interpolation formula. Here, the interpolation formula can use a linear interpolation formula. In addition to the linear interpolation formula, one of interpolation methods selected from nearest, bilinear, bicubic, cubic convolution, lanczos3, lanczos8, sinc can be used.
이와 유사하게, 이미지정보 굴곡단계(S40)에서는 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 좌측에 배치되는 좌측이미지정보(3b)의 밀집도를 중앙이미지정보(3a)의 좌측영역에 반영하여 중앙이미지정보(3a)의 우측영역을 굴곡시키는 경우, 기설정된 보간식을 감안하여 보간한 상태로 굴곡시킬 수 있다.Similarly, in the image information bending step S40, the density of the
따라서, 중앙이미지정보(3a)는 보간법에 의해 굴곡의 정도가 조절되기 때문에, 인물을 보다 입체감 있게 표현할 수 있게 된다.
Therefore, since the degree of bending of the central image information 3a is adjusted by the interpolation method, it is possible to express the character more stereoscopically.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .
1 ; 크로마키공간
2 ; 카메라
4 ; 배경영상정보
5 ; 보간식
1c ; 기준점좌표
3a ; 중앙이미지정보
3b ; 좌측이미지정보
3c ; 우측이미지정보One ; Chromakey
4 ; Background image information 5; Complementary snack
1c; Reference point coordinates 3a; Central image information
3b; Left image information 3c; Right image information
Claims (4)
상기 복수 개의 동영상정보를 실시간으로 입력받고, 상기 복수 개의 동영상정보 각각의 이미지정보들 가운데 동일한 촬영시간에 해당하는 이미지정보들을 추출하는 동시간 촬영이미지 추출단계(S20);
추출된 이미지정보들을 가상의 3차원 공간에 정렬시키되, 상기 동영상정보 촬영단계(S10)에서 촬영하는 방향의 각도와 동일한 각도로 상기 이미지정보들을 배치하고, 상기 이미지정보들 각각에 기준점좌표(1c)를 생성하며, 상기 기준점좌표(1c)가 일치되도록 상기 이미지정보들을 정렬시키는 이미지정보 정렬단계(S30); 및,
가상의 3차원 공간상에 정렬된 이미지정보들 가운데, 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 우측에 배치되는 우측이미지정보(3c)를 이용하여 중앙이미지정보(3a)의 우측영역을 굴곡시키고, 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 좌측에 배치되는 좌측이미지정보(3b)를 이용하여 중앙이미지정보(3a)의 좌측영역을 굴곡시키는 이미지정보 굴곡단계(S40); 를 포함하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법.
A moving picture information photographing step (S10) of photographing a person to be photographed in at least three directions to obtain a plurality of pieces of moving picture information, and recording a photographing time in image information included in each of the moving picture information;
(S20) of extracting image information corresponding to the same photographing time among image information of each of the plurality of moving image information, receiving the plurality of moving image information in real time;
Arranging the extracted image information in a virtual three-dimensional space, arranging the image information at an angle equal to an angle of a direction of photographing in the moving image information photographing step (S10), setting a reference point coordinate (1c) (S30) of aligning the image information so that the reference point coordinates (Ic) are coincident with each other; And
The right side image information 3a of the image information arranged on the virtual three-dimensional space is displayed on the right side using the right side image information 3c arranged on the right side based on the central image information 3a arranged at the center An image information bending step (S40) of bending the left region of the central image information (3a) using the left image information (3b) arranged on the left side based on the central image information (3a) arranged at the center; A planar image solidification synthesis technique for mixed reality virtual performance system.
상기 동영상정보 촬영단계(S10)에서는 상기 인물을 촬영하는 경우, 크로마키공간(1)내에서 촬영하여 상기 인물의 배경에 관한 크로마키영상정보가 포함되도록 상기 동영상정보를 생성하며,
상기 이미지정보 굴곡단계(S40) 이후에, 상기 크로마키영상정보에 배경영상정보(4)를 삽입하는 배경영상 삽입단계(S50); 를 더 포함하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법.
The method according to claim 1,
In the capturing of the moving image information (S10), when the person is photographed, the moving image information is generated so that chroma key image information related to the background of the person is photographed in the chroma key space (1)
A background image inserting step (S50) of inserting background image information (4) into the chroma key image information after the image information bending step (S40); A stereoscopic image synthesis technique for a mixed reality virtual performance system,
상기 이미지정보 굴곡단계(S40)에서는,
중앙에 배치되는 중앙이미지정보(3a)를 기준으로 우측에 배치되는 우측이미지정보(3c)를 이용하여 중앙이미지정보(3a)의 우측영역을 굴곡시키는 경우 기설정된 보간식에 의해 보간하여 굴곡시키며,
중앙에 배치되는 중앙이미지정보(3a)를 기준으로 좌측에 배치되는 좌측이미지정보(3b)를 이용하여 중앙이미지정보(3a)의 좌측영역을 굴곡시키는 경우, 기설정된 보간식에 의해 보간하여 굴곡시키는 것을 특징으로 하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법.
The method according to claim 1,
In the image information bending step S40,
When the right side region of the central image information 3a is bent using the right side image information 3c arranged on the right side with respect to the central image information 3a arranged at the center,
When the left region of the central image information 3a is bent using the left image information 3b arranged on the left side based on the central image information 3a arranged at the center, A planar image solidification synthesis technique for a mixed reality virtual performance system.
상기 이미지정보 정렬단계(S30)세서 기준점좌표(1c)의 생성 방식은,
각각의 이미지정보들 각각의 영역의 외곽영역의 좌표값을 생성하고, 각각의 해당 영역의 면적을 연산한 상태에서 중점이나 질점을 생성하거나,
각각의 이미지정보들의 픽셀정보값들 패턴 유사도를 분석하여 패턴 유사도의 비율이 가장 높은 영역을 찾아내고, 유사도의 비율이 가장 높은 영역의 픽셀정보값들 가운데 가장 희귀한 픽셀정보를 찾아내어 기준점좌표(1c)를 생성하는 것을 특징으로 하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법.The method according to claim 1,
The image information sorting step (S30) The method of generating the measurement reference point coordinate (1c)
A coordinate value of an outer area of each area of each image information is generated and an intermediate point or a material point is generated in a state in which the area of each corresponding area is calculated,
By analyzing the pattern similarity of the pixel information values of each image information, the region having the highest pattern similarity ratio is found, and the most rare pixel information among the pixel information values of the region having the highest similarity ratio is found, 1c) of the virtual reality system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140027265A KR20150105069A (en) | 2014-03-07 | 2014-03-07 | Cube effect method of 2d image for mixed reality type virtual performance system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140027265A KR20150105069A (en) | 2014-03-07 | 2014-03-07 | Cube effect method of 2d image for mixed reality type virtual performance system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150105069A true KR20150105069A (en) | 2015-09-16 |
Family
ID=54244573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140027265A KR20150105069A (en) | 2014-03-07 | 2014-03-07 | Cube effect method of 2d image for mixed reality type virtual performance system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20150105069A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101725166B1 (en) * | 2016-06-22 | 2017-04-12 | 주식회사 엑스콜로 | 3D image reconstitution method using 2D images and device for the same |
| US10552972B2 (en) | 2016-10-19 | 2020-02-04 | Samsung Electronics Co., Ltd. | Apparatus and method with stereo image processing |
| KR102299565B1 (en) * | 2021-04-27 | 2021-09-08 | (주)비코 | Method for real time person object cognition and real time image processing on real time broadcasting image and apparatus for performing the method |
| KR102320214B1 (en) | 2020-09-07 | 2021-11-02 | 김소현 | Apparatus and Method for Providing performance video Contents using augmented reality |
| KR20220073990A (en) * | 2020-11-27 | 2022-06-03 | (주)올댓퍼포먼스아이앤씨 | System for creating performance content having visual effect |
| KR102483905B1 (en) | 2022-06-13 | 2023-01-03 | 한국전자기술연구원 | Method and System for generating virtual performance |
| CN116600063A (en) * | 2023-05-11 | 2023-08-15 | 深圳市天擎数字有限责任公司 | Virtual reality fuses studio space positioning system and device system |
-
2014
- 2014-03-07 KR KR1020140027265A patent/KR20150105069A/en not_active Application Discontinuation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101725166B1 (en) * | 2016-06-22 | 2017-04-12 | 주식회사 엑스콜로 | 3D image reconstitution method using 2D images and device for the same |
| US10552972B2 (en) | 2016-10-19 | 2020-02-04 | Samsung Electronics Co., Ltd. | Apparatus and method with stereo image processing |
| KR102320214B1 (en) | 2020-09-07 | 2021-11-02 | 김소현 | Apparatus and Method for Providing performance video Contents using augmented reality |
| KR20220073990A (en) * | 2020-11-27 | 2022-06-03 | (주)올댓퍼포먼스아이앤씨 | System for creating performance content having visual effect |
| KR102299565B1 (en) * | 2021-04-27 | 2021-09-08 | (주)비코 | Method for real time person object cognition and real time image processing on real time broadcasting image and apparatus for performing the method |
| KR102483905B1 (en) | 2022-06-13 | 2023-01-03 | 한국전자기술연구원 | Method and System for generating virtual performance |
| CN116600063A (en) * | 2023-05-11 | 2023-08-15 | 深圳市天擎数字有限责任公司 | Virtual reality fuses studio space positioning system and device system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150105069A (en) | Cube effect method of 2d image for mixed reality type virtual performance system | |
| CN109615703B (en) | Augmented reality image display method, device and equipment | |
| Zhang et al. | 3D-TV content creation: automatic 2D-to-3D video conversion | |
| EP2603834B1 (en) | Method for forming images | |
| US20140181630A1 (en) | Method and apparatus for adding annotations to an image | |
| CN106231349B (en) | Main broadcaster's class interaction platform server method for changing scenes and its device, server | |
| CN109218630B (en) | Multimedia information processing method and device, terminal and storage medium | |
| US8675042B2 (en) | Image processing apparatus, multi-eye digital camera, and program | |
| AU2016302049B2 (en) | 2D-to-3D video frame conversion | |
| KR101723210B1 (en) | Method For Producting Virtual Stereo Studio Image In Real-Time Virtual Stereo Studio System | |
| KR101881295B1 (en) | Video system based on layer mixer using augmented reality | |
| JP2004007395A (en) | Stereoscopic image processing method and device | |
| US20210166485A1 (en) | Method and apparatus for generating augmented reality images | |
| WO2014094874A1 (en) | Method and apparatus for adding annotations to a plenoptic light field | |
| KR101982436B1 (en) | Decoding method for video data including stitching information and encoding method for video data including stitching information | |
| CN107862718A (en) | 4D holographic video method for catching | |
| CN106231411B (en) | Main broadcaster's class interaction platform client scene switching, loading method and device, client | |
| KR20080034419A (en) | 3d image generation and display system | |
| US11019323B2 (en) | Apparatus and method for 3D like camera system in a handheld mobile wireless device | |
| JP2004221699A (en) | Stereoscopic image processing method and apparatus | |
| Simone et al. | Omnidirectional video communications: new challenges for the quality assessment community | |
| KR20050078737A (en) | Apparatus for converting 2d image signal into 3d image signal | |
| JP5279078B2 (en) | Image shooting / display method, image shooting / display device, and program | |
| US20220207848A1 (en) | Method and apparatus for generating three dimensional images | |
| KR102082131B1 (en) | Inserting Method of Augment Reality Information in Drone Moving Picture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |