KR100335617B1 - Method for synthesizing three-dimensional image - Google Patents
Method for synthesizing three-dimensional image Download PDFInfo
- Publication number
- KR100335617B1 KR100335617B1 KR1019950049674A KR19950049674A KR100335617B1 KR 100335617 B1 KR100335617 B1 KR 100335617B1 KR 1019950049674 A KR1019950049674 A KR 1019950049674A KR 19950049674 A KR19950049674 A KR 19950049674A KR 100335617 B1 KR100335617 B1 KR 100335617B1
- Authority
- KR
- South Korea
- Prior art keywords
- model
- foreground image
- image
- dimensional
- depth
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/005—Aspects relating to the "3D+depth" image format
Abstract
Description
본 발명은 3차원 입체영상 합성방법에 관한 것으로서, 특히 크로마 키(chroma-key)에 의한 세그먼테이션 및 스테레오 영상에서 얻은 깊이(depth) 맵과 움직임 추정을 통한 자동적인 전경영상의 세그먼테이션에 의해 3차원 전경영상을 모델링한 후, 소정의 3차원 배경 모델과 합성하여 3차원 입체영상을 합성하기 위한 3차원 입체영상 합성방법에 관한 것이다.The present invention relates to a method for synthesizing three-dimensional stereoscopic images, in particular three-dimensional foreground by segmentation by chroma-key and automatic segmentation of the foreground image through depth estimation and motion estimation obtained from stereo images. The present invention relates to a 3D stereoscopic image synthesis method for synthesizing a 3D stereoscopic image by synthesizing an image with a predetermined 3D background model.
일반적으로 컴퓨터 그래픽은 영화나 TV의 영상제작에 중요한 역할을 하며, 제작자들은 배우를 자유롭게 컴퓨터로 생성한 가상 스튜디오속에 두고 원하는 영상을 제작하기를 원한다. 이러한 작업을 수행하기 위해 지금까지 사용되어온 가장 일반적인 영상합성방법은 제1도에 도시된 바와 같은 크로마키(chroma-key) 기법을 사용하는 것이다. 이 방법에 의하면, 영상획득부(111)에서는 단일 색상의 청색 스크린(101)을 배경으로 하여 카메라(103)로 전경영상(102)을 촬영한다. 여기서 사용된 카메라(103)는 단안식(monocular) TV 카메라이다.In general, computer graphics play an important role in film or television production, and producers want to freely place their actors in a computer-generated virtual studio to produce the desired images. The most common image synthesis method that has been used so far to accomplish this task is to use a chroma-key technique as shown in FIG. According to this method, the image acquisition unit 111 captures the foreground image 102 by the camera 103 with the blue screen 101 of a single color as the background. The camera 103 used here is a monocular TV camera.
전경영상 추출부(112)에서는 카메라(103)에서 출력되는 화상의 R,G,B 색상을 고려하여 배경인 청색에 대응하는 색범위의 색신호 성분의 유무에 의해 카메라(103)의 출력화상으로부터 전경영상을 분리한다. 즉, 전경영상을 분리하기 위해서는 청색 배경에 해당하는 영역에 대해서는 '0'값을 부여하고, 전경영상에 해당하는 영역에 대해서는 '1'의 값을 부여한다.In the foreground image extracting unit 112, the foreground image is extracted from the output image of the camera 103 by the presence or absence of a color signal component of a color range corresponding to blue as a background in consideration of R, G, and B colors of the image output from the camera 103. Split the image. That is, in order to separate the foreground image, a value of '0' is assigned to an area corresponding to the blue background, and a value of '1' is assigned to an area corresponding to the foreground image.
영상합성부(115)에서는 이와 같이 분리한 전경영상을 이미 저장되어 있는 다른 배경영상(114)과 카메라의 움직임정보 획득부(113)에서 획득한 촬영시 카메라의 팬(pan), 틸트(tilt) 및 줌(zoom)에 관련된 움직임정보(113)을 고려하여 합성하여 새로운 합성영상을 얻는다.The image synthesizing unit 115 pans and tilts the camera at the time of capturing the separated foreground image, which is already stored in the background image 114 and the motion information acquisition unit 113 of the camera. And combining the motion information 113 related to the zoom to obtain a new composite image.
그러나, 이러한 종래의 크로마키를 이용한 영상합성방법은 다음과 같은 단점을 가진다. 첫째, 전경영상의 움직임을 추정하기 위해 센서를 이용함으로써 물체 단위의 거리측정만이 가능하며, 영상내의 픽셀 단위의 거리측정은 불가능하다. 둘째, 전경영상의 공간상에서의 움직임을 영상내에서의 픽셀 단위의 길이를 추정할 수 없으므로 전경영상과 합성할 배경영상과의 상호작용을 표현할 수 없다. 셋째, 영상을 합성할 때 배경영상을 동시에 여러개를 사용하여 합성할 수 없다. 넷째, 합성된 영상이 2차원이므로 가상의 카메라에서 찍는 것과 같은 임의의 영상의 재생이불가능하다.However, the conventional image synthesis method using chroma key has the following disadvantages. First, by using the sensor to estimate the motion of the foreground image, only distance measurement in units of objects is possible, and distance measurement in units of pixels in the image is impossible. Second, since the length of the pixel unit in the image cannot be estimated for the motion in the space of the foreground image, the interaction between the foreground image and the background image to be synthesized cannot be expressed. Third, when synthesizing the images, multiple background images cannot be synthesized simultaneously. Fourth, since the synthesized image is two-dimensional, it is impossible to reproduce an arbitrary image such as taken by a virtual camera.
따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 크로마키에 의한 세그먼테이션 및 스테레오 영상에서 얻은 깊이 맵과 움직임 추정을 통한 자동적인 전경영상의 세그먼테이션에 의해 3차원 전경영상을 모델링한 후, 소정의 3차원 배경 모델과 합성하여 3차원 입체영상을 합성하기 위한 3차원 입체영상 합성방법을 제공하는데 있다.Accordingly, an object of the present invention is to solve the above problems by modeling a three-dimensional foreground image by the segmentation of the chroma key and automatic segmentation of the foreground image through the motion estimation and the depth map obtained from the stereo image. The present invention provides a 3D stereoscopic image synthesis method for synthesizing a 3D stereoscopic image by combining with a dimensional background model.
상기 목적을 달성하기 위하여 본 발명에 의한 3차원 입체영상 합성방법은 크로마 키를 이용하여 전경영상과 배경영상을 분리한 후, 다른 배경영상과 합성하기 위하여,In order to achieve the above object, the three-dimensional stereoscopic image synthesis method according to the present invention uses a chroma key to separate the foreground image and the background image, and then synthesizes it with another background image.
상기 전경영상을 청색 스크린을 배경으로 하여 단안식 TV 카메라로 촬영하고, 상기 배경영상을 세그먼테이션한 후 초기 3차원 모델을 형성하는 단계,Photographing the foreground image with a blue screen as a background using a monocular TV camera, segmenting the background image, and then forming an initial three-dimensional model;
상기 전경영상을 삼각형 패치로 표현하고, 각 삼각형에서 정점의 색을 구하여 3차된 가상모델을 구하는 단계;Expressing the foreground image in a triangular patch, and obtaining a third order virtual model by obtaining a color of a vertex in each triangle;
상기 초기 3차원 모델 혹은 상기 3차원 가상모델로부터 움직임을 추정하고 상기 움직임 추정된 모델을 원근투영하여, 상기 원근투영된 모델과 실제 전경영상과의 차이에 따라 상기 초기 3차원 모델 혹은 상기 3차원 가상모델을 변경하거나 그대로 유지하는 단계: 및Estimating the motion from the initial 3D model or the 3D virtual model and projecting the motion estimated model in perspective, and depending on the difference between the perspective projected model and the actual foreground image, the initial 3D model or the 3D virtual model Steps to change or keep the model: and
상기 변경되거나 그대로 유지된 모델을 컴퓨터 그래픽 혹은 다른 3차원 모델과 깊이를 고려하여 합성하는 단계를 포함하는 것을 특징으로 한다.And synthesizing the modified or maintained model in consideration of depth with computer graphics or other three-dimensional models.
상기 목적을 달성하기 위하여 본 발명에 의한 3차원 입체영상 합성방법은 크로마 키를 이용하여 배경영상과 배경영상을 분리한 후, 다른 배경영상과 합성하기 위하여,In order to achieve the above object, the three-dimensional stereoscopic image synthesis method according to the present invention uses a chroma key to separate a background image and a background image, and then synthesizes it with another background image.
상기 전경인상을 청색 스크린을 배경으로 하여 스테레오 카메라로 촬영하고, 상기 스테레오 전경영상의 깊이 맵으로부터 초기 3차원 모델을 형성하는 단계 ;Photographing the foreground image on a blue screen with a stereo camera and forming an initial three-dimensional model from a depth map of the stereo foreground image;
상기 스테레오 전경영상 중 임의의 전경영상을 삼각형 패치로 표현하고, 각 삼각형에서 정점의 색을 구하여 3차원 가상모델을 구하는 단계 ;Expressing an arbitrary foreground image of the stereo foreground image by a triangle patch, and obtaining a three-dimensional virtual model by obtaining a color of a vertex in each triangle;
상기 초기 3차원 모델 혹은 상기 3차된 가상모델로부터 움직임을 추정하고 상기 움직임 추정된 모델을 원근투영하여, 상기 원근투영된 모델과 실제 전경영상과의 차이에 따라 상기 초기 3차원 모델 혹은 상기 3차원 가상모델을 변경하거나 그대로 유지하는 단계; 및Estimating motion from the initial 3D model or the tertiary virtual model and projecting the motion estimated model in perspective, and according to the difference between the perspective projected model and the actual foreground image, the initial 3D model or the 3D virtual Changing or maintaining the model; And
상기 변경되거나 그대로 유지된 모델을 컴퓨터 그래픽 혹은 다른 3차원 모델과 깊이를 고려하여 합성하는 단계를 포함하는 것을 특징으로 한다.And synthesizing the modified or maintained model in consideration of depth with computer graphics or other three-dimensional models.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
우선 본 발명에서는 종래의 단안식 TV 카메라를 이용하여 촬영된 영상 혹은 스테레오 카메라를 이용하여 촬영된 스테레오 영상으로부터 3차원 입체영상을 합성한다. 이때 스테레오 영상을 이용하면 종래의 TV 영상과는 달리 3차원 정보의 추출이 용이하다.First, in the present invention, a 3D stereoscopic image is synthesized from an image photographed using a conventional monocular TV camera or a stereo image photographed using a stereo camera. In this case, using a stereo image, it is easy to extract 3D information unlike a conventional TV image.
제2도는 이러한 스테레오 영상을 이용하여 거리를 구하는 방법에 대한 상관관계를 나타낸 것이다. 공간상의 한점 P(xp, yp, zp)의 좌우 영상위의 점을 각각 Pl(xl, yl)과 Pr(xr, yr)라고 두면, 기하학적으로 다음 (1)식과 같은 관계가 성립됨으로 알 수 있다.2 shows a correlation of a method for obtaining a distance using such a stereo image. If the points on the left and right images of one point P (x p , y p , z p ) in space are P l (x l , y l ) and P r (x r , y r ) respectively, then geometrically (1) It can be seen that the same relationship is established.
상기 (1)식에서 xl, yl, zl좌표는 픽셀에 의해 표현되며, ph, pv는 각 픽셀의 수평, 수직방향으로의 단위길이를 나타낸다. 따라서, 상기 (1)식에 의해 공간상에서의 위치를 좌우영상에서의 프로젝트된 위치만 확인되면 알 수 있다.In Equation (1), x l , y l , and z l coordinates are represented by pixels, and p h and p v represent unit lengths in the horizontal and vertical directions of each pixel. Therefore, it can be known if only the projected position in the left and right images is confirmed in the space position according to Equation (1).
이와 같이 좌우영상에서 일치되는 점들을 찾는 문제를 일반적으로 일치 문제(correspondence problem)라 하며, U. R. Dhond가 논평한 스테레오 매칭방법 (Structure from Stereo-A Review, IEEE TRANSACTIONS ON SYSTEMS, MAN, CYBERNETICS, Vol.19, NO 6, NOVEMBER/DECEMBER 1989, p,1489-1509 참조)을 사용한다. 그러나, 한쌍의 좌우 스테레오영상만으로 모든 일치점들을 매칭하는 것은 폐쇄(occlusion) 현상으로 인하여 가능하지 않은 점들이 생기게 된다.This problem of finding the matching points in the left and right images is generally called a correspondence problem, and the stereo matching method described by UR Dhond (Structure from Stereo-A Review, IEEE TRANSACTIONS ON SYSTEMS, MAN, CYBERNETICS, Vol. 19, NO 6, NOVEMBER / DECEMBER 1989, p. 1489-1509). However, matching all matching points with only a pair of left and right stereo images results in points that are not possible due to occlusion.
따라서, 이러한 문제를 해결하기 위해 본 발명에서는 C. E. Liedtke가 사용한 분석에 의한 합성방법(analysis-by-synthesis)(Automatic Modelling of 3-D Moving Objects from a TV Image Sequence, SPIE Vol.1260, Sensing and Reconstruction of 3-D Objects and scenes 1990 p.230-239 참조)을 왼쪽영상에 적용한다. 분석에 의한 합성방법에 대하여 제3도를 참조하여 좀 더 상세히 설명하면 다음과 같다.Therefore, in order to solve this problem, the present invention uses an analysis-by-synthesis method (Automatic Modeling of 3-D Moving Objects from a TV Image Sequence, SPIE Vol. 1260, Sensing and Reconstruction). of 3-D Objects and scenes 1990 p.230-239). The synthesis method by analysis will be described in more detail with reference to FIG. 3 as follows.
제3도는 본 발명에서 적용된 분석에 의한 합성방법을 설명하기 위한 흐름도로서, 우선 영상시퀀스가 입력되면(제300단계), 초기모델이 존재하는지를 판단한다(제301단계).3 is a flowchart illustrating a synthesis method by analysis applied in the present invention. First, when an image sequence is input (step 300), it is determined whether an initial model exists (step 301).
제301단계에서 초기모델이 존재하지 않으면 영상으로부터 물체를 세그먼테이션(segmentation)하고(제302단계), 세그먼테이션된 물체를 회전시켜 3차원 바디(body)를 생성한다(제303단계). 다음, 삼각형분할(triangulation)을 통하여 3차원 바디를 삼각형 패치(triangular patch)로 표현하고(제304단계), 삼각형 패치의 각 정점(vertex)에 대해 기준영상을 투사(projection)함으로써 물체에 해당하는 표면 포인트들의 색을 추출하여 가상 모델을 얻는다(제305단계).If the initial model does not exist in step 301, the object is segmented from the image (step 302), and the three-dimensional body is generated by rotating the segmented object (step 303). Next, through triangulation, the three-dimensional body is represented as a triangular patch (step 304), and the reference image is projected on each vertex of the triangular patch to correspond to the object. The color of the surface points is extracted to obtain a virtual model (step 305).
한편, 제301단계에서 초기모델이 존재하면 모델의 움직임정보를 이용하여 다음 영상의 움직임을 추정하고, 초기모델이 존재하지 않는 경우 제305단계에서 얻은 가상 모델을 이용하여 움직임을 추정하고(제306단계), 움직임 추정된 모델을 원근투영(perspective projection)한다 (제307단계). 제308단계에서는 현재의 실영상과 제307단계에서 투영된 영상을 비교하여 차이가 현저한지를 판단하고, 차이가 현저하면 모델의 파라미터 예를 들어, 모양, 움직임, 색 등을 재추정하여 모델을 변경하고(제309단계), 차이가 현저하지 않으면 모델을 유지한다(제310단계).On the other hand, if the initial model exists in step 301, the motion of the next image is estimated using the motion information of the model, and if the initial model does not exist, motion is estimated using the virtual model obtained in step 305 (step 306) In operation 307, the motion estimation model is perspectively projected. In operation 308, the current real image is compared with the image projected in operation 307 to determine whether the difference is remarkable. If the difference is remarkable, the model is changed by re-estimating the model, for example, shape, motion, and color. If the difference is not significant (step 309), the model is maintained (step 310).
이때, 상기 제301단계와 제306단계 내지 제308단계를 새로 입력되는 영상시퀀스에 대해 반복적으로 수행한다.In this case, steps 301 and 306 to 308 are repeatedly performed on the newly input image sequence.
본 발명에서는 움직임 추정을 위해 Kappei et al.이 사용한 다음 (2)식과 같은 수식을 사용한다(Modelling of a natural 3-D Scene Consisting of Moving Objects from a Sequence of Monocular TV images, SPIE Vol.860 Real Time Image Processing: Concepts and Technologies(1987), p.125-132 참조).In the present invention, Kappei et al. Uses the following equation (2) for motion estimation (Modeling of a natural 3-D Scene Consisting of Moving Objects from a Sequence of Monocular TV images, SPIE Vol. 860 Real Time) Image Processing: Concepts and Technologies (1987), p. 125-132).
상기 (2)식에서, P=(Px, Py, Pz)로 표면 포인트, F는 초점거리, G=(Gx, Gy)로 측정 포인트의 경사도, C=(Cx, Cy, Cz)로 물체의 중심, T=(Tx, Ty, Tz)로 이동(translation) 벡터, R=(Rx, Ry, Rz)로 회전 벡터를 각각 나타낸다.In the above formula (2), the surface point with P = (P x , P y , P z ), F is the focal length, the slope of the measuring point with G = (G x , G y ), C = (C x , C y , C z ) represents the center of the object, a translation vector with T = (T x , T y , T z ), and a rotation vector with R = (R x , R y , R z ).
상기 (2)식은 비선형이므로 반복적인 방법으로 해를 구할 수 있다. 합성은 깊이를 고려하여 컴퓨터 그래픽기술을 이용하여 쉽게 구현할 수 있다.Since equation (2) is nonlinear, the solution can be obtained by an iterative method. Synthesis can be easily implemented using computer graphics technology considering the depth.
제4도는 본 발명에 의한 3차원 입체영상 합성방법의 일실시예를 설명하기 위한 흐름도로서, 스테레오 매칭 및 분석에 의한 합성기술을 이용한 3차원 모델의 생성과 합성 그리고 컴퓨터 그래픽기술을 이용한 임의의 영상의 재생 등을 나타낸다.4 is a flowchart illustrating an embodiment of a method for synthesizing a 3D stereoscopic image according to the present invention. The 3D model is generated and synthesized using a synthesis technique by stereo matching and analysis, and an arbitrary image using a computer graphic technique. Playback and so on.
딘저, 제400단계에서는 스테레오 카메라를 이용하여 스테레오 영상을 획득하고, 제401단계에서는 초기모델이 존재하는지를 판단한다.Dinger, in step 400 a stereo image is obtained using a stereo camera, and in step 401 it is determined whether an initial model exists.
제401단계에서 초기모텔이 존재하지 않으면, 제400단계에서 획득한 스테레오영상으로부터 크로마키 신호를 발생하여 전경영상을 추출한다(제402단계). 제403단계에서는 스테레오 영상으로부터 추출된 전경영상에 대해 불일치 맵(disparity map)을 생성하고, 제404단계에서는 스테레오 영상으로부터 카메라의 움직임을 추적하여 대응점을 찾음으로써 전경영상의 깊이 맵을 획득한다. 제405단계에서는 영상내의 물체에 의해 불일치 맵과 움직임에 불연속성이 생기게 되므로 이들 특성을 이용하여 획득된 불일치 맵과 움직임을 통해 세그먼테이션하여 영상내의 물체에 더 가까운 전경영상을 획득한다. 제406단계에서는 불일치 맵을 이용하여 스테레오 삼각형 분할을 통하여 깊이 맵을 생성하고, 이 깊이 맵과 추출된 전경영상을 이용하여 조밀한 깊이 맵을 생성한다. 제407단계에서는 제406단계에서 얻은 조밀한 깊이 맵을 이용하여 삼각형 패치를 생성하고, 제408단계에서는 기준영상을 투사하여 전경영상으로부터 삼각형 패치의 각 정점에 해당하는 색정보를 추출하여 가상 모델을 형성한다.If the initial motel does not exist in step 401, the foreground image is extracted by generating a chroma key signal from the stereo image obtained in step 400 (step 402). In operation 403, a disparity map is generated with respect to the foreground image extracted from the stereo image. In operation 404, a depth map of the foreground image is obtained by finding a corresponding point by tracking the movement of the camera from the stereo image. In operation 405, discontinuities are generated in the inconsistency map and the movement by the objects in the image, so that the foreground image closer to the object in the image is obtained by segmenting through the inconsistency map and the movement obtained using these characteristics. In operation 406, a depth map is generated by dividing a stereo triangle using a disparity map, and a dense depth map is generated using the depth map and the extracted foreground image. In step 407, a triangular patch is generated using the dense depth map obtained in step 406, and in step 408, color information corresponding to each vertex of the triangle patch is extracted from the foreground image by projecting a reference image to generate a virtual model. Form.
한편, 제401단계에서 모델이 존재하면 영상 모델로부터 움직임을 추정하고, 모델이 존재하지 않으면 제408단계에서 구한 가상모델로부터 움직임을 추정하고(제409단계), 움직임 추정된 모델을 원근투영하고 원근투영된 영상을 각 정점의 색값을 고려하여 쉐이딩(shading)을 한다(제410단계). 제411단계에서는 투영된 영상과 실영상과의 차이를 비교하고, 그 차이가 현저하면 측정 포인트에 대해 움직임을 재추정하고 길이 맵을 재추출한 후, 이 움직임과 깊이 맵을 고려하여 모델을 변경하고(제413단계), 차이가 현저하지 않으면 현재의 모델을 그대로 유지한다(제412단계).On the other hand, if the model exists in step 401, the motion is estimated from the image model. If the model does not exist, the motion is estimated from the virtual model obtained in step 408 (step 409). The projected image is shaded in consideration of color values of each vertex (step 410). In operation 411, the difference between the projected image and the real image is compared. If the difference is significant, the motion is re-estimated for the measurement point, the length map is reextracted, and the model is changed in consideration of the motion and depth map. If the difference is not significant (step 413), the current model is maintained as it is (step 412).
제414단계에서는 제412단계 및 제413단계에서 획득한 3차원 모델을 이미 저장하고 있는 소정의 3차원 모델과 깊이 맵을 고려하여 합성하고, 제414단계에서는 사용자로부터 영상시퀀스를 생성할 뷰포인트(viewpoint)를 얻어 주어진 시점에 따라 영상을 원근투영한다. 제415단계에서는 원근투영된 영상을 모델에서 정점의 색을 이용하여 쉐이딩하여 최종 합성된 영상시퀀스를 출력한다.In step 414, the 3D model acquired in steps 412 and 413 is synthesized in consideration of a predetermined 3D model and a depth map, and in step 414, a viewpoint for generating an image sequence from a user ( perspective) to obtain the perspective of the image. In operation 415, the perspective projected image is shaded using the color of the vertex in the model to output the final synthesized image sequence.
상술한 바와 같은 본 발명에 의한 3차원 입체영상 합성방법의 효과는 다음과 같다.Effects of the three-dimensional stereoscopic image synthesis method according to the present invention as described above are as follows.
첫째, 종래에는 청색 스크린을 배경으로 하여 전경영상을 촬영한 다음 크로마키 방법을 사용하여 전경영상을 세그먼테이션한 후에 저장되어 있는 다른 차원의 배경영상과 합성하여 새로운 합성영상을 얻었으며 이때 얻어진 영상은 2차원이라는 한계가 있으나, 본 발명에 의하면 3차원 입제영상을 획득할 수 있다.First, conventionally, a foreground image is taken with a blue screen as a background, and then the foreground image is segmented using a chroma key method, and then a new composite image is obtained by synthesizing with the stored background image of another dimension. Although there is a limit in dimension, the present invention can obtain a three-dimensional granular image.
둘째, 종래에는 카메라의 움직임을 추정하기 위해 센서를 부착하는 방식으로 물체 단위의 거리측정만이 가능하였으나, 본 발명에 의하면 스테레오 영상을 이용함으로써 실영상에서 픽셀 단위의 깊이를 추정하여 전경영상과 합성할 배경영상과의 상호작용을 표현할 수 있다.Second, in the conventional method, only distance measurement in units of objects was possible by attaching a sensor to estimate camera movement. However, according to the present invention, a stereo image is used to estimate depth of a pixel unit in a real image and synthesized with a foreground image. Interaction with the background image can be expressed.
셋쩨, 종래의 크로마키 방법에서는 전경영상을 추출하기 위해 제어 포인트를 수작업으로 정하였으나, 본 발명에 의하면 영상내의 각 대상물마다의 다른 움직임과 깊이의 불연속성 및 크로마키를 이용한 세그먼테이션 기술을 통합하여 사용함으로써 자동으로 신속하고 정확한 전경영상의 추출이 가능하다.Third, in the conventional chroma key method, the control point is manually set to extract the foreground image. However, according to the present invention, by using the segmentation technique using the chroma key and the discontinuity of different motions and depths for each object in the image. Quick and accurate foreground image extraction is possible automatically.
넷째, 전경영상을 3차원 모델링함으로써 컴퓨터 그래픽기술을 이용한 자유로운 표현이 가능하다.Fourth, free expression using computer graphics technology is possible by three-dimensional modeling of the foreground image.
다섯째, 전경영상과 배경영상을 3차원으로 합성함으로써 임의의 방향에서의 영상을 재생할 수 있다.Fifth, by combining the foreground image and the background image in three dimensions, it is possible to reproduce the image in any direction.
여섯째, 전경영상 및 배경영상을 3차원 모델링함으로써 영상을 표현하는 데이타량이 감축되므로 압축율이 높고 고속 데이타 전송이 가능하다.Sixth, since the amount of data representing an image is reduced by three-dimensional modeling of the foreground image and the background image, high compression ratio and high-speed data transmission are possible.
제1도는 종래의 크로마키를 사용한 영상합성방법을 설명하기 위한 블럭도.1 is a block diagram for explaining a conventional image synthesis method using a chroma key.
제2도는 스테레오 비젼의 개념도.2 is a conceptual diagram of stereo vision.
제3도는 분석에 의한 합성방법의 흐름도.3 is a flow chart of the synthesis method by analysis.
제4도는 스테레오 영상을 이용한 본 발명에 의한 3차원 입체영상 합성방법을 설명하기 위한 흐름도.4 is a flowchart illustrating a 3D stereoscopic image synthesis method according to the present invention using a stereo image.
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950049674A KR100335617B1 (en) | 1995-12-14 | 1995-12-14 | Method for synthesizing three-dimensional image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950049674A KR100335617B1 (en) | 1995-12-14 | 1995-12-14 | Method for synthesizing three-dimensional image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR970058060A KR970058060A (en) | 1997-07-31 |
| KR100335617B1 true KR100335617B1 (en) | 2002-10-31 |
Family
ID=37479792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019950049674A KR100335617B1 (en) | 1995-12-14 | 1995-12-14 | Method for synthesizing three-dimensional image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100335617B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100856756B1 (en) | 2007-10-08 | 2008-09-10 | (주)다우텔레콤 | Unmanned monitering device using the 3 dimension camera module device |
| US8803947B2 (en) | 2010-08-03 | 2014-08-12 | Samsung Electronics Co., Ltd. | Apparatus and method for generating extrapolated view |
| KR20160003614A (en) | 2015-12-22 | 2016-01-11 | 우덕명 | Method For Producting Virtual Stereo Studio Image In Real-Time Virtual Stereo Studio System |
| KR101638956B1 (en) * | 2015-04-20 | 2016-07-12 | 라영수 | Production methods for virtual reality filmed using air shooting and ground video |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3480648B2 (en) * | 1996-11-12 | 2003-12-22 | ソニー株式会社 | Video signal processing apparatus and video signal processing method |
| JP4056154B2 (en) | 1997-12-30 | 2008-03-05 | 三星電子株式会社 | 2D continuous video 3D video conversion apparatus and method, and 3D video post-processing method |
| KR20010035316A (en) * | 2001-02-02 | 2001-05-07 | 홍만의 | The visible screen for chromakey |
| KR100893855B1 (en) * | 2002-03-26 | 2009-04-17 | 주식회사 엘지이아이 | Method for combination both of two-dimensional background and three-dimensional foreground and engine for three-dimensional application |
| WO2009035199A1 (en) * | 2007-09-15 | 2009-03-19 | Young-Dae Kim | Virtual studio posture correction machine |
| WO2009035198A1 (en) * | 2007-09-15 | 2009-03-19 | Young-Dae Kim | 3d virtual studio lecture and conference apparatus |
| US8681182B2 (en) | 2011-04-19 | 2014-03-25 | Deluxe 3D Llc | Alternate viewpoint rendering |
| KR102142567B1 (en) * | 2017-09-15 | 2020-08-07 | 주식회사 케이티 | Image composition apparatus using virtual chroma-key background, method and computer program |
| KR102571677B1 (en) * | 2020-12-08 | 2023-08-28 | (주)와이즈업 | AI Studio for Online Lectures |
-
1995
- 1995-12-14 KR KR1019950049674A patent/KR100335617B1/en not_active IP Right Cessation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100856756B1 (en) | 2007-10-08 | 2008-09-10 | (주)다우텔레콤 | Unmanned monitering device using the 3 dimension camera module device |
| US8803947B2 (en) | 2010-08-03 | 2014-08-12 | Samsung Electronics Co., Ltd. | Apparatus and method for generating extrapolated view |
| KR101638956B1 (en) * | 2015-04-20 | 2016-07-12 | 라영수 | Production methods for virtual reality filmed using air shooting and ground video |
| KR20160003614A (en) | 2015-12-22 | 2016-01-11 | 우덕명 | Method For Producting Virtual Stereo Studio Image In Real-Time Virtual Stereo Studio System |
Also Published As
| Publication number | Publication date |
|---|---|
| KR970058060A (en) | 1997-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | 3D-TV content creation: automatic 2D-to-3D video conversion | |
| US4925294A (en) | Method to convert two dimensional motion pictures for three-dimensional systems | |
| US8878835B2 (en) | System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images | |
| US20050117215A1 (en) | Stereoscopic imaging | |
| US20080228449A1 (en) | Systems and methods for 2-d to 3-d conversion using depth access segments to define an object | |
| US20080225045A1 (en) | Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion | |
| JPH08331607A (en) | Three-dimensional display image generating method | |
| KR20070119018A (en) | Automatic scene modeling for the 3d camera and 3d video | |
| JP2000503177A (en) | Method and apparatus for converting a 2D image into a 3D image | |
| WO2008112766A1 (en) | Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters | |
| WO2008112762A1 (en) | Systems amd methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images | |
| KR100335617B1 (en) | Method for synthesizing three-dimensional image | |
| CN205451195U (en) | Real -time three -dimensional some cloud system that rebuilds based on many cameras | |
| EP1668919B1 (en) | Stereoscopic imaging | |
| Tzovaras et al. | 3D object articulation and motion estimation in model-based stereoscopic videoconference image sequence analysis and coding | |
| Knorr et al. | Stereoscopic 3D from 2D video with super-resolution capability | |
| Evers‐Senne et al. | Image based interactive rendering with view dependent geometry | |
| Kompatsiaris et al. | 3-D model-based segmentation of videoconference image sequences | |
| Kim et al. | 3-d virtual studio for natural inter-“acting” | |
| Kim et al. | Photorealistic interactive virtual environment generation using multiview cameras | |
| KR100421208B1 (en) | Wethod for synthesizing three-dimensional image | |
| Blanc et al. | Towards fast and realistic image synthesis from real views | |
| Sommerer et al. | Time-lapse: an immersive interactive environment based on historic stereo images | |
| Kobayashi et al. | 3D Body and Background Reconstruction in a Large-scale Indoor Scene using Multiple Depth Cameras | |
| Kim et al. | Projection-based registration using color and texture information for virtual environment generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080312 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |