KR20070061011A - Binocular or multi-view stereo matching apparatus and its method using occlusion area detection - Google Patents

Binocular or multi-view stereo matching apparatus and its method using occlusion area detection Download PDF

Info

Publication number
KR20070061011A
KR20070061011A KR1020060030404A KR20060030404A KR20070061011A KR 20070061011 A KR20070061011 A KR 20070061011A KR 1020060030404 A KR1020060030404 A KR 1020060030404A KR 20060030404 A KR20060030404 A KR 20060030404A KR 20070061011 A KR20070061011 A KR 20070061011A
Authority
KR
South Korea
Prior art keywords
shielding area
matching
window frame
stereo
variation
Prior art date
Application number
KR1020060030404A
Other languages
Korean (ko)
Other versions
KR100745691B1 (en
Inventor
엄기문
허남호
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20070061011A publication Critical patent/KR20070061011A/en
Application granted granted Critical
Publication of KR100745691B1 publication Critical patent/KR100745691B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Abstract

A binocular or multi-view stereo matching apparatus and method using occlusion area detection are provided to detect an occlusion area and set a matching window from which the occlusion area is excluded using the detected occlusion area to obtain correct disparity and reduce the quantity of unnecessary calculations. A stereo matching apparatus includes a binocular image input/storage unit(100), an occlusion area detector(102), a matching window setting unit(103), a disparity search unit(104), an occlusion area processor(106), and a disparity map storage unit(107). The binocular image input/storage unit receives and stores a binocular image. The occlusion area detector selects a stereo image pair with respect to the binocular image as a stereo image pair to be matched and detects an occlusion area from the stereo image pair. The matching window setting unit sets a matching window such that pixels other than pixels of the occlusion area do not include the occlusion area. The disparity search unit searches disparity by using the matching window. The occlusion area processor calculates disparity of occlusion area pixels for the stereo image pair. The disparity map storage unit stores the calculated disparity.

Description

차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법{Binocular or multi-view stereo matching apparatus and its method using occlusion area detection}Binocular or multi-view stereo matching apparatus and its method using occlusion area detection

도 1은 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치의 일실시예 구성도,1 is a configuration diagram of an embodiment of a binocular or multiview stereo matching device using shielded area detection according to the present invention;

도 2는 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 방법에 대한 일실시예 흐름도,2 is a flowchart illustrating an embodiment of a binocular or multiview stereo matching method using shielding area detection according to the present invention;

도 3은 본 발명에 따른 차폐영역 분포 형태에 따른 정합창틀 분류를 나타내는 설명도,3 is an explanatory diagram showing a matching window frame classification according to the shielding area distribution form according to the present invention;

도 4는 본 발명에 따른 차폐영역 분포 형태에 따른 적응형 정합창틀 선택의 예를 나타내는 설명도,4 is an explanatory diagram showing an example of adaptive matching window frame selection according to the shielding area distribution form according to the present invention;

도 5는 본 발명에 따른 차폐영역 분포 형태에 따른 4 방향 적응 크기 창틀의 확장 과정의 예를 나타내는 설명도이다.5 is an explanatory diagram showing an example of an expansion process of a four-way adaptive size window frame according to a shielded area distribution form according to the present invention.

* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing

100 : 양안/다시점 영상 입력 및 저장부100: binocular / multi-view image input and storage unit

101 : 카메라 보정부 102 : 차폐영역 추출부101: camera correction unit 102: shielding area extraction unit

103 : 정합창틀 설정부 104 : 변이 탐색부103: matching window frame setting unit 104: mutation search unit

105 : 변이 선택부 106 : 차폐영역 처리부105: transition selection unit 106: shielding area processing unit

107 : 변이지도 저장부107: variation map storage unit

본 발명은 양안 또는 다시점 스테레오 정합 방식의 정확도를 향상시키기 위한, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법에 관한 것으로, 보다 상세하게는 2시점 이상의 카메라로부터 얻은 양안 또는 다시점 영상(비디오)으로부터 보다 정확한 변이지도를 생성하기 위한, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법에 관한 것이다.The present invention relates to a binocular or multiview stereo matching device using a shielding area detection and a method for improving the accuracy of a binocular or multiview stereo matching scheme, and more particularly, to a binocular or multiview obtained from a camera having two or more viewpoints. A binocular or multi-view stereo matching device using shielded area detection and a method for generating a more accurate disparity map from an image (video).

두 대 이상의 카메라로부터 획득한 영상(비디오)으로부터 정확한 변이/깊이 정보를 얻기 위한 양안 또는 다시점 스테레오 정합 방법은 오랫동안 컴퓨터 비전 분야에서 연구 대상이 되어 왔으며, 아직까지도 많은 연구가 이뤄지고 있다.The binocular or multiview stereo matching method for obtaining accurate disparity / depth information from images (videos) obtained from two or more cameras has been studied in computer vision for a long time.

여기서, 스테레오 정합은 두 대 또는 그 이상의 카메라로부터 취득된 영상 중 하나를 기준 영상으로, 다른 영상들을 탐색 영상으로 놓았을 때, 3차원 공간상의 한 점이 기준 영상과 탐색 영상들에 투영된 화소의 영상 내 위치를 구하는 과정으로 정의되며, 이때 구해진 각 대응점들 간의 영상 좌표 차이를 변이(disparity) 라고 한다.Here, stereo matching is a reference image based on one of images acquired from two or more cameras, and when the other images are placed as search images, an image of a pixel in which one point in three-dimensional space is projected onto the reference image and the search images. It is defined as a process of finding an inner position, and the difference in image coordinates between the corresponding corresponding points is called disparity.

이 변이를 기준 영상의 각 화소에 대하여 계산하면 영상의 형태로 변이가 저장되는데 이를 변이지도(disparity map)라고 한다. 다시점 스테레오는 이러한 과정을 세대 이상의 카메라에 대하여 확장한 것이다.When the variation is calculated for each pixel of the reference image, the variation is stored in the form of an image, which is called a disparity map. Multi-view stereo is an extension of this process for generations of cameras.

전통적으로 양안 스테레오 영상의 정합 문제는 한쪽 영상에서 관찰되는 화소가 다른 쪽 영상에서 보이거나(차폐영역), 한쪽 영상에서는 관찰되지 않은 화소가 다른 쪽 영상에서 보이는 영역(새로 나타난 영역)이 존재함으로 인하여 한계점을 가지고 있다. 특히, 최근 영상기반 렌더링 분야에서 변이정보를 이용한 가상 시점 영상 생성 분야에 대한 연구가 활발하게 이뤄지면서 이 문제의 중요성은 더욱 커지게 되었다.Traditionally, the matching problem of binocular stereo images is due to the presence of pixels seen in one image in the other image (shielding region) or in areas where the unobserved pixel in one image is visible in the other image (newly displayed area). It has a limitation. In particular, as the research on the virtual viewpoint image generation using the disparity information has been actively conducted in the field of image-based rendering, the importance of this problem has increased.

이러한 차폐영역 문제를 해결하기 위하여 다수의 카메라를 이용하여 스테레오 정합의 문제를 해결하려는 많은 시도가 있었는데, 여러 개의 스테레오 영상 쌍을 구성하여 차폐영역이 발생하는 스테레오 영상 쌍에 의한 결과를 최소화하는 다중 베이스라인 스테레오 정합 방법(Okutomi and Kanade, "A Multiple-Baseline Stereo," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. PAMI-15, no. 4, pp. 353-363, 1993), 카메라 행렬에서 차폐영역이 발생할 수 있는 패턴을 정의하고, 이로부터 차폐영역이 발생하지 않을 카메라들에 의해 취득된 영상에 대해서만 정합을 수행하는 다시점 스테레오 정합 방법(Nakmura et al., "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix-", Proceedings of CVPR'96, pp. 371-378, 1996) 등이 있었다. 이러한 종래 방법은 차폐영역에 의한 오정합을 최소화하는 데는 효과적이나, 물체의 가장자리에서의 경계선 과급(object boundary overreach) 문제 등 여전히 해결되지 않는 문제점이 있었다.Many attempts have been made to solve the problem of stereo matching using multiple cameras in order to solve the problem of the shielding area, and it is possible to construct multiple stereo image pairs to minimize the result of the stereo image pair in which the shielding area occurs. Line stereo matching method (Okutomi and Kanade, "A Multiple-Baseline Stereo," IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. PAMI-15, no. 4, pp. 353-363, 1993), shielding in camera matrix A multi-view stereo matching method that defines patterns in which areas can occur and performs matching only for images acquired by cameras from which no shielding areas will occur (Nakmura et al., "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix- ", Proceedings of CVPR'96, pp. 371-378, 1996). This conventional method is effective in minimizing misalignment caused by the shielding area, but there is still a problem that is not solved such as an object boundary overreach problem at the edge of the object.

상기 경계선 과급 문제를 해결하기 위해 경계선 과급 영역 및 차폐영역은 영상의 밝기가 급격히 변하는 에지 영역에서 많이 발생한다고 가정하고, 이러한 에지를 기준으로 정합창틀의 종류나 크기를 적응적으로 결정하는 다중 창틀이나 가변크기 창틀 방법들이 많이 제시되었다. 이에 대한 예로는 창틀 내 밝기 변화를 고려한 적응형 창틀 정합 방법(Kanade and Okutomi," A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 16, no. 9, Sept., 1994), 대칭적 다중 창틀을 이용한 정합 방법(Fusiello et al., "Efficient Stereo with Multiple Windowing," Proceedings of CVPR'97, p. 858, 1997), 점진적으로 정합창틀의 크기를 변경시키는 적응 크기 창틀 방법(Park and Inoue, "Acquisition of sharp depth map from multiple cameras," Signal Processing: Image Communication, vol.14, pp.7-19, Nov. 1998) 등이 있다. 이러한 연구들은 물체의 가장자리를 효율적으로 복구하였으나, 계산량이 많아 신속한 변이지도 추출에 어려움이 있었다.In order to solve the boundary supercharge problem, it is assumed that the boundary supercharge area and the shielding area are frequently generated in the edge area where the brightness of the image is rapidly changed, and the multiple window frames that adaptively determine the type or size of the matching window frame based on these edges or Many variable size window frames methods have been proposed. For example, Kanade and Okutomi, "A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment," IEEE Trans.on Pattern Analysis and Machine Intelligence, vol. 16, no. 9, Sept., 1994), Matching Method Using Symmetric Multiple Window Frames (Fusiello et al., "Efficient Stereo with Multiple Windowing," Proceedings of CVPR'97, p. 858, 1997) Adaptive size window frame methods (Park and Inoue, "Acquisition of sharp depth map from multiple cameras," Signal Processing: Image Communication, vol. 14, pp. 7-19, Nov. 1998). These studies efficiently repaired the edges of objects, but it was difficult to extract fast disparity maps due to the large amount of computation.

최근에는 다중 창틀의 계산량을 줄이기 위해 에지 포함 여부에 따라 선택적으로 다중 창틀을 이용하는 에지 적응형 수평 이동 창틀 정합 방법(Jong-Il Park, Gi Mun Um, Chunghyun Ahn, and Chieteuk Ahn, "Virtual Control of Optical Axis of the 3DTV Camera for Reducing Visual Fatigue in Stereoscopic 3DTV," ETRI Journal, vol.26, no.6, Dec. 2004, pp.597-604)도 발표되었다. 그러나 이 방법은 다양한 에지 형태에 맞는 정합창틀을 효과적으로 고려하지 못하고, 3개의 창틀만 사용하는 문제점이 있었다.Recently, edge-adapted horizontally moving window frame matching method using optional multiple window frames depending on whether edges are included to reduce the computation of multiple window frames (Jong-Il Park, Gi Mun Um, Chunghyun Ahn, and Chieteuk Ahn, "Virtual Control of Optical Axis of the 3DTV Camera for Reducing Visual Fatigue in Stereoscopic 3DTV, "ETRI Journal, vol.26, no.6, Dec. 2004, pp.597-604). However, this method does not effectively consider matching window frames for various edge shapes, and has a problem of using only three window frames.

상기와 같은 종래 기술을 종합적으로 살펴보면, 차폐영역(새로이 출현하는 영역포함)은 주로 깊이 불연속 지점에서 나타나게 되는데, 상술한 방법들은 대부분 컬러의 불연속 지점과 깊이 불연속 지점이 일치한다는 가정에서 영상 내 에지를 깊이 불연속 지점을 판단하는 기준으로 사용하고 있다. 그러나 이 가정은 항상 성립하는 것이 아니며, 컬러가 변하더라도 깊이는 연속적으로 변화는 경우가 많이 발생한다.Comprehensive description of the prior art as described above, the shielding area (including the newly appearing area) is mainly appeared at the depth discontinuity point, the above-mentioned methods are mostly in the image assuming that the discontinuity point and the depth discontinuity point of the color coincide It is used as a criterion for judging depth discontinuities. However, this assumption is not always true, and even if the color changes, the depth often changes continuously.

따라서 좀더 정확하게 차폐영역을 검출하고, 이를 이용하여 정합 시에 이 영역이 제외된 정합창틀을 설정함으로써, 보다 정확한 변이를 얻으면서도, 불필요한 계산량을 줄일 수 있는 양안 또는 다시점 스테레오 정합 방법이 요구되고 있다.Therefore, there is a need for a binocular or multi-view stereo matching method that can more accurately detect the shielding area and use it to set the matching window frame that excludes this area during matching, thereby obtaining more accurate variation and reducing unnecessary computation. .

본 발명은 상기한 바와 같은 문제점을 해결하고 상기 요구에 부응하기 위하여 제안된 것으로, 좀더 정확하게 차폐영역을 검출하고, 상기 검출한 차폐영역을 이용하여 정합 시에 상기 검출한 차폐영역이 제외된 정합창틀을 설정함으로써, 보다 정확한 변이를 얻으면서도 불필요한 계산량을 줄일 수 있는, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been proposed in order to solve the above problems and meet the above requirements, and more accurately detects a shielding area, and when the matching using the detected shielding area, the matching window frame without the detected shielding area is excluded. It is an object of the present invention to provide a binocular or multi-view stereo matching device using a shielded area detection, and a method thereof, which can reduce the amount of computation required while obtaining a more accurate variation.

즉, 본 발명은 차폐영역을 먼저 검출하고, 상기 검출한 차폐영역을 이용하여 정합창틀의 크기와 형태를 재설정하고, 상기 검출한 차폐영역에 포함된 화소와 포함되지 않은 화소에 대해 변이를 서로 다른 방식으로 구함으로써 보다 정확한 변이지도를 구할 수 있는, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법을 제공하는데 그 목적이 있다.That is, according to the present invention, the shielding area is first detected, the size and shape of the matching window frame is reset using the detected shielding area, and the variation is different for pixels included in the detected shielding area and pixels not included. It is an object of the present invention to provide a binocular or multi-view stereo matching device using a shielded area detection and a method thereof, which can obtain a more accurate disparity map by obtaining the method.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명의 장치는, 스테레오 정합 장치에 있어서, 2시점 이상의 카메라에서 촬영된 양안 영상(비디오)을 입력받아 저장하기 위한 양안 영상 입력 및 저장 수단; 상기 양안 영상 입력 및 저장 수단의 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단; 상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단; 상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단; 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및 상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이 지도 저장 수단을 포함한다.According to an aspect of the present invention, there is provided a stereo matching device comprising: binocular image input and storage means for receiving and storing a binocular image (video) photographed by a camera having two or more viewpoints; Shielding area extraction means for selecting a stereo image pair to be matched to the binocular image of the binocular image input and storage means as a stereo image pair to be matched, and detecting a shielding area from the selected stereo image pair; Matching window frame setting means for setting a matching window frame so as not to include a shielding area for pixels except the pixels of the shielding area detected by the shielding area extraction means; Transition search means for searching for a variation using a registration window frame set by the registration window frame setting means; Shielding area processing means for calculating a shift of the shielding area pixel for the stereo image pair; And disparity map storage means for storing the disparity of each pixel calculated by the shielding region processing means.

상기 목적을 달성하기 위한 본 발명의 다른 장치는, 스테레오 정합 장치에 있어서, 3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 입력받아 저장하기 위한 다시점 영상 입력 및 저장 수단; 상기 다시점 영상 입력 및 저장 수단의 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단; 상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단; 상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단; 두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하기 위한 변이 선택 수단; 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및 상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이지도 저장 수단을 포함한다.According to another aspect of the present invention, there is provided a stereo matching apparatus, comprising: a multiview image input and storage means for receiving and storing a multiview image (video) captured by a camera of three or more viewpoints; Shielding area extraction means for selecting a stereo image pair to be matched among the multi-view images of the multi-view image input and storage means, and detecting a shielding area from the selected stereo image pair; Matching window frame setting means for setting a matching window frame so as not to include a shielding area for pixels except the pixels of the shielding area detected by the shielding area extraction means; Transition search means for searching for a variation using a registration window frame set by the registration window frame setting means; Transition selection means for comparing and selecting variations obtained from each stereo image pair as two or more stereo image pairs exist; Shielding area processing means for calculating a shift of the shielding area pixel for each stereo image pair; And variation map storage means for storing the variation of each pixel calculated by the shielding area processing means.

상기 본 발명의 각 장치는, 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정 수단; 및 상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단으로부터의 카메라 정보를 이용하여 3차원 데이터로 변환하기 위한 변이지도 변환 수단을 더 포함한다.Each device of the present invention comprises: camera correction means for extracting camera information of each camera; And disparity map conversion means for converting the disparity map from the disparity map storage means into three-dimensional data using camera information from the camera correction means.

한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 스테레오 정합 방법에 있어서, 2시점 이상의 카메라에서 촬영된 양안 영상(비디오)을 저장하는 단계; 상기 저장한 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으 로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하는 차폐영역 검출 단계; 상기 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하는 정합창틀 설정 단계; 상기 설정한 정합창틀을 이용하여 변이를 탐색하는 변이 탐색 단계; 상기 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하는 변이 계산 단계; 및 상기 계산한 각 화소의 변이를 저장하는 단계를 포함한다.On the other hand, the method of the present invention for achieving the above object, the stereo matching method, comprising: storing a binocular image (video) taken by a camera of two or more times; A shielding area detecting step of selecting a corresponding stereo image pair for the stored binocular image as a stereo image pair to match, and detecting a shielding area from the selected stereo image pair; A matching window frame setting step of setting a matching window frame so as not to include a shielding area for pixels except the pixels of the detected shielding area; A variation searching step of searching for a variation using the set matching window frame; A disparity calculating step of calculating a disparity of a shielding pixel for the stereo image pair; And storing the calculated variation of each pixel.

상기 목적을 달성하기 위한 본 발명의 다른 방법은, 스테레오 정합 방법에 있어서, 3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 저장하는 단계; 상기 저장한 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하는 차폐영역 검출 단계; 상기 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하는 정합창틀 설정 단계; 상기 설정한 정합창틀을 이용하여 변이를 탐색하는 변이 탐색 단계; 두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하는 변이 선택 단계; 상기 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하는 변이 계산 단계; 및 상기 계산한 각 화소의 변이를 저장하는 단계를 포함한다.According to another aspect of the present invention, there is provided a stereo matching method, comprising: storing a multiview image (video) captured by a camera having three or more viewpoints; A shielding area detecting step of selecting a stereo image pair to be matched from the stored multi-view images and detecting a shielding area from the selected stereo image pair; A matching window frame setting step of setting a matching window frame so as not to include a shielding area for pixels except the pixels of the detected shielding area; A variation searching step of searching for a variation using the set matching window frame; A transition selection step of comparing and selecting variations obtained from each stereo image pair as two or more stereo image pairs exist; A variation calculation step of calculating a variation of a shielding area pixel for each stereo image pair; And storing the calculated variation of each pixel.

상기 본 발명의 각 방법은, 상기 각 카메라의 카메라 정보를 추출하는 단계; 및 상기 저장한 변이지도를 상기 카메라 정보를 이용하여 3차원 데이터로 변환하는 변이지도 변환 단계를 더 포함한다.Each method of the present invention comprises the steps of: extracting camera information of each camera; And converting the stored disparity map into three-dimensional data using the camera information.

이처럼, 본 발명은 2시점 이상의 카메라에 의해 촬영된 양안 또는 다시점 영 상(비디오)의 스테레오 정합에서, 초기 정합을 통하여 차폐영역을 먼저 검출한 후 이를 기준으로 정합창틀의 크기와 형태를 결정한 다음, 이 정합창틀을 사용하여 차폐영역에 포함되지 않은 화소에 대해 다시 정합을 수행하여 변이를 추출하고, 차폐영역 내 화소에 대해서는 별도로 다른 시점의 스테레오 영상 쌍으로부터 변이를 구할 수 있는지를 조사하여, 구할 수 있으면 다른 시점 스테레오 영상 쌍에 의해 구해진 변이를 카메라 정보에 의해 구하고자 하는 영상에 대한 변이로 변환하여 얻고, 그렇지 않을 경우 주위 화소에 의한 보간을 수행하여 변이를 구함으로써, 보다 정확한 변이지도를 구할 수 있다.As described above, in the stereo matching of binocular or multi-view video (video) captured by a camera of two or more viewpoints, the present invention first detects the shielding area through initial matching, and then determines the size and shape of the matching window frame based on this. Using this matching window frame, matching is again performed on pixels not included in the shielding region, and the variation is extracted. For the pixels in the shielding region, it is determined whether the variation can be obtained from stereo image pairs at different viewpoints. If possible, obtain the disparity obtained by converting the disparity obtained by different pairs of stereoscopic images into the disparity of the image to be obtained by camera information. Otherwise, the disparity is obtained by performing interpolation by surrounding pixels to obtain a more accurate disparity map. Can be.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치의 일실시예 구성도이다.1 is a block diagram of an embodiment of a binocular or multiview stereo matching device using shielded area detection according to the present invention.

먼저, 도 1을 참조하여 본 발명에 따른 차폐영역 검출을 이용한 양안 스테레오 정합 장치에 대하여 살펴보면, 본 발명에 따른 차폐영역 검출을 이용한 양안 스테레오 정합 장치는, 2시점 이상의 카메라로부터 촬영된 양안 영상(비디오)을 입력 받아 저장하기 위한 양안 영상 입력 및 저장부(100), 상기 양안 영상 입력 및 저장부(100)의 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출부(102), 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정하기 위한 정합창틀 설정부(103), 상기 정합창틀 설정부(103)에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색하기 위한 변이 탐색부(104), 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리부(106), 및 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상으로 저장(기록)하기 위한 변이지도 저장부(107)를 포함한다.First, referring to FIG. 1, the binocular stereo matching device using the shielding area detection according to the present invention will be described. The binocular stereo matching device using the shielding area detection according to the present invention may include a binocular image (video) captured by a camera having two or more viewpoints. ), The binocular image input and storage unit 100 to receive and store the input, select the stereo image pair to match the binocular image of the binocular image input and storage unit 100 as a stereo image pair to match, and the selected stereo image A shielding region extracting unit 102 for detecting a shielding region from a pair, and a matching window frame (the size of the matching window frame) so as not to include the shielding region for pixels except the pixels of the shielding region detected by the shielding region extracting unit 102. Shape frame) for setting the shape), and the transition tom using the matching window frame set in the matching window frame setting unit 103 A variation search unit 104 for searching for a variation having the highest similarity between pixels of a stereo image within a range, a shielding region processing unit 106 for calculating a variation of a shielding region pixel for a stereo image pair, and the shielding region processing unit A variation map storage unit 107 for storing (recording) the variation of each pixel calculated at 106 is included in the digital image.

여기서, 2시점의 경우 변이 선택부(105)는 없어도 된다. 이에 대한 상세한 설명은 후술하기로 한다.In this case, the transition selector 105 may not be required at two views. Detailed description thereof will be described later.

다음으로, 도 1을 참조하여 본 발명에 따른 차폐영역 검출을 이용한 다시점 스테레오 정합 장치에 대하여 살펴보면, 본 발명에 따른 차폐영역 검출을 이용한 다시점 스테레오 정합 장치는, 3시점 이상의 카메라로부터 촬영된 다시점 영상(비디오)을 입력받아 저장하기 위한 다시점 영상 입력 및 저장부(100), 상기 다시점 영상 입력 및 저장부(100)의 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출부(102), 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화 소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정하기 위한 정합창틀 설정부(103), 상기 정합창틀 설정부(103)에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색하기 위한 변이 탐색부(104), 두 개 이상의 스테레오 영상 쌍이 존재(3시점 이상의 경우)함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하기 위한 변이 선택부(105), 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리부(106), 및 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상(비디오)으로 저장(기록)하기 위한 변이지도 저장부(107)를 포함한다.Next, referring to FIG. 1, a multi-view stereo matching device using shielded area detection according to the present invention will be described. A multi-view stereo matching device using shielded area detection according to the present invention is photographed from a camera of 3 or more viewpoints. A stereo image pair to be matched is selected from a multiview image input and storage unit 100 for receiving and storing a point image (video) and a multiview image of the multiview image input and storage unit 100, and the selected stereo A shielding region extracting unit 102 for detecting a shielding region from an image pair, and a matching window frame so as not to include a shielding region for pixels except pixels of the shielding region detected by the shielding region extracting unit 102. Size and shape) within the variation search range using the matching window frame setting unit 103 and the matching window frame set by the matching window frame setting unit 103. Variation search unit 104 for searching for the highest similarity between the pixels of the stereo image, the two or more stereo image pairs (if more than three time), the variation for the same point obtained from each stereo image pair A variation selecting unit 105 for selecting a variation of the stereo image pair having the highest similarity, a shielding region processing unit 106 for calculating a variation of the shielding region pixel for each stereo image pair, and the shielding region processing unit ( The variation map storage unit 107 is configured to store (record) the variation of each pixel calculated in 106 as a digital image (video).

여기서, 상기 양안 또는 다시점 스테레오 정합 장치는, 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정부(101), 및 상기 변이지도 저장부(107)로부터의 변이지도를 상기 카메라 보정부(101)로부터의 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델과 같은 3차원 데이터로 변환하기 위한 변이지도 변환부(도면에 도시되지 않음)를 더 포함한다.Here, the binocular or multi-view stereo matching device includes a camera correction unit 101 for extracting camera information of each camera, and a shift map from the shift map storage unit 107. The apparatus further includes a disparity map converter (not shown) for converting the camera information from the 3D data into a 3D data such as a point cloud or a 3D model in 3D space.

이때, 본 발명에서는 초기 정합을 통하여 차폐영역을 먼저 검출하고, 상기 검출한 차폐영역을 이용하여 정합창틀의 크기와 형태를 재설정하며, 상기 차폐영역에 포함된 화소와 포함되지 않은 화소에 대해 변이를 서로 다른 방식으로 구함으로써, 차폐영역에서의 변이 정확도를 높일 수 있다. 또한, 2 단계 정합에 따른 계산량 증가폭을 줄이기 위하여 초기 정합 시에는 하나의 기존 사각형 창틀을 이용하 고, 계층구조를 이용하여 저해상도 스테레오 영상에서 차폐영역을 검출하고 이를 윗 단계의 고해상도 영상(원래 해상도 영상)으로 전파하게 된다.At this time, in the present invention, the shielding area is first detected through initial matching, and the size and shape of the matching window frame are reset using the detected shielding area, and the variation is performed for the pixels included in the shielding area and the pixels not included in the shielding area. By obtaining them in different ways, the accuracy of variation in the shielding area can be increased. In addition, in order to reduce the amount of calculation increase due to the two-stage matching, one existing rectangular window frame is used for the initial matching, and the hierarchical structure is used to detect the shielding area in the low-resolution stereo image, and the higher resolution image (original resolution image) of the upper stage is used. To propagate.

상기와 같은 양안 또는 다시점 스테레오 정합 장치의 각 구성요소에 대하여 좀더 구체적으로 살펴보면 다음과 같다.Looking at each component of the binocular or multi-view stereo matching device in more detail as follows.

상기 양안/다시점 영상 입력 및 저장부(100)는 적어도 두 대 이상의 양안 또는 다시점 카메라로부터 동일시간에 취득된 양안 또는 다시점 영상을 입력받아 동기를 맞추어 저장한다. 즉, 양안 영상 입력 및 저장부는 적어도 두 대 이상의 양안 카메라로부터 동일시간에 취득된 양안 영상을 입력받아 동기를 맞추어 저장한다. 그리고 다시점 영상 입력 및 저장부는 적어도 두 대 이상의 다시점 카메라로부터 동일시간에 취득된 다시점 영상을 입력받아 동기를 맞추어 저장한다.The binocular / multiview image input and storage unit 100 receives binocular or multiview images acquired at the same time from at least two binocular or multiview cameras and stores them in synchronization. That is, the binocular image input and storage unit receives binocular images acquired at the same time from at least two binocular cameras and stores them in synchronization. The multiview image input and storage unit receives multiview images acquired at the same time from at least two multiview cameras and stores them in synchronization.

그리고 상기 카메라 보정부(101)에서는 상기 양안/다시점 영상 입력 및 저장부(100)로부터 입력받은 양안 또는 다시점 영상을 이용하여 카메라 보정(calibration)을 통해 초점거리 등의 카메라 정보 및 각 시점 간의 상호 위치관계를 나타내는 기반 행렬(fundamental matrix)을 계산한다. 이때, 구해진 카메라 정보 및 기반 행렬 데이터는 데이터 저장장치 또는 컴퓨터 메모리 상에 저장되어, 이후에 변이지도 변환 등에 이용된다. 여기서, 상기 카메라 보정부(101)는 본 발명의 부가 구성요소이다.In addition, the camera correction unit 101 uses camera-based binocular or multi-view images received from the binocular / multi-view image input and storage unit 100 to adjust camera information such as focal length and camera-to-view through each camera. Compute a fundamental matrix representing the mutual positional relationship. In this case, the obtained camera information and the base matrix data are stored on a data storage device or a computer memory, and then used for transforming a disparity map. Here, the camera correction unit 101 is an additional component of the present invention.

그리고 상기 차폐영역 추출부(102)에서는 정합할 스테레오 영상 쌍이 한 개인 양안 영상의 경우에는 해당 스테레오 영상을 선택하고, 3시점 이상의 경우에는 스테레오 영상 쌍을 하나 선택하여 이에 대해 초기 정합을 수행하여 차폐영역을 추 출하게 된다. 이때, 초기 정합은 전체 화소에 대하여 수행하면 계산량이 많이 증가하게 되므로, 이로 인한 계산량 증가폭을 줄이기 위하여 정합할 스테레오 영상에 대해 계층구조를 구성하여, 저해상도 스테레오 영상에서 차폐영역을 추출하여 이를 윗 단계의 고해상도 영상(원래 해상도 영상까지)으로 전파하게 된다. 또한, 정합창틀은 단일 크기 및 형태를 가지는 정사각형 창틀을 이용한다. 이러한 초기 정합을 수행하면서 차폐영역은 다음의 두 가지 방법에 의하여 추출한다. 먼저, 기준 영상과 대상 영상을 교대로 바꾸어(좌-우, 우-좌) 정합하였을 때 구해진 두 변이의 차가 미리 정해진 임계치 Th1(예 : 1 화소)보다 작은 화소를 차폐영역으로 판단하거나, 구해진 정합점의 유사도 함수 값이 미리 정한 임계치 Th2(예 : 0.7)보다 작은 화소를 차폐영역의 화소로 판단하게 된다.In addition, the shielding region extractor 102 selects a stereo image in the case of a binocular image having one stereo image pair to match, and selects one stereo image pair in the case of three or more viewpoints, and performs initial matching on the shield region. Will be extracted. In this case, since the initial matching is performed on all the pixels, a large amount of calculation is increased. Thus, a hierarchical structure is formed for the stereo image to be matched in order to reduce the increase in the amount of calculation, and the shielding region is extracted from the low resolution stereo image. It propagates to high resolution images (up to the original resolution images). In addition, the matching window frame uses a square window frame having a single size and shape. While performing this initial matching, the shielding area is extracted by the following two methods. First, when the reference image and the target image are alternately swapped (left-right, right-left) and matched, a pixel having a difference smaller than a predetermined threshold Th1 (for example, 1 pixel) determined as a shielding area or obtained is matched. A pixel whose value of similarity function is smaller than a predetermined threshold Th2 (for example, 0.7) is determined as a pixel of the shielding area.

그리고 상기 정합창틀 설정부(103)에서는 이렇게 상기 차폐영역 추출부(102)에서 추출된 차폐영역을 이용하여 두 번째 정합시 사용할 정합창틀의 형태와 크기를 결정하게 되는데, 이를 결정하는 방법은 차폐영역의 화소가 정합창틀 내에 포함되지 않는 조건만 만족되면, 어느 방법도 사용 가능하다. 본 발명의 실시예에서는 도 3 및 도 4에 도시된 바와 같이 차폐영역의 분포형태에 따라 8개의 정합창틀 형태 중에서 하나의 정합창틀을 선택하는 방법과, 도 5에 도시된 바와 같이 정합할 화소를 중심으로 하여 4 방향으로 좌우 정합창틀의 크기를 차폐영역 화소를 만날 때까지 확대하는 방법을 함께 또는 각각 사용한다. 함께 사용하는 경우를 예를 들어 살펴보면, 상기 정합창틀 설정부(103)에서는 차폐영역으로 분류되지 않은 정합할 화소에 대해 정합창틀 내 검출된 차폐영역 화소의 분포에 따라 도 3에 주어진 바와 같이 분류하고, 도 4의 예와 같이 하나의 정합창틀을 결정하며, 도 5에 도시된 바와 같이 차폐영역으로 분류되지 않은 정합할 화소를 중심으로 상하좌우 4 방향으로 차폐영역을 만날 때까지 창틀 크기를 확장하여 결정한 크기와 형태를 가지는 정합창틀을 사용하여 스테레오 정합을 수행한다. 이때, 어느 한쪽 영상의 특정 확장 방향에서 차폐영역 화소를 발견하면 그 방향으로의 창틀 확장을 멈추고 다른 쪽 방향의 확장을 고려한다. 이러한 과정을 거쳐 정합창틀의 크기 및 형태가 결정된다. 종래의 기술에서는 컬러 영상에서 추출된 에지 성분을 기준으로 도 3, 도 4, 도 5의 방법을 사용하였으나(Kanade and Okutomi, 1994 및 M. Berthod, L. Gabet, and G. Giraudon, and J. L. Lotti, "High Resolution Stereo for the Detection of Buildings," Automatic Extraction of Man-Made Objects from Aerial and Space Images, pp. 135-144, Birkhauser Verlag, 1995), 본 발명에서는 정합창틀의 크기 및 형태를 결정하는 기준으로서 에지 성분 대신 차폐영역 화소를 사용하였다.The matching window frame setting unit 103 determines the shape and size of the matching window frame to be used for the second matching by using the shielding area extracted by the shielding area extraction unit 102. Any method can be used as long as the condition that the pixel of? Is not included in the matching window frame is satisfied. In the exemplary embodiment of the present invention, as shown in FIGS. 3 and 4, a method of selecting one matching window frame among eight matching window frames according to the distribution shape of the shielding area, and a pixel to be matched as shown in FIG. 5. The method of enlarging the size of the left and right registration window frame in four directions with the center until it meets the shielding area pixels is used together or separately. For example, the matching window frame setting unit 103 classifies the matching window frame as shown in FIG. 3 according to the distribution of the shielding area pixels detected in the matching window frame for the pixels not to be classified as the shielding area. As shown in FIG. 4, one matching window frame is determined. As shown in FIG. 5, the size of the window frame is expanded until the shielding area is met in four directions of up, down, left, and right directions with respect to pixels not to be classified as the shielding area. Stereo matching is performed using a matching frame with the size and shape determined. At this time, if a shielding area pixel is found in a specific expansion direction of one image, expansion of the window frame in that direction is stopped, and expansion of the other direction is considered. Through this process, the size and shape of the matching frame is determined. In the prior art, the method of FIGS. 3, 4, and 5 was used based on edge components extracted from color images (Kanade and Okutomi, 1994 and M. Berthod, L. Gabet, and G. Giraudon, and JL Lotti). , "High Resolution Stereo for the Detection of Buildings," Automatic Extraction of Man-Made Objects from Aerial and Space Images, pp. 135-144, Birkhauser Verlag, 1995), in the present invention, a criterion for determining the size and shape of a registration window frame. Instead of the edge component, a shielding area pixel was used.

그리고 상기 변이 탐색부(104)에서는 도 3, 도 5에 주어진 예시와 같이 상기 정합창틀 설정부(103)에서 결정된 정합창을 사용하여 기준 영상 내 차폐영역으로 포함되지 않은 각 화소의 대응점을 대상 영상 내 에피폴라 라인 상에 존재하는 탐색 변이 범위 내 각 화소들 중에서 탐색하게 된다. 이때, 정합 유사도는 널리 쓰이는 NCC(Normalized Cross Correlation), ZNCC(Zero-mean Normalized Cross Correlation, 또는 SSD(Sum of Squared Difference) 중의 어느 하나를 이용하여 계산한다. 그리고 구해진 정합점으로부터 이에 해당하는 변이를 계산한다. 이러한 과정은 다른 스테레오 영상 쌍의 조합이 가능할 경우(3시점 이상의 다시점 영상에 대 한 경우) 다른 스테레오 영상 쌍에 대해서도 반복 수행한다. 한편, 초기 정합시 구해지는 각 화소의 변이정보는 차폐되지 않은 화소의 탐색 범위를 줄이는데 사용될 수 있다. 그러나 차폐영역의 화소를 포함한 정합 결과이므로, 오차가 많을 가능성이 있어 본 발명의 실시예에서는 차폐영역 추출에만 사용하기로 한다.3 and 5, the shift search unit 104 uses a matching window determined by the matching window frame setting unit 103 to target corresponding points of each pixel not included as a shielding area in the reference image. The search is performed among the pixels in the search shift range existing on the epipolar line. In this case, the match similarity is calculated using one of the commonly used normalized cross correlation (NCC), zero-mean normalized cross correlation, or sum of squared difference (SSD), and the corresponding variation from the obtained matching point. This process is repeated for other stereo image pairs when the combination of different stereo image pairs is possible (for multiview images of 3 or more viewpoints), while the variation information of each pixel obtained during initial matching is It can be used to reduce the search range of the unshielded pixels, but since the matching result includes the pixels of the shielded area, there is a possibility that there is a lot of error. Therefore, the embodiment of the present invention will be used only for extracting the shielded area.

그리고 상기 변이 선택부(105)에서는 두 개 이상의 스테레오 영상 쌍이 존재할 경우, 한 화소에 대한 여러 변이가 구해질 수 있는데, 이 중 유사도가 가장 높은(또는 컬러 차이가 가장 적은) 대응점의 변이를 최종 변이로 결정하게 된다. 이때, 유사도 값은 각 스테레오 영상의 정합 시에 저장하여 놓았다가 이용하게 된다. 한편, 한 쌍의 스테레오 영상 쌍만이 존재하는 2시점(2-view) 영상의 경우, 하나의 변이 밖에 계산되지 않으므로, 변이 탐색부(104)에서 계산된 변이가 그 화소의 변이로 결정된다.In the variation selector 105, when two or more stereo image pairs exist, various variations of one pixel may be obtained. The variation of the corresponding point having the highest similarity (or the least color difference) may be obtained. Will be decided. In this case, the similarity value is stored and used when matching each stereo image. On the other hand, in the case of a 2-view image having only a pair of stereo image pairs, since only one side is calculated, the variation calculated by the variation search unit 104 is determined as the variation of the pixel.

그리고 상기 차폐영역 처리부(106)에서는 상기 차폐영역 추출부(102)에서 추출된 차폐영역에 포함된 화소의 변이를 구하게 되는데, 이를 위한 방법은 다음과 같다.In addition, the shielding region processing unit 106 obtains the variation of the pixels included in the shielding region extracted by the shielding region extracting unit 102.

먼저, 한 쌍의 스테레오 영상에 대해 차폐된 영역으로 검출된 화소에 대해 이웃하는 다른 스테레오 영상 쌍에서 차폐되지 않은 화소로 판정된 화소가 없는지를 조사한다. 상기 조사 결과, 그러한 화소가 존재하면 카메라 정보를 이용하여 그 화소에 대한 변이를 카메라 정보를 이용하여 변환한 후에, 차폐지역에 대한 변이로 할당하게 된다. 만약, 그러한 화소가 존재하지 않으면, 보간 등 다른 방법을 통하여 주위 화소의 변이에 의해 채워지게 된다. 이때, 카메라 정보는 상기 카메라 보 정부(101)로부터 전달받거나, 기획득되어 저장되어 있는 카메라 정보를 이용하는 등의 방식으로 구현 가능하다.First, it is checked whether there is a pixel determined as an unshielded pixel in another neighboring stereo image pair with respect to a pixel detected as a shielded area for a pair of stereo images. As a result of the investigation, if such a pixel is present, the variation for the pixel is converted using the camera information and then assigned to the variation for the shielded area. If such a pixel does not exist, it is filled by the variation of surrounding pixels through another method such as interpolation. In this case, the camera information may be implemented by a method such as using the camera information received from the camera security unit 101 or planned and stored.

그리고 상기 양안 또는 다시점 영상 내 각 화소에 대해 계산된 최종 변이는 변이지도 저장부(107)로 전달되어 변이지도 형태의 디지털 영상으로 저장된다. 한편, 부가적으로 상기 변이지도는 카메라 정보를 이용하여 3차원 점 구름이나 3차원 모델로 변환될 수 있다.The final variation calculated for each pixel in the binocular or multiview image is transferred to the disparity map storage unit 107 and stored as a disparity map type digital image. In addition, the disparity map may be converted into a 3D point cloud or a 3D model using camera information.

도 2는 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 방법에 대한 일실시예 흐름도로서, 이에 대한 구체적인 동작 방식은 전술한 바와 같으므로 여기서는 주요 동작 과정만을 설명하기로 한다.FIG. 2 is a flowchart illustrating a binocular or multiview stereo matching method using shielded area detection according to the present invention. Since a specific operation method thereof is the same as described above, only the main operation process will be described.

첫 번째로, 본 발명에 따른 차폐영역 검출을 이용한 양안 스테레오 정합 방법에 대하여 살펴보면 다음과 같다.First, a binocular stereo matching method using shielding area detection according to the present invention will be described.

먼저, 양안 영상 입력 및 저장부(100)가 2시점 이상의 카메라로부터 촬영된 양안 영상(비디오)을 입력받아 저장한다(200).First, the binocular image input and storage unit 100 receives and stores a binocular image (video) captured by a camera of two or more viewpoints (200).

이후, 차폐영역 추출부(102)가 상기 양안 영상 입력 및 저장부(100)에 저장되어 있는 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출한다(202).Subsequently, the shielding region extraction unit 102 selects the stereo image pair for the binocular image stored in the binocular image input and storage unit 100 as a stereo image pair to match, and shields the region from the selected stereo image pair. Is detected (202).

이후, 정합창틀 설정부(103)가 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정한다(203).Subsequently, the matching window frame setting unit 103 sets the matching window frame (size and shape of the matching window frame) so as not to include the shielding area for the pixels except the pixels of the shielding area detected by the shielding area extraction unit 102 ( 203).

이후, 변이 탐색부(104)가 상기 정합창틀 설정부(103)에서 설정한 정합창틀 을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색한다(204).Thereafter, the variation search unit 104 searches for a variation having the highest similarity among the pixels of the stereo image within the variation search range using the registration window frame set by the registration window frame setting unit 103 (204).

이후, 차폐영역 처리부(106)가 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산한다(206).Subsequently, the shielding area processor 106 calculates the variation of the shielding area pixel for the stereo image pair (206).

이후, 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상으로 변이지도 저장부(107)에 저장(기록)한다(207).Thereafter, the variation of each pixel calculated by the shielding area processing unit 106 is stored (recorded) in the variation map storage unit 107 as a digital image (207).

두 번째로, 본 발명에 따른 차폐영역 검출을 이용한 다시점 스테레오 정합 방법에 대하여 살펴보면 다음과 같다.Secondly, a multi-view stereo matching method using shielding area detection according to the present invention will be described.

먼저, 다시점 영상 입력 및 저장부(100)가 3시점 이상의 카메라로부터 촬영된 다시점 영상(비디오)을 입력받아 저장한다(200).First, the multiview image input and storage unit 100 receives and stores a multiview image (video) captured by a camera of 3 or more viewpoints (200).

이후, 차폐영역 추출부(102)가 상기 다시점 영상 입력 및 저장부(100)에 저장되어 있는 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출한다(202).Subsequently, the shielding area extractor 102 selects a stereo image pair to match from the multi-view images stored in the multi-view image input and storage unit 100 and detects a shielding area from the selected stereo image pair ( 202).

이후, 정합창틀 설정부(103)가 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정한다(203).Subsequently, the matching window frame setting unit 103 sets the matching window frame (size and shape of the matching window frame) so as not to include the shielding area for the pixels except the pixels of the shielding area detected by the shielding area extraction unit 102 ( 203).

이후, 변이 탐색부(104)가 상기 정합창틀 설정부(103)에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색한다(204).Thereafter, the variation search unit 104 searches for a variation having the highest similarity between pixels of the stereo image within the variation search range using the registration window frame set by the registration window frame setting unit 103 (204).

이후, 변이 선택부(105)가 두 개 이상의 스테레오 영상 쌍이 존재(3시점 이 상의 경우)함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택한다(205).Then, as the variation selector 105 has two or more stereo image pairs (at three or more time points), the variation selector 105 compares the variation of the same point obtained from each stereo image pair to determine the variation of the stereo image pair having the highest similarity. Select (205).

이후, 차폐영역 처리부(106)가 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산한다(206).Subsequently, the shielding area processor 106 calculates the variation of the shielding area pixel for each stereo image pair (206).

이후, 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상(비디오)으로 변이지도 저장부(107)에 저장(기록)한다(207).Thereafter, the variation of each pixel calculated by the shielding region processor 106 is stored (recorded) in the variation map storage unit 107 as a digital image (video) (207).

여기서, 상기 양안 또는 다시점 스테레오 정합 방법은, 카메라 보정부(101)가 상기 각 카메라의 카메라 정보를 추출하는 과정(201)을 더 수행한다(201). In the binocular or multi-view stereo matching method, the camera correction unit 101 further performs a process 201 of extracting camera information of each camera (201).

그리고 변이지도 변환부(도면에 도시되지 않음)가 상기 변이지도 저장부(107)에 저장되어 있는 변이지도를 상기 카메라 보정부(101)로부터의 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델로 변환하는 과정(도면에 도시되지 않음)을 더 수행할 수 있다.In addition, a point map in a three-dimensional space is generated by a disparity map converter (not shown) using the camera information from the camera corrector 101 using the disparity map stored in the disparity map storage unit 107. cloud) or a process of converting the 3D model (not shown) may be further performed.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, 좀더 정확하게 차폐영역을 검출하고, 상기 검출한 차폐영역을 이용하여 정합 시에 상기 검출한 차폐영역이 제외된 정합창틀을 설정함으로써, 보다 정확한 변이지도를 얻으면서도 불필요한 계산량을 줄일 수 있는 효과가 있다.As described above, the present invention detects the shielding area more accurately and sets a matching window frame in which the detected shielding area is excluded at the time of matching by using the detected shielding area, thereby obtaining a more accurate disparity map and reducing unnecessary calculation amount. There is an effect that can be reduced.

즉, 본 발명은 종래의 양안 또는 다시점 스테레오 정합 방법이 가지는 깊이 불연속이나 차폐영역에서 정확도가 저하되는 문제점을 해결하기 위하여 차폐영역을 초기 정합을 통하여 미리 추출하고, 정합 시에 이러한 차폐영역 내 화소가 정합창틀 내에 포함되지 않도록 정합창틀의 크기 및 형태를 결정함으로써, 3차원 깊이 또는 변이정보의 정확도를 개선할 수 있는 효과가 있다.That is, the present invention extracts the shielding region through initial matching in advance to solve the problem of accuracy discontinuity in the depth discontinuity or shielding region of the conventional binocular or multiview stereo matching method, and at the time of matching, the pixels in the shielding region. By determining the size and shape of the matching frame so that is not included in the matching frame, there is an effect that can improve the accuracy of the three-dimensional depth or the variation information.

또한, 종래의 에지 정보에 기반한 정합창틀 결정 방법에서는 밝기 변화의 차이를 이용함으로써 깊이 불연속(또는 차폐영역)과의 구분이 되지 않았는데, 본 발명에서는 직접 초기 정합을 통하여 차폐영역을 검출함으로써 보다 실제적인 깊이 불연속 지점에 대한 추출이 가능하다.In addition, in the conventional method of determining the matching window frame based on the edge information, the difference in brightness is not used to distinguish the depth discontinuity (or the shielding area), but in the present invention, the shielding area is detected through the initial initial matching. Extraction of depth discontinuities is possible.

또한, 이렇게 개선된 변이정보는 3차원 모델링 또는 임의시점 영상 생성에 이용될 수 있으며, 특히 임의시점 영상 생성 시에 영상 깨짐을 줄일 수 있는 효과가 있다.In addition, the improved disparity information may be used for 3D modeling or random view image generation, and in particular, there is an effect of reducing image breakage during random view image generation.

Claims (21)

스테레오 정합 장치에 있어서,In the stereo matching device, 2시점 이상의 카메라에서 촬영된 양안 영상(비디오)을 입력받아 저장하기 위한 양안 영상 입력 및 저장 수단;Binocular image input and storage means for receiving and storing a binocular image (video) captured by a camera of two or more viewpoints; 상기 양안 영상 입력 및 저장 수단의 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단;Shielding area extraction means for selecting a stereo image pair to be matched to the binocular image of the binocular image input and storage means as a stereo image pair to be matched, and detecting a shielding area from the selected stereo image pair; 상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단;Matching window frame setting means for setting a matching window frame so as not to include a shielding area for pixels except the pixels of the shielding area detected by the shielding area extraction means; 상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단;Transition search means for searching for a variation using a registration window frame set by the registration window frame setting means; 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및Shielding area processing means for calculating a shift of the shielding area pixel for the stereo image pair; And 상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이지도 저장 수단Disparity map storage means for storing the variation of each pixel calculated by the shielding region processing means 을 포함하는 스테레오 정합 장치.Stereo matching device comprising a. 스테레오 정합 장치에 있어서,In the stereo matching device, 3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 입력받아 저장하기 위한 다시점 영상 입력 및 저장 수단;Multi-view image input and storage means for receiving and storing a multi-view image (video) captured by a camera of three or more viewpoints; 상기 다시점 영상 입력 및 저장 수단의 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단;Shielding area extraction means for selecting a stereo image pair to be matched among the multi-view images of the multi-view image input and storage means, and detecting a shielding area from the selected stereo image pair; 상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단;Matching window frame setting means for setting a matching window frame so as not to include a shielding area for pixels except the pixels of the shielding area detected by the shielding area extraction means; 상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단;Transition search means for searching for a variation using a registration window frame set by the registration window frame setting means; 두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하기 위한 변이 선택 수단;Transition selection means for comparing and selecting variations obtained from each stereo image pair as two or more stereo image pairs exist; 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및Shielding area processing means for calculating a shift of the shielding area pixel for each stereo image pair; And 상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이지도 저장 수단Disparity map storage means for storing the variation of each pixel calculated by the shielding region processing means 을 포함하는 스테레오 정합 장치.Stereo matching device comprising a. 제 2 항에 있어서,The method of claim 2, 상기 변이 선택 수단은,The variation selecting means, 두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하는 것을 특징으로 하는 스테레오 정합 장치.And when two or more stereo image pairs are present, comparing the variation for the same point obtained from each stereo image pair to select the variation of the stereo image pair having the highest similarity. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 상기 차폐영역 추출 수단은,The shielding area extraction means, 상기 선택한 스테레오 영상 쌍에 대해 초기 정합을 수행하여 차폐영역을 추출하되,Extracting a shielding area by performing initial matching on the selected stereo image pair, 상기 초기 정합 시에 단일 크기 및 형태를 가지는 정합창틀을 이용하고 계층구조를 이용하여 저해상도 스테레오 영상에서 차폐영역을 검출하고 이를 상위 단계의 고해상도 영상(원래 해상도 영상)으로 전파하는 것을 특징으로 하는 스테레오 정합 장치.Stereo matching using a matching window frame having a single size and shape at the initial matching and detecting a shielding area in a low resolution stereo image using a hierarchical structure and propagating it to a higher resolution image (original resolution image) of a higher level. Device. 제 4 항에 있어서,The method of claim 4, wherein 상기 차폐영역 추출 수단은,The shielding area extraction means, 기준 영상과 대상 영상을 교대로 바꾸어(좌-우, 우-좌) 정합하였을 때 구해진 두 변이의 차가 미리 정해진 제 1 임계치보다 작은 화소를 차폐영역으로 판단하거나, 구해진 정합점의 유사도 함수 값이 미리 정한 제 2 임계치보다 작은 화소를 차폐영역의 화소로 판단하는 것을 특징으로 하는 스테레오 정합 장치.When the reference image and the target image are alternately swapped (left-right, right-left) and matched, a pixel having a difference smaller than a predetermined first threshold value is determined as a shielding area, or the similarity function value of the obtained matching point is previously determined. And a pixel smaller than the determined second threshold as a pixel of the shielding area. 제 4 항에 있어서,The method of claim 4, wherein 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정 수단; 및Camera correction means for extracting camera information of each camera; And 상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단으로부터의 카메라 정보를 이용하여 3차원 데이터로 변환하기 위한 변이지도 변환 수단Disparity map conversion means for converting the disparity map from the disparity map storage means into three-dimensional data using camera information from the camera correction means. 을 더 포함하는 스테레오 정합 장치.Stereo matching device further comprising. 제 6 항에 있어서,The method of claim 6, 상기 변이지도 변환 수단은,The disparity map conversion means, 상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단으로부터의 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud)으로 변환하는 것을 특징으로 하는 스테레오 정합 장치.And converting the disparity map from the disparity map storage means into a point cloud in a three-dimensional space using camera information from the camera correction means. 제 6 항에 있어서,The method of claim 6, 상기 변이지도 변환 수단은,The disparity map conversion means, 상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단으로 부터의 카메라 정보를 이용하여 3차원 모델로 변환하는 것을 특징으로 하는 스테레오 정합 장치.And converting the disparity map from the disparity map storage means into a three-dimensional model using camera information from the camera correction means. 제 4 항에 있어서,The method of claim 4, wherein 상기 정합창틀 설정 수단은,The registration window frame setting means, 상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소가 정합창틀 내에 포함되지 않도록, 상기 차폐영역 추출 수단에서 검출한 차폐영역을 이용하여 두 번째 정합 시에 사용할 정합창틀의 형태와 크기를 결정하는 것을 특징으로 하는 스테레오 정합 장치.The shape and size of the matching window frame to be used for the second matching are determined by using the shielding area detected by the shielding area extracting means so that the pixels of the shielding area detected by the shielding area extracting means are not included in the matching window frame. Stereo matching device. 제 9 항에 있어서,The method of claim 9, 상기 정합창틀 설정 수단은,The registration window frame setting means, 차폐영역으로 분류되지 않은 정합할 화소에 대해 정합창틀 내 검출된 차폐영역 화소의 분포에 따라 분류하여 하나의 정합창틀을 결정하는 것을 특징으로 하는 스테레오 정합 장치.And a matching window frame is determined by classifying according to the distribution of the shielding area pixels detected in the matching window frame for the pixels to be matched which are not classified as the shielding area. 제 9 항에 있어서,The method of claim 9, 상기 정합창틀 설정 수단은,The registration window frame setting means, 차폐영역으로 분류되지 않은 정합할 화소를 중심으로 상하좌우 4 방향으로 차폐영역을 만날 때까지 창틀 크기를 확장하여 정합창틀의 크기와 형태를 결정하는 것을 특징으로 하는 스테레오 정합 장치.Stereo matching device, characterized in that the size and shape of the matching window frame is determined by extending the size of the window frame until it meets the shielding area in four directions up, down, left, and right around the pixel to be matched not classified as the shielding area. 제 9 항에 있어서,The method of claim 9, 상기 정합창틀 설정 수단은,The registration window frame setting means, 차폐영역으로 분류되지 않은 정합할 화소에 대해 정합창틀 내 검출된 차폐영역 화소의 분포에 따라 분류하여 하나의 정합창틀을 결정하며, 차폐영역으로 분류되지 않은 정합할 화소를 중심으로 상하좌우 4 방향으로 차폐영역을 만날 때까지 창틀 크기를 확장하여 정합창틀의 크기와 형태를 결정하는 것을 특징으로 하는 스테레오 정합 장치.One matching window frame is determined by classifying according to the distribution of the shielding area pixels detected in the matching window frame for the pixels not to be classified as the shielding area. Stereo matching device characterized in that the size and shape of the matching window frame is determined by extending the size of the window frame until it meets the shielding area. 제 9 항에 있어서,The method of claim 9, 상기 변이 탐색 수단은,The mutation search means, 상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색하는 것을 특징으로 하는 스테레오 정합 장치.And using the matching window frame set by the matching window frame setting unit, searching for a variation having the highest similarity between pixels of the stereo image within the variation search range. 제 9 항에 있어서,The method of claim 9, 상기 차폐영역 처리 수단은,The shielding area processing means, 한 쌍의 스테레오 영상에 대해 차폐된 영역으로 검출된 화소에 대해 이웃하는 다른 스테레오 영상 쌍에서 차폐되지 않은 화소로 판정된 화소가 없는지를 조사하여, 그러한 화소가 존재하면 카메라 정보를 이용하여 그 화소에 대한 변이를 카메라 정보를 이용하여 변환한 후에 차폐지역에 대한 변이로 할당하고, 그러한 화소가 존재하지 않으면, 보간과 같은 방법을 통하여 주위 화소의 변이에 의해 획득하는 것을 특징으로 하는 스테레오 정합 장치.For a pixel detected as a shielded area for a pair of stereo images, it is checked whether there is a pixel determined as an unshielded pixel in another neighboring stereo image pair, and if such a pixel exists, the camera information is used for the pixel. Is transformed using the camera information and then assigned as the variation for the shielded area, and if such a pixel does not exist, Stereo matching device, characterized in that. 스테레오 정합 방법에 있어서,In the stereo matching method, 2시점 이상의 카메라에서 촬영된 양안 영상(비디오)을 저장하는 단계;Storing a binocular image (video) captured by a camera of two or more viewpoints; 상기 저장한 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하는 차폐영역 검출 단계;A shielding area detecting step of selecting a corresponding stereo image pair for the stored binocular image as a stereo image pair to be matched, and detecting a shielding area from the selected stereo image pair; 상기 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하는 정합창틀 설정 단계;A matching window frame setting step of setting a matching window frame so as not to include a shielding area for pixels except the pixels of the detected shielding area; 상기 설정한 정합창틀을 이용하여 변이를 탐색하는 변이 탐색 단계;A variation searching step of searching for a variation using the set matching window frame; 상기 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하는 변이 계산 단계; 및A disparity calculating step of calculating a disparity of a shielding pixel for the stereo image pair; And 상기 계산한 각 화소의 변이를 저장하는 단계Storing the calculated variation of each pixel 를 포함하는 스테레오 정합 방법.Stereo matching method comprising a. 스테레오 정합 방법에 있어서,In the stereo matching method, 3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 저장하는 단계;Storing a multiview image (video) captured by a camera of three or more viewpoints; 상기 저장한 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하는 차폐영역 검출 단계;A shielding area detecting step of selecting a stereo image pair to be matched from the stored multi-view images and detecting a shielding area from the selected stereo image pair; 상기 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하는 정합창틀 설정 단계;A matching window frame setting step of setting a matching window frame so as not to include a shielding area for pixels except the pixels of the detected shielding area; 상기 설정한 정합창틀을 이용하여 변이를 탐색하는 변이 탐색 단계;A variation searching step of searching for a variation using the set matching window frame; 두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하는 변이 선택 단계;A transition selection step of comparing and selecting variations obtained from each stereo image pair as two or more stereo image pairs exist; 상기 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하는 변이 계산 단계; 및A variation calculation step of calculating a variation of a shielding area pixel for each stereo image pair; And 상기 계산한 각 화소의 변이를 저장하는 단계Storing the calculated variation of each pixel 를 포함하는 스테레오 정합 방법.Stereo matching method comprising a. 제 15 항 내지 제 16 항 중 어느 한 항에 있어서,The method according to any one of claims 15 to 16, 상기 차폐영역 추출 단계는,The shielding area extraction step, 상기 선택한 스테레오 영상 쌍에 대해 초기 정합을 수행하여 차폐영역을 추출하되,Extracting a shielding area by performing initial matching on the selected stereo image pair, 상기 초기 정합 시에 단일 크기 및 형태를 가지는 정합창틀을 이용하고 계층구조를 이용하여 저해상도 스테레오 영상에서 차폐영역을 검출하고 이를 상위 과정의 고해상도 영상(원래 해상도 영상)으로 전파하는 것을 특징으로 하는 스테레오 정합 방법.Stereo matching using a matching window frame having a single size and shape at the initial matching and detecting a shielding area in a low resolution stereo image using a hierarchical structure and propagating it to a high resolution image (original resolution image) of a higher process. Way. 제 17 항에 있어서,The method of claim 17, 상기 각 카메라의 카메라 정보를 추출하는 단계; 및Extracting camera information of each camera; And 상기 저장한 변이지도를 상기 카메라 정보를 이용하여 3차원 데이터로 변환하는 변이지도 변환 단계The disparity map conversion step of converting the stored disparity map into 3D data using the camera information. 를 더 포함하는 스테레오 정합 방법.Stereo matching method further comprising. 제 17 항에 있어서,The method of claim 17, 상기 정합창틀 설정 단계는,The registration window frame setting step, 상기 검출한 차폐영역의 화소가 정합창틀 내에 포함되지 않도록, 상기 검출 한 차폐영역을 이용하여 두 번째 정합 시에 사용할 정합창틀의 형태와 크기를 결정하는 것을 특징으로 하는 스테레오 정합 방법.And determining the shape and size of the matching window frame to be used in the second matching using the detected shielding area so that the pixels of the detected shielding area are not included in the matching window frame. 제 17 항에 있어서,The method of claim 17, 상기 변이 탐색 단계는,The mutation search step, 상기 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색하는 것을 특징으로 하는 스테레오 정합 방법.And using the set matching window frame, searching for a variation having the highest similarity among pixels of a stereo image within a variation search range. 제 17 항에 있어서,The method of claim 17, 상기 변이 계산 단계는,The variation calculation step, 한 쌍의 스테레오 영상에 대해 차폐된 영역으로 검출된 화소에 대해 이웃하는 다른 스테레오 영상 쌍에서 차폐되지 않은 화소로 판정된 화소가 없는지를 조사하는 과정;Checking whether there is a pixel determined as an unshielded pixel in another neighboring stereo image pair with respect to a pixel detected as a shielded area for a pair of stereo images; 상기 조사 결과, 해당하는 화소가 존재하면 카메라 정보를 이용하여 그 화소에 대한 변이를 카메라 정보를 이용하여 변환한 후에 차폐지역에 대한 변이로 할당하는 과정; 및As a result of the investigation, if the corresponding pixel exists, converting the variation of the pixel using the camera information using the camera information and assigning the variation to the shielding area; And 상기 조사 결과, 해당하는 화소가 존재하지 않으면, 보간과 같은 방법을 통 하여 주위 화소의 변이에 의해 획득하는 과정As a result of the investigation, if a corresponding pixel does not exist, a process of acquiring by variation of surrounding pixels through a method such as interpolation 을 포함하는 스테레오 정합 방법.Stereo matching method comprising a.
KR1020060030404A 2005-12-08 2006-04-04 Binocular or multi-view stereo matching apparatus and its method using occlusion area detection KR100745691B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050119805 2005-12-08
KR20050119805 2005-12-08

Publications (2)

Publication Number Publication Date
KR20070061011A true KR20070061011A (en) 2007-06-13
KR100745691B1 KR100745691B1 (en) 2007-08-03

Family

ID=38356950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060030404A KR100745691B1 (en) 2005-12-08 2006-04-04 Binocular or multi-view stereo matching apparatus and its method using occlusion area detection

Country Status (1)

Country Link
KR (1) KR100745691B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347265B1 (en) * 2012-05-23 2014-01-10 광운대학교 산학협력단 A Stereo Matching Method based on Variable Windows using Frequency Information in DWT Domain
US8873834B2 (en) 2011-07-12 2014-10-28 Samsung Electronics Co., Ltd. Method and apparatus for processing multi-view image using hole rendering
US8989480B2 (en) 2009-11-19 2015-03-24 Samsung Electronics Co., Ltd. Method, computer-readable medium and apparatus estimating disparity of three view images
US9147281B2 (en) 2010-08-27 2015-09-29 Samsung Electronics Co., Ltd. Rendering apparatus and method for generating multi-views
US9615890B2 (en) 2013-03-21 2017-04-11 Samsung Electronics Co., Ltd. Surgical robot system and method of controlling the same
CN110533701A (en) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 A kind of image parallactic determines method, device and equipment
CN111862229A (en) * 2020-06-05 2020-10-30 北京中科慧眼科技有限公司 Binocular camera adjusting method and device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2932911A1 (en) * 2008-06-24 2009-12-25 France Telecom METHOD AND DEVICE FOR FILLING THE OCCULTATION ZONES OF A DEPTH CARD OR DISPARITIES ESTIMATED FROM AT LEAST TWO IMAGES.
KR100929689B1 (en) 2008-09-08 2009-12-03 재단법인대구경북과학기술원 Traffic accident record apparatus using stereo image information and controlling method for the same
KR101669820B1 (en) 2010-07-02 2016-10-27 삼성전자주식회사 Apparatus and method for bidirectional inpainting in occlusion based on volume prediction
KR101334187B1 (en) 2011-07-25 2013-12-02 삼성전자주식회사 Apparatus and method for rendering

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100439341B1 (en) * 2002-08-27 2004-07-07 한국전자통신연구원 Depth of field adjustment apparatus and method of stereo image for reduction of visual fatigue
KR100489894B1 (en) * 2002-12-26 2005-05-17 한국전자통신연구원 Apparatus and its method for virtual conrtol baseline stretch of binocular stereo images
KR100544677B1 (en) * 2003-12-26 2006-01-23 한국전자통신연구원 Apparatus and method for the 3D object tracking using multi-view and depth cameras

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989480B2 (en) 2009-11-19 2015-03-24 Samsung Electronics Co., Ltd. Method, computer-readable medium and apparatus estimating disparity of three view images
US9147281B2 (en) 2010-08-27 2015-09-29 Samsung Electronics Co., Ltd. Rendering apparatus and method for generating multi-views
US8873834B2 (en) 2011-07-12 2014-10-28 Samsung Electronics Co., Ltd. Method and apparatus for processing multi-view image using hole rendering
US9172947B2 (en) 2011-07-12 2015-10-27 Samsung Electronics Co., Ltd. Method and apparatus for processing multi-view image using hole rendering
KR101347265B1 (en) * 2012-05-23 2014-01-10 광운대학교 산학협력단 A Stereo Matching Method based on Variable Windows using Frequency Information in DWT Domain
US9615890B2 (en) 2013-03-21 2017-04-11 Samsung Electronics Co., Ltd. Surgical robot system and method of controlling the same
CN110533701A (en) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 A kind of image parallactic determines method, device and equipment
CN111862229A (en) * 2020-06-05 2020-10-30 北京中科慧眼科技有限公司 Binocular camera adjusting method and device

Also Published As

Publication number Publication date
KR100745691B1 (en) 2007-08-03

Similar Documents

Publication Publication Date Title
KR100745691B1 (en) Binocular or multi-view stereo matching apparatus and its method using occlusion area detection
KR100793076B1 (en) Edge-adaptive stereo/multi-view image matching apparatus and its method
KR100776649B1 (en) A depth information-based Stereo/Multi-view Stereo Image Matching Apparatus and Method
EP3869797B1 (en) Method for depth detection in images captured using array cameras
KR100513055B1 (en) 3D scene model generation apparatus and method through the fusion of disparity map and depth map
US5734743A (en) Image processing method and apparatus for block-based corresponding point extraction
US8611641B2 (en) Method and apparatus for detecting disparity
RU2382406C1 (en) Method of improving disparity map and device for realising said method
KR100799990B1 (en) Device and Method for transforming 2-D Image into 3-D Image
KR100953076B1 (en) Multi-view matching method and device using foreground/background separation
US9769460B1 (en) Conversion of monoscopic visual content to stereoscopic 3D
US20140340486A1 (en) Image processing system, image processing method, and image processing program
WO2012071356A1 (en) Depth estimation based on global motion
KR101618776B1 (en) Method for Enhancing 3-Dimensional Depth Image
EP3311361A1 (en) Method and apparatus for determining a depth map for an image
KR20090008808A (en) Apparatus and method for converting 2d image signals into 3d image signals
CN103679739A (en) Virtual view generating method based on shielding region detection
KR101086274B1 (en) Apparatus and method for extracting depth information
KR100926520B1 (en) Apparatus and method of matching binocular/multi-view stereo using foreground/background separation and image segmentation
JP2007053621A (en) Image generating apparatus
JPH07103734A (en) Apparatus for searching stereocorrespondence
KR101868017B1 (en) Method for stereo matching and apparatus thereof
Sato et al. Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system
Orozco et al. HDR multiview image sequence generation: Toward 3D HDR video
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100701

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee