KR20070061011A - Binocular or multi-view stereo matching apparatus and its method using occlusion area detection - Google Patents
Binocular or multi-view stereo matching apparatus and its method using occlusion area detection Download PDFInfo
- Publication number
- KR20070061011A KR20070061011A KR1020060030404A KR20060030404A KR20070061011A KR 20070061011 A KR20070061011 A KR 20070061011A KR 1020060030404 A KR1020060030404 A KR 1020060030404A KR 20060030404 A KR20060030404 A KR 20060030404A KR 20070061011 A KR20070061011 A KR 20070061011A
- Authority
- KR
- South Korea
- Prior art keywords
- shielding area
- matching
- window frame
- stereo
- variation
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
도 1은 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치의 일실시예 구성도,1 is a configuration diagram of an embodiment of a binocular or multiview stereo matching device using shielded area detection according to the present invention;
도 2는 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 방법에 대한 일실시예 흐름도,2 is a flowchart illustrating an embodiment of a binocular or multiview stereo matching method using shielding area detection according to the present invention;
도 3은 본 발명에 따른 차폐영역 분포 형태에 따른 정합창틀 분류를 나타내는 설명도,3 is an explanatory diagram showing a matching window frame classification according to the shielding area distribution form according to the present invention;
도 4는 본 발명에 따른 차폐영역 분포 형태에 따른 적응형 정합창틀 선택의 예를 나타내는 설명도,4 is an explanatory diagram showing an example of adaptive matching window frame selection according to the shielding area distribution form according to the present invention;
도 5는 본 발명에 따른 차폐영역 분포 형태에 따른 4 방향 적응 크기 창틀의 확장 과정의 예를 나타내는 설명도이다.5 is an explanatory diagram showing an example of an expansion process of a four-way adaptive size window frame according to a shielded area distribution form according to the present invention.
* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing
100 : 양안/다시점 영상 입력 및 저장부100: binocular / multi-view image input and storage unit
101 : 카메라 보정부 102 : 차폐영역 추출부101: camera correction unit 102: shielding area extraction unit
103 : 정합창틀 설정부 104 : 변이 탐색부103: matching window frame setting unit 104: mutation search unit
105 : 변이 선택부 106 : 차폐영역 처리부105: transition selection unit 106: shielding area processing unit
107 : 변이지도 저장부107: variation map storage unit
본 발명은 양안 또는 다시점 스테레오 정합 방식의 정확도를 향상시키기 위한, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법에 관한 것으로, 보다 상세하게는 2시점 이상의 카메라로부터 얻은 양안 또는 다시점 영상(비디오)으로부터 보다 정확한 변이지도를 생성하기 위한, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법에 관한 것이다.The present invention relates to a binocular or multiview stereo matching device using a shielding area detection and a method for improving the accuracy of a binocular or multiview stereo matching scheme, and more particularly, to a binocular or multiview obtained from a camera having two or more viewpoints. A binocular or multi-view stereo matching device using shielded area detection and a method for generating a more accurate disparity map from an image (video).
두 대 이상의 카메라로부터 획득한 영상(비디오)으로부터 정확한 변이/깊이 정보를 얻기 위한 양안 또는 다시점 스테레오 정합 방법은 오랫동안 컴퓨터 비전 분야에서 연구 대상이 되어 왔으며, 아직까지도 많은 연구가 이뤄지고 있다.The binocular or multiview stereo matching method for obtaining accurate disparity / depth information from images (videos) obtained from two or more cameras has been studied in computer vision for a long time.
여기서, 스테레오 정합은 두 대 또는 그 이상의 카메라로부터 취득된 영상 중 하나를 기준 영상으로, 다른 영상들을 탐색 영상으로 놓았을 때, 3차원 공간상의 한 점이 기준 영상과 탐색 영상들에 투영된 화소의 영상 내 위치를 구하는 과정으로 정의되며, 이때 구해진 각 대응점들 간의 영상 좌표 차이를 변이(disparity) 라고 한다.Here, stereo matching is a reference image based on one of images acquired from two or more cameras, and when the other images are placed as search images, an image of a pixel in which one point in three-dimensional space is projected onto the reference image and the search images. It is defined as a process of finding an inner position, and the difference in image coordinates between the corresponding corresponding points is called disparity.
이 변이를 기준 영상의 각 화소에 대하여 계산하면 영상의 형태로 변이가 저장되는데 이를 변이지도(disparity map)라고 한다. 다시점 스테레오는 이러한 과정을 세대 이상의 카메라에 대하여 확장한 것이다.When the variation is calculated for each pixel of the reference image, the variation is stored in the form of an image, which is called a disparity map. Multi-view stereo is an extension of this process for generations of cameras.
전통적으로 양안 스테레오 영상의 정합 문제는 한쪽 영상에서 관찰되는 화소가 다른 쪽 영상에서 보이거나(차폐영역), 한쪽 영상에서는 관찰되지 않은 화소가 다른 쪽 영상에서 보이는 영역(새로 나타난 영역)이 존재함으로 인하여 한계점을 가지고 있다. 특히, 최근 영상기반 렌더링 분야에서 변이정보를 이용한 가상 시점 영상 생성 분야에 대한 연구가 활발하게 이뤄지면서 이 문제의 중요성은 더욱 커지게 되었다.Traditionally, the matching problem of binocular stereo images is due to the presence of pixels seen in one image in the other image (shielding region) or in areas where the unobserved pixel in one image is visible in the other image (newly displayed area). It has a limitation. In particular, as the research on the virtual viewpoint image generation using the disparity information has been actively conducted in the field of image-based rendering, the importance of this problem has increased.
이러한 차폐영역 문제를 해결하기 위하여 다수의 카메라를 이용하여 스테레오 정합의 문제를 해결하려는 많은 시도가 있었는데, 여러 개의 스테레오 영상 쌍을 구성하여 차폐영역이 발생하는 스테레오 영상 쌍에 의한 결과를 최소화하는 다중 베이스라인 스테레오 정합 방법(Okutomi and Kanade, "A Multiple-Baseline Stereo," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. PAMI-15, no. 4, pp. 353-363, 1993), 카메라 행렬에서 차폐영역이 발생할 수 있는 패턴을 정의하고, 이로부터 차폐영역이 발생하지 않을 카메라들에 의해 취득된 영상에 대해서만 정합을 수행하는 다시점 스테레오 정합 방법(Nakmura et al., "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix-", Proceedings of CVPR'96, pp. 371-378, 1996) 등이 있었다. 이러한 종래 방법은 차폐영역에 의한 오정합을 최소화하는 데는 효과적이나, 물체의 가장자리에서의 경계선 과급(object boundary overreach) 문제 등 여전히 해결되지 않는 문제점이 있었다.Many attempts have been made to solve the problem of stereo matching using multiple cameras in order to solve the problem of the shielding area, and it is possible to construct multiple stereo image pairs to minimize the result of the stereo image pair in which the shielding area occurs. Line stereo matching method (Okutomi and Kanade, "A Multiple-Baseline Stereo," IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. PAMI-15, no. 4, pp. 353-363, 1993), shielding in camera matrix A multi-view stereo matching method that defines patterns in which areas can occur and performs matching only for images acquired by cameras from which no shielding areas will occur (Nakmura et al., "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix- ", Proceedings of CVPR'96, pp. 371-378, 1996). This conventional method is effective in minimizing misalignment caused by the shielding area, but there is still a problem that is not solved such as an object boundary overreach problem at the edge of the object.
상기 경계선 과급 문제를 해결하기 위해 경계선 과급 영역 및 차폐영역은 영상의 밝기가 급격히 변하는 에지 영역에서 많이 발생한다고 가정하고, 이러한 에지를 기준으로 정합창틀의 종류나 크기를 적응적으로 결정하는 다중 창틀이나 가변크기 창틀 방법들이 많이 제시되었다. 이에 대한 예로는 창틀 내 밝기 변화를 고려한 적응형 창틀 정합 방법(Kanade and Okutomi," A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 16, no. 9, Sept., 1994), 대칭적 다중 창틀을 이용한 정합 방법(Fusiello et al., "Efficient Stereo with Multiple Windowing," Proceedings of CVPR'97, p. 858, 1997), 점진적으로 정합창틀의 크기를 변경시키는 적응 크기 창틀 방법(Park and Inoue, "Acquisition of sharp depth map from multiple cameras," Signal Processing: Image Communication, vol.14, pp.7-19, Nov. 1998) 등이 있다. 이러한 연구들은 물체의 가장자리를 효율적으로 복구하였으나, 계산량이 많아 신속한 변이지도 추출에 어려움이 있었다.In order to solve the boundary supercharge problem, it is assumed that the boundary supercharge area and the shielding area are frequently generated in the edge area where the brightness of the image is rapidly changed, and the multiple window frames that adaptively determine the type or size of the matching window frame based on these edges or Many variable size window frames methods have been proposed. For example, Kanade and Okutomi, "A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment," IEEE Trans.on Pattern Analysis and Machine Intelligence, vol. 16, no. 9, Sept., 1994), Matching Method Using Symmetric Multiple Window Frames (Fusiello et al., "Efficient Stereo with Multiple Windowing," Proceedings of CVPR'97, p. 858, 1997) Adaptive size window frame methods (Park and Inoue, "Acquisition of sharp depth map from multiple cameras," Signal Processing: Image Communication, vol. 14, pp. 7-19, Nov. 1998). These studies efficiently repaired the edges of objects, but it was difficult to extract fast disparity maps due to the large amount of computation.
최근에는 다중 창틀의 계산량을 줄이기 위해 에지 포함 여부에 따라 선택적으로 다중 창틀을 이용하는 에지 적응형 수평 이동 창틀 정합 방법(Jong-Il Park, Gi Mun Um, Chunghyun Ahn, and Chieteuk Ahn, "Virtual Control of Optical Axis of the 3DTV Camera for Reducing Visual Fatigue in Stereoscopic 3DTV," ETRI Journal, vol.26, no.6, Dec. 2004, pp.597-604)도 발표되었다. 그러나 이 방법은 다양한 에지 형태에 맞는 정합창틀을 효과적으로 고려하지 못하고, 3개의 창틀만 사용하는 문제점이 있었다.Recently, edge-adapted horizontally moving window frame matching method using optional multiple window frames depending on whether edges are included to reduce the computation of multiple window frames (Jong-Il Park, Gi Mun Um, Chunghyun Ahn, and Chieteuk Ahn, "Virtual Control of Optical Axis of the 3DTV Camera for Reducing Visual Fatigue in Stereoscopic 3DTV, "ETRI Journal, vol.26, no.6, Dec. 2004, pp.597-604). However, this method does not effectively consider matching window frames for various edge shapes, and has a problem of using only three window frames.
상기와 같은 종래 기술을 종합적으로 살펴보면, 차폐영역(새로이 출현하는 영역포함)은 주로 깊이 불연속 지점에서 나타나게 되는데, 상술한 방법들은 대부분 컬러의 불연속 지점과 깊이 불연속 지점이 일치한다는 가정에서 영상 내 에지를 깊이 불연속 지점을 판단하는 기준으로 사용하고 있다. 그러나 이 가정은 항상 성립하는 것이 아니며, 컬러가 변하더라도 깊이는 연속적으로 변화는 경우가 많이 발생한다.Comprehensive description of the prior art as described above, the shielding area (including the newly appearing area) is mainly appeared at the depth discontinuity point, the above-mentioned methods are mostly in the image assuming that the discontinuity point and the depth discontinuity point of the color coincide It is used as a criterion for judging depth discontinuities. However, this assumption is not always true, and even if the color changes, the depth often changes continuously.
따라서 좀더 정확하게 차폐영역을 검출하고, 이를 이용하여 정합 시에 이 영역이 제외된 정합창틀을 설정함으로써, 보다 정확한 변이를 얻으면서도, 불필요한 계산량을 줄일 수 있는 양안 또는 다시점 스테레오 정합 방법이 요구되고 있다.Therefore, there is a need for a binocular or multi-view stereo matching method that can more accurately detect the shielding area and use it to set the matching window frame that excludes this area during matching, thereby obtaining more accurate variation and reducing unnecessary computation. .
본 발명은 상기한 바와 같은 문제점을 해결하고 상기 요구에 부응하기 위하여 제안된 것으로, 좀더 정확하게 차폐영역을 검출하고, 상기 검출한 차폐영역을 이용하여 정합 시에 상기 검출한 차폐영역이 제외된 정합창틀을 설정함으로써, 보다 정확한 변이를 얻으면서도 불필요한 계산량을 줄일 수 있는, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been proposed in order to solve the above problems and meet the above requirements, and more accurately detects a shielding area, and when the matching using the detected shielding area, the matching window frame without the detected shielding area is excluded. It is an object of the present invention to provide a binocular or multi-view stereo matching device using a shielded area detection, and a method thereof, which can reduce the amount of computation required while obtaining a more accurate variation.
즉, 본 발명은 차폐영역을 먼저 검출하고, 상기 검출한 차폐영역을 이용하여 정합창틀의 크기와 형태를 재설정하고, 상기 검출한 차폐영역에 포함된 화소와 포함되지 않은 화소에 대해 변이를 서로 다른 방식으로 구함으로써 보다 정확한 변이지도를 구할 수 있는, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법을 제공하는데 그 목적이 있다.That is, according to the present invention, the shielding area is first detected, the size and shape of the matching window frame is reset using the detected shielding area, and the variation is different for pixels included in the detected shielding area and pixels not included. It is an object of the present invention to provide a binocular or multi-view stereo matching device using a shielded area detection and a method thereof, which can obtain a more accurate disparity map by obtaining the method.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 목적을 달성하기 위한 본 발명의 장치는, 스테레오 정합 장치에 있어서, 2시점 이상의 카메라에서 촬영된 양안 영상(비디오)을 입력받아 저장하기 위한 양안 영상 입력 및 저장 수단; 상기 양안 영상 입력 및 저장 수단의 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단; 상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단; 상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단; 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및 상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이 지도 저장 수단을 포함한다.According to an aspect of the present invention, there is provided a stereo matching device comprising: binocular image input and storage means for receiving and storing a binocular image (video) photographed by a camera having two or more viewpoints; Shielding area extraction means for selecting a stereo image pair to be matched to the binocular image of the binocular image input and storage means as a stereo image pair to be matched, and detecting a shielding area from the selected stereo image pair; Matching window frame setting means for setting a matching window frame so as not to include a shielding area for pixels except the pixels of the shielding area detected by the shielding area extraction means; Transition search means for searching for a variation using a registration window frame set by the registration window frame setting means; Shielding area processing means for calculating a shift of the shielding area pixel for the stereo image pair; And disparity map storage means for storing the disparity of each pixel calculated by the shielding region processing means.
상기 목적을 달성하기 위한 본 발명의 다른 장치는, 스테레오 정합 장치에 있어서, 3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 입력받아 저장하기 위한 다시점 영상 입력 및 저장 수단; 상기 다시점 영상 입력 및 저장 수단의 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단; 상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단; 상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단; 두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하기 위한 변이 선택 수단; 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및 상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이지도 저장 수단을 포함한다.According to another aspect of the present invention, there is provided a stereo matching apparatus, comprising: a multiview image input and storage means for receiving and storing a multiview image (video) captured by a camera of three or more viewpoints; Shielding area extraction means for selecting a stereo image pair to be matched among the multi-view images of the multi-view image input and storage means, and detecting a shielding area from the selected stereo image pair; Matching window frame setting means for setting a matching window frame so as not to include a shielding area for pixels except the pixels of the shielding area detected by the shielding area extraction means; Transition search means for searching for a variation using a registration window frame set by the registration window frame setting means; Transition selection means for comparing and selecting variations obtained from each stereo image pair as two or more stereo image pairs exist; Shielding area processing means for calculating a shift of the shielding area pixel for each stereo image pair; And variation map storage means for storing the variation of each pixel calculated by the shielding area processing means.
상기 본 발명의 각 장치는, 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정 수단; 및 상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단으로부터의 카메라 정보를 이용하여 3차원 데이터로 변환하기 위한 변이지도 변환 수단을 더 포함한다.Each device of the present invention comprises: camera correction means for extracting camera information of each camera; And disparity map conversion means for converting the disparity map from the disparity map storage means into three-dimensional data using camera information from the camera correction means.
한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 스테레오 정합 방법에 있어서, 2시점 이상의 카메라에서 촬영된 양안 영상(비디오)을 저장하는 단계; 상기 저장한 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으 로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하는 차폐영역 검출 단계; 상기 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하는 정합창틀 설정 단계; 상기 설정한 정합창틀을 이용하여 변이를 탐색하는 변이 탐색 단계; 상기 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하는 변이 계산 단계; 및 상기 계산한 각 화소의 변이를 저장하는 단계를 포함한다.On the other hand, the method of the present invention for achieving the above object, the stereo matching method, comprising: storing a binocular image (video) taken by a camera of two or more times; A shielding area detecting step of selecting a corresponding stereo image pair for the stored binocular image as a stereo image pair to match, and detecting a shielding area from the selected stereo image pair; A matching window frame setting step of setting a matching window frame so as not to include a shielding area for pixels except the pixels of the detected shielding area; A variation searching step of searching for a variation using the set matching window frame; A disparity calculating step of calculating a disparity of a shielding pixel for the stereo image pair; And storing the calculated variation of each pixel.
상기 목적을 달성하기 위한 본 발명의 다른 방법은, 스테레오 정합 방법에 있어서, 3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 저장하는 단계; 상기 저장한 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하는 차폐영역 검출 단계; 상기 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하는 정합창틀 설정 단계; 상기 설정한 정합창틀을 이용하여 변이를 탐색하는 변이 탐색 단계; 두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하는 변이 선택 단계; 상기 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하는 변이 계산 단계; 및 상기 계산한 각 화소의 변이를 저장하는 단계를 포함한다.According to another aspect of the present invention, there is provided a stereo matching method, comprising: storing a multiview image (video) captured by a camera having three or more viewpoints; A shielding area detecting step of selecting a stereo image pair to be matched from the stored multi-view images and detecting a shielding area from the selected stereo image pair; A matching window frame setting step of setting a matching window frame so as not to include a shielding area for pixels except the pixels of the detected shielding area; A variation searching step of searching for a variation using the set matching window frame; A transition selection step of comparing and selecting variations obtained from each stereo image pair as two or more stereo image pairs exist; A variation calculation step of calculating a variation of a shielding area pixel for each stereo image pair; And storing the calculated variation of each pixel.
상기 본 발명의 각 방법은, 상기 각 카메라의 카메라 정보를 추출하는 단계; 및 상기 저장한 변이지도를 상기 카메라 정보를 이용하여 3차원 데이터로 변환하는 변이지도 변환 단계를 더 포함한다.Each method of the present invention comprises the steps of: extracting camera information of each camera; And converting the stored disparity map into three-dimensional data using the camera information.
이처럼, 본 발명은 2시점 이상의 카메라에 의해 촬영된 양안 또는 다시점 영 상(비디오)의 스테레오 정합에서, 초기 정합을 통하여 차폐영역을 먼저 검출한 후 이를 기준으로 정합창틀의 크기와 형태를 결정한 다음, 이 정합창틀을 사용하여 차폐영역에 포함되지 않은 화소에 대해 다시 정합을 수행하여 변이를 추출하고, 차폐영역 내 화소에 대해서는 별도로 다른 시점의 스테레오 영상 쌍으로부터 변이를 구할 수 있는지를 조사하여, 구할 수 있으면 다른 시점 스테레오 영상 쌍에 의해 구해진 변이를 카메라 정보에 의해 구하고자 하는 영상에 대한 변이로 변환하여 얻고, 그렇지 않을 경우 주위 화소에 의한 보간을 수행하여 변이를 구함으로써, 보다 정확한 변이지도를 구할 수 있다.As described above, in the stereo matching of binocular or multi-view video (video) captured by a camera of two or more viewpoints, the present invention first detects the shielding area through initial matching, and then determines the size and shape of the matching window frame based on this. Using this matching window frame, matching is again performed on pixels not included in the shielding region, and the variation is extracted. For the pixels in the shielding region, it is determined whether the variation can be obtained from stereo image pairs at different viewpoints. If possible, obtain the disparity obtained by converting the disparity obtained by different pairs of stereoscopic images into the disparity of the image to be obtained by camera information. Otherwise, the disparity is obtained by performing interpolation by surrounding pixels to obtain a more accurate disparity map. Can be.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치의 일실시예 구성도이다.1 is a block diagram of an embodiment of a binocular or multiview stereo matching device using shielded area detection according to the present invention.
먼저, 도 1을 참조하여 본 발명에 따른 차폐영역 검출을 이용한 양안 스테레오 정합 장치에 대하여 살펴보면, 본 발명에 따른 차폐영역 검출을 이용한 양안 스테레오 정합 장치는, 2시점 이상의 카메라로부터 촬영된 양안 영상(비디오)을 입력 받아 저장하기 위한 양안 영상 입력 및 저장부(100), 상기 양안 영상 입력 및 저장부(100)의 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출부(102), 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정하기 위한 정합창틀 설정부(103), 상기 정합창틀 설정부(103)에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색하기 위한 변이 탐색부(104), 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리부(106), 및 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상으로 저장(기록)하기 위한 변이지도 저장부(107)를 포함한다.First, referring to FIG. 1, the binocular stereo matching device using the shielding area detection according to the present invention will be described. The binocular stereo matching device using the shielding area detection according to the present invention may include a binocular image (video) captured by a camera having two or more viewpoints. ), The binocular image input and
여기서, 2시점의 경우 변이 선택부(105)는 없어도 된다. 이에 대한 상세한 설명은 후술하기로 한다.In this case, the
다음으로, 도 1을 참조하여 본 발명에 따른 차폐영역 검출을 이용한 다시점 스테레오 정합 장치에 대하여 살펴보면, 본 발명에 따른 차폐영역 검출을 이용한 다시점 스테레오 정합 장치는, 3시점 이상의 카메라로부터 촬영된 다시점 영상(비디오)을 입력받아 저장하기 위한 다시점 영상 입력 및 저장부(100), 상기 다시점 영상 입력 및 저장부(100)의 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출부(102), 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화 소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정하기 위한 정합창틀 설정부(103), 상기 정합창틀 설정부(103)에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색하기 위한 변이 탐색부(104), 두 개 이상의 스테레오 영상 쌍이 존재(3시점 이상의 경우)함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하기 위한 변이 선택부(105), 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리부(106), 및 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상(비디오)으로 저장(기록)하기 위한 변이지도 저장부(107)를 포함한다.Next, referring to FIG. 1, a multi-view stereo matching device using shielded area detection according to the present invention will be described. A multi-view stereo matching device using shielded area detection according to the present invention is photographed from a camera of 3 or more viewpoints. A stereo image pair to be matched is selected from a multiview image input and
여기서, 상기 양안 또는 다시점 스테레오 정합 장치는, 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정부(101), 및 상기 변이지도 저장부(107)로부터의 변이지도를 상기 카메라 보정부(101)로부터의 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델과 같은 3차원 데이터로 변환하기 위한 변이지도 변환부(도면에 도시되지 않음)를 더 포함한다.Here, the binocular or multi-view stereo matching device includes a
이때, 본 발명에서는 초기 정합을 통하여 차폐영역을 먼저 검출하고, 상기 검출한 차폐영역을 이용하여 정합창틀의 크기와 형태를 재설정하며, 상기 차폐영역에 포함된 화소와 포함되지 않은 화소에 대해 변이를 서로 다른 방식으로 구함으로써, 차폐영역에서의 변이 정확도를 높일 수 있다. 또한, 2 단계 정합에 따른 계산량 증가폭을 줄이기 위하여 초기 정합 시에는 하나의 기존 사각형 창틀을 이용하 고, 계층구조를 이용하여 저해상도 스테레오 영상에서 차폐영역을 검출하고 이를 윗 단계의 고해상도 영상(원래 해상도 영상)으로 전파하게 된다.At this time, in the present invention, the shielding area is first detected through initial matching, and the size and shape of the matching window frame are reset using the detected shielding area, and the variation is performed for the pixels included in the shielding area and the pixels not included in the shielding area. By obtaining them in different ways, the accuracy of variation in the shielding area can be increased. In addition, in order to reduce the amount of calculation increase due to the two-stage matching, one existing rectangular window frame is used for the initial matching, and the hierarchical structure is used to detect the shielding area in the low-resolution stereo image, and the higher resolution image (original resolution image) of the upper stage is used. To propagate.
상기와 같은 양안 또는 다시점 스테레오 정합 장치의 각 구성요소에 대하여 좀더 구체적으로 살펴보면 다음과 같다.Looking at each component of the binocular or multi-view stereo matching device in more detail as follows.
상기 양안/다시점 영상 입력 및 저장부(100)는 적어도 두 대 이상의 양안 또는 다시점 카메라로부터 동일시간에 취득된 양안 또는 다시점 영상을 입력받아 동기를 맞추어 저장한다. 즉, 양안 영상 입력 및 저장부는 적어도 두 대 이상의 양안 카메라로부터 동일시간에 취득된 양안 영상을 입력받아 동기를 맞추어 저장한다. 그리고 다시점 영상 입력 및 저장부는 적어도 두 대 이상의 다시점 카메라로부터 동일시간에 취득된 다시점 영상을 입력받아 동기를 맞추어 저장한다.The binocular / multiview image input and
그리고 상기 카메라 보정부(101)에서는 상기 양안/다시점 영상 입력 및 저장부(100)로부터 입력받은 양안 또는 다시점 영상을 이용하여 카메라 보정(calibration)을 통해 초점거리 등의 카메라 정보 및 각 시점 간의 상호 위치관계를 나타내는 기반 행렬(fundamental matrix)을 계산한다. 이때, 구해진 카메라 정보 및 기반 행렬 데이터는 데이터 저장장치 또는 컴퓨터 메모리 상에 저장되어, 이후에 변이지도 변환 등에 이용된다. 여기서, 상기 카메라 보정부(101)는 본 발명의 부가 구성요소이다.In addition, the
그리고 상기 차폐영역 추출부(102)에서는 정합할 스테레오 영상 쌍이 한 개인 양안 영상의 경우에는 해당 스테레오 영상을 선택하고, 3시점 이상의 경우에는 스테레오 영상 쌍을 하나 선택하여 이에 대해 초기 정합을 수행하여 차폐영역을 추 출하게 된다. 이때, 초기 정합은 전체 화소에 대하여 수행하면 계산량이 많이 증가하게 되므로, 이로 인한 계산량 증가폭을 줄이기 위하여 정합할 스테레오 영상에 대해 계층구조를 구성하여, 저해상도 스테레오 영상에서 차폐영역을 추출하여 이를 윗 단계의 고해상도 영상(원래 해상도 영상까지)으로 전파하게 된다. 또한, 정합창틀은 단일 크기 및 형태를 가지는 정사각형 창틀을 이용한다. 이러한 초기 정합을 수행하면서 차폐영역은 다음의 두 가지 방법에 의하여 추출한다. 먼저, 기준 영상과 대상 영상을 교대로 바꾸어(좌-우, 우-좌) 정합하였을 때 구해진 두 변이의 차가 미리 정해진 임계치 Th1(예 : 1 화소)보다 작은 화소를 차폐영역으로 판단하거나, 구해진 정합점의 유사도 함수 값이 미리 정한 임계치 Th2(예 : 0.7)보다 작은 화소를 차폐영역의 화소로 판단하게 된다.In addition, the shielding
그리고 상기 정합창틀 설정부(103)에서는 이렇게 상기 차폐영역 추출부(102)에서 추출된 차폐영역을 이용하여 두 번째 정합시 사용할 정합창틀의 형태와 크기를 결정하게 되는데, 이를 결정하는 방법은 차폐영역의 화소가 정합창틀 내에 포함되지 않는 조건만 만족되면, 어느 방법도 사용 가능하다. 본 발명의 실시예에서는 도 3 및 도 4에 도시된 바와 같이 차폐영역의 분포형태에 따라 8개의 정합창틀 형태 중에서 하나의 정합창틀을 선택하는 방법과, 도 5에 도시된 바와 같이 정합할 화소를 중심으로 하여 4 방향으로 좌우 정합창틀의 크기를 차폐영역 화소를 만날 때까지 확대하는 방법을 함께 또는 각각 사용한다. 함께 사용하는 경우를 예를 들어 살펴보면, 상기 정합창틀 설정부(103)에서는 차폐영역으로 분류되지 않은 정합할 화소에 대해 정합창틀 내 검출된 차폐영역 화소의 분포에 따라 도 3에 주어진 바와 같이 분류하고, 도 4의 예와 같이 하나의 정합창틀을 결정하며, 도 5에 도시된 바와 같이 차폐영역으로 분류되지 않은 정합할 화소를 중심으로 상하좌우 4 방향으로 차폐영역을 만날 때까지 창틀 크기를 확장하여 결정한 크기와 형태를 가지는 정합창틀을 사용하여 스테레오 정합을 수행한다. 이때, 어느 한쪽 영상의 특정 확장 방향에서 차폐영역 화소를 발견하면 그 방향으로의 창틀 확장을 멈추고 다른 쪽 방향의 확장을 고려한다. 이러한 과정을 거쳐 정합창틀의 크기 및 형태가 결정된다. 종래의 기술에서는 컬러 영상에서 추출된 에지 성분을 기준으로 도 3, 도 4, 도 5의 방법을 사용하였으나(Kanade and Okutomi, 1994 및 M. Berthod, L. Gabet, and G. Giraudon, and J. L. Lotti, "High Resolution Stereo for the Detection of Buildings," Automatic Extraction of Man-Made Objects from Aerial and Space Images, pp. 135-144, Birkhauser Verlag, 1995), 본 발명에서는 정합창틀의 크기 및 형태를 결정하는 기준으로서 에지 성분 대신 차폐영역 화소를 사용하였다.The matching window
그리고 상기 변이 탐색부(104)에서는 도 3, 도 5에 주어진 예시와 같이 상기 정합창틀 설정부(103)에서 결정된 정합창을 사용하여 기준 영상 내 차폐영역으로 포함되지 않은 각 화소의 대응점을 대상 영상 내 에피폴라 라인 상에 존재하는 탐색 변이 범위 내 각 화소들 중에서 탐색하게 된다. 이때, 정합 유사도는 널리 쓰이는 NCC(Normalized Cross Correlation), ZNCC(Zero-mean Normalized Cross Correlation, 또는 SSD(Sum of Squared Difference) 중의 어느 하나를 이용하여 계산한다. 그리고 구해진 정합점으로부터 이에 해당하는 변이를 계산한다. 이러한 과정은 다른 스테레오 영상 쌍의 조합이 가능할 경우(3시점 이상의 다시점 영상에 대 한 경우) 다른 스테레오 영상 쌍에 대해서도 반복 수행한다. 한편, 초기 정합시 구해지는 각 화소의 변이정보는 차폐되지 않은 화소의 탐색 범위를 줄이는데 사용될 수 있다. 그러나 차폐영역의 화소를 포함한 정합 결과이므로, 오차가 많을 가능성이 있어 본 발명의 실시예에서는 차폐영역 추출에만 사용하기로 한다.3 and 5, the
그리고 상기 변이 선택부(105)에서는 두 개 이상의 스테레오 영상 쌍이 존재할 경우, 한 화소에 대한 여러 변이가 구해질 수 있는데, 이 중 유사도가 가장 높은(또는 컬러 차이가 가장 적은) 대응점의 변이를 최종 변이로 결정하게 된다. 이때, 유사도 값은 각 스테레오 영상의 정합 시에 저장하여 놓았다가 이용하게 된다. 한편, 한 쌍의 스테레오 영상 쌍만이 존재하는 2시점(2-view) 영상의 경우, 하나의 변이 밖에 계산되지 않으므로, 변이 탐색부(104)에서 계산된 변이가 그 화소의 변이로 결정된다.In the
그리고 상기 차폐영역 처리부(106)에서는 상기 차폐영역 추출부(102)에서 추출된 차폐영역에 포함된 화소의 변이를 구하게 되는데, 이를 위한 방법은 다음과 같다.In addition, the shielding
먼저, 한 쌍의 스테레오 영상에 대해 차폐된 영역으로 검출된 화소에 대해 이웃하는 다른 스테레오 영상 쌍에서 차폐되지 않은 화소로 판정된 화소가 없는지를 조사한다. 상기 조사 결과, 그러한 화소가 존재하면 카메라 정보를 이용하여 그 화소에 대한 변이를 카메라 정보를 이용하여 변환한 후에, 차폐지역에 대한 변이로 할당하게 된다. 만약, 그러한 화소가 존재하지 않으면, 보간 등 다른 방법을 통하여 주위 화소의 변이에 의해 채워지게 된다. 이때, 카메라 정보는 상기 카메라 보 정부(101)로부터 전달받거나, 기획득되어 저장되어 있는 카메라 정보를 이용하는 등의 방식으로 구현 가능하다.First, it is checked whether there is a pixel determined as an unshielded pixel in another neighboring stereo image pair with respect to a pixel detected as a shielded area for a pair of stereo images. As a result of the investigation, if such a pixel is present, the variation for the pixel is converted using the camera information and then assigned to the variation for the shielded area. If such a pixel does not exist, it is filled by the variation of surrounding pixels through another method such as interpolation. In this case, the camera information may be implemented by a method such as using the camera information received from the
그리고 상기 양안 또는 다시점 영상 내 각 화소에 대해 계산된 최종 변이는 변이지도 저장부(107)로 전달되어 변이지도 형태의 디지털 영상으로 저장된다. 한편, 부가적으로 상기 변이지도는 카메라 정보를 이용하여 3차원 점 구름이나 3차원 모델로 변환될 수 있다.The final variation calculated for each pixel in the binocular or multiview image is transferred to the disparity
도 2는 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 방법에 대한 일실시예 흐름도로서, 이에 대한 구체적인 동작 방식은 전술한 바와 같으므로 여기서는 주요 동작 과정만을 설명하기로 한다.FIG. 2 is a flowchart illustrating a binocular or multiview stereo matching method using shielded area detection according to the present invention. Since a specific operation method thereof is the same as described above, only the main operation process will be described.
첫 번째로, 본 발명에 따른 차폐영역 검출을 이용한 양안 스테레오 정합 방법에 대하여 살펴보면 다음과 같다.First, a binocular stereo matching method using shielding area detection according to the present invention will be described.
먼저, 양안 영상 입력 및 저장부(100)가 2시점 이상의 카메라로부터 촬영된 양안 영상(비디오)을 입력받아 저장한다(200).First, the binocular image input and
이후, 차폐영역 추출부(102)가 상기 양안 영상 입력 및 저장부(100)에 저장되어 있는 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출한다(202).Subsequently, the shielding
이후, 정합창틀 설정부(103)가 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정한다(203).Subsequently, the matching window
이후, 변이 탐색부(104)가 상기 정합창틀 설정부(103)에서 설정한 정합창틀 을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색한다(204).Thereafter, the
이후, 차폐영역 처리부(106)가 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산한다(206).Subsequently, the shielding
이후, 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상으로 변이지도 저장부(107)에 저장(기록)한다(207).Thereafter, the variation of each pixel calculated by the shielding
두 번째로, 본 발명에 따른 차폐영역 검출을 이용한 다시점 스테레오 정합 방법에 대하여 살펴보면 다음과 같다.Secondly, a multi-view stereo matching method using shielding area detection according to the present invention will be described.
먼저, 다시점 영상 입력 및 저장부(100)가 3시점 이상의 카메라로부터 촬영된 다시점 영상(비디오)을 입력받아 저장한다(200).First, the multiview image input and
이후, 차폐영역 추출부(102)가 상기 다시점 영상 입력 및 저장부(100)에 저장되어 있는 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출한다(202).Subsequently, the shielding
이후, 정합창틀 설정부(103)가 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정한다(203).Subsequently, the matching window
이후, 변이 탐색부(104)가 상기 정합창틀 설정부(103)에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색한다(204).Thereafter, the
이후, 변이 선택부(105)가 두 개 이상의 스테레오 영상 쌍이 존재(3시점 이 상의 경우)함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택한다(205).Then, as the
이후, 차폐영역 처리부(106)가 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산한다(206).Subsequently, the shielding
이후, 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상(비디오)으로 변이지도 저장부(107)에 저장(기록)한다(207).Thereafter, the variation of each pixel calculated by the shielding
여기서, 상기 양안 또는 다시점 스테레오 정합 방법은, 카메라 보정부(101)가 상기 각 카메라의 카메라 정보를 추출하는 과정(201)을 더 수행한다(201). In the binocular or multi-view stereo matching method, the
그리고 변이지도 변환부(도면에 도시되지 않음)가 상기 변이지도 저장부(107)에 저장되어 있는 변이지도를 상기 카메라 보정부(101)로부터의 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델로 변환하는 과정(도면에 도시되지 않음)을 더 수행할 수 있다.In addition, a point map in a three-dimensional space is generated by a disparity map converter (not shown) using the camera information from the
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
상기와 같은 본 발명은, 좀더 정확하게 차폐영역을 검출하고, 상기 검출한 차폐영역을 이용하여 정합 시에 상기 검출한 차폐영역이 제외된 정합창틀을 설정함으로써, 보다 정확한 변이지도를 얻으면서도 불필요한 계산량을 줄일 수 있는 효과가 있다.As described above, the present invention detects the shielding area more accurately and sets a matching window frame in which the detected shielding area is excluded at the time of matching by using the detected shielding area, thereby obtaining a more accurate disparity map and reducing unnecessary calculation amount. There is an effect that can be reduced.
즉, 본 발명은 종래의 양안 또는 다시점 스테레오 정합 방법이 가지는 깊이 불연속이나 차폐영역에서 정확도가 저하되는 문제점을 해결하기 위하여 차폐영역을 초기 정합을 통하여 미리 추출하고, 정합 시에 이러한 차폐영역 내 화소가 정합창틀 내에 포함되지 않도록 정합창틀의 크기 및 형태를 결정함으로써, 3차원 깊이 또는 변이정보의 정확도를 개선할 수 있는 효과가 있다.That is, the present invention extracts the shielding region through initial matching in advance to solve the problem of accuracy discontinuity in the depth discontinuity or shielding region of the conventional binocular or multiview stereo matching method, and at the time of matching, the pixels in the shielding region. By determining the size and shape of the matching frame so that is not included in the matching frame, there is an effect that can improve the accuracy of the three-dimensional depth or the variation information.
또한, 종래의 에지 정보에 기반한 정합창틀 결정 방법에서는 밝기 변화의 차이를 이용함으로써 깊이 불연속(또는 차폐영역)과의 구분이 되지 않았는데, 본 발명에서는 직접 초기 정합을 통하여 차폐영역을 검출함으로써 보다 실제적인 깊이 불연속 지점에 대한 추출이 가능하다.In addition, in the conventional method of determining the matching window frame based on the edge information, the difference in brightness is not used to distinguish the depth discontinuity (or the shielding area), but in the present invention, the shielding area is detected through the initial initial matching. Extraction of depth discontinuities is possible.
또한, 이렇게 개선된 변이정보는 3차원 모델링 또는 임의시점 영상 생성에 이용될 수 있으며, 특히 임의시점 영상 생성 시에 영상 깨짐을 줄일 수 있는 효과가 있다.In addition, the improved disparity information may be used for 3D modeling or random view image generation, and in particular, there is an effect of reducing image breakage during random view image generation.
Claims (21)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050119805 | 2005-12-08 | ||
KR20050119805 | 2005-12-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070061011A true KR20070061011A (en) | 2007-06-13 |
KR100745691B1 KR100745691B1 (en) | 2007-08-03 |
Family
ID=38356950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060030404A KR100745691B1 (en) | 2005-12-08 | 2006-04-04 | Binocular or multi-view stereo matching apparatus and its method using occlusion area detection |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100745691B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101347265B1 (en) * | 2012-05-23 | 2014-01-10 | 광운대학교 산학협력단 | A Stereo Matching Method based on Variable Windows using Frequency Information in DWT Domain |
US8873834B2 (en) | 2011-07-12 | 2014-10-28 | Samsung Electronics Co., Ltd. | Method and apparatus for processing multi-view image using hole rendering |
US8989480B2 (en) | 2009-11-19 | 2015-03-24 | Samsung Electronics Co., Ltd. | Method, computer-readable medium and apparatus estimating disparity of three view images |
US9147281B2 (en) | 2010-08-27 | 2015-09-29 | Samsung Electronics Co., Ltd. | Rendering apparatus and method for generating multi-views |
US9615890B2 (en) | 2013-03-21 | 2017-04-11 | Samsung Electronics Co., Ltd. | Surgical robot system and method of controlling the same |
CN110533701A (en) * | 2018-05-25 | 2019-12-03 | 杭州海康威视数字技术股份有限公司 | A kind of image parallactic determines method, device and equipment |
CN111862229A (en) * | 2020-06-05 | 2020-10-30 | 北京中科慧眼科技有限公司 | Binocular camera adjusting method and device |
CN113989383A (en) * | 2021-10-23 | 2022-01-28 | 深圳慧源创新科技有限公司 | Method for improving accuracy and range of binocular distance measurement |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2932911A1 (en) * | 2008-06-24 | 2009-12-25 | France Telecom | METHOD AND DEVICE FOR FILLING THE OCCULTATION ZONES OF A DEPTH CARD OR DISPARITIES ESTIMATED FROM AT LEAST TWO IMAGES. |
KR100929689B1 (en) | 2008-09-08 | 2009-12-03 | 재단법인대구경북과학기술원 | Traffic accident record apparatus using stereo image information and controlling method for the same |
KR101669820B1 (en) | 2010-07-02 | 2016-10-27 | 삼성전자주식회사 | Apparatus and method for bidirectional inpainting in occlusion based on volume prediction |
KR101334187B1 (en) | 2011-07-25 | 2013-12-02 | 삼성전자주식회사 | Apparatus and method for rendering |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100439341B1 (en) * | 2002-08-27 | 2004-07-07 | 한국전자통신연구원 | Depth of field adjustment apparatus and method of stereo image for reduction of visual fatigue |
KR100489894B1 (en) * | 2002-12-26 | 2005-05-17 | 한국전자통신연구원 | Apparatus and its method for virtual conrtol baseline stretch of binocular stereo images |
KR100544677B1 (en) * | 2003-12-26 | 2006-01-23 | 한국전자통신연구원 | Apparatus and method for the 3D object tracking using multi-view and depth cameras |
-
2006
- 2006-04-04 KR KR1020060030404A patent/KR100745691B1/en not_active IP Right Cessation
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8989480B2 (en) | 2009-11-19 | 2015-03-24 | Samsung Electronics Co., Ltd. | Method, computer-readable medium and apparatus estimating disparity of three view images |
US9147281B2 (en) | 2010-08-27 | 2015-09-29 | Samsung Electronics Co., Ltd. | Rendering apparatus and method for generating multi-views |
US8873834B2 (en) | 2011-07-12 | 2014-10-28 | Samsung Electronics Co., Ltd. | Method and apparatus for processing multi-view image using hole rendering |
US9172947B2 (en) | 2011-07-12 | 2015-10-27 | Samsung Electronics Co., Ltd. | Method and apparatus for processing multi-view image using hole rendering |
KR101347265B1 (en) * | 2012-05-23 | 2014-01-10 | 광운대학교 산학협력단 | A Stereo Matching Method based on Variable Windows using Frequency Information in DWT Domain |
US9615890B2 (en) | 2013-03-21 | 2017-04-11 | Samsung Electronics Co., Ltd. | Surgical robot system and method of controlling the same |
CN110533701A (en) * | 2018-05-25 | 2019-12-03 | 杭州海康威视数字技术股份有限公司 | A kind of image parallactic determines method, device and equipment |
CN111862229A (en) * | 2020-06-05 | 2020-10-30 | 北京中科慧眼科技有限公司 | Binocular camera adjusting method and device |
CN113989383A (en) * | 2021-10-23 | 2022-01-28 | 深圳慧源创新科技有限公司 | Method for improving accuracy and range of binocular distance measurement |
CN113989383B (en) * | 2021-10-23 | 2024-06-04 | 深圳慧源创新科技有限公司 | Method for improving accuracy and range of binocular range |
Also Published As
Publication number | Publication date |
---|---|
KR100745691B1 (en) | 2007-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100745691B1 (en) | Binocular or multi-view stereo matching apparatus and its method using occlusion area detection | |
KR100793076B1 (en) | Edge-adaptive stereo/multi-view image matching apparatus and its method | |
KR100776649B1 (en) | A depth information-based Stereo/Multi-view Stereo Image Matching Apparatus and Method | |
EP3869797B1 (en) | Method for depth detection in images captured using array cameras | |
KR100513055B1 (en) | 3D scene model generation apparatus and method through the fusion of disparity map and depth map | |
US5734743A (en) | Image processing method and apparatus for block-based corresponding point extraction | |
US8611641B2 (en) | Method and apparatus for detecting disparity | |
KR100799990B1 (en) | Device and Method for transforming 2-D Image into 3-D Image | |
KR100953076B1 (en) | Multi-view matching method and device using foreground/background separation | |
US9769460B1 (en) | Conversion of monoscopic visual content to stereoscopic 3D | |
US20140340486A1 (en) | Image processing system, image processing method, and image processing program | |
KR101618776B1 (en) | Method for Enhancing 3-Dimensional Depth Image | |
EP3311361A1 (en) | Method and apparatus for determining a depth map for an image | |
CN103150729B (en) | A kind of virtual view rendering intent | |
KR100926520B1 (en) | Apparatus and method of matching binocular/multi-view stereo using foreground/background separation and image segmentation | |
CN104331890B (en) | A kind of global disparity method of estimation and system | |
KR101086274B1 (en) | Apparatus and method for extracting depth information | |
CN103679739A (en) | Virtual view generating method based on shielding region detection | |
KR101868017B1 (en) | Method for stereo matching and apparatus thereof | |
JPH07103734A (en) | Apparatus for searching stereocorrespondence | |
CN104408710B (en) | Global parallax estimation method and system | |
Sato et al. | Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system | |
Orozco et al. | HDR multiview image sequence generation: Toward 3D HDR video | |
US20120154388A1 (en) | Stereo image processing method, stereo image processing device and display device | |
KR100489894B1 (en) | Apparatus and its method for virtual conrtol baseline stretch of binocular stereo images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20100701 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |