KR100745691B1 - 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은 좀더 정확하게 차폐영역을 검출하고, 상기 검출한 차폐영역을 이용하여 정합 시에 상기 검출한 차폐영역이 제외된 정합창틀을 설정함으로써, 보다 정확한 변이를 얻으면서도 불필요한 계산량을 줄일 수 있는, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법을 제공하는데 그 목적이 있음.

3. 발명의 해결방법의 요지

본 발명은, 스테레오 정합 장치에 있어서, 3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 입력받아 저장하기 위한 다시점 영상 입력 및 저장 수단; 상기 다시점 영상 입력 및 저장 수단의 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단; 상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단; 상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단; 두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하기 위한 변이 선택 수단; 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및 상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이지도 저장 수단을 포함함.

4. 발명의 중요한 용도

본 발명은 양안 또는 다시점 영상(비디오) 기반 중간시점 영상 생성 시스템, 객체/장면의 3차원 복원 등에 이용됨.

다시점 스테레오 정합, 차폐영역 검출, 정합창틀 재설정, 변이 추출, 변이지도

Description

차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법{Binocular or multi-view stereo matching apparatus and its method using occlusion area detection}

도 1은 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치의 일실시예 구성도,

도 2는 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 방법에 대한 일실시예 흐름도,

도 3은 본 발명에 따른 차폐영역 분포 형태에 따른 정합창틀 분류를 나타내는 설명도,

도 4는 본 발명에 따른 차폐영역 분포 형태에 따른 적응형 정합창틀 선택의 예를 나타내는 설명도,

도 5는 본 발명에 따른 차폐영역 분포 형태에 따른 4 방향 적응 크기 창틀의 확장 과정의 예를 나타내는 설명도이다.

* 도면의 주요 부분에 대한 부호 설명

100 : 양안/다시점 영상 입력 및 저장부

101 : 카메라 보정부 102 : 차폐영역 추출부

103 : 정합창틀 설정부 104 : 변이 탐색부

105 : 변이 선택부 106 : 차폐영역 처리부

107 : 변이지도 저장부

본 발명은 양안 또는 다시점 스테레오 정합 방식의 정확도를 향상시키기 위한, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법에 관한 것으로, 보다 상세하게는 2시점 이상의 카메라로부터 얻은 양안 또는 다시점 영상(비디오)으로부터 보다 정확한 변이지도를 생성하기 위한, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법에 관한 것이다.

두 대 이상의 카메라로부터 획득한 영상(비디오)으로부터 정확한 변이/깊이 정보를 얻기 위한 양안 또는 다시점 스테레오 정합 방법은 오랫동안 컴퓨터 비전 분야에서 연구 대상이 되어 왔으며, 아직까지도 많은 연구가 이뤄지고 있다.

여기서, 스테레오 정합은 두 대 또는 그 이상의 카메라로부터 취득된 영상 중 하나를 기준 영상으로, 다른 영상들을 탐색 영상으로 놓았을 때, 3차원 공간상의 한 점이 기준 영상과 탐색 영상들에 투영된 화소의 영상 내 위치를 구하는 과정으로 정의되며, 이때 구해진 각 대응점들 간의 영상 좌표 차이를 변이(disparity) 라고 한다.

이 변이를 기준 영상의 각 화소에 대하여 계산하면 영상의 형태로 변이가 저장되는데 이를 변이지도(disparity map)라고 한다. 다시점 스테레오는 이러한 과정을 세대 이상의 카메라에 대하여 확장한 것이다.

전통적으로 양안 스테레오 영상의 정합 문제는 한쪽 영상에서 관찰되는 화소가 다른 쪽 영상에서 보이거나(차폐영역), 한쪽 영상에서는 관찰되지 않은 화소가 다른 쪽 영상에서 보이는 영역(새로 나타난 영역)이 존재함으로 인하여 한계점을 가지고 있다. 특히, 최근 영상기반 렌더링 분야에서 변이정보를 이용한 가상 시점 영상 생성 분야에 대한 연구가 활발하게 이뤄지면서 이 문제의 중요성은 더욱 커지게 되었다.

이러한 차폐영역 문제를 해결하기 위하여 다수의 카메라를 이용하여 스테레오 정합의 문제를 해결하려는 많은 시도가 있었는데, 여러 개의 스테레오 영상 쌍을 구성하여 차폐영역이 발생하는 스테레오 영상 쌍에 의한 결과를 최소화하는 다중 베이스라인 스테레오 정합 방법(Okutomi and Kanade, "A Multiple-Baseline Stereo," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. PAMI-15, no. 4, pp. 353-363, 1993), 카메라 행렬에서 차폐영역이 발생할 수 있는 패턴을 정의하고, 이로부터 차폐영역이 발생하지 않을 카메라들에 의해 취득된 영상에 대해서만 정합을 수행하는 다시점 스테레오 정합 방법(Nakmura et al., "Occlusion Detectable Stereo-Occlusion Patterns in Camera Matrix-", Proceedings of CVPR'96, pp. 371-378, 1996) 등이 있었다. 이러한 종래 방법은 차폐영역에 의한 오정합을 최소화하는 데는 효과적이나, 물체의 가장자리에서의 경계선 과급(object boundary overreach) 문제 등 여전히 해결되지 않는 문제점이 있었다.

상기 경계선 과급 문제를 해결하기 위해 경계선 과급 영역 및 차폐영역은 영상의 밝기가 급격히 변하는 에지 영역에서 많이 발생한다고 가정하고, 이러한 에지를 기준으로 정합창틀의 종류나 크기를 적응적으로 결정하는 다중 창틀이나 가변크기 창틀 방법들이 많이 제시되었다. 이에 대한 예로는 창틀 내 밝기 변화를 고려한 적응형 창틀 정합 방법(Kanade and Okutomi," A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 16, no. 9, Sept., 1994), 대칭적 다중 창틀을 이용한 정합 방법(Fusiello et al., "Efficient Stereo with Multiple Windowing," Proceedings of CVPR'97, p. 858, 1997), 점진적으로 정합창틀의 크기를 변경시키는 적응 크기 창틀 방법(Park and Inoue, "Acquisition of sharp depth map from multiple cameras," Signal Processing: Image Communication, vol.14, pp.7-19, Nov. 1998) 등이 있다. 이러한 연구들은 물체의 가장자리를 효율적으로 복구하였으나, 계산량이 많아 신속한 변이지도 추출에 어려움이 있었다.

최근에는 다중 창틀의 계산량을 줄이기 위해 에지 포함 여부에 따라 선택적으로 다중 창틀을 이용하는 에지 적응형 수평 이동 창틀 정합 방법(Jong-Il Park, Gi Mun Um, Chunghyun Ahn, and Chieteuk Ahn, "Virtual Control of Optical Axis of the 3DTV Camera for Reducing Visual Fatigue in Stereoscopic 3DTV," ETRI Journal, vol.26, no.6, Dec. 2004, pp.597-604)도 발표되었다. 그러나 이 방법은 다양한 에지 형태에 맞는 정합창틀을 효과적으로 고려하지 못하고, 3개의 창틀만 사용하는 문제점이 있었다.

상기와 같은 종래 기술을 종합적으로 살펴보면, 차폐영역(새로이 출현하는 영역포함)은 주로 깊이 불연속 지점에서 나타나게 되는데, 상술한 방법들은 대부분 컬러의 불연속 지점과 깊이 불연속 지점이 일치한다는 가정에서 영상 내 에지를 깊이 불연속 지점을 판단하는 기준으로 사용하고 있다. 그러나 이 가정은 항상 성립하는 것이 아니며, 컬러가 변하더라도 깊이는 연속적으로 변화는 경우가 많이 발생한다.

따라서 좀더 정확하게 차폐영역을 검출하고, 이를 이용하여 정합 시에 이 영역이 제외된 정합창틀을 설정함으로써, 보다 정확한 변이를 얻으면서도, 불필요한 계산량을 줄일 수 있는 양안 또는 다시점 스테레오 정합 방법이 요구되고 있다.

본 발명은 상기한 바와 같은 문제점을 해결하고 상기 요구에 부응하기 위하여 제안된 것으로, 좀더 정확하게 차폐영역을 검출하고, 상기 검출한 차폐영역을 이용하여 정합 시에 상기 검출한 차폐영역이 제외된 정합창틀을 설정함으로써, 보다 정확한 변이를 얻으면서도 불필요한 계산량을 줄일 수 있는, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법을 제공하는데 그 목적이 있다.

즉, 본 발명은 차폐영역을 먼저 검출하고, 상기 검출한 차폐영역을 이용하여 정합창틀의 크기와 형태를 재설정하고, 상기 검출한 차폐영역에 포함된 화소와 포함되지 않은 화소에 대해 변이를 서로 다른 방식으로 구함으로써 보다 정확한 변이지도를 구할 수 있는, 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 장치는, 스테레오 정합 장치에 있어서, 2시점 이상의 카메라에서 촬영된 양안 영상(비디오)을 입력받아 저장하기 위한 양안 영상 입력 및 저장 수단; 상기 양안 영상 입력 및 저장 수단의 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단; 상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단; 상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단; 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및 상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이 지도 저장 수단을 포함한다.

상기 목적을 달성하기 위한 본 발명의 다른 장치는, 스테레오 정합 장치에 있어서, 3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 입력받아 저장하기 위한 다시점 영상 입력 및 저장 수단; 상기 다시점 영상 입력 및 저장 수단의 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단; 상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단; 상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단; 두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하기 위한 변이 선택 수단; 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및 상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이지도 저장 수단을 포함한다.

상기 본 발명의 각 장치는, 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정 수단; 및 상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단으로부터의 카메라 정보를 이용하여 3차원 데이터로 변환하기 위한 변이지도 변환 수단을 더 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 스테레오 정합 방법에 있어서, 2시점 이상의 카메라에서 촬영된 양안 영상(비디오)을 저장하는 단계; 상기 저장한 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으 로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하는 차폐영역 검출 단계; 상기 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하는 정합창틀 설정 단계; 상기 설정한 정합창틀을 이용하여 변이를 탐색하는 변이 탐색 단계; 상기 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하는 변이 계산 단계; 및 상기 계산한 각 화소의 변이를 저장하는 단계를 포함한다.

상기 목적을 달성하기 위한 본 발명의 다른 방법은, 스테레오 정합 방법에 있어서, 3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 저장하는 단계; 상기 저장한 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하는 차폐영역 검출 단계; 상기 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하는 정합창틀 설정 단계; 상기 설정한 정합창틀을 이용하여 변이를 탐색하는 변이 탐색 단계; 두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하는 변이 선택 단계; 상기 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하는 변이 계산 단계; 및 상기 계산한 각 화소의 변이를 저장하는 단계를 포함한다.

상기 본 발명의 각 방법은, 상기 각 카메라의 카메라 정보를 추출하는 단계; 및 상기 저장한 변이지도를 상기 카메라 정보를 이용하여 3차원 데이터로 변환하는 변이지도 변환 단계를 더 포함한다.

이처럼, 본 발명은 2시점 이상의 카메라에 의해 촬영된 양안 또는 다시점 영 상(비디오)의 스테레오 정합에서, 초기 정합을 통하여 차폐영역을 먼저 검출한 후 이를 기준으로 정합창틀의 크기와 형태를 결정한 다음, 이 정합창틀을 사용하여 차폐영역에 포함되지 않은 화소에 대해 다시 정합을 수행하여 변이를 추출하고, 차폐영역 내 화소에 대해서는 별도로 다른 시점의 스테레오 영상 쌍으로부터 변이를 구할 수 있는지를 조사하여, 구할 수 있으면 다른 시점 스테레오 영상 쌍에 의해 구해진 변이를 카메라 정보에 의해 구하고자 하는 영상에 대한 변이로 변환하여 얻고, 그렇지 않을 경우 주위 화소에 의한 보간을 수행하여 변이를 구함으로써, 보다 정확한 변이지도를 구할 수 있다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 장치의 일실시예 구성도이다.

먼저, 도 1을 참조하여 본 발명에 따른 차폐영역 검출을 이용한 양안 스테레오 정합 장치에 대하여 살펴보면, 본 발명에 따른 차폐영역 검출을 이용한 양안 스테레오 정합 장치는, 2시점 이상의 카메라로부터 촬영된 양안 영상(비디오)을 입력 받아 저장하기 위한 양안 영상 입력 및 저장부(100), 상기 양안 영상 입력 및 저장부(100)의 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출부(102), 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정하기 위한 정합창틀 설정부(103), 상기 정합창틀 설정부(103)에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색하기 위한 변이 탐색부(104), 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리부(106), 및 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상으로 저장(기록)하기 위한 변이지도 저장부(107)를 포함한다.

여기서, 2시점의 경우 변이 선택부(105)는 없어도 된다. 이에 대한 상세한 설명은 후술하기로 한다.

다음으로, 도 1을 참조하여 본 발명에 따른 차폐영역 검출을 이용한 다시점 스테레오 정합 장치에 대하여 살펴보면, 본 발명에 따른 차폐영역 검출을 이용한 다시점 스테레오 정합 장치는, 3시점 이상의 카메라로부터 촬영된 다시점 영상(비디오)을 입력받아 저장하기 위한 다시점 영상 입력 및 저장부(100), 상기 다시점 영상 입력 및 저장부(100)의 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출부(102), 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화 소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정하기 위한 정합창틀 설정부(103), 상기 정합창틀 설정부(103)에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색하기 위한 변이 탐색부(104), 두 개 이상의 스테레오 영상 쌍이 존재(3시점 이상의 경우)함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하기 위한 변이 선택부(105), 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리부(106), 및 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상(비디오)으로 저장(기록)하기 위한 변이지도 저장부(107)를 포함한다.

여기서, 상기 양안 또는 다시점 스테레오 정합 장치는, 상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정부(101), 및 상기 변이지도 저장부(107)로부터의 변이지도를 상기 카메라 보정부(101)로부터의 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델과 같은 3차원 데이터로 변환하기 위한 변이지도 변환부(도면에 도시되지 않음)를 더 포함한다.

이때, 본 발명에서는 초기 정합을 통하여 차폐영역을 먼저 검출하고, 상기 검출한 차폐영역을 이용하여 정합창틀의 크기와 형태를 재설정하며, 상기 차폐영역에 포함된 화소와 포함되지 않은 화소에 대해 변이를 서로 다른 방식으로 구함으로써, 차폐영역에서의 변이 정확도를 높일 수 있다. 또한, 2 단계 정합에 따른 계산량 증가폭을 줄이기 위하여 초기 정합 시에는 하나의 기존 사각형 창틀을 이용하 고, 계층구조를 이용하여 저해상도 스테레오 영상에서 차폐영역을 검출하고 이를 윗 단계의 고해상도 영상(원래 해상도 영상)으로 전파하게 된다.

상기와 같은 양안 또는 다시점 스테레오 정합 장치의 각 구성요소에 대하여 좀더 구체적으로 살펴보면 다음과 같다.

상기 양안/다시점 영상 입력 및 저장부(100)는 적어도 두 대 이상의 양안 또는 다시점 카메라로부터 동일시간에 취득된 양안 또는 다시점 영상을 입력받아 동기를 맞추어 저장한다. 즉, 양안 영상 입력 및 저장부는 적어도 두 대 이상의 양안 카메라로부터 동일시간에 취득된 양안 영상을 입력받아 동기를 맞추어 저장한다. 그리고 다시점 영상 입력 및 저장부는 적어도 두 대 이상의 다시점 카메라로부터 동일시간에 취득된 다시점 영상을 입력받아 동기를 맞추어 저장한다.

그리고 상기 카메라 보정부(101)에서는 상기 양안/다시점 영상 입력 및 저장부(100)로부터 입력받은 양안 또는 다시점 영상을 이용하여 카메라 보정(calibration)을 통해 초점거리 등의 카메라 정보 및 각 시점 간의 상호 위치관계를 나타내는 기반 행렬(fundamental matrix)을 계산한다. 이때, 구해진 카메라 정보 및 기반 행렬 데이터는 데이터 저장장치 또는 컴퓨터 메모리 상에 저장되어, 이후에 변이지도 변환 등에 이용된다. 여기서, 상기 카메라 보정부(101)는 본 발명의 부가 구성요소이다.

그리고 상기 차폐영역 추출부(102)에서는 정합할 스테레오 영상 쌍이 한 개인 양안 영상의 경우에는 해당 스테레오 영상을 선택하고, 3시점 이상의 경우에는 스테레오 영상 쌍을 하나 선택하여 이에 대해 초기 정합을 수행하여 차폐영역을 추 출하게 된다. 이때, 초기 정합은 전체 화소에 대하여 수행하면 계산량이 많이 증가하게 되므로, 이로 인한 계산량 증가폭을 줄이기 위하여 정합할 스테레오 영상에 대해 계층구조를 구성하여, 저해상도 스테레오 영상에서 차폐영역을 추출하여 이를 윗 단계의 고해상도 영상(원래 해상도 영상까지)으로 전파하게 된다. 또한, 정합창틀은 단일 크기 및 형태를 가지는 정사각형 창틀을 이용한다. 이러한 초기 정합을 수행하면서 차폐영역은 다음의 두 가지 방법에 의하여 추출한다. 먼저, 기준 영상과 대상 영상을 교대로 바꾸어(좌-우, 우-좌) 정합하였을 때 구해진 두 변이의 차가 미리 정해진 임계치 Th1(예 : 1 화소)보다 작은 화소를 차폐영역으로 판단하거나, 구해진 정합점의 유사도 함수 값이 미리 정한 임계치 Th2(예 : 0.7)보다 작은 화소를 차폐영역의 화소로 판단하게 된다.

그리고 상기 정합창틀 설정부(103)에서는 이렇게 상기 차폐영역 추출부(102)에서 추출된 차폐영역을 이용하여 두 번째 정합시 사용할 정합창틀의 형태와 크기를 결정하게 되는데, 이를 결정하는 방법은 차폐영역의 화소가 정합창틀 내에 포함되지 않는 조건만 만족되면, 어느 방법도 사용 가능하다. 본 발명의 실시예에서는 도 3 및 도 4에 도시된 바와 같이 차폐영역의 분포형태에 따라 8개의 정합창틀 형태 중에서 하나의 정합창틀을 선택하는 방법과, 도 5에 도시된 바와 같이 정합할 화소를 중심으로 하여 4 방향으로 좌우 정합창틀의 크기를 차폐영역 화소를 만날 때까지 확대하는 방법을 함께 또는 각각 사용한다. 함께 사용하는 경우를 예를 들어 살펴보면, 상기 정합창틀 설정부(103)에서는 차폐영역으로 분류되지 않은 정합할 화소에 대해 정합창틀 내 검출된 차폐영역 화소의 분포에 따라 도 3에 주어진 바와 같이 분류하고, 도 4의 예와 같이 하나의 정합창틀을 결정하며, 도 5에 도시된 바와 같이 차폐영역으로 분류되지 않은 정합할 화소를 중심으로 상하좌우 4 방향으로 차폐영역을 만날 때까지 창틀 크기를 확장하여 결정한 크기와 형태를 가지는 정합창틀을 사용하여 스테레오 정합을 수행한다. 이때, 어느 한쪽 영상의 특정 확장 방향에서 차폐영역 화소를 발견하면 그 방향으로의 창틀 확장을 멈추고 다른 쪽 방향의 확장을 고려한다. 이러한 과정을 거쳐 정합창틀의 크기 및 형태가 결정된다. 종래의 기술에서는 컬러 영상에서 추출된 에지 성분을 기준으로 도 3, 도 4, 도 5의 방법을 사용하였으나(Kanade and Okutomi, 1994 및 M. Berthod, L. Gabet, and G. Giraudon, and J. L. Lotti, "High Resolution Stereo for the Detection of Buildings," Automatic Extraction of Man-Made Objects from Aerial and Space Images, pp. 135-144, Birkhauser Verlag, 1995), 본 발명에서는 정합창틀의 크기 및 형태를 결정하는 기준으로서 에지 성분 대신 차폐영역 화소를 사용하였다.

그리고 상기 변이 탐색부(104)에서는 도 3, 도 5에 주어진 예시와 같이 상기 정합창틀 설정부(103)에서 결정된 정합창을 사용하여 기준 영상 내 차폐영역으로 포함되지 않은 각 화소의 대응점을 대상 영상 내 에피폴라 라인 상에 존재하는 탐색 변이 범위 내 각 화소들 중에서 탐색하게 된다. 이때, 정합 유사도는 널리 쓰이는 NCC(Normalized Cross Correlation), ZNCC(Zero-mean Normalized Cross Correlation, 또는 SSD(Sum of Squared Difference) 중의 어느 하나를 이용하여 계산한다. 그리고 구해진 정합점으로부터 이에 해당하는 변이를 계산한다. 이러한 과정은 다른 스테레오 영상 쌍의 조합이 가능할 경우(3시점 이상의 다시점 영상에 대 한 경우) 다른 스테레오 영상 쌍에 대해서도 반복 수행한다. 한편, 초기 정합시 구해지는 각 화소의 변이정보는 차폐되지 않은 화소의 탐색 범위를 줄이는데 사용될 수 있다. 그러나 차폐영역의 화소를 포함한 정합 결과이므로, 오차가 많을 가능성이 있어 본 발명의 실시예에서는 차폐영역 추출에만 사용하기로 한다.

그리고 상기 변이 선택부(105)에서는 두 개 이상의 스테레오 영상 쌍이 존재할 경우, 한 화소에 대한 여러 변이가 구해질 수 있는데, 이 중 유사도가 가장 높은(또는 컬러 차이가 가장 적은) 대응점의 변이를 최종 변이로 결정하게 된다. 이때, 유사도 값은 각 스테레오 영상의 정합 시에 저장하여 놓았다가 이용하게 된다. 한편, 한 쌍의 스테레오 영상 쌍만이 존재하는 2시점(2-view) 영상의 경우, 하나의 변이 밖에 계산되지 않으므로, 변이 탐색부(104)에서 계산된 변이가 그 화소의 변이로 결정된다.

그리고 상기 차폐영역 처리부(106)에서는 상기 차폐영역 추출부(102)에서 추출된 차폐영역에 포함된 화소의 변이를 구하게 되는데, 이를 위한 방법은 다음과 같다.

먼저, 한 쌍의 스테레오 영상에 대해 차폐된 영역으로 검출된 화소에 대해 이웃하는 다른 스테레오 영상 쌍에서 차폐되지 않은 화소로 판정된 화소가 없는지를 조사한다. 상기 조사 결과, 그러한 화소가 존재하면 카메라 정보를 이용하여 그 화소에 대한 변이를 카메라 정보를 이용하여 변환한 후에, 차폐지역에 대한 변이로 할당하게 된다. 만약, 그러한 화소가 존재하지 않으면, 보간 등 다른 방법을 통하여 주위 화소의 변이에 의해 채워지게 된다. 이때, 카메라 정보는 상기 카메라 보 정부(101)로부터 전달받거나, 기획득되어 저장되어 있는 카메라 정보를 이용하는 등의 방식으로 구현 가능하다.

그리고 상기 양안 또는 다시점 영상 내 각 화소에 대해 계산된 최종 변이는 변이지도 저장부(107)로 전달되어 변이지도 형태의 디지털 영상으로 저장된다. 한편, 부가적으로 상기 변이지도는 카메라 정보를 이용하여 3차원 점 구름이나 3차원 모델로 변환될 수 있다.

도 2는 본 발명에 따른 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합 방법에 대한 일실시예 흐름도로서, 이에 대한 구체적인 동작 방식은 전술한 바와 같으므로 여기서는 주요 동작 과정만을 설명하기로 한다.

첫 번째로, 본 발명에 따른 차폐영역 검출을 이용한 양안 스테레오 정합 방법에 대하여 살펴보면 다음과 같다.

먼저, 양안 영상 입력 및 저장부(100)가 2시점 이상의 카메라로부터 촬영된 양안 영상(비디오)을 입력받아 저장한다(200).

이후, 차폐영역 추출부(102)가 상기 양안 영상 입력 및 저장부(100)에 저장되어 있는 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출한다(202).

이후, 정합창틀 설정부(103)가 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정한다(203).

이후, 변이 탐색부(104)가 상기 정합창틀 설정부(103)에서 설정한 정합창틀 을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색한다(204).

이후, 차폐영역 처리부(106)가 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산한다(206).

이후, 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상으로 변이지도 저장부(107)에 저장(기록)한다(207).

두 번째로, 본 발명에 따른 차폐영역 검출을 이용한 다시점 스테레오 정합 방법에 대하여 살펴보면 다음과 같다.

먼저, 다시점 영상 입력 및 저장부(100)가 3시점 이상의 카메라로부터 촬영된 다시점 영상(비디오)을 입력받아 저장한다(200).

이후, 차폐영역 추출부(102)가 상기 다시점 영상 입력 및 저장부(100)에 저장되어 있는 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출한다(202).

이후, 정합창틀 설정부(103)가 상기 차폐영역 추출부(102)에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀(정합창틀의 크기와 형태)을 설정한다(203).

이후, 변이 탐색부(104)가 상기 정합창틀 설정부(103)에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색한다(204).

이후, 변이 선택부(105)가 두 개 이상의 스테레오 영상 쌍이 존재(3시점 이 상의 경우)함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택한다(205).

이후, 차폐영역 처리부(106)가 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산한다(206).

이후, 상기 차폐영역 처리부(106)에서 계산한 각 화소의 변이를 디지털 영상(비디오)으로 변이지도 저장부(107)에 저장(기록)한다(207).

여기서, 상기 양안 또는 다시점 스테레오 정합 방법은, 카메라 보정부(101)가 상기 각 카메라의 카메라 정보를 추출하는 과정(201)을 더 수행한다(201).

그리고 변이지도 변환부(도면에 도시되지 않음)가 상기 변이지도 저장부(107)에 저장되어 있는 변이지도를 상기 카메라 보정부(101)로부터의 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud) 또는 3차원 모델로 변환하는 과정(도면에 도시되지 않음)을 더 수행할 수 있다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상기와 같은 본 발명은, 좀더 정확하게 차폐영역을 검출하고, 상기 검출한 차폐영역을 이용하여 정합 시에 상기 검출한 차폐영역이 제외된 정합창틀을 설정함으로써, 보다 정확한 변이지도를 얻으면서도 불필요한 계산량을 줄일 수 있는 효과가 있다.

즉, 본 발명은 종래의 양안 또는 다시점 스테레오 정합 방법이 가지는 깊이 불연속이나 차폐영역에서 정확도가 저하되는 문제점을 해결하기 위하여 차폐영역을 초기 정합을 통하여 미리 추출하고, 정합 시에 이러한 차폐영역 내 화소가 정합창틀 내에 포함되지 않도록 정합창틀의 크기 및 형태를 결정함으로써, 3차원 깊이 또는 변이정보의 정확도를 개선할 수 있는 효과가 있다.

또한, 종래의 에지 정보에 기반한 정합창틀 결정 방법에서는 밝기 변화의 차이를 이용함으로써 깊이 불연속(또는 차폐영역)과의 구분이 되지 않았는데, 본 발명에서는 직접 초기 정합을 통하여 차폐영역을 검출함으로써 보다 실제적인 깊이 불연속 지점에 대한 추출이 가능하다.

또한, 이렇게 개선된 변이정보는 3차원 모델링 또는 임의시점 영상 생성에 이용될 수 있으며, 특히 임의시점 영상 생성 시에 영상 깨짐을 줄일 수 있는 효과가 있다.

Claims (21)

1. 스테레오 정합 장치에 있어서,

   2시점 이상의 카메라에서 촬영된 양안 영상(비디오)을 입력받아 저장하기 위한 양안 영상 입력 및 저장 수단;

   상기 양안 영상 입력 및 저장 수단의 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단;

   상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단;

   상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단;

   스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및

   상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이지도 저장 수단

   을 포함하는 스테레오 정합 장치.
2. 스테레오 정합 장치에 있어서,

   3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 입력받아 저장하기 위한 다시점 영상 입력 및 저장 수단;

   상기 다시점 영상 입력 및 저장 수단의 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하기 위한 차폐영역 추출 수단;

   상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하기 위한 정합창틀 설정 수단;

   상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이를 탐색하기 위한 변이 탐색 수단;

   두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하기 위한 변이 선택 수단;

   각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하기 위한 차폐영역 처리 수단; 및

   상기 차폐영역 처리 수단에서 계산한 각 화소의 변이를 저장하기 위한 변이지도 저장 수단

   을 포함하는 스테레오 정합 장치.
3. 제 2 항에 있어서,

   상기 변이 선택 수단은,

   두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 동일점에 대한 변이들을 비교하여 유사도가 가장 높은 스테레오 영상 쌍의 변이를 선택하는 것을 특징으로 하는 스테레오 정합 장치.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

   상기 차폐영역 추출 수단은,

   상기 선택한 스테레오 영상 쌍에 대해 초기 정합을 수행하여 차폐영역을 추출하되,

   상기 초기 정합 시에 단일 크기 및 형태를 가지는 정합창틀을 이용하고 계층구조를 이용하여 저해상도 스테레오 영상에서 차폐영역을 검출하고 이를 상위 단계의 고해상도 영상(원래 해상도 영상)으로 전파하는 것을 특징으로 하는 스테레오 정합 장치.
5. 제 4 항에 있어서,

   상기 차폐영역 추출 수단은,

   기준 영상과 대상 영상을 교대로 바꾸어(좌-우, 우-좌) 정합하였을 때 구해진 두 변이의 차가 미리 정해진 제 1 임계치보다 작은 화소를 차폐영역으로 판단하거나, 구해진 정합점의 유사도 함수 값이 미리 정한 제 2 임계치보다 작은 화소를 차폐영역의 화소로 판단하는 것을 특징으로 하는 스테레오 정합 장치.
6. 제 4 항에 있어서,

   상기 각 카메라의 카메라 정보를 추출하기 위한 카메라 보정 수단; 및

   상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단으로부터의 카메라 정보를 이용하여 3차원 데이터로 변환하기 위한 변이지도 변환 수단

   을 더 포함하는 스테레오 정합 장치.
7. 제 6 항에 있어서,

   상기 변이지도 변환 수단은,

   상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단으로부터의 카메라 정보를 이용하여 3차원 공간상의 점 구름(point cloud)으로 변환하는 것을 특징으로 하는 스테레오 정합 장치.
8. 제 6 항에 있어서,

   상기 변이지도 변환 수단은,

   상기 변이지도 저장 수단으로부터의 변이지도를 상기 카메라 보정 수단으로 부터의 카메라 정보를 이용하여 3차원 모델로 변환하는 것을 특징으로 하는 스테레오 정합 장치.
9. 제 4 항에 있어서,

   상기 정합창틀 설정 수단은,

   상기 차폐영역 추출 수단에서 검출한 차폐영역의 화소가 정합창틀 내에 포함되지 않도록, 상기 차폐영역 추출 수단에서 검출한 차폐영역을 이용하여 두 번째 정합 시에 사용할 정합창틀의 형태와 크기를 결정하는 것을 특징으로 하는 스테레오 정합 장치.
10. 제 9 항에 있어서,

    상기 정합창틀 설정 수단은,

    차폐영역으로 분류되지 않은 정합할 화소에 대해 정합창틀 내 검출된 차폐영역 화소의 분포에 따라 분류하여 하나의 정합창틀을 결정하는 것을 특징으로 하는 스테레오 정합 장치.
11. 제 9 항에 있어서,

    상기 정합창틀 설정 수단은,

    차폐영역으로 분류되지 않은 정합할 화소를 중심으로 상하좌우 4 방향으로 차폐영역을 만날 때까지 창틀 크기를 확장하여 정합창틀의 크기와 형태를 결정하는 것을 특징으로 하는 스테레오 정합 장치.
12. 제 9 항에 있어서,

    상기 정합창틀 설정 수단은,

    차폐영역으로 분류되지 않은 정합할 화소에 대해 정합창틀 내 검출된 차폐영역 화소의 분포에 따라 분류하여 하나의 정합창틀을 결정하며, 차폐영역으로 분류되지 않은 정합할 화소를 중심으로 상하좌우 4 방향으로 차폐영역을 만날 때까지 창틀 크기를 확장하여 정합창틀의 크기와 형태를 결정하는 것을 특징으로 하는 스테레오 정합 장치.
13. 제 9 항에 있어서,

    상기 변이 탐색 수단은,

    상기 정합창틀 설정 수단에서 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색하는 것을 특징으로 하는 스테레오 정합 장치.
14. 제 9 항에 있어서,

    상기 차폐영역 처리 수단은,

    한 쌍의 스테레오 영상에 대해 차폐된 영역으로 검출된 화소에 대해 이웃하는 다른 스테레오 영상 쌍에서 차폐되지 않은 화소로 판정된 화소가 없는지를 조사하여, 그러한 화소가 존재하면 카메라 정보를 이용하여 그 화소에 대한 변이를 카메라 정보를 이용하여 변환한 후에 차폐지역에 대한 변이로 할당하고, 그러한 화소가 존재하지 않으면, 보간과 같은 방법을 통하여 주위 화소의 변이에 의해 획득하는 것을 특징으로 하는 스테레오 정합 장치.
15. 스테레오 정합 방법에 있어서,

    2시점 이상의 카메라에서 촬영된 양안 영상(비디오)을 저장하는 단계;

    상기 저장한 양안 영상에 대한 해당 스테레오 영상 쌍을 정합할 스테레오 영상 쌍으로 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하는 차폐영역 검출 단계;

    상기 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하는 정합창틀 설정 단계;

    상기 설정한 정합창틀을 이용하여 변이를 탐색하는 변이 탐색 단계;

    상기 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하는 변이 계산 단계; 및

    상기 계산한 각 화소의 변이를 저장하는 단계

    를 포함하는 스테레오 정합 방법.
16. 스테레오 정합 방법에 있어서,

    3시점 이상의 카메라에서 촬영된 다시점 영상(비디오)을 저장하는 단계;

    상기 저장한 다시점 영상 중에서 정합할 스테레오 영상 쌍을 선택하고, 상기 선택한 스테레오 영상 쌍으로부터 차폐영역을 검출하는 차폐영역 검출 단계;

    상기 검출한 차폐영역의 화소를 제외한 화소에 대해 차폐영역을 포함하지 않도록 정합창틀을 설정하는 정합창틀 설정 단계;

    상기 설정한 정합창틀을 이용하여 변이를 탐색하는 변이 탐색 단계;

    두 개 이상의 스테레오 영상 쌍이 존재함에 따라, 각 스테레오 영상 쌍으로부터 얻어진 변이들을 비교하여 선택하는 변이 선택 단계;

    상기 각 스테레오 영상 쌍에 대한 차폐영역 화소의 변이를 계산하는 변이 계산 단계; 및

    상기 계산한 각 화소의 변이를 저장하는 단계

    를 포함하는 스테레오 정합 방법.
17. 제 15 항 내지 제 16 항 중 어느 한 항에 있어서,

    상기 차폐영역 추출 단계는,

    상기 선택한 스테레오 영상 쌍에 대해 초기 정합을 수행하여 차폐영역을 추출하되,

    상기 초기 정합 시에 단일 크기 및 형태를 가지는 정합창틀을 이용하고 계층구조를 이용하여 저해상도 스테레오 영상에서 차폐영역을 검출하고 이를 상위 과정의 고해상도 영상(원래 해상도 영상)으로 전파하는 것을 특징으로 하는 스테레오 정합 방법.
18. 제 17 항에 있어서,

    상기 각 카메라의 카메라 정보를 추출하는 단계; 및

    상기 저장한 변이지도를 상기 카메라 정보를 이용하여 3차원 데이터로 변환하는 변이지도 변환 단계

    를 더 포함하는 스테레오 정합 방법.
19. 제 17 항에 있어서,

    상기 정합창틀 설정 단계는,

    상기 검출한 차폐영역의 화소가 정합창틀 내에 포함되지 않도록, 상기 검출 한 차폐영역을 이용하여 두 번째 정합 시에 사용할 정합창틀의 형태와 크기를 결정하는 것을 특징으로 하는 스테레오 정합 방법.
20. 제 17 항에 있어서,

    상기 변이 탐색 단계는,

    상기 설정한 정합창틀을 이용하여 변이 탐색 범위 내에서 스테레오 영상의 화소 간에 유사도가 가장 높은 변이를 탐색하는 것을 특징으로 하는 스테레오 정합 방법.
21. 제 17 항에 있어서,

    상기 변이 계산 단계는,

    한 쌍의 스테레오 영상에 대해 차폐된 영역으로 검출된 화소에 대해 이웃하는 다른 스테레오 영상 쌍에서 차폐되지 않은 화소로 판정된 화소가 없는지를 조사하는 과정;

    상기 조사 결과, 해당하는 화소가 존재하면 카메라 정보를 이용하여 그 화소에 대한 변이를 카메라 정보를 이용하여 변환한 후에 차폐지역에 대한 변이로 할당하는 과정; 및

    상기 조사 결과, 해당하는 화소가 존재하지 않으면, 보간과 같은 방법을 통 하여 주위 화소의 변이에 의해 획득하는 과정

    을 포함하는 스테레오 정합 방법.

Images