KR100489894B1 - 양안식 스테레오 영상의 카메라 광축 간격 조절 장치 및그 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 양안식 스테레오 영상의 카메라 광축 간격 조절 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 이미 촬영된 두 장의 양안식 스테레오 영상으로부터 얻어진 변이 지도를 이용하여 영상 처리를 통해 광축 간격이 조절될 임의 시점 영상을 생성하기 위한 카메라 광축 간격 조절 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.

3. 발명의 해결방법의 요지

본 발명은, 양안식 스테레오 영상의 카메라 광축 간격 조절 장치에 있어서, 외부로부터 양안식 스테레오 영상을 입력받기 위한 스테레오 영상 입력 수단; 상기 스테레오 영상 입력 수단으로부터 입력받은 양안식 스테레오 영상을 여러 계층으로 분할한 후 각 계층의 양안식 스테레오 영상간의 대응점을 탐색하여 계층적 변이 지도를 생성하기 위한 계층적 변이 지도 생성 수단; 상기 계층적 변이 지도 생성 수단에서 생성된 계층적 변이 지도에서 차폐 영역을 검출하여 보간하기 위한 차폐영역 검출 및 보간 수단; 및 상기 차폐영역 검출 및 보간 수단에서 차폐 영역이 보간된 변이 지도로부터 광축 간격이 조절된 임의 시점 스테레오 영상을 생성하기 위한 광축 간격 조절 영상 생성 수단을 포함함.

4. 발명의 중요한 용도

본 발명은 양안식 스테레오 영상의 카메라 광축 간격 조절 등에 이용됨.

Description

양안식 스테레오 영상의 카메라 광축 간격 조절 장치 및 그 방법{Apparatus and its method for virtual conrtol baseline stretch of binocular stereo images}

본 발명은, 양안식 스테레오 영상의 카메라 광축 간격 조절 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

광축 위치 조절은 원래 광학 분야의 기술이다. 그러나, HDTV와 같은 고화질을 다루는 양안식 스테레오 카메라에서는 렌즈 크기로 인해 사람의 동공 간격에 렌즈 중심을 위치시킬 수 없으므로, 임의 시점의 광축 조절 영상 생성 방법을 통하여 이러한 문제점을 해결하여 편안하고 자연스러운 입체감을 줄 필요가 있다.

도 1 은 일반적인 양안식 카메라 광축 간격 조절에 대한 개념을 설명하는 설명도이다.

도 1 에 도시된 바와 같이, 원 영상에서는 보이지만, 가상적인 영상인 임의시점 영상에서는 가려지는 부분이 생길 수 있으며, 반대로 없던 부분이 새로이 생겨나는 부분들이 생길 수도 있다. 따라서, 광축 간격이 조절된 임의 시점 영상을 생성하기 위해 단순히 화소를 좌우로 움직이는 것만으로 자연스러운 3차원적인 입체감을 주기에는 몇 가지 문제점이 있다. 하나는 차폐 영역으로서, 좌우 영상에서 동일하게 존재하지 않는 영역이며, 이는 변이 지도 추출시 문제가 된다. 또 다른 하나는 변이 미계산 지역으로써 임의 시점 영상에 카메라가 위치하였을 때, 원 영상에서는 보이지 않던, 새로이 나타나는 영상 부분으로 가상 시점 영상의 합성시 문제가 된다.

또한, 고화질의 양안식 카메라에서는 렌즈의 크기가 크기 때문에 렌즈의 중심 사이의 거리, 즉 카메라 광축 간격이 사람의 동공 간격인 65mm를 초과하게 되며, 이에 따라 취득한 입체 영상은 피사체의 크기가 축소되어 보이는 푸펫 극장(Puppet Theater) 효과라는 부자연스러운 왜곡 현상을 보인다.

상기의 문제점을 해결하기 위해서는 영상 전체에 걸친 정확한 변이 지도(depth map)가 필요하다. 이러한 분야의 종래 기술로서 박종일(JongIl, Park)과 세키 이노우에(Seiki Inoue)에 의해 제안된 다안식 카메라를 이용한 변이 지도 추정 방법이 있으나, 이 기술은 카메라가 세 대 이상인 경우에만 적용 가능한 방법이며, 카메라가 2대일 경우에는 차폐 영역(occlusion : 좌우 영상에서 동일하게 존재하지 않는 영역)의 발생으로 오류를 많이 발생시키는 문제점을 가지고 있다. 또한, 임의 시점 영상 생성 방법으로서 박종일, 양경호 등의 다시점 영상을 이용한 임의 시점 영상 생성 방법이 발표되었으나, 이 방법 또한 다안식 영상을 이용하기 때문에 이를 양안식 영상에 적용하기 위해서는 차폐 영역의 검출이 필요하다.

본 발명은, 상기 문제점을 해결하기 위하여 제안된 것으로, 이미 촬영된 두 장의 양안식 스테레오 영상으로부터 얻어진 변이 지도를 이용하여 영상 처리를 통해 광축 간격이 조절될 임의 시점 영상을 생성하기 위한 카메라 광축 간격 조절 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 장치는, 양안식 스테레오 영상의 카메라 광축 간격 조절 장치에 있어서, 외부로부터 양안식 스테레오 영상을 입력받기 위한 스테레오 영상 입력 수단; 상기 스테레오 영상 입력 수단으로부터 입력받은 양안식 스테레오 영상을 여러 계층으로 분할한 후 각 계층의 양안식 스테레오 영상간의 대응점을 탐색하여 계층적 변이 지도를 생성하기 위한 계층적 변이 지도 생성 수단; 상기 계층적 변이 지도 생성 수단에서 생성된 계층적 변이 지도에서 차폐 영역을 검출하여 보간하기 위한 차폐영역 검출 및 보간 수단; 및 상기 차폐영역 검출 및 보간 수단에서 차폐 영역이 보간된 변이 지도로부터 광축 간격이 조절된 임의 시점 스테레오 영상을 생성하기 위한 광축 간격 조절 영상 생성 수단을 포함하는 것을 특징으로 한다.

한편, 본 발명의 방법은, 양안식 스테레오 영상의 카메라 광축 간격 조절 장치에 적용되는 카메라 광축 간격 조절 방법에 있어서, 외부의 좌우 스테레오 카메라로부터 양안식 스테레오 영상을 입력받는 제 1 단계; 상기 입력받은 양안식 스테레오 영상을 여러 계층으로 분할한 후 각 계층의 양안식 스테레오 영상간의 대응점을 탐색하여 계층적 변이 지도를 생성하는 제 2 단계; 상기 생성된 계층적 변이 지도에서 차폐 영역을 검출하여 보간하는 제 3 단계; 및 상기 차폐 영역이 보간된 변이 지도로부터 광축 간격이 조절된 임의 시점 스테레오 영상을 생성하는 제 4 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명은, 프로세서를 구비한 양안식 스테레오 영상의 카메라 광축 간격 조절 장치에, 외부의 좌우 스테레오 카메라로부터 양안식 스테레오 영상을 입력받는 제 1 기능; 상기 입력받은 양안식 스테레오 영상을 여러 계층으로 분할한 후 각 계층의 양안식 스테레오 영상간의 대응점을 탐색하여 계층적 변이 지도를 생성하는 제 2 기능; 상기 생성된 계층적 변이 지도에서 차폐 영역을 검출하여 보간하는 제 3 기능; 및 상기 차폐 영역이 보간된 변이 지도로부터 광축 간격이 조절된 임의 시점 스테레오 영상을 생성하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 2 는 본 발명에 따른 양안식 스테레오 영상의 카메라 광축 간격 조절 장치의 일실시예 상세 구성도이다.

도 2 에 도시된 바와 같이, 본 발명에 따른 양안식 스테레오 영상의 카메라 광축 간격 조절 장치는, 좌우 스테레오 카메라로부터 촬영된 좌우 스테레오 영상을 입력받기 위한 스테레오 영상 입력부(210), 상기 스테레오 영상 입력부(210)로부터 입력받은 좌우 스테레오 영상을 여러 계층으로 분할한 후 각 계층의 좌우 스테레오 영상간의 대응점을 탐색하여 계층적 변이 지도를 생성하기 위한 계층적 변이 지도 생성부(220), 상기 계층적 변이 지도 생성부(220)에서 생성된 계층적 변이 지도에서 차폐 영역을 검출하여 보간하기 위한 차폐영역 검출 및 보간부(230), 및 상기 차폐영역 검출 및 보간부(230)에서 차폐 영역이 보간된 변이 지도로부터 광축 간격이 조절된 임의 시점 스테레오 영상을 생성하기 위한 광축 간격 조절 영상 생성부(240)를 포함한다.

다음으로, 상기 각 구성부의 기능을 좀 더 상세히 살펴보면 다음과 같다.

먼저, 스테레오 영상 입력부(210)는 양안식 스테레오 카메라로부터 촬영된 영상을 입력받아 필요한 경우 카메라 보정을 하여 에피폴라 선(epipolar line)을 정렬한 후, 상기 영상을 계층적 변이 지도 생성(Hierarchical Disparity Estimation)부(220)로 전달해주는 역할을 수행한다.

한편, 도 3 에 도시된 바와 같이, 계층적 변이 지도 생성부(220)에서는 입력된 좌우 스테레오 영상을 가우시안 저역 통과 필터(Gaussian low-pass filter)와 축소(Decimation) 기법을 이용해 여러 계층으로 만든 후, 가장 해상도가 낮은 계층에서부터 좌우 영상간의 변이 추출을 수행하여 이 결과를 해상도가 높은 계층으로 전달함으로써 수행 시간이 빠르면서도 정확한 변이 지도를 구한다.

가장 해상도가 낮은 계층(최상위 계층)에서는 에피폴라 선(epipolar line)상에서 주어진 한쪽(좌측 또는 우측) 영상을 기준으로 정하고 이 기준 영상의 각 화소에 대하여 다른쪽 탐색 영상에서의 후보 탐색 범위 안에서 전역 탐색 블록 정합(full searching block matching)을 사용하여 대응점을 찾는다.

전역 탐색 블록 정합을 수행하는 방법에는 크게 두가지 방법이 있다.

첫번째 방법은 기존의 블록 정합 방법으로서 좌우 영상에 지금 정합하고 있는 기준 영상내 화소와 대응점이 있는 탐색 영상내 화소를 중심으로 사각형 창틀을 설정하고, 이 창틀내에서 SDA(Sum of Absolute Difference), SSD(Sun of Square Difference), NCC(Normalized Cross Correlation) 등의 유사도 척도(Similarity Measure)를 계산하여 이 값이 최소나 최대가 되는 화소를 대응점으로 선택하는 방법이다.

두번째 방법은, 정합 화소의 중심에 창틀을 설정하는 기존의 블록 정합 방법 대신, 도 4 에 도시된 바와 같은 다중 창틀을 화소 주위에 설정하고 각 창틀에 대해 기존의 블록 정합 방법에서 사용한 것과 동일한 유사도 척도를 계산한 다음, 여러 창틀들 중에 선택된 후보 정합쌍들중 유사도가 가장 높은 정합쌍을 선택하여 대응점을 찾는 적응적 다중 창틀 정합 방법이다. 이러한 적응적 다중 창틀 정합을 적용하여 여러 창틀들 중 최적의 정합쌍을 선택함으로써, 훨씬 정확한 변이 지도를 구할 수 있다. 도 4 의 실시예 중에서는 3가지 정합창 가운데 상단에 있는 창이 가장 좋은 정합 결과를 보일 수 있을 것이다.

본 발명의 실시예에서는 정합하기 전에 미리 에지(edge) 추출을 수행하여 추출된 에지 부분에서만 적응적 창틀을 이용한 방법을 사용하고, 에지가 아닌 부분에서는 기존의 블록 정합 방법을 사용하였다. 에지 검출에 필요한 계산량은 정합의 계산량에 비해 훨씬 적으므로 적응적 다중 창틀 정합 방법을 도입함으로써 계산량을 많이 줄일 수 있다. 이 과정은 기준 영상내의 모든 화소들에 대하여 반복된다.

이렇게 얻어진 최상위 계층의 변이 정보를 이용하여 다음 하위 계층에서 변이를 탐색하는 경우에는, 후보 탐색 영역을 탐색할 때 모든 영역을 탐색하는 대신 상위 계층에서 얻어진 변이를 2배하였을 때의 위치를 중심으로 주위의 2 내지 3화소들에 대해서만 탐색을 수행한다. 이렇게 함으로써 하위 계층에서의 탐색시간을 줄일 수 있게 된다. 이러한 정합(대응점 탐색) 과정을 최하위 계층(원래의 영상)까지 반복하여 대응점을 찾은 후 모든 화소에 대한 변이를 얻는다.

이 과정에서 좌우 어느 한쪽 카메라에서만 보이고, 다른쪽 카메라에서는 보이지 않는 차폐 영역(OA : Occlusion Areas)이 발생할 수 있는데, 이러한 차폐 영역의 변이는 차폐 영역을 검출하여 차폐 영역 주위 화소의 변이 정보를 보간하여 얻을 수 있다.

도 5 는 본 발명에 따른 양안식 스테레오 영상의 카메라 광축 간격 조절 방법에 있어서 스테레오 정합 중 차폐 영역에 대한 처리 방식(Strategy)을 설명하는 설명도이다. 상기 차폐 영역 검출 및 보간부(230)에서는 차폐 영역을 검출하고, 그에 따라 배경의 깊이 값을 보간한다. 차폐 영역 검출 및 보간부(230)의 상세한 동작은 다음과 같다.

우선, 기준 영상을 왼쪽 영상으로 하여 오른쪽 영상에서 대응점을 찾았을 경우의 변이값과 상기 구해진 오른쪽 영상내의 정합점(대응점)을 기준으로 하여 왼쪽 영상에서 그 대응점을 찾았을 경우의 변이값을 비교하여 그 차이가 일정한 문턱값(threshold value)을 넘으면 차폐영역이라고 판단한다. 마찬가지로, 오른쪽 영상에 대해서도 같은 과정을 수행한다. 이러한 영역은 앞에 있는 물체에 의해 가려진 배경 영역이라고 볼 수 있으므로 에피폴라 선을 따라 배경의 변이값을 보간하게 된다. 이렇게 하여 정확도가 개선된 변이 지도를 얻을 수 있다.

한편, 광축 간격 조절 영상 생성부(240)에서는 변이 지도로부터 광축 조절된 영상을 생성하게 되는데, 이 때 기준 영상으로부터 다른쪽 영상으로의 정방향 사상만을 수행할 경우에는 새로이 생겨나는 영역에서 변이 미계산 지역이 발생한다. 이러한 변이 미계산 지역을 해결하기 위한 방법이 도 6 에 도시되어 있으며, 이를 상세히 설명하면 다음과 같다.

우선, 변이 미계산 지역 주위 화소의 변이값을 이용하여 에피폴라 선을 따라 선형 보간을 수행하여 변이 미계산 지역에 대한 변이를 보간한다. 다음으로, 점 P에 대해 이렇게 얻은 변이값을 이용하여 반대편 카메라의 정합되는 점 P'로부터 화소값을 역 방향 사상함으로써 적절한 화소값을 구할 수 있다. 단, 이 때 P'가 차폐영역에 속하지 않는다면 그 카메라에서만 보이는 고유영역이라고 볼 수 없으므로 주변 화소로부터 공간 보간하여 화소값을 구한다. 이와 같이 정방향 사상과 변이 미계산 지역에 대한 역방향 사상 및 보간에 의해 임의 시점에서의 광축 간격이 조절된 영상 생성(view synthesis)이 이루어지게 된다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기와 같은 본 발명은, 양안 스테레오 영상으로부터 정확한 변이 지도의 추출을 가능하게 하고 상기 변이 지도를 이용하여 광축 조절된 임의 시점 영상 생성을 가능하게 하여, 결국 양안 스테레오 영상의 광축을 자유로이 조절할 수 있게 함으로써, 사람의 시각에 적합하고, 피로가 적은 자연스러운 삼차원 입체 영상을 얻을 수 있는 효과가 있다.

도 1 은 일반적인 양안식 카메라 광축 간격 조절에 대한 개념을 설명하는 설명도.

도 2 는 본 발명에 따른 양안식 스테레오 영상의 카메라 광축 간격 조절 장치의 일실시예 구성도.

도 3 은 본 발명에 따른 양안식 스테레오 영상의 카메라 광축 간격 조절 방법에 있어서 스테레오 정합(Stereo Matching) 중 계층적 변이 추정(Hierarchical Disparity Estimation) 과정에 대한 일예시도.

도 4 는 본 발명에 따른 양안식 스테레오 영상의 카메라 광축 간격 조절 방법에 있어서 스테레오 정합 중 적응적 다중 창틀 정합(Adaptive Multi-Window Matching)의 개념을 설명하는 설명도.

도 5 는 본 발명에 따른 양안식 스테레오 영상의 카메라 광축 간격 조절 방법에 있어서 스테레오 정합 중 차폐 영역(OA : occlusion areas)에 대한 처리 방식 (Strategy)을 설명하는 설명도.

도 6 은 본 발명에 따른 양안식 스테레오 영상의 카메라 광축 간격 조절 방법에 있어서 시점 합성(view synthesis) 중 변이 미계산 영역(uncovered area) 표시와 해결방안에 대한 개념을 설명하는 설명도.

* 도면의 주요 부분에 대한 부호의 설명

210 : 스테레오 영상 입력부 220 : 계층적 변이 지도 생성부

230 : 차폐영역 검출 및 보간부 240 : 광축 간격 조절 영상 생성부

Claims (11)

1. 양안식 스테레오 영상의 카메라 광축 간격 조절 장치에 있어서,

   외부로부터 양안식 스테레오 영상을 입력받기 위한 스테레오 영상 입력 수단;

   상기 스테레오 영상 입력 수단으로부터 입력받은 양안식 스테레오 영상을 여러 계층으로 분할한 후 각 계층의 양안식 스테레오 영상간의 대응점을 탐색하여 계층적 변이 지도를 생성하기 위한 계층적 변이 지도 생성 수단;

   상기 계층적 변이 지도 생성 수단에서 생성된 계층적 변이 지도에서 차폐 영역을 검출하여 보간하기 위한 차폐영역 검출 및 보간 수단; 및

   상기 차폐영역 검출 및 보간 수단에서 차폐 영역이 보간된 변이 지도로부터 광축 간격이 조절된 임의 시점 스테레오 영상을 생성하기 위한 광축 간격 조절 영상 생성 수단

   을 포함하는 양안식 스테레오 영상의 카메라 광축 간격 조절 장치.
2. 제 1 항에 있어서,

   상기 계층적 변이 지도 생성 수단은,

   상기 입력된 양안식 스테레오 영상의 좌우 영상을 저역 통과 필터링(low pass filtering)과 축소(Decimation)를 통해 여러 해상도를 갖는 계층 영상으로 분할한 후, 에피폴라 선(epipolar line)상에서의 전역 탐색 블록 정합(full searching block matching)을 이용하여 대응점을 찾아 계층적 변이 지도를 생성하는 것을 특징으로 하는 양안식 스테레오 영상의 카메라 광축 간격 조절 장치.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 계층적 변이 지도 생성 수단은,

   에지(edge)가 존재하는 영역에 대해서는 적응적 다중 창틀 정합을 적용하는 것을 특징으로 하는 양안식 스테레오 영상의 카메라 광축 간격 조절 장치.
4. 제 4 항에 있어서,

   상기 차폐 영역 검출 및 보간 수단은,

   상기 양안식 스테레오 영상 중 한쪽 영상의 변이값과 이를 이용해 구한 다른 쪽 영상의 정합되는 위치에서의 변이값을 비교하여 차폐 영역을 검출한 후, 에피폴라 선을 따라 배경의 깊이 값을 보간하여 상기 차폐 영역의 변이값을 보간하는 것을 특징으로 하는 양안식 스테레오 영상의 카메라 광축 간격 조절 장치.
5. 제 4 항에 있어서,

   상기 광축 간격 조절 영상 생성 수단은,

   상기 차폐영역 검출 및 보간 수단에서 차폐 영역이 보간된 변이 지도를 이용하여 정방향 사상을 수행하고, 변이 미계산 지역에 대해서는 역방향 사상 및 공간 보간을 수행하여 화소값을 구하는 것을 특징으로 하는 양안식 스테레오 영상의 카메라 광축 간격 조절 장치.
6. 양안식 스테레오 영상의 카메라 광축 간격 조절 장치에 적용되는 카메라 광축 간격 조절 방법에 있어서,

   외부의 좌우 스테레오 카메라로부터 양안식 스테레오 영상을 입력받는 제 1 단계;

   상기 입력받은 양안식 스테레오 영상을 여러 계층으로 분할한 후 각 계층의 양안식 스테레오 영상간의 대응점을 탐색하여 계층적 변이 지도를 생성하는 제 2 단계;

   상기 생성된 계층적 변이 지도에서 차폐 영역을 검출하여 보간하는 제 3 단계; 및

   상기 차폐 영역이 보간된 변이 지도로부터 광축 간격이 조절된 임의 시점 스테레오 영상을 생성하는 제 4 단계

   를 포함하는 양안식 스테레오 영상의 카메라 광축 간격 조절 방법.
7. 제 6 항에 있어서,

   상기 제 2 단계는,

   상기 양안식 스테레오 영상의 좌우 영상을 저역 통과 필터링(low pass filtering)과 축소(Decimation)를 통해 여러 해상도를 갖는 계층 영상으로 분할하는 제 5 단계;

   상기 분할된 여러 해상도의 계층 영상에 대해 저해상도 계층 영상으로부터 고해상도의 계층 영상순으로 에피폴라 선(epipolar line)상에서의 전역 탐색 블록 정합(full searching block matching)을 이용하여 대응점을 찾는 제 6 단계; 및

   상기 찾아진 대응점에 대해 그 변이값을 구하여 변이 지도를 생성하는 제 7 단계

   를 포함하는 양안식 스테레오 영상의 카메라 광축 간격 조절 방법.
8. 제 7 항에 있어서,

   상기 제 6 단계에서 전역 탐색 블록 정합을 이용하여 대응점을 찾는 과정은,

   에지(edge)가 존재하는 영역에 대해서 적응적 다중 창틀 정합을 적용하여 대응점을 찾는 것을 특징으로 하는 양안식 스테레오 영상의 카메라 광축 간격 조절 방법.
9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,

   상기 제 3 단계는,

   상기 양안식 스테레오 영상중 한쪽 영상의 변이값과 이를 이용해 구한 다른 쪽 영상의 정합되는 위치에서의 변이값을 비교하여 차폐 영역을 검출하는 제 8 단계; 및

   상기 검출된 차폐 영역에 대해 에피폴라 선을 따라 배경의 깊이 값을 보간하여 상기 차폐 영역의 변이값을 보간하는 제 9 단계

   를 포함하는 양안식 스테레오 영상의 카메라 광축 간격 조절 방법.
10. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,

    상기 제 4 단계는,

    상기 차폐 영역이 보간된 변이 지도를 이용하여 기준 영상으로부터 다른쪽 영상으로 정방향 사상하는 제 8 단계;

    상기 정방향 사상을 수행한 후 발생된 변이 미계산 지역 주위 화소의 변이값을 이용하여 에피폴라 선을 따라 선형 보간을 수행하여 변이 미계산 지역에 대한 변이를 보간하는 제 9 단계;

    상기 보간된 변이값을 이용하여 다른쪽 영상의 대응점의 화소값을 역방향 사상하는 제 10 단계; 및

    상기 다른쪽 영상의 대응점이 차폐 영역에 속하지 않는 경우 주변 화소로부터 공간 보간하는 제 11 단계; 및

    상기 정방향 사상과 역방향 사상 및 공간 보간을 통해 화소값을 구하여 광축 간격이 조절된 임의 시점의 영상을 생성하는 제 12 단계

    를 포함하는 양안식 스테레오 영상의 카메라 광축 간격 조절 방법.
11. 프로세서를 구비한 양안식 스테레오 영상의 카메라 광축 간격 조절 장치에,

    외부의 좌우 스테레오 카메라로부터 양안식 스테레오 영상을 입력받는 제 1 기능;

    상기 입력받은 양안식 스테레오 영상을 여러 계층으로 분할한 후 각 계층의 양안식 스테레오 영상간의 대응점을 탐색하여 계층적 변이 지도를 생성하는 제 2 기능;

    상기 생성된 계층적 변이 지도에서 차폐 영역을 검출하여 보간하는 제 3 기능; 및

    상기 차폐 영역이 보간된 변이 지도로부터 광축 간격이 조절된 임의 시점 스테레오 영상을 생성하는 제 4 기능

    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.