KR20060115237A - 에지투영을 이용한 스테레오 매칭방법 - Google Patents

Abstract

본 발명은 에지투영(edge projection)을 이용한 스테레오 매칭방법에 관한 것으로, 특히 2대의 카메라를 이용하여 3차원 복원을 수행하는 스테레오 분야 중에서 2장의 이미지 상에서의 대응점을 찾기 위한 방법에 관한 것이다.

본 발명의 에지투영을 이용한 스테레오 매칭방법은 입력화상에서 각각의 픽셀에 대해 에지정보를 구하는 제1단계; 상기 에지정보를 이용하여 수평 에지투영을 위하여 수평 방향으로 에지크기를 누적하고, 수직 에지투영을 위하여 수직 방향으로 에지크기를 누적하는 제2단계; 상기 입력화상의 한 지점에서 일정한 크기를 가지는 윈도우 내에서 수평 및 수직 방향으로 에지투영성분을 구하는 제3단계; 및 상기 에지투영성분을 이용하여 왼쪽 화상과 오른쪽 화상의 비교를 통해 스테레오 매칭을 수행하는 제4단계;를 포함하는 것을 특징으로 한다.

스테레오, 매칭, 에지투영, 3차원

Description

에지투영을 이용한 스테레오 매칭방법{The stereo matching method using edge projection}

도 1은 종래의 국소영역 기반의 밝기값을 이용한 전통적인 매칭방법을 나타낸 도면이다.

도 2는 본 발명의 국소영역의 수직 및 수평 상의 에지투영정보를 이용한 스테레오 매칭방법을 나타낸 도면이다.

도 3은 본 발명의 수직방향으로 에지투영정보를 이용하여 원하는 지점에서 임의의 크기를 가지는 윈도우 내에서 에지투영정보를 구하는 것을 나타낸 도면이다.

도 4는 본 발명의 수평방향으로 에지투영정보를 이용하여 원하는 지점에서 임의의 크기를 가지는 윈도우 내에서 에지투영정보를 구하는 것을 나타낸 도면이다.

본 발명은 에지투영(edge projection)을 이용한 스테레오 매칭방법에 관한 것으로, 특히 2대의 카메라를 이용하여 3차원 복원을 수행하는 스테레오 분야 중에서 2장의 이미지 상에서의 대응점을 찾기 위한 방법에 관한 것이다.

카메라를 이용한 화상의 3차원 복구는 컴퓨터 시각(computer vision)에서 면밀히 연구된 주제이다. 이러한 정보는 로봇 네비게이션(robot navigation), 증가된 실체 및 인간 컴퓨터 상호작용과 같은 다양한 분야에서 사용될 수 있다. 대부분의 접근들은 스테레오 시스템에 기반하고 있다. 렌더링(rendering)에 기반한 이미지와 같은 최근의 흥미진진한 응용들은 각 픽셀의 매칭을 요구한다.

스테레오 시스템들을 이용한 3차원 복구를 위한 전형적인 접근들은 다음과 같다.

먼저, 각 카메라는 알려진 보정박스의 3차원 좌표와 보정 포인트의 2차원 이미지 포인트 사이의 매칭을 이용하여 보정된다. 이때, 같은 행 위에 매칭을 갖는 조정된 이미지들이 얻어진다. 결국, 3차원 복구는 스테레오 매칭을 이용하여 행해진다.

도 1은 종래의 국소영역 기반의 밝기값을 이용한 전통적인 매칭방법을 나타낸 도면이다. 도 1에 도시된 바와 같이, 로컬영역에 기반한 스테레오 매칭 알고리즘은 내재적인 문제가 2차원이 되도록하는 비용견적을 위하여 윈도우 내의 각 픽셀을 사용한다.

상기와 같은 전통적인 스테레오 매칭방법은 일정한 크기의 윈도우 내의 밝기값을 비교하는 방법인데, 윈도우 크기의 증가에 따라 계산시간이 증가하는 문제점 이 있다.

이에 본 발명은 상기 문제점을 해결하기 위한 것으로써, 국소영역 기반의 전통적인 밝기값을 이용한 매칭방법과 동일한 성능을 보장하면서 계산시간의 단축이 가능한 에지투영정보를 이용한 스테레오 매칭방법을 제공하는 것을 목적으로 한다.

본 발명은 입력화상에서 각각의 픽셀에 대해 에지정보를 구하는 제1단계; 상기 에지정보를 이용하여 수평 에지투영을 위하여 수평 방향으로 에지크기를 누적하고, 수직 에지투영을 위하여 수직 방향으로 에지크기를 누적하는 제2단계; 상기 입력화상의 한 지점에서 일정한 크기를 가지는 윈도우 내에서 수평 및 수직 방향으로 에지투영성분을 구하는 제3단계; 및 상기 에지투영성분을 이용하여 왼쪽 화상과 오른쪽 화상의 비교를 통해 스테레오 매칭을 수행하는 제4단계;를 포함하는 에지투영을 이용한 스테레오 매칭방법을 제시한다.

이하, 본 발명의 실시예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.

도 2는 본 발명의 국소영역의 수직 및 수평 상의 에지투영정보를 이용한 스테레오 매칭방법을 나타낸 도면이다. 도 2에 도시된 바와 같이, 본 발명에서는 로컬 윈도우 내에서 수평 및 수직 방향을 따라 2개의 에지투영을 이용한 매칭을 제시 한다. 그렇게 함으로써, 문제를 1차원으로 줄일 수 있다. 또한, 에지는 로컬 조명변화에 조화될 수 있는 밝기를 이용한 것과 비교되는 매칭에 있어 우선적인 특징을 갖는다.

도 3은 본 발명의 수직방향으로 에지투영정보를 이용하여 원하는 지점에서 임의의 크기를 가지는 윈도우 내에서 에지투영정보를 구하는 것을 나타낸 도면이다고, 도 4는 본 발명의 수평방향으로 에지투영정보를 이용하여 원하는 지점에서 임의의 크기를 가지는 윈도우 내에서 에지투영정보를 구하는 것을 나타낸 도면이다. 도 3과 도 4에 도시된 바와 같이, 에지투영정보를 구하는 방법을 수학식 1, 수학식 2 및 수학식 3을 이용하여 살펴보기로 한다.

먼저, 수평 에지투영을 위하여 수평 방향으로 에지크기를 누적하고, 수직 에지투영을 위하여 수직 방향으로 에지크기를 누적하는데, 좌측과 우측의 이미지 상에 Sobel 에지 연산자(edge operator)를 적용한다. 수평과 수직 방향에 따라 에지크기를 누적한 후에, 2개의 값이 누적된 에지값을 간단히 차감함으로써 임의의 위치의 에지투영값을 간단히 얻을 수 있다.

E(i, j)를 (i, j)의 픽셀위치에서 에지크기라 하면, E(i, j)는 수학식 1과 같다.

E(i, j)=abs{I_y(i, j)} + abs{I_y(i, j)}

여기서, abs{I_y(i, j)} + abs{I_y(i, j)}는 x와 y 방향의 Sobel 연산자에 의한 에지크기를 나타낸다. 마스크 크기로는 n ×n이 사용되는데, 본 발명에서는 3 ×3인 마스크 크기(mask magnitude)가 사용되었다. 수평과 수직 방향의 누적된 에지크기는 수학식 2와 같이 정의된다.

여기서, AE_X(i, j)와 AE_y(i, j)는 x와 y 방향에 따른 누적된 에지크기이다.

상기 누적된 에지를 이용하여 ROI(Region of Interest)의 에지투영을 수학식 3과 같이 간단히 계산할 수 있다.

EP_X(i, j) = AE_X(i+h, j)-AE_X(i-h, j)

EP_y(i, j) = AE_y(i, j+h)-AE_y(i, j-h)

여기서, EP_X(i, j)는 2h+1의 높이를 갖는 수평 방향에 따른 에지투영이고, EP_y(i, j)는 2h+1의 너비를 갖는 수직 방향에 따른 에지투영이다.

상기 내용을 정리하면, 도 3과 도 4를 원활하게 구현하기 위해 먼저 각각의 이미지에서 각 픽셀마다 에지정보를 구한 후에 수평 방향과 수직 방향으로 각각 위쪽과 왼쪽의 에지값을 누적한다. 상기와 같이 누적된 이미지 상에서 도 3과 도 4의 방식을 이용하는 경우에 임의의 이미지 상의 지점에서 임의의 크기를 가지는 매칭후보영역 내에서의 에지투영값을 2번만의 뺄셈 연산으로 구하는 것이 가능하게 된다.

매칭의 판단은 일정한 크기 내의 윈도 내에서 각각 수평 및 수직 방향의 에지투영의 크기를 왼쪽 이미지와 오른쪽 이미지 상에서 판단하여 최소의 값을 가지는 지점으로 선택한다. 또한, 계산시간의 감소를 위해 이를 피라미드 상에서 구현하도록 한다. 최상위의 피라미드 레벨에서는 모든 지점에 대해 에지투영을 이용하여 매칭후보점을 찾도록 하며, 이후의 피라미드 레벨에서의 바로 상위의 피라미드 레벨에서 찾아진 지점의 좌우를 탐색하여 매칭후보점을 찾도록 한다.

이상에서 설명한 내용을 통해 본 업에 종사하는 당업자라면 본 발명의 기술사상을 이탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용만으로 한정되는 것이 아니라 특허청구범위에 의하여 정해져야 한다.

이상에서와 같이 본 발명에 의한 에지투영(edge projection)을 이용한 스테레오 매칭방법은 에지투영정보를 이용하여 종래의 밝기값을 이용한 스테레오 매칭방법과 동일한 성능을 가지면서 계산시간을 감소시킬 수 있는 방법을 제공할 수 있다. 또한, 에지정보를 사용하기 때문에 밝기값에 기반한 방법에 비해 조명의 변화에 둔감한 스테레오 매칭방법을 제공할 수 있다.

Claims (9)

1. 입력화상에서 각각의 픽셀에 대해 에지정보를 구하는 제1단계;

   상기 에지정보를 이용하여 수평 에지투영을 위하여 수평 방향으로 에지크기를 누적하고, 수직 에지투영을 위하여 수직 방향으로 에지크기를 누적하는 제2단계;

   상기 입력화상의 한 지점에서 일정한 크기를 가지는 윈도우 내에서 수평 및 수직 방향으로 에지투영성분을 구하는 제3단계; 및

   상기 에지투영성분을 이용하여 왼쪽 화상과 오른쪽 화상의 비교를 통해 스테레오 매칭을 수행하는 제4단계;

   를 포함하는 에지투영을 이용한 스테레오 매칭방법.
2. 청구항 1에 있어서,

   상기 제2단계는 좌측과 우측의 이미지 상에 에지 연산자(edge operator)를 적용하여 에지크기를 누적하는 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.
3. 청구항 2에 있어서,

   상기 에지 연산자는 Sobel 에지 연산자인 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.
4. 청구항 1에 있어서,

   상기 에지크기는 n ×n인 마스크 크기인 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.
5. 청구항 4에 있어서,

   상기 n ×n인 마스크 크기는 3 ×3인 마스크 크기인 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.
6. 청구항 1에 있어서,

   상기 제4단계는 최소의 값을 가지는 지점으로 선택하는 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.
7. 청구항 1에 있어서,

   상기 제4단계는 피라미드 상에서 구현하는 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.
8. 청구항 7에 있어서,

   상기 피라미드 상에서 최상위의 레벨에서는 모든 지점에 대해 에지투영이 이용되어 매칭후보점이 찾아지는 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.
9. 청구항 7에 있어서,

   상기 피라미드 상에서 최상위의 레벨 이후의 피라미드 레벨에서는 바로 상위의 피라미드 레벨에서 찾아진 지점의 좌우가 탐색되어 매칭후보점이 찾아지는 것을 특징으로 하는 에지투영을 이용한 스테레오 매칭방법.

Images