KR102550931B1

KR102550931B1 - 스테레오 매칭 방법 및 장치

Info

Publication number: KR102550931B1
Application number: KR1020160160579A
Authority: KR
Inventors: 김지연; 안민수; 성영훈
Original assignee: 삼성전자주식회사
Priority date: 2016-11-29
Filing date: 2016-11-29
Publication date: 2023-07-04
Also published as: EP3327670B1; CN108122250B; US20180150723A1; US10963732B2; CN108122250A; KR20180060736A; EP3327670A1

Abstract

스테레오 매칭 방법 및 장치가 개시된다. 일 실시예에 따른 스테레오 매칭 방법은 제1 영상으로부터 에지 라인들 및 특징 점들을 결정하고, 에지 라인들 및 특징 점들로부터 기준 픽셀들을 샘플링하며, 기준 픽셀들을 꼭지점으로 하는 다각형들을 결정하고, 기준 픽셀들의 시차(disparity)에 기초하여 다각형들 내에 위치한 픽셀들의 스테레오 매칭을 수행하는 단계들을 포함한다.

Description

스테레오 매칭 방법 및 장치{METHOD AND APPARATUS FOR STEREO MATCHING}

아래 실시예들은 스테레오 매칭 방법 및 장치에 관한 것이다.

인간은 서로 다른 위치에서 획득된 두 영상을 적절히 매칭함으로써 거리를 파악할 수 있다. 스테레오 매칭은 이러한 인간의 거리 추출 능력을 자동화하기 위한 컴퓨터 시각 분야 중 하나이다. 스테레오 영상은 좌측 영상과 우측 영상을 포함할 수 있다. 적절한 스테레오 효과를 위해서 좌측 영상과 우측 영상은 서로 정렬(align)될 수 있다. 또한, 스테레오 매칭을 통해, 정렬된 스테레오 영상 내의 대응 쌍들(corresponding pairs)이 추출될 수 있다. 대응 쌍들의 차이(disparity)는 깊이 정보의 획득에 이용될 수 있다.

일 측에 따르면, 스테레오 매칭 방법은 제1 영상에 대한 에지 검출(edge detection)에 기초하여 검출 정보를 획득하는 단계; 상기 검출 정보에 기초하여 에지 라인 및 특징 점을 결정하는 단계; 상기 에지 라인 및 상기 특징 점에서 기준 픽셀을 샘플링하는 단계; 상기 기준 픽셀을 꼭지점으로 하는 다각형을 결정하는 단계; 상기 기준 픽셀의 시차(disparity)에 기초하여, 상기 다각형 내에 위치한 픽셀의 시차를 포함하는 서치 범위를 예측하는 단계; 및 상기 서치 범위에 기초하여 상기 픽셀의 스테레오 매칭을 수행하는 단계를 포함한다.

상기 에지 라인 및 상기 특징 점을 결정하는 단계는 상기 검출 정보에 따른 픽셀들 중에 연속적으로 분포된 픽셀들을 상기 에지 라인으로 결정하는 단계; 및 상기 검출 정보에 따른 픽셀들 중에 이산적으로 분포된 픽셀들을 상기 특징 점으로 결정하는 단계를 포함할 수 있다. 상기 에지 라인 및 상기 특징 점을 결정하는 단계는 상기 검출 정보에 따른 픽셀들 중에 일정한 방향으로 연속적인 픽셀들의 수가 임계치를 넘는 경우, 상기 연속적인 픽셀들을 상기 에지 라인으로 결정하는 단계를 포함할 수 있다.

상기 기준 픽셀을 샘플링하는 단계는 상기 에지 라인 상에서 인접 픽셀들 간의 기울기를 결정하는 단계; 및 상기 기울기의 변화량이 임계치를 초과하는 경우, 상기 인접 픽셀들에서 상기 기준 픽셀을 결정하는 단계를 포함할 수 있다. 상기 스테레오 매칭 방법은 기준 픽셀들의 수에 기초하여, 상기 임계치를 조절하는 단계를 더 포함할 수 있다. 상기 기준 픽셀을 샘플링하는 단계는 상기 특징 점 상의 픽셀들 중에 상기 기준 픽셀을 결정하는 단계를 포함할 수 있다.

상기 서치 범위를 예측하는 단계는 상기 다각형이 인접 다각형과 상기 에지 라인에 인접한 밑변을 공유하는 경우, 상기 에지 라인 상에 위치하는 기준 픽셀의 시차들에 보정 계수를 반영하여, 상기 서치 범위를 예측하는 단계를 포함할 수 있다.

상기 서치 범위를 예측하는 단계는 제1 기준 픽셀 및 제2 기준 픽셀을 잇는 선을 밑변으로 하는 제1 삼각형 및 제2 삼각형에서, 상기 제1 삼각형의 꼭지각에 위치한 제3 기준 픽셀의 시차 및 상기 제2 삼각형의 꼭지각에 위치한 제4 기준 픽셀의 시차 사이의 차를 산정하는 단계; 상기 제3 기준 픽셀의 시차 및 상기 제4 기준 픽셀의 시차 사이의 차가 임계치를 넘는 경우, 상기 제1 기준 픽셀의 시차 및 상기 제2 기준 픽셀의 시차 각각에 보정 계수를 반영하는 단계; 및 상기 보정 계수가 반영된 상기 제1 기준 픽셀의 시차 및 상기 보정 계수가 반영된 상기 제2 기준 픽셀의 시차에 기초하여, 상기 서치 범위를 예측하는 단계를 포함할 수 있다. 상기 임계치는 상기 제1 삼각형의 면적, 상기 제2 삼각형의 면적, 및 상기 제3 기준 픽셀과 상기 제4 기준 픽셀 간의 거리 중 적어도 하나에 기초하여 결정될 수 있다.

상기 스테레오 매칭 방법은 기준 픽셀들의 밀도가 임계치 미만인 영역에 적어도 하나의 기준 픽셀을 추가하는 단계를 더 포함할 수 있다. 상기 스테레오 매칭을 수행하는 단계는 상기 서치 범위에 기초하여 상기 제1 영상과 함께 스테레오 영상을 구성하는 제2 영상에서 상기 픽셀의 대응 픽셀을 검출하는 단계; 및 상기 픽셀의 위치 및 상기 대응 픽셀의 위치에 기초하여, 상기 픽셀의 시차를 산정하는 단계를 더 포함할 수 있다.

일 측에 따르면, 스테레오 매칭 장치는 프로세서; 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 제1 영상에 대한 에지 검출(edge detection)에 기초하여 검출 정보를 획득하고, 상기 검출 정보에 기초하여 에지 라인 및 특징 점을 결정하며, 상기 에지 라인 및 상기 특징 점에서 기준 픽셀을 샘플링하고, 상기 기준 픽셀을 꼭지점으로 하는 다각형을 결정하며, 상기 기준 픽셀의 시차(disparity)에 기초하여 상기 다각형 내에 위치한 픽셀의 시차를 포함하는 서치 범위를 예측하고, 상기 서치 범위에 기초하여 상기 픽셀의 스테레오 매칭을 수행한다.

상기 프로세서는 상기 검출 정보에 따른 픽셀들 중에 연속적으로 분포된 픽셀들을 상기 에지 라인으로 결정하고, 상기 검출 정보에 따른 픽셀들 중에 이산적으로 분포된 픽셀들을 상기 특징 점으로 결정할 수 있다. 상기 프로세서는 상기 검출 정보에 따른 픽셀들 중에 일정한 방향으로 연속적인 픽셀들의 수가 임계치를 넘는 경우, 상기 연속적인 픽셀들을 상기 에지 라인으로 결정할 수 있다.

상기 프로세서는 상기 에지 라인 상에서 인접 픽셀들 간의 기울기를 결정하고, 상기 기울기의 변화량이 임계치를 초과하는 경우, 상기 인접 픽셀들에서 상기 기준 픽셀을 결정할 수 있다. 상기 프로세서는 상기 다각형이 인접 다각형과 상기 에지 라인에 인접한 밑변을 공유하는 경우, 상기 에지 라인 상에 위치하는 기준 픽셀의 시차들에 보정 계수를 반영하여, 상기 서치 범위를 예측할 수 있다.

상기 프로세서는 제1 기준 픽셀 및 제2 기준 픽셀을 잇는 선을 밑변으로 하는 제1 삼각형 및 제2 삼각형에서, 상기 제1 삼각형의 꼭지각에 위치한 제3 기준 픽셀의 시차 및 상기 제2 삼각형의 꼭지각에 위치한 제4 기준 픽셀의 시차 사이의 차를 산정할 수 있고, 상기 제3 기준 픽셀의 시차 및 상기 제4 기준 픽셀의 시차 사이의 차가 임계치를 넘는 경우, 상기 제1 기준 픽셀의 시차 및 상기 제2 기준 픽셀의 시차 각각에 보정 계수를 반영할 수 있고, 상기 보정 계수가 반영된 상기 제1 기준 픽셀의 시차 및 상기 보정 계수가 반영된 상기 제2 기준 픽셀의 시차에 기초하여, 상기 서치 범위를 예측할 수 있다.

상기 프로세서는 상기 서치 범위에 기초하여 상기 제1 영상과 함께 스테레오 영상을 구성하는 제2 영상에서 상기 픽셀의 대응 픽셀을 검출하고, 상기 픽셀의 위치 및 상기 대응 픽셀의 위치에 기초하여 상기 픽셀의 시차를 산정할 수 있다.

도 1은 일 실시예에 따른 스테레오 매칭 과정을 나타낸 도면.
도 2는 일 실시예에 따른 에지 라인 및 특징 점을 나타낸 도면.
도3은 일 실시예에 따른 에지 라인의 결정 과정을 나타낸 도면.
도 4는 일 실시예에 따른 에지 라인으로부터 기준 픽셀을 샘플링하는 과정을 나타낸 도면.
도 5는 일 실시예에 따른 시차의 보정 과정을 나타낸 도면.
도 6은 일 실시예에 따른 시차의 보정 과정을 나타낸 그래프.
도 7은 일 실시예에 따른 스테레오 매칭 장치를 나타낸 블록도.
도 8은 일 실시예에 따른 스테레오 매칭 방법을 나타낸 동작 흐름도.

본 명세서에 개시되어 있는 실시예들의 특정한 구조 또는 기능들은 단지 기술적 개념을 설명하기 위한 목적으로 예시된 것으로서, 다양한 다른 형태로 실시될 수 있다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 스테레오 매칭 과정을 나타낸 도면이다. 도 1을 참조하면, 일 실시예에 따른 스테레오 매칭 장치(110)는 스테레오 영상을 수신하고, 스테레오 영상에 포함된 픽셀들에 관한 시차(disparity)를 출력한다. 스테레오 매칭 장치(110)는 적어도 하나의 소프트웨어 모듈, 적어도 하나의 하드웨어 모듈, 또는 이들의 다양한 조합으로 구현될 수 있다.

스테레오 영상은 좌측 영상(L) 및 우측 영상(R)을 포함할 수 있다. 스테레오 매칭 장치(110)는 우측 영상(R)에서 좌측 영상(L)에 포함된 픽셀들의 대응 픽셀들을 검출하거나, 혹은 좌측 영상(L)에서 우측 영상(R)에 포함된 픽셀들의 대응 픽셀들을 검출할 수 있다. 아래에서는 좌측 영상(L)을 기준으로 우측 영상(R)에서 대응 픽셀들이 검출되는 경우를 설명하겠으나, 우측 영상(R)을 기준으로 좌측 영상(L)에서 대응 픽셀이 검출될 수도 있다. 또한, 아래에서 좌측 영상(L) 및 우측 영상(R) 중 어느 하나는 제1 영상으로 지칭될 수 있고, 이 때 나머지 하나는 제2 영상으로 지칭될 수 있다.

스테레오 매칭 장치(110)는 좌측 영상(L)과 우측 영상(R)에서 대응 쌍(corresponding pair)들을 검출하고, 대응 쌍들의 시차(disparity)들을 산정할 수 있다. 이러한 시차들에 기반하여, 스테레오 영상 내의 객체에 관한 깊이 정보가 생성될 수 있다. 깊이 정보는 3D 영상을 렌더링하거나, 사용자와 객체 간의 거리를 측정하는데 이용될 수 있다. 예를 들어, 증강 현실(AR: augmented reality)을 구현하기 위해, 출력 영상에서 실존하는 객체와 가상 객체가 혼합될 수 있다. 이 때, 실존하는 객체들의 깊이 정보를 이용하여 가상 객체를 실존하는 객체들 사이에 자연스럽게 배치할 수 있다.

깊이 정보는 모바일 디바이스 등의 소형 디바이스에서도 다양하게 활용될 수 있다. 소형 디바이스의 경우 배터리 용량이나 컴퓨팅 자원이 한정되어 있으므로, 스테레오 매칭의 정확도를 유지하면서, 스테레오 매칭에 소요되는 시간 및 자원을 최소화하는 것이 요구된다.

실시예들에 따르면 최대 서치 범위의 스테레오 매칭을 통하여 스테레오 영상의 픽셀들 중 일부에 해당하는 기준 픽셀들의 시차가 산정될 수 있다. 기준 픽셀들의 시차가 산정되면, 기준 픽셀들의 시차에 기초하여 예측된 서치 범위의 스테레오 매칭을 통하여 기준 픽셀들을 제외한 나머지 픽셀들의 시차들이 산정될 수 있다. 예측된 서치 범위는 최대 서치 범위에 비하여 축소된 서치 범위이다. 따라서, 스테레오 매칭에 소요되는 시간 및 자원이 최소화될 수 있다.

또한, 실시예들에 따르면 시차들을 예측하기 위하여 객체와 배경 간의 에지, 혹은 객체들 간의 에지 등이 고려되므로, 스테레오 매칭의 정확도가 향상될 수 있다.

이를 위하여, 실시예들은 영상에 포함된 외형선을 따라 기준 픽셀들을 샘플링하고, 외형선 중 깊이가 급격하게 변하는 경계선 근방의 픽셀들을 인지하여 해당 픽셀들의 스테레오 매칭을 위한 서치 범위를 동적으로 제어하는 기술을 제공할 수 있다.

구체적으로, 스테레오 매칭 장치(110)는 제1 영상에 대해 에지 검출(edge detection)을 수행하여 검출 정보를 획득한다. 스테레오 매칭 장치(110)는 검출 정보에 기초하여 에지 라인 및 특징 점(feature point)을 결정할 수 있다. 검출 정보는 에지 검출을 통해 획득된 다양한 형태의 에지들에 관한 정보를 포함할 수 있다. 예를 들어, 검출 정보에 따라 에지들은 직선, 곡선, 다각형, 원, 또는 점의 형태를 가질 수 있다. 스테레오 매칭 장치(110)는 이러한 다양한 형태의 에지들을 선의 형태를 갖는 에지 라인과 그 밖의 형태를 갖는 특징 점으로 분류할 수 있다. 스테레오 매칭 장치(110)는 에지 라인 및 특징 점에서 기준 픽셀들을 샘플링할 수 있다. 도 1을 참조하면, 좌측 영상(L)에 기준 픽셀(10)을 포함하는 기준 픽셀들이 도시되어 있다.

스테레오 매칭 장치(110)는 최대 서치 범위의 스테레오 매칭을 통하여 제2 영상에서 기준 픽셀들에 관한 대응 픽셀들을 검출하고, 기준 픽셀들의 위치 및 대응 픽셀들의 위치에 기초하여 기준 픽셀들에 관한 시차들을 산정할 수 있다. 예를 들어, 스테레오 매칭 장치(110)는 일정한 크기의 윈도우를 이용하여 우측 영상(R)에서 최대 서치 범위에 해당하는 영역을 스캔할 수 있다. 좌측 영상(L)과 우측 영상(R)이 정렬(align)된 경우, 좌측 영상(L)에서 기준 픽셀(10)의 y 좌표에 기초하여, 우측 영상(R)에서 스캔 영역의 y 좌표가 결정될 수 있다. 우측 영상(R)에서 대응 픽셀(50)이 검출되면, 스테레오 매칭 장치(110)는 기준 픽셀(10)의 x 좌표와 대응 픽셀(50)의 x 좌표 간의 차에 기초하여 기준 픽셀(10)의 시차를 산정할 수 있다.

스테레오 매칭 장치(110)는 제1 영상에서 기준 픽셀들을 꼭지점으로 하는 다각형을 결정하고, 기준 픽셀들의 시차들에 기초하여 다각형 내에 위치한 픽셀들의 시차들을 포함하는 서치 범위를 예측할 수 있다. 좌측 영상(L)을 참조하면, 기준 픽셀들을 꼭지점으로 하는 삼각형들이 도시되어 있다. 이러한 삼각형들은 삼각 그물(triangle mesh)을 형성할 수 있다. 좌측 영상(L)을 참조하면, 일부 영역에만 삼각 그물이 도시되어 있으나, 삼각 그물은 영상의 전체 영역에 형성될 수 있다. 아래에서는 삼각 그물에 따른 실시예를 설명하겠으나, 기준 픽셀들에 의해 사각 그물이나 오각 그물 등이 형성될 수 있다. 혹은, 기준 픽셀들에 의해 삼각형, 사각형 및 오각형 등의 다양한 형태의 다각형을 포함하는 그물이 형성될 수도 있다.

좌측 영상(L)은 기준 픽셀(10) 및 다른 두 기준 픽셀들에 의한 삼각형(20)을 포함한다. 스테레오 매칭 장치(110)는 삼각형(20)의 꼭지점을 이루는 기준 픽셀들의 시차들에 기초하여 삼각형(20) 내에 위치한 픽셀들의 시차들을 포함하는 서치 범위를 예측할 수 있다. 예를 들어, 스테레오 매칭 장치(110)는 꼭지점을 이루는 기준 픽셀들의 시차들을 이용한 다양한 보간(interpolation) 기법을 통해 삼각형(20) 내에 위치한 픽셀들의 시차들을 포함하는 서치 범위를 예측할 수 있다. 보다 구체적으로, 스테레오 매칭 장치(110)는 평균과 같은 통계적 방식, 혹은 비례 관계를 이용하여, 삼각형(20) 내에 위치한 픽셀들의 시차들을 포함하는 서치 범위를 예측할 수 있다. 실시예들에 따르면, 예측된 서치 범위는 최대 서치 범위에 비하여 축소된 서치 범위에 해당하므로, 모든 픽셀들에 관한 대응 쌍들이 최대 서치 범위로 검색되는 경우에 비해, 연산량이 크게 감소될 수 있다.

실시예들에 따르면 기준 픽셀들의 시차들에 의해 나머지 픽셀들의 시차들을 포함하는 서치 범위가 예측되므로, 나머지 픽셀들의 특징을 잘 나타내는 픽셀들이 기준 픽셀로 샘플링될 필요가 있다.

영상에 포함된 에지는 객체와 배경의 경계, 혹은 객체들 간의 경계 등을 나타낼 수 있다. 따라서, 에지를 경계로 깊이 정보가 크게 변할 수 있으며, 에지를 제외한 부분에서는 깊이 정보가 예측 가능한 수준에서 변할 수 있다. 예를 들어, 에지에 기반하여 결정된 선분(40)을 경계로, 삼각형(20) 내부의 픽셀들은 배경을 표현하고, 삼각형(30) 내부의 픽셀들은 객체를 표현할 수 있다. 이 경우, 삼각형(20) 내에 위치한 픽셀의 시차와, 삼각형(30) 내에 위치한 픽셀의 시차 사이에는 불연속성(discontinuity)이 존재할 수 있다. 따라서, 스테레오 매칭 장치(110)는 에지에 기반하여 다각형들의 경계를 결정함으로써, 영상에 포함된 픽셀들을 서로 유사한 깊이를 갖는 픽셀 그룹들로 분류할 수 있다.

아래에서 상세하게 설명하겠으나, 스테레오 매칭 장치(110)는 보정 계수를 통해 기준 픽셀들의 시차를 동적으로 조절함으로써, 픽셀 그룹들 별로 다른 기준 값에 기초하여 서치 범위를 예측할 수 있다. 예를 들어, 삼각형(30) 내에 위치한 픽셀의 스테레오 매칭을 위한 서치 범위는 삼각형(30)을 구성하는 세 개의 기준 픽셀들의 시차들에 기초하여 산정될 수 있다. 또한, 삼각형(20) 내에 위치한 픽셀의 스테레오 매칭을 위한 서치 범위는 삼각형(20)을 구성하는 세 개의 기준 픽셀들의 시차들에 기초하여 산정될 수 있다.

이 때, 선분(40)에 위치한 기준 픽셀들의 시차들은 배경이 아닌 객체에 대응할 수 있다. 이 경우, 삼각형(20) 내에 위치한 픽셀의 스테레오 매칭을 위하여 예측된 서치 범위는 삼각형(20) 내에 위치한 픽셀의 실제 시차를 포함하지 않을 수 있다. 스테레오 매칭 장치(110)는 삼각형(20) 내에 위치한 픽셀의 스테레오 매칭을 위한 서치 범위가 해당 픽셀의 실제 시차를 포함하도록, 선분(40)에 위치한 기준 픽셀들의 시차들에 보정 계수를 적용할 수 있다.

이로 인하여, 실시예들은 기준 픽셀들의 시차들에 기초하여 나머지 픽셀들의 스테레오 매칭을 위한 서치 범위를 축소시키면서, 스테레오 매칭의 정확도를 유지하는 기술을 제공할 수 있다.

도 2는 일 실시예에 따른 에지 라인 및 특징 점을 나타낸 도면이다. 도 2를 참조하면, 제1 영상(210) 및 검출 영상(220)이 도시되어 있다.

제1 영상(210)은 좌측 영상 및 우측 영상 중에 어느 하나일 수 있다. 제1 영상(210)에는 객체들 및 배경이 나타나있다. 제1 영상(210)에 대한 에지 검출에 따라 검출 영상(220)이 획득될 수 있다. 예를 들어, 에지 검출을 위해 캐니(Canny), 소벨(Sobel), 프리윗(Prewitt), 로버츠(Roberts), 라플라시안(Laplacian), LoG(Laplacian of Gaussian), DoG(Difference of Gaussian) 및 컴퍼스(Compass) 중 적어도 하나가 이용될 수 있다. 검출 영상(220)은 선 또는 점을 통해 객체들의 형태, 객체 내부의 형태, 객체들 간의 경계 및 객체와 배경의 경계 등을 나타낼 수 있다. 검출 영상(220)은 제1 영상(210)의 일부 영역에 포함된 에지를 나타내지만, 에지 검출은 검출 영상(220) 전체에 관해 수행될 수 있다. 검출 영상(220)에 포함된 정보는 검출 정보에 반영될 수 있다.

아래에서 상세히 설명되겠지만, 스테레오 매칭 장치는 검출 정보에 따른 에지들을 에지 라인 또는 특징 점으로 분류할 수 있다. 예를 들어, 스테레오 매칭 장치는 검출 정보에 따른 픽셀들 중에 연속적으로 분포된 픽셀들을 에지 라인으로 결정하고, 검출 정보에 따른 픽셀들 중에 이산적으로 분포된 픽셀들을 특징 점으로 결정할 수 있다. 검출 영상(220)을 참조하면, 에지 라인은 객체의 형태, 객체 내부의 굴곡 및 객체와 배경의 경계 등을 나타낼 수 있다. 또한, 특징 점은 객체 내부의 돌출 부위 및 만입 부위 등을 나타낼 수 있다. 따라서, 에지 라인 및 특징 점을 통해, 제1 영상(210)에서 깊이의 변화가 크게 일어나는 경계가 대부분 특정될 수 있다. 또한, 스테레오 매칭 장치는 에지 라인들 및 특징 점들에서 기준 픽셀들을 샘플링하므로, 특정한 다각형 내에는 비슷한 깊이를 갖는 픽셀들이 속하게 된다. 따라서, 다각형 그물에 따라 픽셀들의 깊이 변화가 예측될 수 있고, 스테레오 매칭 장치는 다각형 그물을 이용하여 픽셀들을 효율적으로 스테레오 매칭할 수 있다.

도3은 일 실시예에 따른 에지 라인의 결정 과정을 나타낸 도면이다. 도 3을 참조하면, 제1 영상의 일부에 포함된 에지들이 도시되어 있다.

스테레오 매칭 장치는 검출 정보에 따른 픽셀들 중에 연속적으로 분포된 픽셀들을 에지 라인으로 결정할 수 있다. 여기서, 검출 정보에 따른 픽셀들은 제1 영상에 포함된 에지들을 구성하는 픽셀들을 의미한다. 일 측에 따르면, 스테레오 매칭 장치는 픽셀들의 거리 및 에지의 방향에 기초하여 픽셀들의 연속성을 결정할 수 있다. 예를 들어, 스테레오 매칭 장치는 미리 정해진 거리 이내의 픽셀들이 방향성을 갖는 경우, 해당 픽셀들은 연속성이 있는 것으로 결정할 수 있다. 도 3에서, 픽셀들(310) 및 픽셀들(320)은 1칸 이내로 인접해 있고, 대각선 방향 및 수직 방향으로 분포되어 있으므로, 방향성을 갖는 것으로 결정될 수 있다.

또한, 스테레오 매칭 장치는 연속하는 픽셀들의 수와 임계치(TH1)를 비교하여 에지 라인을 결정할 수 있다. 보다 구체적으로, 스테레오 매칭 장치는 검출 정보에 따른 픽셀들 중에 일정한 방향으로 연속적인 픽셀들의 수가 임계치(TH1)를 넘는 경우, 해당 픽셀들을 에지 라인으로 결정할 수 있다. 예를 들어, 임계치(TH1)가 2인 경우, 픽셀들(310) 및 픽셀들(320)은 에지 라인으로 결정될 수 있다.

스테레오 매칭 장치는 강도 기울기(intensity gradient)에 기초하여 에지 라인을 연결할 수 있다. 보다 구체적으로, 에지에 속하지 않지만, 에지 라인에 인접한 픽셀이 존재하는 경우, 해당 픽셀의 강도 기울기가 임계치(TH2)를 초과하는 것에 따라, 스테레오 매칭 장치는 해당 픽셀을 인접한 에지 라인에 연결할 수 있다. 예를 들어, 픽셀들(330)은 에지에 속하지 않지만, 에지 라인에 인접한 픽셀로 볼 수 있다. 만약, 픽셀들(330)의 강도 기울기가 임계치(TH2)를 초과하는 경우, 스테레오 매칭 장치는 픽셀들(330)이 에지인 것으로 보아, 인접한 에지 라인들을 연결할 수 있다.

도 4는 일 실시예에 따른 에지 라인으로부터 기준 픽셀을 샘플링하는 과정을 나타낸 도면이다. 도 4를 참조하면, 제1 영상의 일부에 포함된 에지 라인이 도시되어 있다.

스테레오 매칭 장치는 검출 정보에 따른 에지들을 에지 라인과 특징 점으로 분류할 수 있다. 에지 라인과 특징 점 각각은 복수의 픽셀들을 포함하며, 스테레오 매칭 장치는 일정한 기준에 따라 에지 라인과 특징 점 각각으로부터 기준 픽셀들을 샘플링할 수 있다. 예를 들어, 스테레오 매칭 장치는 특징 점 상의 픽셀들 중에 적어도 하나의 기준 픽셀을 결정할 수 있다. 특징 점으로부터 샘플링되는 기준 픽셀의 수는 특징 점의 면적, 혹은 특징 점을 구성하는 픽셀들의 수에 따라 결정될 수 있다.

또한, 스테레오 매칭 장치는 에지 라인을 구성하는 픽셀들 중에 적어도 하나의 기준 픽셀을 샘플링할 수 있다. 예를 들어, 스테레오 매칭 장치는 에지 라인의 꺾임에 기초하여 에지 라인에서 기준 픽셀을 샘플링할 수 있다. 스테레오 매칭 장치는 에지 라인의 기울기를 결정하고, 기울기가 급격히 변하는 영역에서 기준 픽셀을 샘플링할 수 있다. 기울기가 급격히 변하는 영역은 객체들 간의 경계, 혹은 객체의 모서리 등을 나타낼 수 있으므로, 기울기가 급격히 변하는 영역에서 기준 픽셀을 샘플링하는 것이 효과적일 수 있다.

스테레오 매칭 장치는 미리 정해진 거리만큼 떨어진 인접 픽셀들 간의 기울기를 결정할 수 있다. 예를 들어, 스테레오 매칭 장치는 1칸 또는 2칸 떨어진 인접 픽셀들간의 기울기를 결정할 수 있다. 인접 픽셀들 사이에서 x 좌표의 차이(x)가 y 좌표의 차이(y)보다 큰 경우, 기울기는 y/x 의 절대 값으로 결정될 수 있다. x 좌표의 차이(x)가 y 좌표의 차이(y)보다 작은 경우, 기울기는 x/y 의 절대 값으로 결정될 수 있다. 또한, x 좌표의 차이(x)와 y 좌표의 차이(y)가 동일한 경우 기울기는 1로 결정될 수 있다.

스테레오 매칭 장치는 기울기의 변화량이 임계치를 초과하는 경우, 인접 픽셀들에서 기준 픽셀을 결정할 수 있다. 예를 들어, 2칸 떨어진 픽셀을 인접 픽셀이라고 할 경우, 픽셀(410), 픽셀(420) 및 픽셀(430)은 인접 픽셀들에 해당한다. 픽셀(410)과 픽셀(420) 사이에서 x 좌표의 차이(x)가 0이고 y 좌표의 차이(y)가 2이므로, 픽셀(410)과 픽셀(420) 간의 기울기는 x/y 의 절대 값인 0으로 결정될 수 있다. 또한, 픽셀(420)과 픽셀(430) 사이에서 x 좌표의 차이(x)와 y 좌표의 차이(y)가 2로 동일하므로, 픽셀(420)과 픽셀(430) 간의 기울기는 1로 결정될 수 있다.

픽셀들(410, 420, 430) 사이에서 기울기의 변화량은 픽셀(410)과 픽셀(420) 간의 기울기와 픽셀(420)과 픽셀(430) 간의 기울기의 차이의 절대값으로 계산될 수 있다. 예를 들어, 픽셀(410)과 픽셀(420) 간의 기울기는 0이고, 픽셀(420)과 픽셀(430) 간의 기울기는 1이므로, 픽셀들(410, 420, 430) 사이에서 기울기의 변화량은 1로 계산될 수 있다. 임계치가 0.5라고 가정할 경우, 픽셀들(410, 420, 430) 사이에서 기울기의 변화량은 임계치를 초과하므로, 픽셀들(410, 420, 430) 중에 어느 하나는 기준 픽셀로 결정될 수 있다. 일 측에 따르면, 스테레오 매칭 장치는 임계치를 초과하는 기울기가 나타나는 픽셀들 중에 가운데 위치한 픽셀을 기준 픽셀로 결정할 수 있다. 이 경우, 픽셀들(410, 420, 430) 중 가운데 위치한 픽셀(420)이 기준 픽셀로 결정될 수 있다.

스테레오 매칭 장치는 기준 픽셀들의 수를 조절할 수 있다. 기준 픽셀들의 수가 증가됨에 따라 다각형 그물의 간격은 촘촘해지므로, 스테레오 매칭의 정확성은 향상될 수 있고, 매칭 속도는 감소될 수 있다. 반대로, 기준 픽셀들의 수가 감소됨에 따라 다각형 그물의 간격은 넓어지므로, 스테레오 매칭의 정확성은 떨어질 수 있고, 매칭 속도는 감소될 수 있다. 따라서, 스테레오 매칭 장치는 미리 정해진 기준에 따라 기준 픽셀들의 수를 조절할 수 있다.

일 측에 따르면, 스테레오 매칭 장치는 기준 픽셀들의 밀도에 따라 기준 픽셀들의 수를 조절할 수 있다. 예를 들어, 특징 점의 간격이 너무 넓어서 기준 픽셀들의 밀도가 임계치(TH3) 미만인 영역이 존재하는 경우, 스테레오 매칭 장치는 해당 영역에 적어도 하나의 기준 픽셀을 추가할 수 있다. 추가되는 기준 픽셀의 수는 해당 영역에서 기준 픽셀들의 밀도에 따라 결정될 수 있다. 또한, 기준 픽셀들은 해당 영역에 일정한 간격으로 추가될 수 있다.

또한, 스테레오 매칭 장치는 기준 픽셀들의 간격에 따라 기준 픽셀들의 수를 조절할 수 있다. 예를 들어, 기울기의 변화가 작은 긴 에지 라인이 존재하는 경우, 해당 에지 라인에서 샘플링되는 기준 픽셀들의 간격은 너무 넓을 수 있다. 기준 픽셀들 간의 간격이 임계치(TH4)를 초과하는 영역이 존재하는 경우, 스테레오 매칭 장치는 해당 영역에 적어도 하나의 기준 픽셀을 추가할 수 있다. 추가되는 기준 픽셀의 수는 해당 영역에서 기준 픽셀들 간의 간격에 따라 결정될 수 있다. 반대로, 기준 픽셀들의 밀도가 너무 높거나, 기준 픽셀들의 간격이 너무 가까운 경우, 스테레오 매칭 장치는 기준 픽셀들의 수를 감소시킬 수 있다.

다른 일 측에 따르면, 스테레오 매칭 장치는 기준 픽셀들의 수를 조절하기 위해 임계치들(TH3, TH4)을 조절할 수 있다. 예를 들어, 스테레오 매칭 장치는 기준 픽셀들의 밀도에 따라 임계치(TH3)를 조절하거나, 기준 픽셀들의 간격에 따라 임계치(TH4)를 조절할 수 있다. 보다 구체적으로, 스테레오 매칭 장치는 기준 픽셀들의 밀도를 높이기 위해 임계치(TH3)를 증가시킬 수 있다. 또한, 스테레오 매칭 장치는 기준 픽셀들의 간격을 증가시키기 위해 임계치(TH4)를 증가시킬 수 있다. 임계치들(TH3, TH4)은 사용자의 설정, 혹은 어플리케이션의 특성에 기초하여 결정될 수 있다. 어플리케이션의 특성은 어플리케이션이 요구하는 응답 속도 및 어플리케이션이 요구하는 정확도 등을 포함할 수 있다.

도 5는 일 실시예에 따른 불연속 영역을 나타낸 도면이다. 도 5를 참조하면, 기준 픽셀들(d1 내지 d4), 에지 라인(510) 및 삼각형들(520, 530)이 도시되어 있다.

상술된 것처럼, 기준 픽셀들(d1 내지 d4)은 에지 라인 또는 특징 점으로부터 샘플링된 것일 수 있다. 예를 들어, 기준 픽셀들(d1 및 d4)은 특징 점들로부터 샘플링된 것일 수 있고, 기준 픽셀들(d2 및 d3)은 에지 라인(510)으로부터 샘플링된 것일 수 있다. 에지 라인은 객체들 간의 경계 혹은 객체와 배경 간의 경계를 나타낼 수 있다. 예를 들어, 에지 라인(510)을 경계로, 삼각형(520)은 배경에 위치할 수 있고, 삼각형(530)은 객체에 위치할 수 있다. 이 경우, 삼각형(520) 내에 위치한 픽셀의 시차와, 삼각형(530) 내에 위치한 픽셀의 시차 사이에는 불연속성이 존재할 수 있다. 기준 픽셀들(d2, d3)은 에지 라인(510) 상에 위치하므로, 기준 픽셀들(d2, d3)의 시차들을 통해 삼각형(520) 내에 위치하는 픽셀(X)의 스테레오 매칭을 위한 서치 범위를 예측할 경우, 오차가 발생할 수 있다. 따라서, 삼각형(520) 내의 픽셀들의 스테레오 매칭을 위한 서치 범위를 예측할 때, 기준 픽셀들(d2, d3)의 시차들에 관한 보정이 요구된다.

스테레오 매칭 장치는 에지 라인(510)에 기초하여 삼각형들(520, 530) 사이에 불연속성이 존재하는지 여부를 결정할 수 있다. 보다 구체적으로, 삼각형(520)이 삼각형(520)에 인접한 삼각형(530)과 에지 라인(510)에 인접한 밑변을 공유하는 경우, 스테레오 매칭 장치는 에지 라인(510) 상에 위치하는 기준 픽셀들(d2, d3)의 시차들에 보정 계수(α)를 반영하여, 삼각형(520) 내에 위치한 픽셀의 스테레오 매칭을 위한 서치 범위를 결정할 수 있다.

또한, 스테레오 매칭 장치는 임계 값(TH5)에 기초하여 삼각형들(520, 530) 사이에 불연속성이 존재하는지 여부를 결정할 수 있다. 보다 구체적으로, 삼각형(520)과 삼각형(530) 모두가 기준 픽셀(d2) 및 기준 픽셀(d3)을 잇는 선을 밑변으로 하는 경우, 스테레오 매칭 장치는 삼각형(520)의 꼭지각(밑변의 대응점)에 위치한 기준 픽셀(d4)의 시차 및 삼각형(530)의 꼭지각에 위치한 기준 픽셀(d1)의 시차 사이의 차를 산정할 수 있다. 기준 픽셀(d4)의 시차 및 기준 픽셀(d1)의 시차 사이의 차가 임계치(TH5)를 넘는 경우, 스테레오 매칭 장치는 기준 픽셀(d2)의 시차 및 기준 픽셀(d3)의 시차 각각에 보정 계수(α)를 반영할 수 있다. 예를 들어, 스테레오 매칭 장치는 기준 픽셀(d2)의 시차 및 기준 픽셀(d3)의 시차를 각각 '기준 픽셀(d4)의 시차 - α' 와 '기준 픽셀(d4)의 시차 + α' 사이의 값으로 보정할 수 있다.

여기서, 기준 픽셀(d2) 및 기준 픽셀(d3)을 잇는 선은 에지 라인(510) 주위에 위치할 수 있다. 스테레오 매칭 장치는 보정 계수(α)가 반영된 기준 픽셀(d2)의 시차 및 보정 계수(α)가 반영된 제2 기준 픽셀(d3)의 시차에 기초하여, 삼각형(520) 내에 위치한 픽셀(X)의 스테레오 매칭을 위한 서치 범위를 예측할 수 있다.

보정 계수(α)는 에지 라인(510) 상에 위치하는 기준 픽셀(d2 또는 d3)의 시차와, 삼각형(520)의 꼭지각에 위치하는 기준 픽셀(d4)의 시차 사이의 차에 기초하여 결정될 수 있다. 예를 들어, 기준 픽셀(d2)의 시차와, 기준 픽셀(d4)의 시차 사이의 차에 기초하여 기준 픽셀(d2)의 시차에 적용하기 위한 보정 계수(α1)가 결정될 수 있고, 기준 픽셀(d3)의 시차와, 기준 픽셀(d4)의 시차 사이의 차에 기초하여 기준 픽셀(d3)의 시차에 적용하기 위한 보정 계수(α2)가 결정될 수 있다.

임계치(TH5)는 삼각형(520)의 면적, 삼각형(530)의 면적, 및 기준 픽셀(d1)과 기준 픽셀(d4) 간의 거리 중 적어도 하나에 기초하여 결정될 수 있다. 삼각형들(520, 530)의 면적이 넓어질수록, 혹은 기준 픽셀(d1)과 기준 픽셀(d4) 간의 거리가 멀어질수록, 기준 픽셀(d2)의 시차와, 기준 픽셀(d4)의 시차 사이의 차는 커질 수 있다. 따라서, 삼각형들(520, 530)의 면적이 넓을수록, 혹은 기준 픽셀(d1)과 기준 픽셀(d4) 간의 거리가 멀수록, 임계치(TH5)는 큰 값으로 결정될 수 있다.

도 6은 일 실시예에 따른 시차의 보정 과정을 나타낸 그래프이다. 도 6을 참조하면, 도 5에 도시된 기준 픽셀들(d1, d2, d4)의 시차들이 도시되어 있다.

기준 픽셀(d1)은 객체 상에 위치하고, 기준 픽셀(d4)은 배경 상에 위치하고, 기준 픽셀(d2) 및 기준 픽셀(d3)는 객체와 배경 간의 에지 라인 상에 위치하는 것으로 가정한다. 기준 픽셀(d1)의 시차, 기준 픽셀(d2)의 시차 및 기준 픽셀(d3)의 시차는 A이고, 기준 픽셀(d4)의 시차는 B이다.

기준 픽셀(d2)의 시차 및 기준 픽셀(d3)의 시차가 보정되지 않은 상태로 도 5에 도시된 픽셀(X)의 스테레오 매칭을 위한 서치 범위가 예측되는 경우, 픽셀(X)의 스테레오 매칭을 위한 서치 범위는 A와 B 사이에 위치한 범위(R)로 예측될 수 있다. 따라서, 불연속성에 따른 보정이 이루어지지 않는 경우, 범위(R) 내에서만 픽셀(X)의 대응점이 서치되므로 픽셀(X)의 시차는 범위(R) 내에서 결정될 수 있다.

실제로, 픽셀(X)는 배경 상에 위치하므로, 픽셀(X)의 시차는 범위(R) 내에 존재하지 않는다. 이 경우, 상술된 것처럼 불연속성을 고려하여, 기준 픽셀(d2)의 시차 및 기준 픽셀(d3)의 시차에 관한 보정이 요구된다. 일 예로, 보정 계수(α)에 따라 기준 픽셀(d2)의 시차 및 기준 픽셀(d3)의 시차는 B-α와 B+α 사이의 값으로 보정될 수 있다. 이 경우, 픽셀(X)의 스테레오 매칭을 위한 서치 범위는 픽셀(X)의 실제 시차인 B를 포함하는 범위로 예측될 수 있다. 이와 같이, 실시예들은 불연속성이 발생할 수 있는 영역의 경우, 기준 픽셀의 시차를 보정함으로써 스테레오 매칭의 정확도를 높일 수 있다.

도 7은 일 실시예에 따른 스테레오 매칭 장치를 나타낸 블록도이다. 도 7을 참조하면, 도 7을 참조하면, 스테레오 매칭 장치는 프로세서(710), 센서(720) 및 메모리(730)를 포함한다. 프로세서(710), 센서(720) 및 메모리(730)는 버스(740)를 통하여 서로 통신할 수 있다.

센서(720)는 스테레오 영상을 촬영할 수 있다. 센서(720)는 좌측 영상을 촬영하기 위한 제1 센서 및 우측 영상을 촬영하기 위한 제2 센서를 포함할 수 있다. 제1 센서 및 제2 센서 각각은 이미지 센서, 근접 센서 또는 적외선 센서일 수 있다. 센서(720)는 잘 알려진 방식(예를 들어, 광학 이미지를 전기 신호로 변환하는 방식 등)으로 스테레오 영상을 촬영할 수 있다. 센서(720)는 촬영된 컬러 영상, 깊이 영상 및 적외선 영상 중 적어도 하나를 프로세서(710) 및 메모리(730) 중 적어도 하나로 전달할 수 있다.

프로세서(710)는 상술한 적어도 하나의 장치들을 포함하거나, 상술한 적어도 하나의 방법을 수행할 수 있다. 예를 들어, 프로세서(710)는 상술된 스테레오 매칭에 관한 동작을 처리할 수 있다. 보다 구체적으로, 프로세서(710)는 제1 영상에 대한 에지 검출(edge detection)에 기초하여 검출 정보를 획득하고, 상기 검출 정보에 기초하여 에지 라인 및 특징 점을 결정하고, 상기 에지 라인 및 상기 특징 점에서 기준 픽셀을 샘플링하고, 상기 기준 픽셀을 꼭지점으로 하는 다각형을 결정하고, 상기 기준 픽셀의 시차(disparity)에 기초하여 상기 다각형 내에 위치한 픽셀의 시차를 포함하는 서치 범위를 예측함으로써, 상기 기준 픽셀의 스테레오 매칭을 수행할 수 있다.

메모리(730)는 컴퓨터에서 읽을 수 있는 명령어들을 저장할 수 있다. 메모리(730)에 저장된 명령어들이 프로세서(710)에서 실행되면, 프로세서(710)는 상술된 스테레오 매칭에 관한 동작을 처리할 수 있다. 또한, 메모리(730)는 상술된 스테레오 매칭에 관한 데이터를 저장할 수 있다. 예를 들어, 메모리(730)는 스테레오 영상, 검출 정보, 에지 라인에 관한 정보, 특징 점에 관한 정보, 및 기준 픽셀들에 관한 정보 등을 저장할 수 있다.

프로세서(710)는 명령어들이나 프로그램들을 실행하거나, 스테레오 매칭 장치를 제어할 수 있다. 스테레오 매칭 장치는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 스테레오 매칭 장치는 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 또는 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등의 적어도 일부로 구현될 수 있다. 그 밖에, 스테레오 매칭 장치에 관해서는 상술된 내용이 적용될 수 있으며, 보다 상세한 설명은 생략한다.

도 8은 일 실시예에 따른 스테레오 매칭 방법을 나타낸 동작 흐름도이다. 도 8을 참조하면, 단계(810)에서, 스테레오 매칭 장치는 제1 영상에 대한 에지 검출에 기초하여 검출 정보를 획득한다. 예를 들어, 스테레오 매칭 장치는 입력 영상으로부터 에지를 검출한다. 단계(820)에서, 스테레오 매칭 장치는 검출 정보에 기초하여 에지 라인 및 특징 점을 결정한다. 예를 들어, 스테레오 매칭 장치는 에지 상에서 에지 라인 및 특징 점을 추출한다. 단계(830)에서, 스테레오 매칭 장치는 에지 라인 및 특징 점에서 기준 픽셀을 샘플링한다. 단계(840)에서, 스테레오 매칭 장치는 기준 픽셀을 꼭지점으로 하는 다각형을 결정한다. 단계(850)에서, 스테레오 매칭 장치는 기준 픽셀의 시차에 기초하여, 다각형 내에 위치한 픽셀의 시차를 포함하는 서치 범위를 예측한다. 예측되는 서치 범위는 다각형 내부에 위치한 픽셀의 스테레오 매칭을 위한 서치 범위일 수 있다. 단계(860)에서, 스테레오 매칭 장치는 서치 범위에 기초하여 픽셀의 스테레오 매칭을 수행할 수 있다. 예를 들어, 예측된 서치 범위의 스테레오 매칭을 통하여 해당 픽셀의 시차를 결정할 수 있다. 그 밖에, 스테레오 매칭 방법에 관해서는 상술된 내용이 적용될 수 있으며, 보다 상세한 설명은 생략한다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

제1 영상에 대한 에지 검출(edge detection)에 기초하여 검출 정보를 획득하는 단계;
상기 검출 정보에 기초하여 에지 라인 및 특징 점을 결정하는 단계;
상기 에지 라인 및 상기 특징 점에서 기준 픽셀을 샘플링하는 단계;
상기 기준 픽셀을 꼭지점으로 하는 다각형을 결정하는 단계;
상기 기준 픽셀의 시차(disparity)에 기초하여, 상기 다각형 내에 위치한 픽셀의 시차를 포함하는 서치 범위를 예측하는 단계; 및
상기 서치 범위에 기초하여 상기 픽셀의 스테레오 매칭을 수행하는 단계
를 포함하고,
상기 에지 라인 및 상기 특징 점을 결정하는 단계는
상기 검출 정보에 따른 픽셀들 중에 연속적으로 분포된 픽셀들을 상기 에지 라인으로 결정하는 단계; 및
상기 검출 정보에 따른 픽셀들 중에 이산적으로 분포된 픽셀들을 상기 특징 점으로 결정하는 단계
를 포함하는, 스테레오 매칭 방법.
삭제
제1항에 있어서,
상기 에지 라인 및 상기 특징 점을 결정하는 단계는
상기 검출 정보에 따른 픽셀들 중에 일정한 방향으로 연속적인 픽셀들의 수가 임계치를 넘는 경우, 상기 연속적인 픽셀들을 상기 에지 라인으로 결정하는 단계를 포함하는, 스테레오 매칭 방법.
제1항에 있어서,
상기 기준 픽셀을 샘플링하는 단계는
상기 에지 라인 상에서 인접 픽셀들 간의 기울기를 결정하는 단계; 및
상기 기울기의 변화량이 임계치를 초과하는 경우, 상기 인접 픽셀들에서 상기 기준 픽셀을 결정하는 단계
를 포함하는, 스테레오 매칭 방법.
제4항에 있어서,
기준 픽셀들의 수에 기초하여 상기 임계치를 조절하는 단계를 더 포함하는, 스테레오 매칭 방법.
제1항에 있어서,
상기 기준 픽셀을 샘플링하는 단계는
상기 특징 점 상의 픽셀들 중에 상기 기준 픽셀을 결정하는 단계를 포함하는, 스테레오 매칭 방법.
제1항에 있어서,
상기 서치 범위를 예측하는 단계는
상기 다각형이 인접 다각형과 상기 에지 라인에 인접한 밑변을 공유하는 경우, 상기 에지 라인 상에 위치하는 기준 픽셀의 시차들에 보정 계수를 반영하여, 상기 서치 범위를 예측하는 단계를 포함하는,
스테레오 매칭 방법.
제1항에 있어서,
상기 서치 범위를 예측하는 단계는
제1 기준 픽셀 및 제2 기준 픽셀을 잇는 선을 밑변으로 하는 제1 삼각형 및 제2 삼각형에서, 상기 제1 삼각형의 꼭지각에 위치한 제3 기준 픽셀의 시차 및 상기 제2 삼각형의 꼭지각에 위치한 제4 기준 픽셀의 시차 사이의 차를 산정하는 단계;
상기 제3 기준 픽셀의 시차 및 상기 제4 기준 픽셀의 시차 사이의 차가 임계치를 넘는 경우, 상기 제1 기준 픽셀의 시차 및 상기 제2 기준 픽셀의 시차 각각에 보정 계수를 반영하는 단계; 및
상기 보정 계수가 반영된 상기 제1 기준 픽셀의 시차 및 상기 보정 계수가 반영된 상기 제2 기준 픽셀의 시차에 기초하여, 상기 서치 범위를 예측하는 단계
를 포함하는, 스테레오 매칭 방법.
제8항에 있어서,
상기 임계치는 상기 제1 삼각형의 면적, 상기 제2 삼각형의 면적, 및 상기 제3 기준 픽셀과 상기 제4 기준 픽셀 간의 거리 중 적어도 하나에 기초하여 결정되는, 스테레오 매칭 방법.
제1항에 있어서,
기준 픽셀들의 밀도가 임계치 미만인 영역에 적어도 하나의 기준 픽셀을 추가하는 단계를 더 포함하는, 스테레오 매칭 방법.
제1항에 있어서,
상기 스테레오 매칭을 수행하는 단계는
상기 서치 범위에 기초하여, 상기 제1 영상과 함께 스테레오 영상을 구성하는 제2 영상에서 상기 픽셀의 대응 픽셀을 검출하는 단계; 및
상기 픽셀의 위치 및 상기 대응 픽셀의 위치에 기초하여, 상기 픽셀의 시차를 산정하는 단계
를 더 포함하는, 스테레오 매칭 방법.
하드웨어와 결합되어 제1항 및 제3항 내지 제11항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
프로세서; 및
컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리
를 포함하고,
상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 제1 영상에 대한 에지 검출(edge detection)에 기초하여 검출 정보를 획득하고, 상기 검출 정보에 기초하여 에지 라인 및 특징 점을 결정하며, 상기 에지 라인 및 상기 특징 점에서 기준 픽셀을 샘플링하고, 상기 기준 픽셀을 꼭지점으로 하는 다각형을 결정하며, 상기 기준 픽셀의 시차(disparity)에 기초하여 상기 다각형 내에 위치한 픽셀의 시차를 포함하는 서치 범위를 예측하고, 상기 서치 범위에 기초하여 상기 픽셀의 스테레오 매칭을 수행하고,
상기 프로세서는 상기 검출 정보에 따른 픽셀들 중에 연속적으로 분포된 픽셀들을 상기 에지 라인으로 결정하고, 상기 검출 정보에 따른 픽셀들 중에 이산적으로 분포된 픽셀들을 상기 특징 점으로 결정하는,
스테레오 매칭 장치.
삭제
제13항에 있어서,
상기 프로세서는
상기 검출 정보에 따른 픽셀들 중에 일정한 방향으로 연속적인 픽셀들의 수가 임계치를 넘는 경우, 상기 연속적인 픽셀들을 상기 에지 라인으로 결정하는, 스테레오 매칭 장치.
제13항에 있어서,
상기 프로세서는
상기 에지 라인 상에서 인접 픽셀들 간의 기울기를 결정하고, 상기 기울기의 변화량이 임계치를 초과하는 경우, 상기 인접 픽셀들에서 상기 기준 픽셀을 결정하는, 스테레오 매칭 장치.
제13항에 있어서,
상기 프로세서는
상기 다각형이 인접 다각형과 상기 에지 라인에 인접한 밑변을 공유하는 경우, 상기 에지 라인 상에 위치하는 기준 픽셀의 시차들에 보정 계수를 반영하여, 상기 서치 범위를 예측하는, 스테레오 매칭 장치.
제13항에 있어서,
상기 프로세서는
제1 기준 픽셀 및 제2 기준 픽셀을 잇는 선을 밑변으로 하는 제1 삼각형 및 제2 삼각형에서, 상기 제1 삼각형의 꼭지각에 위치한 제3 기준 픽셀의 시차 및 상기 제2 삼각형의 꼭지각에 위치한 제4 기준 픽셀의 시차 사이의 차를 산정하고,
상기 제3 기준 픽셀의 시차 및 상기 제4 기준 픽셀의 시차 사이의 차가 임계치를 넘는 경우, 상기 제1 기준 픽셀의 시차 및 상기 제2 기준 픽셀의 시차 각각에 보정 계수를 반영하며,
상기 보정 계수가 반영된 상기 제1 기준 픽셀의 시차 및 상기 보정 계수가 반영된 상기 제2 기준 픽셀의 시차에 기초하여, 상기 서치 범위를 예측하는,
스테레오 매칭 장치.
제18항에 있어서,
상기 임계치는 상기 제1 삼각형의 면적, 상기 제2 삼각형의 면적, 및 상기 제3 기준 픽셀과 상기 제4 기준 픽셀 간의 거리 중 적어도 하나에 기초하여 결정되는, 스테레오 매칭 장치.
제13항에 있어서,
상기 프로세서는
상기 서치 범위에 기초하여 상기 제1 영상과 함께 스테레오 영상을 구성하는 제2 영상에서 상기 픽셀의 대응 픽셀을 검출하고, 상기 픽셀의 위치 및 상기 대응 픽셀의 위치에 기초하여 상기 픽셀의 시차를 산정하는, 스테레오 매칭 장치.