KR101792501B1 - 특징기반의 스테레오 매칭 방법 및 장치 - Google Patents

Abstract

본 발명에 따른 특징기반의 스테레오 매칭 방법 및 장치가 개시된다. 본 발명에 따른 스테레오 매칭 방법은 적어도 두 개의 카메라로 동일한 시각에 다른 관점에서 촬영된 레퍼런스 영상과 적어도 하나의 비교 영상에 대하여, 컴퓨터 장치를 이용하여 스테레오 매칭하는 방법으로, 상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상을 수집하는 단계, 상기 레퍼런스 영상에서 특징점들을 추출하는 단계, 광 흐름 기법을 이용하여, 상기 적어도 하나의 비교 영상에서 각각 상기 각 특징점들에 대응되는 점들을 추적하는 대응점 추적단계 및 상기 대응점 추적 결과에 따라 깊이 맵을 생성하는 단계를 포함하여 구성된다. 따라서, 캘리브레이션의 필요 없이, 광흐름 기법을 이용한 특징점 추적을 통하여 양안 영상의 색감이나 밝기에 민감하지 않은 안정적인 고속의 깊이 맵을 생성할 수 있으며, 복수의 카메라의 상대적 위치나 배치 간격과 같은 최소한의 사전 정보를 이용하여 추적 윈도우의 모양이나 크기를 조정함으로써 특징점 추적 속도와 정확도가 개선된 스테레오 매칭을 수행할 수 있다.

Description

특징기반의 스테레오 매칭 방법 및 장치{METHOD AND APPARATUS FOR FEATURE-BASED STEREO MATCHING}

본 발명은 좌측 및 우측 영상의 픽셀간 양안차를 생성하는 스테레오 매칭방법 및 장치에 관한 것이며, 좀더 상세하게는 캘리브레이션을 요구하지 않으면서 고속의 깊이 맵을 형성할 수 있는 특징 기반의 스테레오 매칭 방법 및 장치에 관한 것이다.

일반적으로 스테레오 매칭은 인간이 두 개의 눈을 가지고 사물의 거리를 인지하는 방법과 동일한 방식을 이용하여 서로 다른 관점에서 얻어진 두 영상 사이의 대응점간의 변이를 추정하여 정확하고 신뢰성 있는 변이맵(disparity map)을 얻는 것을 말한다.

더 나아가서, 변이맵을 이용하여 깊이 맵(Depth map)을 만들어 냄으로써 깊이감이 있는 3차원 영상을 복원할 수 있다. 이러한 스테레오 매칭 방법은 크게 영역기반(Area-based) 방법과 특징기반(Feature-based) 방법으로 나눌 수 있는데, 특징 기반 방법은 영역기반 방법이 갖는 여러 가지 제약사항에서 비교적 자유로울 수 있으며, 더욱 정확하고 강인한 깊이 맵을 생성할 수는 있다. 그러나 상대적으로 성긴 깊이 맵(sparse depth map)을 생성할 수 밖에 없기 때문에 응용에 따라 다르겠지만 일반적으로는 영상 전체에 걸쳐 촘촘한 깊이 맵(dense depth map)을 생성할 수 있는 영역 기반 방법을 선호한다.

그러나 영역 기반 방법은 항상 에피폴라 라인(epi-polar)을 일치시키는 캘리브레이션 과정이 필요하며, 영상의 모든 영역에 대해서 깊이값을 계산하기 때문에 특징기반 방법보다 연산 시간이 오래 걸린다. 또한 다음과 같은 조건들을 만족한다는 가정하에 스테레오 매칭이 수행된다는 단점이 있다.

- 광원이 무한대의 거리에서 점 광원일 것.

- 장면안의 물체가 램버시안 표면일 것.

- 양안의 색감이나 특징들의 왜곡이 비교적 적을 것.

스테레오 매칭 외에도 TOF(Time of Flight) 카메라나 IR(infrared ray) 레이저 등을 이용한 액티브 센싱(Active sensing) 기술을 이용하여 사용자의 제스처를 인식하는 기술들도 있다. 그러나 TOF카메라는 너무 고가인데다가 레이저는 사용자의 눈에 부담을 줄 수 있고, 두 가지 모두 얇은 형태의 소형으로 제작하기도 힘들어서 고 정밀의 가공기술이 필요하다는 단점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 소형의 저가 장비를 활용하면서도 캘리브레이션이 필요없는 특징기반의 스테레오 매칭 방법을 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 소형이면서도 저가의 장비를 활용하면서도 캘리브레이션이 필요 없는 특징기반의 스테레오 매칭 장치를 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면은, 다른 관점에서 촬영된 레퍼런스 영상과 적어도 하나의 비교 영상에 대하여, 컴퓨터 장치를 이용하여 스테레오 매칭하는 방법으로, 상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상을 수집하는 단계, 상기 레퍼런스 영상에서 특징점들을 추출하는 단계, 광 흐름 기법을 이용하여, 상기 적어도 하나의 각 비교 영상에서 상기 각 특징점들에 대응되는 점들을 추적하는 대응점 추적단계 및 상기 대응점 추적 결과에 따라 깊이 맵을 생성하는 단계를 포함하는 스테레오 매칭 방법을 제공한다.

여기서, 상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상 각각에 대하여, 본래의 영상보다 해상도를 일정 단계별로 낮추어서, 다양한 해상도 레벨을 갖는 영상을 생성하되, 본래 영상보다 해상도가 낮은 적어도 하나의 영상을 생성하는 단계를 더 포함하고, 상기 특징점 추출 및 대응점 추적은 해상도가 가장 낮은 레퍼런스 영상과 이에 대응하는 비교 영상에서부터 시작하여, 본래의 해상도를 갖는 레퍼런스 영상과 이에 대응하는 비교 영상에 대해서 최종적으로 수행하는 것을 특징으로 한다.

여기서, 상기 레퍼런스 영상에서 특징점을 추출하는 방법은, 상기 레퍼런스 영상의 각 위치에서 그레디언트 행렬 G의 고유값을 계산하고, 그 결과로 산출된 두 개의 고유값 중 작은 고유값에 대하여 내림차순으로 각 해당하는 점들을 나열함으로써, 일정순위 내의 점들을 추출하는 것을 특징으로 한다.

여기서, 상기 광흐름 기법에 뉴턴-랩슨(Newton-Raphson) 방법을 적용함으로써, 여러 번 반복하여 근접한 대응점을 찾는 것을 특징으로 한다.

여기서, 상기 대응점 추적단계는, 상기 레퍼런스 영상에서 상기 특징점에 대응하는 점들을 추적하기 위한, 특징점 추적 윈도우를 구성하는 단계를 포함하고, 상기 특징점 추적 윈도우는 미리 제공된 정보에 따라서, 윈도우의 크기, 모양 및 중심점의 위치가 변경되는 것을 특징으로 한다.

여기서, 상기 미리 제공된 정보는 상기 적어도 두 대의 카메라간의 상대적 위치, 배치 간격 중 적어도 하나를 포함하는 것을 특징으로 한다.

여기서, 상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상의 전경과 배경을 분리시키는 단계를 더 포함하고, 상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상은 각각 적외선 조명을 이용하여 촬영되고, 상기 특징점 추출과 상기 대응점 추적은 각각 상기 레퍼런스 영상의 전경 및 상기 적어도 하나의 비교 영상의 전경에 대해서 수행되는 것을 특징으로 한다.

여기서, 상기 각 영상으로부터 전경과 배경을 분리시키는 방법은 상기 각 영상에서 일정한 밝기 이상의 영역을 전경으로 분리하거나 또는 영상의 일정한 비율을 전경으로 분리하는 것을 특징으로 한다.

여기서, 상기 레퍼런스 영상 및 적어도 하나의 비교 영상은 적어도 2개의 카메라로 동일한 시각에 다른 관점에서 촬영된 것을 특징으로 한다.

상기의 목적을 달성하기 위한 본 발명의 다른 측면은, 다른 관점에서 촬영된 레퍼런스 영상과 적어도 하나의 비교영상에 대하여, 컴퓨터 장치를 이용하여 스테레오 매칭하는 방법으로, 상기 레퍼런스 영상과 상기 적어도 하나의 비교영상을 수집하는 단계, 상기 레퍼런스 및 상기 적어도 하나의 비교 영상 각각에 대하여, 본래의 영상보다 해상도를 일정 단계별로 낮추어서, 다양한 해상도 레벨을 갖는 영상을 생성하되, 본래 영상보다 해상도가 낮은 적어도 하나의 영상을 생성하는 단계, 상기 레퍼런스 영상에서 제1특징점들을 추출하는 단계, 광 흐름 기법을 이용하여, 상기 적어도 하나의 각 비교 영상에서, 상기 각 제1 특징점들에 대응되는 제 1 대응점들을 추적하는 단계, 상기 적어도 하나의 각 비교 영상에서 제 2 특징점들을 추출하는 단계, 광 흐름 기법을 이용하여, 상기 레퍼런스 영상에 대하여, 상기 각 제 2 특징점들에 대응되는 제 2 대응점들을 추적하는 단계 및 상기 제 1 및 제 2 대응점 추적 결과를 합성하여 깊이 맵을 생성하는 단계를 포함하고, 상기 제1 및 제2 특징점 추출과 상기 제1 및 제2 대응점 추적은 해상도가 가장 낮은 영상들에 대해서부터 시작하여, 본래의 해상도를 갖는 영상들에 대해서 최종적으로 수행하는 것을 특징으로 하는 스테레오 매칭 방법을 제공한다.

여기서, 상기 제1 및 제2 특징점을 추출하는 방법은, 상기 레퍼런스 영상 및 적어도 하나의 비교 영상의 각 위치에서 그레디언트 행렬 G의 고유값을 계산하고, 그 결과로 산출된 두 개의 고유값 중 작은 고유값에 대하여 내림차순으로 각 해당하는 점들을 나열함으로써, 일정순위 내의 점들을 추출하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위한 본 발명은 다른 관점에서 촬영된 레퍼런스 영상과 적어도 하나의 비교 영상을 이용하여, 스테레오 매칭하는 장치로, 상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상을 수집하는 영상 수집부, 상기 레퍼런스 영상에서 특징점들을 추출하되, 상기 레퍼런스 영상의 각 위치의 그레디언트 행렬의 고유값을 계산하고, 그 결과로 산출된 두 개의 고유값 중 작은 고유값에 대하여 내림차순으로 각 해당하는 점들을 나열함으로써, 일정순위 내의 점들을 특징점으로 추출하는 특징점 추출부, 광 흐름 기법을 이용하여, 상기 적어도 하나의 비교영상에서 각각 상기 각 특징점들에 대응되는 점들을 추적하는 대응점 추적부 및 상기 대응점들 추적 결과를 이용하여 깊이 맵을 생성하는 깊이 맵 생성부를 포함하는 것을 특징으로 하는 스테레오 매칭 장치를 제공한다.

여기서, 상기 레퍼런스 영상과 적어도 하나의 비교영상 각각에 대하여, 본래의 영상보다 해상도를 일정 단계별로 낮추어서, 다양한 해상도 레벨을 갖는 영상을 생성하되, 본래 영상보다 해상도가 낮은 적어도 하나의 영상을 생성하는 해상도 조정부를 더 포함하고, 상기 특징점 추출 및 대응점 추적은 해상도가 가장 낮은 레퍼런스 영상과 이에 대응하는 비교영상에서부터 시작하여, 본래의 해상도를 갖는 레퍼런스 영상과 이에 대응하는 비교 영상에 대해서 최종적으로 수행하는 것을 특징으로 한다.

여기서, 상기 대응점 추적부는 특징점 추적 윈도우를 이용하여 상기 레퍼런스 영상에서 상기 특징점에 대응하는 점들을 추적하고, 상기 특징점 추적 윈도우는 상기 적어도 두 대의 카메라간의 상대적 위치, 배치 간격 중 적어도 하나의 정보를 기초로, 윈도우의 크기, 모양 및 중심점의 위치가 변경되는 것을 특징으로 한다.

여기서, 상기 레퍼런스 영상과 상기 적어도 하나의 영상에서 각각 전경과 배경을 분리하되, 상기 각 영상의 일정한 밝기 이상의 영역 또는 일정한 비율을 전경으로 분리하는 전경/배경 분리부를 더 포함하고, 상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상은 각각 적외선 조명을 이용하여 촬영되고, 상기 특징점 추출과 상기 광흐름 기법을 이용한 대응점 추적은 각각 상기 레퍼런스 영상 및 상기 적어도 하나의 비교 영상의 전경에 대해서 수행되는 것을 특징으로 한다.

여기서, 상기 적어도 하나의 비교 영상에서 제 2 특징점들을 추출하는 제 2 특징점 추출부, 광 흐름 기법을 이용하여, 상기 레퍼런스 영상에서, 상기 각 제 2 특징점들에 대응되는 점을 추출하는 제 2 대응점 추적부를 더 포함하고, 상기 깊이 맵 생성부는 상기 대응점 추적 결과에 상기 제2 대응점 추적결과를 합성하여 상기 깊이 맵을 생성하는 것을 특징으로 한다.

여기서, 상기 레퍼런스 영상 및 적어도 하나의 비교 영상은 적어도 2개의 카메라로 동일한 시각에 다른 관점에서 촬영된 것을 특징으로 한다.

여기서, 상기 스테레오 매칭 장치는 박막 형태로 제작되어 컴퓨터의 LCD 측에 내장하거나 부착하는 것을 특징으로 한다.

상기와 같은 본 발명에 따른 특징기반의 스테레오 매칭 방법 및 장치를 이용하면, 캘리브레이션의 필요 없이, 광흐름 기법을 이용한 특징점 추적을 통하여 양안 영상의 색감이나 밝기에 민감하지 않은 안정적인 고속의 깊이 맵을 생성할 수 있다. 또한 복수의 카메라의 상대적 위치나 배치 간격과 같은 최소한의 사전 정보를 이용하여 추적 윈도우의 모양이나 크기를 조정함으로써 특징점 추적 속도와 정확도가 개선된 스테레오 매칭을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 과정을 보여주는 시퀀스 차트이다.
도2 는 본 발명의 일 실시예에 따른 다양한 해상도를 갖도록 조정된 영상을 예시하는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 방법을 이용하여 깊이 맵을 생성한 결과의 일예를 보여주는 개념도이다.
도 4a 및 4b 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 방법을 이용한 사용자와 컴퓨터간의 인터랙션의 일 예를 보여주는 개념도이다.
도 5a 및 5b는 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 방법을 이용하여 깊이맵을 생성한 결과의 다른 예를 보여주는 개념도이다.
도 6은 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 방법을 이용한 사용자와 컴퓨터간의 인터랙션 용용 예를 보여주는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 특징점 추적 윈도우의 구성을 예시하는 개념도이다.
도 8은 역광이 있는 배경의 영향을 받은 영상과 이에 대한 스테레오 매칭결과의 일 예를 보여주는 개념도이다.
도 9는 본 발명의 일 실시예에 따른 적외선 조명이 부착된 카메라를 예시하는 개념도이다.
도 10은 본 발명의 다른 실시예에 따른 대칭방법을 적용한 특징기반의 스테레오 매칭 과정을 보여주는 시퀀스 챠트이다.
도 11는 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 장치를 보여주는 개념도이다.
도 12는 본 발명의 다른 실시예에 따른 대칭방법을 적용한 특징기반의 스테레오 매칭 장치를 보여주는 개념도이다.
도 13은 본 발명의 스테레오 매칭 장치를 박막형태로 제작하여 컴퓨터에 내장한 예를 보여주는 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 특징기반의 스테레오 매칭 방법과 장치가 개시된다. 본 발명의 스테레오 매칭 방법은 에피폴라 라인(epipolar line)을 구하지 않는다. 따라서 캘리브레이션을 수행하기 위하여 여러 가지 복잡한 소프트웨어와 하드웨어 조절을 수행하지 않아도 된다. 또한 양안에서 촬영된 영상의 색감이나 밝기 값이 완전히 일치할 필요가 없다. 특징 기반의 방법이기 때문에 성긴 깊이 맵을 생성하나 여러 응용에 충분히 사용될 수 있을만큼의 깊이 맵이 생성되며, 그 속도 또한 실시간으로 이용할 수 있을 정도의 속도로 계산된다.

이러한 캘리브레이션이 필요없는 고속의 스테레오 매칭을 위하여 본 발명은 크게 다음과 같은 두 가지 단계로 이루어진다.

1, 영상의 매 프레임에 대하여 추적이 잘 될 수 있는 특징점을 레퍼런스 영상에서 찾는다.

2. 광흐름(Optical flow) 기법을 이용하여 비교 영상에서 앞서 찾은 특징점에 대응되는 위치를 추적한다.

일반적으로 광흐름 기법은 시간차를 갖고 생성된 영상에서 이웃한 프레임간의 영상의 이동 방향을 검출하기 위해서 사용되어왔다. 예를 들어 카메라가 좌측에서 우측으로 움직이는 경우, 촬영된 영상은 우측에서 좌측으로 이동하게 되며, 광흐름 기법을 이용하여 이것을 감지한 뒤, 카메라가 어느 방향으로 움직이고 있는 지 추정할 수 있다. 또한 광흐름 기법이 스테레오 매칭 방법에 사용되어 온 경우도 있지만, 대부분 좌, 우측 각 영상에 시간차 광흐름을 적용한 뒤, 이로부터 얻어지는 정보를 이용하여 스테레오 매칭을 수행하였다.

그러나 본 발명에서는 시간적 순서를 갖는 프레임에 광흐름 기법을 적용하던 것을 공간적 순서에 적용하였다. 기준 영상인 레퍼런스 영상과 레퍼런스 영상에 대비되는 비교 영상들은 동일한 시간에 다른 관점에서 촬영된 영상이며, 이러한 영상들은 상당부분 동일한 물체를 담고 있다. 이것은 물체를 정지시킨 상태에서 하나의 카메라를 이용하여 서로 다른 위치에서 두 번 촬영한 것과 다르지 않다. 또한 물체가 정지되어 있기 때문에 양쪽 영상에 촬영된 물체는 서로간의 모양 변화가 없는 강체(rigid body)로 가정할 수 있다. 따라서 단지 두 영상에서는 대부분의 위치 이동(Translation)과 약간의 아핀변환(Affine transform)이 일어났다고 볼 수 있다. 이제 남은 일은 레퍼런스 영상에서 좋은 특징점을 찾아서 그것을 비교 영상에서 잘 추적하는 일이며, 이는 고속의 스테레오 매칭을 위하여 본 발명에서 제안하는 특징이다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 과정을 보여주는 시퀀스 차트이다.

도 1을 참조하면 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 방법은 영상수집 단계(S110), 영상의 전경/배경 분리단계(S120), 영상의 해상도 조절단계(S130), 특징점 추출 단계(S140), 대응점 추적단계(S150), 깊이 맵 생성단계(S160)를 포함하여 구성될 수 있다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭의 각 단계는 다음과 같이 설명될 수 있다.

영상수집 단계(S110)는 복수의 카메라를 이용하여 촬영된 복수개의 영상을 컴퓨터를 이용하여 수집하는 단계이다. 본 발명의 실시예에서는 적어도 두 대의 카메라를 통하여 수집된 적어도 두 개의 영상 중 하나의 레퍼런스 영상과 적어도 하나의 참조 영상을 이용한다. 레퍼런스 영상은 특징점을 추출하기 위한 기준이 되는 영상이며, 참조영상은 레퍼런스 영상에서 추출한 특징점에 대응되는 점을 찾기위한 영상이다.

영상의 전경/배경 분리단계(S120)는 수집된 복수개의 각 영상에서 전경과 배경을 분리하여 전경에 대해서만 특징점을 추적할 수 있도록함으로써, 역광이나 배경 등에 민감한 영상을 좀 더 정확하게 분석하기 위함이다. 따라서 본 단계는 상황에 따라서 선택적으로 적용할 수 있을 것이다.

영상의 해상도 조절단계(S130)는 레퍼런스 영상과 비교 영상 각각에 대하여, 본래의 영상보다 해상도를 낮춘 단계별 저해상도 버전의 영상을 생성하는 단계이다. 이는 특징점 추출시 해상도가 가장 낮은 버전의 영상에서부터 수행하도록 하여, 영상간의 변이차가 낮은 상태에서부터 스테레오 매칭을 시작할 수 있도록함으로써 좀 더 정확한 매칭 결과를 얻기 위함이다. 이부분에 대한 좀 더 상세한 설명은 후술하기로 한다.

특징점 추출단계(S140)는 레퍼런스 영상에서 추적이 잘될수 있는 특징점을 찾는 단계이다. 레퍼런스 영상은 미리 지정이 될 수도 있고 본 단계에서 임의로 지정하게 할 수도 있을 것이다.

대응점 추적단계(S150)는 광흐름(Optical Flow)기법을 이용하여, 레퍼런스 영상 이외의 영상들을 비교영상으로 하여, 앞서 찾은 특징점에 대응하는 점의 위치를 비교영상에서 추적하는 단계이다. 광흐름 기법을 이용하여 특징점을 추적하는 방법은 이하 좀 더 상세한 실시예에서 설명하기로 한다.

깊이 맵 생성단계(S160)는 특징점에 대응하는 점의 추적 결과에 따라 깊이 맵을 구성하여 3차원 영상을 복원하기 위한 단계로서, 본 발명에 따른 방법은 캘리브레이션을 수행하지 않음으로써 고속의 깊이 맵을 형성할 수 있는 장점이 있다.

이하 본 발명에 따른 광흐름 기법을 이용한 스테레오 매칭방법에 대하여 좀 더 자세한 실시예를 통하여 설명하기로 한다.

간단한 실시예를 위하여 평행 카메라 모델을 이용했다고 가정할때, 광흐름 기법에 의하여 추적된 점의 양쪽 영상에서의 거리가 길다면 이것은 상대적으로 카메라와 가까운 곳에 있는 점이며, 이것이 짧다면 상대적으로 먼 곳에 있는 점이다. 그러나 일반적인 광흐름 기법이 항상 정확한 추적을 보장하는 것이 아니다. 예를 들어 카메라를 좌, 우로 놓고 촬영한 경우, 광흐름 기법을 이용시 수직으로 구성된 물체에서는 평행한 방향으로 추적이 진행되기 보다는 위아래 방향으로 추적이 진행되는 경우가 많다. 이러한 경우 광흐름에 사용되는 윈도우의 크기를 너비, 높이 비대칭으로 구성하거나 어느 정도 좌, 우 측으로만 추적되도록 구성하는 방법도 있을 것이다. 그러나 본 발명에서는 더욱 바람직한 실시예를 위하여 아주 강인하고 정확한 방법으로 양안 영상에서의 특징을 추적해 나가는 과정을 설명하고자 한다.

일반적인 영역기반 스테레오 매칭 방법은 영상의 밝기값을 그대로 사용한다. 이것은 양안 영상의 색감이나 밝기값이 거의 일치해야 하며, 두 영상 사이의 왜곡이 거의 없다는 것을 가정하고 있다. 그러나 동일한 모델의 카메라를 이용하더라도 각 카메라의 특성상 색감이 조금씩 다를 수 있으며 완전히 색감이나 밝기값을 동기화 시키는 데에는 많은 노력이 필요하다. 본 발명에서는 절대적인 밝기값이 아닌, 특징점 주변에서의 그레디언트 분포를 사용하기 때문에 양안에 밝기나 색상의 차이가 조금 나더라도 큰 문제없이 동작할 수 있다.

먼저 I와 J를 각각 앞에서 얘기한 레퍼런스 영상과 비교 영상이라고 하고,

와

는 각각 영상의 x, y 좌표에서의 밝기값이라고 하자. 레퍼런스 영상 I에서의 한 점

에 대해서 특징점 추적이라는 의미는, 두번째 영상에서의

와 비슷한

를 갖는

를 찾는 것과 같다.

와

를 윈도우 사이즈와 관련된 값이라고 한다면 두 영상간의 움직인 차이

는 다음식에서의

가 최소화 되는 위치의 차이를 말한다.

e(d)가 최소화 되는 x, y를 찾아야 하기 때문에 다음과 같은 식을 만족하는 점을 찾으면 된다.

위의 수식을 전개하면 다음과 같다.

그런데 윈도우 크기에 비해서 d가 아주 작다고 한다면 1차 테일러 전개식에 의해서 다음과 같이 전개할 수 있다.

여기서

는 단지 영상의 그레디언트 벡터이다. 따라서 다음과 같이 정의할 수 있다.

또한

라고 하면, 수학식 4는 다음과 같이 다시 쓸 수 있다.

여기서

라 하고

라 하면, 수학식 5는 다음과 같이 쓸 수 있다.

따라서 수학식 6은 수학식 2에 의해서 다음과 같은 수학식 7로 집약된다.

따라서

가 최적의 d를 나타내며, 영상 I에서의 점과 영상 J에서의 점은

만큼의 차이가 나는 것이다. 그러나 이것은 d가 충분히 작을 때 테일러 전개를 이용한 수식이며 따라서 d가 클 경우에는 들어맞지 않는다. 그러나 스테레오 매칭의 경우 d가 큰 값을 갖는 경우가 많다. 따라서 일반적인 광흐름 기법을 스테레오 매칭에 직접 적용하면 정확한 매칭이 되지 못한다.

상기의 문제점을 해결하기 위하여 본 실시예에서는 도2에 도시된 것처럼 영상의 해상도를 단계별로 낮추어서 여러 가지 저 해상도 버전을 만든 다음 가장 해상도가 낮은 영상에서부터 매칭을 진행해 나가는 것을 보여준다.

도2 는 본 발명의 일 실시예에 따른 다양한 해상도를 갖도록 조정된 영상을 예시하는 개념도이다.

도 2을 참조하면 한 영상에 대하여 레벨0부터 레벨3까지의 해상도를 갖는 다른 버전의 영상이 생성된 것을 알 수 있다. 예를 들면, 레벨 0은 해상도를 조정하지 않은 초기의 영상이고, 레벨 1은 해상도를 한 단계 낮춘 영상, 레벨 2는 레벨 1에서 해상도를 한 단계 더 낮춘 영상, 레벨 3은 레벨 2에서 해상도를 한 단계 더 낮춘 영상이라고 할 수 있다.

영상의 해상도를 낮추면 그만큼 영상간 변위d가 작아지는 효과를 가져오기 때문에 광흐름 기법을 이용하여 스테레오 매칭을 수행해도 충분히 원하는 효과를 얻을 수 있다. 또한, 최적의 해를 구하기 위하여 뉴턴-랩슨(Newton-Raphson) 접근법을 적용하여 위에서 표현된 수식들을 여러 번 반복하여 근접한 해를 찾아 나갈 수 있다. 뉴턴-랩슨 방법은 조금 불안정 하기는 하나 수렴이 빠른 것을 장점으로 하는 추정 방법이다.

또한 일반적으로 특징 기반의 스테레오 매칭 방법은 영상의 특징점 추적을 위하여 모서리, 선 및 코너 등과 관련된 점을 사용하여 왔다. 그러나 이들은 추적이 잘 될 것이라고 기대되는 특징을 가지고 있는 것으로 보이는 것일뿐, 사실상 추적이 잘 되리라는 보장은 없으므로, 추적이 잘되는 특징점을 잡는 것이 중요하다. 위의 식에서 그레디언트 행렬인 G 행렬의 경우, G 행렬의 고유값 중 작은 고유값이 큰 값을 가질수록 추적이 잘 되도록 설계되어 있다. 따라서 앞서 수식을 통하여 설명한 방법을 사용하여 추적이 잘 되는 특징점은 G행렬의 작은 고유값이(일반적으로 고유값은 두개가 존재하며, 그 중 작은 고유값을 일컬음) 큰 위치(x,y)일 것이다.

영상의 각 위치에서 고유값을 계산하고, 특징점을 한 뒤, 작은 고유값이 큰 순서대로 원하는 개수의 특징점들을 나열하면 각 점들은 영상에서 고유값이 큰 점들의 집합이 될 것이며, 이러한 점들은 추적이 잘 되는 점이다.

이하, 도면을 참조하여 위에 설명된 특징기반의 스테레오 매칭방법을 적용한 결과에 대한 다양한 예시 영상들을 살펴보기로 한다. 앞서 기술된 광흐름 기법을 이용한 스테레오 매핑 결과는 도 3내지 도 6에 예시된 영상을 통하여 확인할 수 있다.

도 3은 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 방법을 이용하여 깊이 맵을 생성한 결과의 일 예를 보여주는 개념도이다.

도 3을 참조하면 좌측 그림(310)은 원본 영상을 나타내며, 가운데 그림(320)은 원본 그림에서 각 특징점을 추적한 결과를 보여준다. 가운데 그림 (320)에서 검게 표시된 점은 멀리있는 점이며, 밝을수록 가까이 있는 점으로 추적된 것이다. 우측 그림(330)은 이러한 점들을 이용하여 깊이 맵을 구성한 것을 보여준다. 결과가 점들로 이루어져 있어서, 정확하지 않은 것처럼 보일 수 있지만, 이는 에피폴라 라인(epi-polar line)도 맞지 않고 교정(rectification)도 하지 않은 것이며, 어떠한 캘리브레이션도 없고, 서로 색감이나 밝기가 약간씩은 서로 다른 두 대의 카메라로부터 실시간으로 얻어진 것이라는 것을 고려할때 괜찮은 결과라는 것을 알 수 있다.

도 4a 및 4b 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 방법을 이용한 사용자와 컴퓨터간의 인터랙션의 일 예를 보여주는 개념도이다.

도4a및 4b는 본 발명에 따른 따른 특징 기반의 스테레오 매칭 방법을 적용하여, 사람의 움직임을 컴퓨터가 인식하면서 상호 인터랙션을 하는 것을 보여준다. 도 4a및 4b의 좌측 그림(411,412,431,432)은 원본 영상이고, 우측 그림(421,422,441,442)은 각 원본 영상에 대하여 본 발명에 따른 광 흐름 기법을 이용하여 깊이 맵을 구성한 것이다. 도 4a를 참조하면 원본 영상(411,412)을 통하여, 사용자가 발차기 동작을 하고 있음을 알 수 있다. 또한 두 원본 영상(411,412) 각각에 대응하여 구성된 깊이 맵(4211,422)을 통해서도 사용자가 발차기 동작을 하고 있음을 인식할 수 있다. 이러한 결과로 볼때, 충분히 사용자와 컴퓨터 간의 인터랙션이 가능한 정확도로 구현되었음을 알수 있다.

도 5a 및 5b는 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 방법을 이용하여 깊이 맵을 생성한 결과의 다른 예를 보여주는 개념도이다.

도 5a는 카메라로 촬영된 원본 영상을 좌측 그림(510)에서 보여주고 있으며, 뒤에 백색 화살표로 표시된 부분은 원래 직선인데 곡선으로 표시되어 있다. 또한 우측에는 카메라로 촬영된 좌측 및 우측 영상을 겹쳐놓은 그림(520)을 보여주고 있는데, 사용자의 눈 위치의 높이가 다른 것을 볼 수 있다. 이와 같이 상기 영상들은 전혀 캘리브레이션 되지 않았다는 것을 알 수 있다. 도 5b는 이러한 영상에서 광흐름 기법을 이용하여 스테레오 매칭을 수행한 결과를 보여주고 있다.

도 5b의 위쪽 그림들(531,532,533,534,535)은 시간차를 갖는 대응하는 동작을 겹쳐놓은 것처럼 보이지만, 사실은 동시에 공간을 달리하여 촬영한 영상을 겹쳐놓은 것이며, 사용자의 양 손의 위치를 찾아서 붉은색으로 표시해 주고 있다. 또한 이러한 영상들(531,532,533,534,535) 각각에 대하여 본 발명에 따른 광흐름 기법을 이용하여 구성된 깊이 맵이 아래쪽 그림(541,542,543,544,545)에 도시되어 있다. 아래쪽의 깊이 맵들(541,542,543,544,545)은 위쪽 그림(531,532,533,534,535)에 붉은 색으로 표시된 손부분의 위치를 정확하게 표현하고 있음을 알 수 있다.

도 6은 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 방법을 이용한 사용자와 컴퓨터간의 인터랙션 용용예를 보여주는 개념도이다.

도 6에는 사용자가 3D 모션을 이용하여 가상 키보드를 눌러서 아이디와 암호를 입력하는 그림(610), 사용자가 제스처를 이용하여 유투브를 검색하는 그림(620), 인터넷을 검색하는 그림(630)이 도시되어 있다. 또한 동영상이나 뮤직 비디오를 재생하면서 양 손을 이용하여 영상을 앞, 뒤로 움직이는 그림(640), 여러 개의 아이템을 양 손을 이용하여 탐색하는 그림(650), 양 손을 이용하여 자동차 레이싱 게임을 이용하는 그림(660)을 보여준다. 또한 사용자가 몸 전체를 이용하여 격투 게임을 즐기는 그림(670, 680)을 보여주는데, 팔 뿐만이 아니라 다리, 머리를 이용하여 컨텐츠를 가격하고 있는 것을 알 수 있다. 본 발명에 따른 스테레오 매칭방법을 적용하면 이와 같은 좀 더 정교한 인터랙션도 충분히 가능함을 알 수 있다.

이상에서 설명된 광흐름 기법을 이용한 스테레오 매칭 방법은 이해를 돕기 위하여 제시된 예시이며 어떠한 광흐름 방법을 사용하여도 무방하다. 다만 기존에 시간차를 갖는 영상에 적용하였던 광흐름 방법을 공간차를 갖는 영상에 대하여 적용하여 스테레오 매칭을 수행하는 것이 본 발명의 특징이다.

이하는 본발명에 따른 특징 기반의 스테레오 매칭을 좀 더 정확하게 수행하기 위하여 선택적으로 구성할 수 있는 기법들에 대해서 설명하기로 한다.

최소한의 정보를 알고 있다면 추적 윈도우의 유연한 구성을 통하여 더욱 정확한 추적이 가능하다. 이하 도면을 참조하여 추적 윈도우를 구성하는 좀 더 상세한 실시예를 설명하기로 한다.

도 7은 본 발명의 일 실시예에 따른 특징점 추적 윈도우의 구성을 예시하는 개념도이다.

도 7의 (a)에 도시된 것처럼, 앞서 언급된

와

는 일반적으로 정사각의 모양의 추적 윈도우를 이용하여, 윈도우의 중앙에서부터 특징점에 대응하는 점을 추적할 수 있도록 구성하게 된다.

그러나 만일 레퍼런스 카메라보다 비교 카메라가 더욱 오른쪽에 있다면 제대로 추적된 결과는 항상 오른쪽으로 추적되어 있어야 할 것이다. 이러한 경우 윈도우의 크기를 결정할 때, 도 7의 (b)와 같이 윈도우의 상하 폭을 줄여서 위쪽이나 아래쪽으로의 탐지 범위를 한정하고, 특징점의 추적 시작위치가 맨 왼쪽이 되어 우측 방향으로만 탐지하도록 윈도우의 중심점의 위치를 조정할 수 있을 것이다.

또한 두 카메라 사이의 간격을 알고 있다면 휴리스틱하게 추적 거리가 너무 멀어지지 않도록 수식을 수정할 수도 있다. 마찬가지로 비교 카메라가 레퍼런스 카메라보다 조금 위쪽에 설치된 경우에는 추적이 아래쪽으로 진행되지 않도록 도 7의 (c)와 같이 윈도우의 크기와 모양 및 중심점의 위치를 조정할 수 있을 것이다. 즉 카메라의 상대적 위치나 간격과 같은 최소한의 사전 정보를 가지고도 추적 윈도우의 크기, 모양 또는 중심점의 위치를 조정함으로서 최적의 특징 기반 스테레오 매칭 방법을 구현할 수 있다.

한편 역광과 같은 배경의 영향이 있는 경우 영상에 나타난 사용자의 모션을 정확하게 인식하기 어려움이 있다. 이를 해결하기 위한 방법으로서, 본 실시예에서는 앞서 제시된 영상의 전경과 배경을 분리하여 영상의 전경에 대해서만 스테레오 매칭을 수행할 수 있도록 하는 방법을 좀 더 자세하게 설명하기로 한다.

도 8은 역광이 있는 배경의 영향을 받은 영상과 이에 대한 스테레오 매칭결과의 일 예를 보여주는 개념도이다.

도 9는 본 발명의 일 실시예에 따른 적외선 조명이 부착된 카메라를 예시하는 개념도이다.

도 8을 참조하면 좌측 그림(810)은 원본 영상이고 우측 그림(820)은 원본 영상에 대한 깊이 맵을 생성한 결과를 보여준다. 좌측 그림(810)을 참조하면, 사용자가 오른손을 들고 왼손을 뒷짐지고 있는 것을 알 수 있다. 그러나 좌측 그림(810)에 대한 깊이 맵인 우측 그림(820)만으로는 사용자의 실제적인 모션이 무엇인지를 파악하기가 어렵다. 이는 사용자 뒤쪽의 역광으로 인해 사용자의 3D 모션이 제대로 인식되지 못하기 때문이다.

따라서 더욱 강인한 3D 모션의 인식을 위해서 도 9에 도시된 것과 같은 형태의 카메라 구성을 활용할 수 있다. 도 9의 카메라 구성은 적외선(IR LED) 조명을 포함하고 있으며 이를 이용하여 전경과 배경을 분리해 낼 수 있다. 즉, 카메라쪽에 적외선 조명이 부착되어 있으므로 카메라로부터 멀리 있는 영역은 어둡게 표현된다. 이에 따라, 일정 밝기값 이하의 영역을 제거하여 사용자의 모습 즉 전경만을 취할 수 있을 것이다.

여기서 일정 밝기값으로는 각 영역의 그 동안의 밝기 값을 참조하여 결정된 밝기 값을 기준으로 적용할 수 있다. 또는 영역의 일정 비율만을 전경으로 분리하는 등의 방법을 적용할 수도 있을 것이다. 이와 같이, 시간의 흐름에 따라 가변적으로 설정되는 것으로, 자동적으로 정해지도록 할 수 있다. 도 9는 카메라 구성의 예시로서 IEEE 1394 인터페이스의 카메라와 USB 인터페이스의 카메라를 모두 장착했지만, 영상에서 전경/배경을 분리하기 위한 최소한의 기구적 구성은 두 개의 영상 센서 (CCD 나 CMOS 등) 와 적외선 조명(IR LED) 이다.

또한 앞에서 설명한 바와 같이 레퍼런스 영상에서 특징점을 선택한 뒤에 비교영상에서 동일한 위치를 추적하는 비대칭 방법을 사용할 수도 있지만, 이와는 다르게 양쪽 영상에서 모두 특징점을 찾은 뒤 이것을 서로 다른 영상에서 광흐름 기법을 이용하여 추적하는 대칭 방법을 사용할 수도 있다. 이하, 이와 같은 대칭방법을 적용하여 특징점을 추적하는 방법에 대해서 설명하기로 한다.

도 10은 본 발명의 다른 실시예에 따른 대칭방법을 적용한 특징기반의 스테레오 매칭 과정을 보여주는 시퀀스 챠트이다.

도 10을 참조하면 본 발명의 대칭방법을 적용한 특징기반의 스테레오 매칭방법은 영상수집 단계(S210), 영상에 대한 해상도 조절단계(S220), 레퍼런스 영상에서 제 1특징점 추출단계 (S230), 비교 영상에서 제 2특징점 추출단계 (S240), 비교 영상에서 제 1대응점 추적단계 (S250), 레퍼런스 영상에서 제 2대응점 추적단계 (S260), 깊이 맵 생성단계(S270)를 포함하여 구성될 수 있다.

도 10을 참조하면, 본 발명의 다른 실시예에 따른 대칭방법을 적용한 스테레오 매칭 방법의 각 단계는 다음과 같이 설명될 수 있다.

영상수집 단계(S110)는 복수의 카메라를 이용하여 촬영된 복수개의 영상을 컴퓨터를 이용하여 수집하는 단계이다. 본 발명의 실시예에서는 두 대의 카메라를 통하여 수집된 영상을 이용한다.

영상의 해상도 조절단계(S230)는 레퍼런스 영상과 비교 영상 각각에 대하여, 본래의 영상보다 해상도를 낮춘 여러 버전의 영상을 생성하는 단계이다. 이는 특징점 추출시 해상도가 가장 낮은 버전의 영상에서부터 수행하도록 하여, 영상간의 변이차가 낮은 상태에서부터 특징점 추적을 시작함으로써 좀 더 정확한 매칭 결과를 얻기 위함이다.

레퍼런스 영상에서 제 1특징점 추출단계 (S230)와 비교 영상에서 제 2특징점 추출단계 (S240)는 각각 레퍼런스 영상 및 비교 영상 영상에서 추적이 잘될수 있는 제1 특징점과 제 2 특징점을 찾는 단계이다.

비교 영상에서 제 1대응점 추적단계 (S250)는 광흐름(Optical Flow)기법을 이용하여, 앞서 찾은 제1 특징점에 대응하는 제1 대응점의 위치를 비교 영상에서 추적하는 단계이다.

레퍼런스 영상에서 제2대응점 추적단계 (S260)는 광흐름(Optical Flow)기법을 이용하여, 앞서 찾은 제 2특징점에 대응하는 제2 대응점의 위치를 레퍼런스 영상에서 추적하는 단계이다.

깊이 맵 생성단계(S260)는 앞서 수행된 추적 결과를 이용하여 깊이 맵을 구성하여 3차원 영상을 복원하기 위한 단계이다.

본 대칭 방법은 요건에 따라 특징점 추출 및 대응점 추적을 레퍼런스 영상과 비교 영상에 대하여 병행으로 수행 할 수도 있고, 순차적으로 수행 할 수도 있을것이다. 병행으로 수행하면 좀 더 고속의 매칭이 될 것이지만 높은 사양의 장치를 요구할 것이다. 또한 이러한 대칭방법은 좀 더 정교한 깊이 맵을 생성할 수 있을 것이다.

이하 본 발명에 따른 특징기반의 스테레오 매칭 방법을 수행하는 스테레오 매칭 장치에 대해서 도면을 참조하여 설명하기로 한다.

도 11는 본 발명의 일 실시예에 따른 특징 기반의 스테레오 매칭 장치를 보여주는 개념도이다.

도 11을 참조하면, 본 발명의 특징 기반의 스테레오 매칭 장치는 카메라(1110), 영상 획득부(1120), 전경/배경 분리부(1130), 해상도 조정부(1140), 특징점 추출부(1150), 대응점 추적부(1160), 깊이 맵 생성부(1170)를 포함하여 구성된다.

도 11을 참조하면 본 발명의 광흐름 기법을 이용한 스테레오 매칭 장치의 각 구성요소는 다음과 같이 설명될 수 있다.

카메라(1110)는 발명에 따른 장치가 수행되는 컴퓨터에 내장되거나 또는 외부에 설치되어 연결되도록 구성될 수 있으며, 적어도 두 개의 카메라가 이용된다. 각 카메라에는 적외선광이 내장되거나 외부에 부착될 수 있다. 본 발명에 따른 복 수의 카메라는 공간적으로 일정한 간격을 갖도록 설치되며, 동시에 촬영되도록 구성된다.

영상 수집부(1120)는 복수의 카메라를 이용하여 촬영된 복수의 영상을 수집한다. 하나의 영상은 레퍼런스 영상(10)으로, 나머지는 참조 영상(20)으로 이용된다. 레퍼런스 영상(10)은 특징점을 추출하기 위한 기준이 되는 영상이며, 참조 영상(20)은 레퍼런스 영상(10)에서 추출한 특징점에 대응되는 점을 찾기위한 영상이다.

전경/배경 분리부(1130)는 수집된 복수개의 각 영상에서 전경을 배경으로부터 분리한다. 이는 전경에 대해서만 특징점을 추적할 수 있도록함으로써, 역광이나 배경 등에 민감한 영상을 좀 더 정확하게 분석하기 위함이다.

해상도 조정부(1140)는 수집된 또는 전경이 분리된 레퍼런스 영상(10)과 참조 영상(20) 각각에 대하여, 본래의 영상보다 해상도를 낮춘 여러 버전의 영상을 생성하는 단계이다. 이는 특징점 추출시 해상도가 가장 낮은 버전의 영상에서부터 수행하도록 하여, 영상간의 변이차가 낮은 상태에서부터 특징점 추적을 시작함으로써 좀 더 정확한 매칭 결과를 얻기 위함이다.

특징점 추출부(1150)는 레퍼런스 영상(10)에서 추적이 잘될수 있는 특징점을 추출하고, 대응점 추적부(1160)는 광흐름(Optical Flow)기법을 이용하여, 앞서 찾은 특징점에 대응하는 점의 위치를 비교영상(20)에서 추적한다. 이때 도7에 도시된 특징점 추적 윈도우를 이용하여 카메라의 위치나 카메라간의 간격과 같은 미리 주어진 정보에 따라서 대응점 검색범위를 한정하도록 추적 윈도우를 조정함으로써 좀 더 빠르고 정확하게 대응점을 찾을 수 있을 것이다.

깊이 맵 생성부(1170)는 특징점에 대응하는 위치의 추적 결과를 이용하여 깊이 맵을 생성하는데, 이는 캘리브레이션을 수행하지 않기 때문에 고속의 깊이 맵(30)의 형성이 가능하다.

이번에는 양쪽 영상에서 모두에서 특징점과 대응점을 찾는 대칭방법을 적용한 스테레오 매칭 장치에 대하여 설명하기로 한다.

도 12는 본 발명의 다른 실시예에 따른 대칭방법을 적용한 특징기반의 스테레오 매칭 장치를 보여주는 개념도이다.

도 12를 참조하면, 본 발명에 따른 대칭방법을 적용한 스테레오 매칭 장치는 카메라(1210), 영상 획득부(1220), 해상도 조정부(1230), 제1특징점 추출부(1240), 제2특징점 추출부(1250), 제1대응점 추적부(1260), 제2대응점 추적부(1270), 깊이 맵 생성부(1180)를 포함하여 구성된다.

도 12를 참조하면, 본 발명의 따른 대칭방법을 적용한 스테레오 매칭 장치의 각 구성요소는 다음과 같이 설명될 수 있다.

카메라(1210)는 발명에 따른 장치가 수행되는 컴퓨터에 내장되거나 또는 외부에 설치되어 연결되도록 구성될 수 있으며, 본 실시예에서는 두 대의 카메라가 이용되며, 공간적으로 일정한 간격을 갖도록 설치되며, 동시에 촬영되도록 구성된다.

영상 수집부(1220)는 두 개 카메라를 이용하여 각각 촬영된 레퍼런스 영상(40)과 비교 영상(50)을 수집한다.

제1 특징점 추출부(1240)는 레퍼런스 영상에서 추적이 잘 될수 있는 제1 특징점을 찾고, 제2 특징점 추출부(1250)는 비교 영상에서 추적이 잘 될수 있는 제 2 특징점을 찾는다.

제 1대응점 추적부(1260)는 광흐름(Optical Flow)기법을 이용하여, 앞서 찾은 제1 특징점에 대응하는 제1 대응점의 위치를 비교 영상에서 추적한다.

제2대응점 추적부 (1270)는 광흐름(Optical Flow)기법을 이용하여, 앞서 찾은 제 2특징점에 대응하는 제2 대응점의 위치를 레퍼런스 영상에서 추적한다.

특징점 추출 및 대응점 추적부는 요건에 따라서 제1 특징점 추출 및 대응점 추적이 완료된후 제2 제2 특징점 추출 및 제2 대응점 추적이 수행되도록 순차적으로 동작할 수도 있고, 제1 및 제2 특징점 추출과 대응점 추적이 동시에 수행되도록 동작할 수 도 있다.

깊이 맵 생성부(1280)는 특징점 추출 및 대응점 추적 결과를 이용하여 깊이 맵을 구성하여 3차원 영상을 복원하게 된다.

또한 본 발명에 따른 장치는 필요한 기구의 구조상 박막형태로 제작이 가능하기 때문에 도 13에 예시된 것처럼 노트북 LCD측에 부착하여 3D 제스처 인터페이스를 사용할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (18)

1. 다른 관점에서 촬영된 레퍼런스 영상과 적어도 하나의 비교 영상에 대하여, 컴퓨터 장치를 이용하여 스테레오 매칭하는 방법으로,
   상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상을 수집하는 단계;
   상기 레퍼런스 영상에서 특징점들을 추출하는 단계;
   광 흐름 기법을 이용하여, 상기 적어도 하나의 각 비교 영상에서 상기 각 특징점들에 대응되는 점들을 추적하는 대응점 추적단계; 및
   상기 대응점 추적 결과에 따라 깊이 맵을 생성하는 단계를 포함하고,
   상기 레퍼런스 영상에서 특징점들을 추출하는 단계는,
   상기 레퍼런스 영상의 각 위치에서 그레디언트 행렬 G의 고유값을 계산하고, 그 결과로 산출된 두 개의 고유값 중 작은 고유값에 대하여 내림차순으로 각 해당하는 점들을 나열함으로써, 일정순위 내의 점들을 추출하는 스테레오 매칭 방법.
2. 제 1항에 있어서,
   상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상 각각에 대하여, 본래의 영상보다 해상도를 일정 단계별로 낮추어서, 다양한 해상도 레벨을 갖는 영상을 생성하되, 본래 영상보다 해상도가 낮은 적어도 하나의 영상을 생성하는 단계를 더 포함하고, 상기 특징점 추출 및 대응점 추적은 해상도가 가장 낮은 레퍼런스 영상과 이에 대응하는 비교 영상에서부터 시작하여, 본래의 해상도를 갖는 레퍼런스 영상과 이에 대응하는 비교 영상에 대해서 최종적으로 수행하는 것을 특징으로 하는 스테레오 매칭 방법.
3. 삭제
4. 제 1항에 있어서,
   상기 광흐름 기법에 뉴턴-랩슨(Newton-Raphson) 방법을 적용함으로써, 여러 번 반복하여 근접한 대응점을 찾는 것을 특징으로 하는 스테레오 매칭 방법.
5. 제 1항에 있어서,
   상기 대응점 추적단계는,
   상기 레퍼런스 영상에서 상기 특징점에 대응하는 점들을 추적하기 위한, 특징점 추적 윈도우를 구성하는 단계를 포함하고, 상기 특징점 추적 윈도우는 미리 제공된 정보에 따라서, 윈도우의 크기, 모양 및 중심점의 위치가 변경되는 것을 특징으로 하는 스테레오 매칭 방법.
6. 제 5항에 있어서,
   상기 미리 제공된 정보는 적어도 두 대의 카메라간의 상대적 위치, 배치 간격 중 적어도 하나를 포함하는 것을 특징으로 하는 스테레오 매칭 방법.
7. 제 1항에 있어서,
   상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상의 전경과 배경을 분리시키는 단계를 더 포함하고,
   상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상은 각각 적외선 조명을 이용하여 촬영되고, 상기 특징점 추출과 상기 대응점 추적은 각각 상기 레퍼런스 영상의 전경 및 상기 적어도 하나의 비교 영상의 전경에 대해서 수행되는 것을 특징으로 하는 스테레오 매칭 방법.
8. 제 7항에 있어서,
   상기 각 영상으로부터 전경과 배경을 분리시키는 방법은 상기 각 영상에서 일정한 밝기 이상의 영역을 전경으로 분리하거나 또는 영상의 일정한 비율을 전경으로 분리하는 것을 특징으로 하는 스테레오 매칭 방법.
9. 제 1항에 있어서,
   상기 레퍼런스 영상 및 적어도 하나의 비교 영상은 적어도 2개의 카메라로 동일한 시각에 다른 관점에서 촬영된 것을 특징으로 하는 스테레오 매칭 방법.
10. 다른 관점에서 촬영된 레퍼런스 영상과 적어도 하나의 비교영상에 대하여, 컴퓨터 장치를 이용하여 스테레오 매칭하는 방법으로,
    상기 레퍼런스 영상과 상기 적어도 하나의 비교영상을 수집하는 단계;
    상기 레퍼런스 및 상기 적어도 하나의 비교 영상 각각에 대하여, 본래의 영상보다 해상도를 일정 단계별로 낮추어서, 다양한 해상도 레벨을 갖는 영상을 생성하되, 본래 영상보다 해상도가 낮은 적어도 하나의 영상을 생성하는 단계;
    상기 레퍼런스 영상에서 제1특징점들을 추출하는 단계;
    광 흐름 기법을 이용하여, 상기 적어도 하나의 각 비교 영상에서, 상기 각 제1 특징점들에 대응되는 제 1 대응점들을 추적하는 단계;
    상기 적어도 하나의 각 비교 영상에서 제 2 특징점들을 추출하는 단계;
    광 흐름 기법을 이용하여, 상기 레퍼런스 영상에 대하여, 상기 각 제 2 특징점들에 대응되는 제 2 대응점들을 추적하는 단계; 및
    상기 제 1 및 제 2 대응점 추적 결과를 합성하여 깊이 맵을 생성하는 단계를 포함하고,
    상기 제1 및 제2 특징점 추출과 상기 제1 및 제2 대응점 추적은 해상도가 가장 낮은 영상들에 대해서부터 시작하여, 본래의 해상도를 갖는 영상들에 대해서 최종적으로 수행하고,
    상기 제1 특징점들을 추출하는 단계 및 상기 제2 특징점들을 추출하는 단계는,
    상기 레퍼런스 영상 및 적어도 하나의 비교 영상의 각 위치에서 그레디언트 행렬 G의 고유값을 계산하고, 그 결과로 산출된 두 개의 고유값 중 작은 고유값에 대하여 내림차순으로 각 해당하는 점들을 나열함으로써, 일정순위 내의 점들을 추출하는 것을 특징으로 하는 스테레오 매칭 방법.
11. 삭제
12. 다른 관점에서 촬영된 레퍼런스 영상과 적어도 하나의 비교 영상을 이용하여, 스테레오 매칭하는 장치로,
    상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상을 수집하는 영상 수집부;
    상기 레퍼런스 영상에서 특징점들을 추출하되, 상기 레퍼런스 영상의 각 위치의 그레디언트 행렬의 고유값을 계산하고, 그 결과로 산출된 두 개의 고유값 중 작은 고유값에 대하여 내림차순으로 각 해당하는 점들을 나열함으로써, 일정순위 내의 점들을 특징점으로 추출하는 특징점 추출부;
    광 흐름 기법을 이용하여, 상기 적어도 하나의 비교영상에서 각각 상기 각 특징점들에 대응되는 점들을 추적하는 대응점 추적부; 및
    상기 대응점들 추적 결과를 이용하여 깊이 맵을 생성하는 깊이 맵 생성부를 포함하는 것을 특징으로 하는 스테레오 매칭 장치.
13. 제 12항에 있어서,
    상기 레퍼런스 영상과 적어도 하나의 비교영상 각각에 대하여, 본래의 영상보다 해상도를 일정 단계별로 낮추어서, 다양한 해상도 레벨을 갖는 영상을 생성하되, 본래 영상보다 해상도가 낮은 적어도 하나의 영상을 생성하는 해상도 조정부를 더 포함하고, 상기 특징점 추출 및 대응점 추적은 해상도가 가장 낮은 레퍼런스 영상과 이에 대응하는 비교영상에서부터 시작하여, 본래의 해상도를 갖는 레퍼런스 영상과 이에 대응하는 비교 영상에 대해서 최종적으로 수행하는 것을 특징으로 하는 스테레오 매칭 장치.
14. 제 12항에 있어서,
    상기 대응점 추적부는 특징점 추적 윈도우를 이용하여 상기 레퍼런스 영상에서 상기 특징점에 대응하는 점들을 추적하고, 상기 특징점 추적 윈도우는
    적어도 두 대의 카메라간의 상대적 위치, 배치 간격 중 적어도 하나의 정보를 기초로, 윈도우의 크기, 모양 및 중심점의 위치가 변경되는 것을 특징으로 하는 스테레오 매칭 장치.
15. 제 12항에 있어서,
    상기 레퍼런스 영상과 상기 적어도 하나의 영상에서 각각 전경과 배경을 분리하되, 상기 각 영상의 일정한 밝기 이상의 영역 또는 일정한 비율을 전경으로 분리하는 전경/배경 분리부를 더 포함하고, 상기 레퍼런스 영상과 상기 적어도 하나의 비교 영상은 각각 적외선 조명을 이용하여 촬영되고, 상기 특징점 추출과 상기 광흐름 기법을 이용한 대응점 추적은 각각 상기 레퍼런스 영상 및 상기 적어도 하나의 비교 영상의 전경에 대해서 수행되는 것을 특징으로 하는 스테레오 매칭 장치.
16. 제 12항에 있어서,
    상기 적어도 하나의 비교 영상에서 제 2 특징점들을 추출하는 제 2 특징점 추출부; 및
    광 흐름 기법을 이용하여, 상기 레퍼런스 영상에서, 상기 각 제 2 특징점들에 대응되는 점을 추출하는 제 2 대응점 추적부를 더 포함하고,
    상기 깊이 맵 생성부는 상기 대응점 추적 결과에 상기 제2 대응점 추적결과를 합성하여 상기 깊이 맵을 생성하는 것을 특징으로 하는 스테레오 매칭 장치.
17. 제 12항에 있어서,
    상기 레퍼런스 영상 및 적어도 하나의 비교 영상은 적어도 2개의 카메라로 동일한 시각에 다른 관점에서 촬영된 것을 특징으로 하는 스테레오 매칭 장치.
18. 제 12항에 있어서,
    상기 스테레오 매칭 장치는 박막 형태로 제작되어 컴퓨터의 LCD 측에 내장하거나 부착하는 것을 특징으로 하는 스테레오 매칭 장치.
    

Images