KR20120125970A - 스테레오 매칭 방법 및 그 장치 - Google Patents

Abstract

본 발명에 따른 스테레오 매칭 방법은, 최대 변이 값을 기반으로, 기준 영상 내의 기준 블록에 대응하는 탐색 대상 영상 내의 복수의 탐색 대상 블록을 결정하는 단계, 복수의 탐색 대상 블록 각각에 대해, 기준 블록과의 블록 단위 상관도 값을 도출하는 단계, 블록 단위 상관도 값 중에서 최대 상관도 값을 결정하고, 최대 상관도 값에 대응하는 탐색 대상 픽셀을 기준 픽셀에 대한 매칭 픽셀로 결정하는 단계 및 매칭 픽셀에 대응하는 변이 값을 기준 픽셀의 변이 값으로 결정하는 단계를 포함한다. 본 발명에 의하면, 스테레오 매칭 효율이 향상될 수 있다.

Description

스테레오 매칭 방법 및 그 장치 {METHOD FOR STEREO MATCHING AND APPARATUS THEREOF}

본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 스테레오 매칭 방법 및 그 장치에 관한 것이다.

3D 영상을 이용한 디지털 방송 서비스는, UDTV 서비스와 함께 HDTV에 이은 차세대 방송 서비스로 주목 받고 있으며, 고화질의 상용 3D 디스플레이의 출시 등과 같은 관련 기술의 발달을 바탕으로, 각 가정에서 3D 영상을 즐길 수 있는 3DTV 서비스가 수년 내에 제공될 수 있을 것으로 예상된다.

현재 상용 서비스 또는 시범 서비스 되고 있는 3D 방송 서비스는 주로 좌영상 및 우영상으로 구성되는 스테레오스코픽 비디오를 이용한 서비스이다. 3D 비디오는 종래의 2D 비디오와 달리, 좌영상 및 우영상 사이에 시차를 가질 수 있다.

본 발명의 기술적 과제는 스테레오 매칭 효율을 향상시킬 수 있는 스테레오 매칭 방법 및 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 스테레오 매칭 효율을 향상시킬 수 있는 변이 값 도출 방법 및 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 스테레오 매칭 효율을 향상시킬 수 있는 깊이 정보 생성 방법 및 장치를 제공함에 있다.

본 발명의 일 실시 형태는 스테레오 매칭 방법이다. 상기 방법은, 최대 변이(disparity) 값을 기반으로, 기준 영상 내의 기준 블록에 대응하는 탐색 대상 영상 내의 복수의 탐색 대상 블록을 결정하는 단계, 상기 복수의 탐색 대상 블록 각각에 대해, 상기 기준 블록과의 블록 단위 상관도 값을 도출하는 단계, 상기 블록 단위 상관도 값 중에서 최대 상관도 값을 결정하고, 상기 최대 상관도 값에 대응하는 탐색 대상 픽셀을 기준 픽셀에 대한 매칭 픽셀로 결정하는 단계 및 상기 매칭 픽셀에 대응하는 변이 값을 상기 기준 픽셀의 변이 값으로 결정하는 단계를 포함하되, 상기 기준 블록은 상기 기준 픽셀을 포함하고, 상기 복수의 탐색 대상 블록 각각은 이에 대응되는 탐색 대상 픽셀을 포함하고, 상기 블록 단위 상관도 값 도출 단계에서는, 상기 기준 블록에 대한 제1 서브 블록 및 상기 복수의 탐색 대상 블록 각각에 대한 제2 서브 블록을 결정하고, 상기 제2 서브 블록 각각에 대해 상기 제1 서브 블록과의 부분(partial) 상관도 값을 도출하고, 상기 도출된 부분 상관도 값에 대한 이동합(running sum)을 수행함으로써 상기 블록 단위 상관도 값을 도출하고, 상기 제1 서브 블록 및 상기 제2 서브 블록은 각각 하나의 컬럼(column)이다.

본 발명에 따른 스테레오 매칭 방법에 의하면, 스테레오 매칭 효율이 향상될 수 있다.

본 발명에 따른 변이 값 도출 방법에 의하면, 스테레오 매칭 효율이 향상될 수 있다.

본 발명에 따른 깊이 정보 생성 방법에 의하면, 스테레오 매칭 효율이 향상될 수 있다.

도 1은 블록 비교 방식 기반의 스테레오 매칭 방법의 실시예를 개략적으로 나타내는 도면이다.
도 2는 블록 비교 방식 기반의 스테레오 매칭 방법의 다른 실시예를 개략적으로 나타내는 도면이다.
도 3은 서로 인접한 두 픽셀에 대한 상관도 간의 관계를 설명하기 위한 도면이다.
도 4는 블록 비교 방식 기반의 스테레오 매칭 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 스테레오 매칭 방법의 실시예를 개략적으로 나타내는 흐름도이다.
도 6은 본 발명의 실시예에 따른 스테레오 매칭 장치의 실시예를 개략적으로 나타내는 블록도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 블록 비교 방식 기반의 스테레오 매칭 방법의 실시예를 개략적으로 나타내는 도면이다.

3D 영상에서는 동일한 장면이 두 대 이상의 카메라를 이용하여 동시에 촬영될 수 있다. 예를 들어, 스테레오 영상은 좌 카메라 및 우 카메라를 포함한 두 대의 카메라를 통해 획득될 수 있다. 여기서, 좌 카메라를 통해 획득되는 영상은 좌영상, 우 카메라를 통해 획득되는 영상은 우영상으로 불릴 수 있다.

좌 카메라 및 우 카메라가 장면을 바라보는 각도는 서로 다를 수 있다. 따라서, 좌 카메라 및 우 카메라 간에는 시점 차이가 존재할 수 있고, 상기 시점 차이에 의해 좌영상 및 우영상 간에는 시차가 발생할 수 있다. 상기 시차에 의해, 좌영상에서 하나의 지점을 나타내는 픽셀의 위치 및 우영상에서 상기 지점과 동일한 지점을 나타내는 픽셀의 위치는 서로 다를 수 있다. 따라서, 상기 시차는 동일 지점을 나타내는 좌영상의 픽셀 및 우영상의 픽셀 간의 좌/우 방향의 변이(disparity) 값에 의해 나타내어질 수 있다. 이하, 동일 지점을 나타내는 좌영상의 픽셀 및 우영상의 픽셀은 동일 픽셀이라 한다.

각 픽셀에 대한 변이 값은 스테레오 영상으로부터 도출될 수 있다. 각 픽셀에 대한 변이 값이 도출되면, 상기 도출된 변이 값, 카메라의 초점 거리(focal length) 및 카메라의 베이스라인(baseline) 거리 등을 기반으로 3차원 깊이 정보가 계산될 수 있다. 여기서, 베이스라인 거리는 좌 카메라 및 우 카메라가 동일 축 상에 존재하는 경우, 상기 동일 축 상에서 좌 카메라와 우 카메라 간의 거리를 나타낼 수 있다. 따라서, 스테레오 영상으로부터 깊이 영상을 도출하거나 이를 이용하여 임의의 시점의 영상을 도출하는 과정에서는, 동일 픽셀에 대한 변이 값을 도출하는 과정이 매우 중요하다.

상술한 변이 값은 좌영상 및/또는 우영상 내의 모든 각각의 픽셀에 대해 서로 대응되는 픽셀을 찾음으로써 도출될 수 있다. 여기서, 임의의 픽셀에 대응되는 픽셀은 상기 임의의 픽셀이 나타내는 지점과 동일한 지점을 나타내는 픽셀을 의미할 수 있다. 이하, 임의의 픽셀이 나타내는 지점과 동일한 지점을 나타내는 픽셀은 상기 임의의 픽셀에 대한 매칭 픽셀이라 한다. 좌영상 및/또는 우영상 내의 모든 각각의 픽셀에 대해 서로 대응되는 픽셀을 찾는 과정은 ‘스테레오 매칭(stereo matching)’으로 불릴 수 있다.

스테레오 매칭 방식에는 다양한 종류의 방법이 있을 수 있다. 예를 들어, 스테레오 매칭 방식에는 현재 픽셀 주변의 영역만을 고려하여 매칭 픽셀을 찾는 로컬 매칭 방식 및 전체적인 영상을 고려하여 매칭 픽셀을 찾는 글로벌 매칭 방식 등이 있을 수 있다. 이하, 본 명세서에서는 로컬 매칭 방식 중에서 블록 비교(block comparison) 방식 기반의 스테레오 매칭 방법이 서술된다.

이하, 좌영상 및 우영상 중에서 기준 픽셀을 포함하는 영상은 기준 영상이라 하고, 기준 영상이 아닌 다른 영상은 탐색 대상 영상이라 한다. 여기서, 기준 픽셀은 탐색 대상 영상 내에서 매칭 픽셀을 찾기 위해 현재 처리 중인 픽셀을 의미할 수 있다.

스테레오 매칭 장치는 기준 영상 내의 모든 픽셀 각각에 대해, 탐색 대상 영상에서 이에 해당되는 매칭 픽셀을 찾을 수 있다.

기준 픽셀이 정해진 경우, 스테레오 매칭 장치는 상기 기준 픽셀을 중심에 포함하는 기준 블록을 결정할 수 있다. 또한, 스테레오 영상은 소정의 최대 변이 값을 가질 수 있으며, 탐색 대상 영상 내에는 상기 기준 픽셀과 공간적으로 동일한 위치의 픽셀이 존재할 수 있다. 이하, 탐색 대상 영상 내에서 기준 픽셀과 공간적으로 동일한 위치의 픽셀은 동일 위치 픽셀이라 한다. 스테레오 매칭 장치는 탐색 대상 영상 내에서, 동일 위치 픽셀을 기준으로 ‘-최대 변이’ 위치(예를 들어, 왼쪽)부터 ‘+최대 변이’ 위치(예를 들어, 오른쪽)까지 존재하는 모든 픽셀(동일 위치 픽셀을 포함함.)을 기준 픽셀에 대한 매칭 픽셀 후보로 사용할 수 있다. 이하, 상기 매칭 픽셀 후보는 탐색 대상 픽셀이라 한다. 여기서, 탐색 대상 픽셀 각각은 하나의 변이 값에 대응될 수 있다. 이하, 본 명세서에서 탐색 대상 픽셀에 대응되는 변이 값은 기준 픽셀에 대한 변이 값 후보라 한다. 이 때, 각각의 탐색 대상 픽셀에 대해, 그 탐색 대상 픽셀을 중심에 포함하는 블록이 존재할 수 있으며, 이는 탐색 대상 블록이라 한다. 각각의 탐색 대상 블록은 기준 블록과 동일한 크기를 가질 수 있다.

도 1을 참조하면, 탐색 대상 영상 내의 탐색 대상 블록들이 도시된다. 도 1의 110은 탐색 대상 영상 내에서 기준 블록과 동일한 위치에 존재하는 탐색 대상 블록을 나타내고, 도 1의 115는 탐색 대상 영상 내에서 기준 픽셀과 동일한 위치에 존재하는 탐색 대상 픽셀을 나타낼 수 있다. 또한, 도 1의 120은 동일 위치 픽셀을 기준으로 ‘-최대 변이’ 위치에 존재하는 탐색 대상 픽셀을 중심에 포함하는 탐색 대상 블록을 나타낼 수 있고, 도 1의 130은 동일 위치 픽셀을 기준으로 ‘+최대 변이’ 위치에 존재하는 탐색 대상 픽셀을 중심에 포함하는 탐색 대상 블록을 나타낼 수 있다.

설명의 편의를 위해, 도 1에서는 도 110의 탐색 대상 블록과 도 120의 탐색 대상 블록 사이의 탐색 대상 블록들 및 도 110의 탐색 대상 블록과 도 130의 탐색 대상 블록 사이의 탐색 대상 블록들 중 일부가 생략되어 도시된다. 또한 후술되는 도 2 내지 도 4의 실시예에서도 도 1에서와 동일하거나 유사한 방법으로 블록 또는 컬럼(column)의 일부가 생략되어 도시될 수 있다.

스테레오 매칭 장치는 모든 탐색 대상 블록 각각에 대해 기준 블록과의 상관도를 계산할 수 있다. 상기 상관도는 탐색 대상 블록과 기준 블록이 유사한 정도를 나타낼 수 있다. 예를 들어, 상기 상관도는 탐색 대상 블록과 기준 블록 간의 교차 상관(cross-correlation) 값 및/또는 SAD(Sum of Absolute Difference) 값을 계산함으로써 구해질 수 있다.

상관도를 계산하기 위해, 스테레오 매칭 장치는 기준 블록 내의 모든 각각의 픽셀과 상기 각각의 픽셀에 대응되는 탐색 대상 블록 내의 픽셀을 검색할 수 있다. 일례로, SAD가 사용되는 경우, 스테레오 매칭 장치는 기준 블록 내의 모든 각각의 픽셀에 대해, 상기 각각의 픽셀에 대응되는 탐색 대상 블록 내의 픽셀과의 차이의 절대값을 구할 수 있다. 이 때, 스테레오 매칭 장치는 상기 구해진 절대값을 모두 더하여 SAD 값을 도출할 수 있다. 상관도는 모든 탐색 대상 블록에 대해 동일한 방법으로 구해질 수 있다. 도 1의 실시예에서와 같이 최대 변이 값이 정의되는 경우, 하나의 기준 픽셀에 대해 모두 ‘2 * 최대 변이 값 + 1’개의 상관도 값이 구해질 수 있다.

모든 탐색 대상 블록에 대해 상관도가 구해지면, 스테레오 매칭 장치는 상관도 값이 가장 높은 탐색 대상 블록의 중심에 존재하는 탐색 대상 픽셀을, 기준 픽셀에 대한 매칭 픽셀로 결정할 수 있다. 상술한 바와 같이, 탐색 대상 픽셀 각각은 하나의 변이 값에 대응될 수 있으므로, 상기 결정된 매칭 픽셀 또한 하나의 변이 값에 대응될 수 있다. 이 때, 스테레오 매칭 장치는 상기 결정된 매칭 픽셀의 변이 값을 기준 블록에 대한 변이 값으로 결정하거나 선택할 수 있다.

그러나, 상술한 방법에 의하면 스테레오 매칭 장치는 블록 단위의 상관도만을 고려하여 기준 블록에 대한 매칭 픽셀을 결정할 수 있다. 블록 단위의 상관도만 고려되는 경우 매칭 픽셀이 정확하게 결정되지 않을 수 있으므로, 스테레오 매칭 장치는 기준 블록의 중심 픽셀(기준 픽셀)과 탐색 대상 블록의 중심 픽셀(탐색 대상 픽셀) 간의 유사도를 추가로 고려하여, 기준 블록에 대한 매칭 픽셀을 결정할 수도 있다.

일 실시예로, 스테레오 매칭 장치는 상술한 방법에 의해 매칭 픽셀을 결정하되, 기준 픽셀과의 차이값의 절대값이 소정의 임계치보다 높은 탐색 대상 픽셀은, 상기 기준 픽셀에 대한 매칭 픽셀로 결정하지 않을 수 있다. 즉, 기준 픽셀과 탐색 대상 픽셀의 차이값의 절대값이 소정의 임계치보다 높은 경우, 스테레오 매칭 장치는 상기 탐색 대상 픽셀이 기준 픽셀의 매칭 픽셀이 아닌 것으로 판단할 수 있다.

다른 실시예로, 스테레오 매칭 장치는 전체 블록 단위의 상관도 및 픽셀 단위의 상관도를 함께 고려하여 최종 상관도를 구할 수도 있다.

블록 단위의 상관도는 상술한 실시예에서와 동일한 방법으로 구해질 수 있다. 예를 들어, 스테레오 매칭 장치는 블록 단위의 상관도를 구하기 위해, 기준 블록 내의 모든 각각의 픽셀과 상기 각각의 픽셀에 대응되는 탐색 대상 블록 내의 픽셀을 검색하거나 비교할 수 있다. 이 때, 일례로 교차 상관 값 및/또는 SAD 값을 구함으로써 블록 단위의 상관도가 구해질 수 있다. 픽셀 단위의 상관도는 기준 블록의 중심 픽셀(기준 픽셀)과 탐색 대상 블록의 중심 픽셀(탐색 대상 픽셀)을 기반으로 도출될 수 있다. 일례로, 스테레오 매칭 장치는 기준 픽셀과 탐색 대상 픽셀의 차이값의 절대값을 구함으로써 픽셀 단위의 상관도를 도출할 수 있다.

블록 단위의 상관도 및 픽셀 단위의 상관도가 구해지면, 스테레오 매칭 장치는 상기 블록 단위의 상관도 및 픽셀 단위의 상관도의 가중치 합에 의해 탐색 대상 블록의 최종 상관도 값을 도출할 수 있다. 이 때, 스테레오 매칭 장치는 블록 단위의 상관도 및 픽셀 단위의 상관도에 각각 다른 가중치를 적용할 수 있다.

모든 탐색 대상 블록에 대해 최종 상관도 값이 구해지면, 스테레오 매칭 장치는 최종 상관도 값이 가장 높은 탐색 대상 블록의 중심에 존재하는 탐색 대상 픽셀을, 기준 픽셀에 대한 매칭 픽셀로 결정할 수 있다. 상술한 바와 같이, 탐색 대상 픽셀 각각은 하나의 변이 값에 대응될 수 있으므로, 상기 결정된 매칭 픽셀 또한 하나의 변이 값에 대응될 수 있다. 이 때, 스테레오 매칭 장치는 상기 결정된 매칭 픽셀의 변이 값을 기준 블록에 대한 변이 값으로 결정하거나 선택할 수 있다.

도 2는 블록 비교 방식 기반의 스테레오 매칭 방법의 다른 실시예를 개략적으로 나타내는 도면이다. 도 2의 실시예는 본 발명에 따른 디지털 하드웨어 구현 구조에 해당될 수 있다.

본 발명에서는 픽셀 간의 대응 관계(correspondence)를 도출하기 위해, 탐색 대상 블록들의 기준 블록에 대한 상관도 값들이 서로 비교될 수 있다. 상술한 바와 같이, 탐색 대상 블록 각각은 하나의 탐색 대상 픽셀에 대응되고 탐색 대상 픽셀 각각은 하나의 변이 값 후보에 대응될 수 있다. 따라서, 탐색 대상 블록의 상관도는, 상기 탐색 대상 블록에 대응되는 변이 값 후보에 대한 상관도로 볼 수도 있다.

한편, 기준 영상 내의 픽셀 각각은 소정의 개수(예를 들어, ‘2 * 최대 변이 값 + 1’)의 변이 값 후보를 가질 수 있다. 따라서, 스테레오 매칭 장치는 기준 영상 내의 픽셀 각각에 대해, 상기 각각의 픽셀이 가질 수 있는 모든 변이 값 후보에 대한 상관도 값들을 저장할 수 있다. 그러나 이 경우, 저장되는 데이터 양이 지나치게 클 수 있으므로, 이러한 문제점을 해결할 수 있는 스테레오 매칭 방법이 필요하다.

상술한 문제점을 해결하기 위해, 각각의 픽셀 클럭마다 상관도의 최대값을 구하는 스테레오 매칭 방법이 제공될 수 있다. 이를 위해, 스테레오 매칭 장치는 각각의 픽셀 클럭마다 기준 픽셀의 모든 변이 값 후보에 대한 상관도를 계산하고, 상기 계산된 상관도에 기반하여 각각의 픽셀 클럭마다 상관도의 최대값(예를 들어, SAD의 최소값)을 계산할 수 있다. 이 경우, 매 픽셀 단위로 이에 대응되는 변이 값이 도출될 수 있다.

도 2를 참조하면, 좌영상 데이터 및 우영상 데이터는 스캔 순서대로 스테레오 매칭 장치에 입력될 수 있다. 이 때, 스테레오 매칭 장치는 각각의 픽셀 클럭마다 좌영상의 기준 픽셀(210) 및/또는 우영상의 기준 픽셀(220)이 가질 수 있는 모든 변이 값 후보에 대해 상관도를 계산할 수 있다. 이를 위해 상관도 계산 과정에서, 스테레오 매칭 장치는 좌영상 데이터 및/또는 우영상 데이터에 대해 쉬프트(shift) 연산을 수행할 수 있다.

좌영상의 기준 픽셀(210)에 대한 상관도 값들은, 상기 기준 픽셀(210)에 대응하는 기준 블록 및 상기 좌영상의 기준 블록에 대응하는 우영상 내의 탐색 대상 블록들을 기반으로 도출될 수 있다. 마찬가지로, 우영상의 기준 픽셀(220)에 대한 상관도 값들은, 상기 기준 픽셀(220)에 대응하는 기준 블록 및 상기 우영상의 기준 블록에 대응하는 좌영상 내의 탐색 대상 블록들을 기반으로 도출될 수 있다. 이 때 예를 들어, 최대 변이 값이 N(N은 임의의 자연수)인 경우, 좌영상의 기준 블록에 대응하는 우영상 내의 탐색 대상 블록의 개수 및/또는 우영상의 기준 블록에 대응하는 좌영상 내의 탐색 대상 블록의 개수는 2N+1 개일 수 있다. 상관도를 구하는 방법의 구체적인 실시예는 도 1에서 상술한 바 있으므로, 여기서는 생략하기로 한다.

여기서, 기준 블록의 크기가 Lr*Lc(Lr은 기준 블록의 행의 크기, Lc는 기준 블록의 열의 크기)라 가정하면, 하나의 기준 블록과 하나의 탐색 대상 블록 간의 상관도를 계산하기 위해, 입력의 크기가 2*Lr*Lc인 상관 계산 모듈이 필요하다. 이 때, 최대 변이 값이 N이라 가정하면, 하나의 기준 블록에 대한 상관도 값들을 동시에 계산하기 위해, 2*N+1 개의 상관 계산 모듈이 필요하다. 도 2에서는, 각각의 픽셀 클럭마다 좌영상의 기준 블록 및 우영상의 기준 블록에 대한 상관도 값들이 계산될 수 있으므로, 일례로 4*N+2 개의 상관 계산 모듈이 사용될 수 있다.

도 2의 230은 기준 픽셀에 대응하는 모든 변이 값 후보들에 대한 상관도 값들을 나타낼 수 있다. 일 실시예로 도 2에서 최대 변이 값이 N이라 가정하면, 4*N+2 개의 상관 계산 모듈에 의해 각각의 픽셀 클럭마다 4*N+2 개의 상관도 값들이 도출될 수 있다.

각각의 픽셀 클럭마다 4*N+2 개의 상관값이 도출되면, 스테레오 매칭 장치는 파이프라인 구조 기반의 이진 탐색(binary search)(240)을 통해, 좌영상의 기준 픽셀에 대한 최대 상관도 값 및/또는 우영상의 기준 픽셀에 대한 최대 상관도 값을 구할 수 있다. 이 때, 스테레오 매칭 장치는 최대 상관도 값에 대응되는 변이 값 후보를 기준 픽셀에 대한 변이(disparity) 값으로 결정할 수 있다. 따라서, 도 2의 스테레오 매칭 방법에서는 매 픽셀 클럭마다 변이 값이 도출될 수 있다. 도 2의 스테레오 매칭 방법에 의해 도출된 변이 값들은 변이 값 스트림을 구성할 수 있다. 여기서, N 값이 64라 가정하면, 일례로 9 픽셀 클럭 후에는 변이 값이 발생될 수 있다. 또한, 파이프라인 구조가 사용되므로, 일정한 지연 후에는 매 클럭마다 변이 값이 발생될 수 있다.

변이 값이 도출되면, 스테레오 매칭 장치는 상기 도출된 변이 값 및 카메라 파라미터(f, b)를 기반으로 깊이 정보를 생성할 수 있다(250). 여기서, f는 카메라의 초점 거리를 의미하고, b는 카메라의 베이스라인 거리를 의미할 수 있다.

도 3은 서로 인접한 두 픽셀에 대한 상관도 간의 관계를 설명하기 위한 도면이다.

도 3은 탐색 대상 영상 내의 탐색 대상 블록들을 도시한다. 도 3의 310은 탐색 대상 영상 내에서 기준 영상의 제1 기준 픽셀과 동일한 위치에 존재하는 탐색 대상 픽셀을 나타내고, 도 3의 320은 탐색 대상 영상 내에서 기준 영상의 제2 기준 픽셀과 동일한 위치에 존재하는 탐색 대상 픽셀을 나타낸다. 여기서, 제2 기준 픽셀은 제1 기준 픽셀에 인접하여 위치한 픽셀이라 가정한다. 또한, 도 3의 313, 316, 319는 제1 기준 픽셀에 대한 탐색 대상 블록을 나타내고, 도 3의 323, 326, 329는 제2 기준 픽셀에 대한 탐색 대상 블록을 나타낸다.

상술한 바와 같이, 스테레오 매칭 장치는 기준 영상 내 각 픽셀의 모든 변이 값 후보에 대해, 해당 탐색 대상 블록과 기준 블록 간의 상관도를 계산할 수 있다. 도 3을 참조하면, 제1 기준 픽셀과 제2 기준 픽셀은 서로 인접하여 위치하므로, 제1 기준 픽셀에 대한 탐색 대상 블록과 제2 기준 픽셀에 대한 탐색 대상 블록은 블록 내의 많은 영역을 공유할 수 있다. 따라서, 제1 기준 픽셀에 대한 상관도와 제2 기준 픽셀에 대한 상관도는, 탐색 대상 블록 내의 공유 부분에 대해, 서로 동일하거나 유사한 부분값을 공유할 수 있다. 따라서, 상술한 특성을 이용한 스테레오 매칭 방법이 제공될 수 있으며, 이는 도 4의 실시예에서 후술된다.

도 4는 블록 비교 방식 기반의 스테레오 매칭 방법의 또 다른 실시예를 개략적으로 나타내는 도면이다. 도 4의 실시예는 본 발명에 따른 디지털 하드웨어 구현 구조에 해당될 수 있다.

도 4를 참조하면, 좌영상 데이터 및 우영상 데이터는 스캔 순서대로 스테레오 매칭 장치에 입력될 수 있다. 이 때, 스테레오 매칭 장치는 각각의 픽셀 클럭마다 좌영상의 기준 픽셀(410) 및/또는 우영상의 기준 픽셀(420)이 가질 수 있는 모든 변이 값 후보에 대해 상관도를 도출할 수 있다. 도 4의 실시예에서, 스테레오 매칭 장치는 SAD 계산에 의해 상관도를 도출한다고 가정한다.

상술한 바와 같이, 변이 값 후보 각각에 대한 상관도 값은 기준 블록 및 상기 기준 블록에 대응하는 탐색 대상 영상 내의 탐색 대상 블록을 기반으로 도출될 수 있다. 따라서, 후술되는 실시예에서 각각의 변이 값 후보에 대해 최종적으로 도출되는 SAD는 블록 단위 SAD라 한다.

도 1, 도 2의 실시예에서 상술한 바와 같이, 스테레오 매칭 장치는 기준 블록과 탐색 대상 블록을 직접 비교하여 블록 단위 SAD 값을 도출할 수 있다. 그러나, 스테레오 매칭 장치는 기준 블록에 대한 서브 블록(sub-block) 및 탐색 대상 블록에 대한 서브 블록을 기반으로 부분 SAD(partial SAD) 값들을 계산하여 누적함으로써 블록 단위 SAD 값을 도출할 수도 있다.

도 4에서는, 기준 블록에 대한 서브 블록 및 탐색 대상 블록에 대한 서브 블록이 각각 하나의 컬럼에 해당되는 경우의 실시예가 서술된다. 이 때, 본 명세서에서 기준 블록에 대한 서브 블록은 기준 컬럼으로 불릴 수 있으며, 탐색 대상 블록에 대한 서브 블록은 탐색 대상 컬럼으로 불릴 수 있다.

예를 들어, 스테레오 매칭 장치는 기준 픽셀을 중심에 포함하는 기준 컬럼을 결정할 수 있다. 또한, 스테레오 매칭 장치는 탐색 대상 픽셀을 중심에 포함하는 탐색 대상 컬럼을 결정할 수 있다. 이 때, 스테레오 매칭 장치는 모든 탐색 대상 컬럼 각각에 대해 기준 컬럼과의 부분 SAD 값을 계산할 수 있다. 도 4의 430은 기준 픽셀에 대응하는 부분 SAD 값들을 나타낸다.

부분 SAD 값들이 도출되면, 스테레오 매칭 장치는 도출된 부분 SAD 값들에 기반하여 SAD 이동합(running sum)(440)을 수행함으로써 블록 단위 SAD 값을 도출할 수 있다. 예를 들어, 복수의 부분 SAD 값들이 누적되어, 하나의 탐색 대상 픽셀에 대한 블록 단위 SAD 값이 도출된 경우를 가정한다. 이 때, 상기 탐색 대상 픽셀에 인접한 다른 탐색 대상 픽셀의 블록 단위 SAD 값은, 이전 블록 단위 SAD 값에 새로운 탐색 대상 컬럼의 부분 SAD 값을 더하고, 더해진 값에서 가장 최초에 누적된 탐색 대상 컬럼의 부분 SAD 값을 뺌으로써 도출될 수 있다. 가장 최초에 누적된 탐색 대상 컬럼의 부분 SAD 값은, 일례로 쉬프트 레지스터(shift register)를 사용해서 얻어질 수 있다.

여기서, 기준 컬럼의 크기가 Lr이라 하면, 하나의 기준 컬럼과 하나의 탐색 대상 컬럼 간의 부분 SAD 값을 계산하기 위해, 입력의 크기가 2*Lr인 상관 계산 모듈이 필요하다. 이 때, 스테레오 매칭 장치는 새로운 부분 SAD 값을 더하고 최초에 누적된 부분 SAD 값을 빼는 기능을 가짐으로써 변이 값 후보에 대한 블록 단위 SAD 값을 구할 수 있다. 따라서, 이 경우 도 2의 실시예에 비해 적은 하드웨어 자원으로 동일하거나 유사한 결과를 얻을 수 있다.

도 4의 450, 460에 대한 내용은 도 2의 실시예에서와 유사하므로, 여기서는 생략하기로 한다.

도 5는 본 발명의 실시예에 따른 스테레오 매칭 방법의 실시예를 개략적으로 나타내는 흐름도이다.

도 5를 참조하면, 스테레오 매칭 장치는 기준 픽셀에 대응하는 변이 값 후보 각각에 대한 상관도를 계산할 수 있다(S510).

일례로, 스테레오 매칭 장치는 탐색 대상 블록 각각에 대해 기준 블록과의 상관도를 계산할 수 있다. 이 때, 블록 단위의 상관도만 고려되는 경우 매칭 픽셀이 정확하게 결정되지 않을 수 있으므로, 도 1에서 상술한 바와 같이 스테레오 매칭 장치는 기준 픽셀과 탐색 대상 픽셀 간의 유사도를 추가로 고려할 수도 있다. 또한, 도 4에서 상술한 바와 같이, 스테레오 매칭 장치는 상관도를 구함에 있어, 서브 블록 단위의 부분 SAD 값들을 계산하여 누적함으로써 최종 SAD 값을 도출할 수도 있다.

다시 도 5를 참조하면, 스테레오 매칭 장치는 기준 픽셀의 변이 값을 도출할 수 있다(S520).

모든 탐색 대상 블록에 대해 상관도가 구해지면, 스테레오 매칭 장치는 상관도 값이 가장 높은 탐색 대상 블록의 중심에 존재하는 탐색 대상 픽셀을, 기준 픽셀에 대한 매칭 픽셀로 결정할 수 있다. 이 때, 스테레오 매칭 장치는 상기 결정된 매칭 픽셀에 대응되는 변이 값 후보를 기준 픽셀의 변이 값으로 결정할 수 있다.

스테레오 매칭 장치는 기준 픽셀의 변이 값을 도출하기 위해, 기준 영상 내의 픽셀 각각에 대해, 모든 변이 값 후보에 대한 상관도 값들을 저장할 수 있다. 그러나, 이 경우 저장되는 데이터 양이 지나치게 클 수 있다. 따라서, 스테레오 매칭 장치는 도 2에서 상술한 바와 같이, 픽셀 클럭마다 기준 픽셀의 모든 변이 값 후보에 대한 상관도를 계산하고, 상기 계산된 상관도에 기반하여 각각의 픽셀 클럭마다 기준 픽셀의 변이 값을 결정할 수도 있다.

변이 값이 도출되면, 스테레오 매칭 장치는 도출된 변이 값 및 카메라 파라미터를 기반으로 깊이 정보를 생성할 수 있다(S530). 여기서, 카메라 파라미터에는 카메라의 초점 거리 및 카메라의 베이스라인 거리 등이 있을 수 있다.

도 6은 본 발명의 실시예에 따른 스테레오 매칭 장치의 실시예를 개략적으로 나타내는 블록도이다. 도 6의 실시예에 따른 스테레오 매칭 장치는 변이 값 계산부(610) 및 깊이 정보 계산부(620)를 포함할 수 있다.

변이 값 계산부(610)는 입력된 좌영상 데이터 및 우영상 데이터를 기반으로 스테레오 영상 내의 각 픽셀에 대한 변이 값을 도출할 수 있다. 일례로, 변이 값 계산부(610)는 기준 픽셀에 대응하는 변이 값 후보 각각에 대한 상관도를 계산할 수 있으며, 상기 계산된 상관도를 기반으로 기준 픽셀의 변이 값을 도출할 수 있다. 변이 값 도출 방법의 구체적인 실시예들은 상술한 바 있으므로, 여기서는 생략하기로 한다.

깊이 정보 계산부(620)는 도출된 변이 값 및 카메라 파라미터를 기반으로 깊이 정보를 생성할 수 있다. 여기서, 카메라 파라미터에는 카메라의 초점 거리 및 카메라의 베이스라인 거리 등이 있을 수 있다.

본 발명은 동영상 및 정지 영상 모두에 적용될 수 있다. 본 발명에 의하면, 각각의 픽셀 클럭마다 실시간으로 변이 값 및/또는 깊이 정보가 구해질 수 있고, 본 발명에 의한 기능이 하드웨어 로직으로 구현되는 경우, 하드웨어 자원이 적게 사용될 수 있다. 따라서, 스테레오 매칭의 효율 및/또는 성능이 향상될 수 있다.

상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (1)

1. 최대 변이(disparity) 값을 기반으로, 기준 영상 내의 기준 블록에 대응하는 탐색 대상 영상 내의 복수의 탐색 대상 블록을 결정하는 단계;
   상기 복수의 탐색 대상 블록 각각에 대해, 상기 기준 블록과의 블록 단위 상관도 값을 도출하는 단계;
   상기 블록 단위 상관도 값 중에서 최대 상관도 값을 결정하고, 상기 최대 상관도 값에 대응하는 탐색 대상 픽셀을 기준 픽셀에 대한 매칭 픽셀로 결정하는 단계; 및
   상기 매칭 픽셀에 대응하는 변이 값을 상기 기준 픽셀의 변이 값으로 결정하는 단계를 포함하되,
   상기 기준 블록은 상기 기준 픽셀을 포함하고, 상기 복수의 탐색 대상 블록 각각은 이에 대응되는 탐색 대상 픽셀을 포함하고,
   상기 블록 단위 상관도 값 도출 단계에서는,
   상기 기준 블록에 대한 제1 서브 블록 및 상기 복수의 탐색 대상 블록 각각에 대한 제2 서브 블록을 결정하고, 상기 제2 서브 블록 각각에 대해 상기 제1 서브 블록과의 부분(partial) 상관도 값을 도출하고, 상기 도출된 부분 상관도 값에 대한 이동합(running sum)을 수행함으로써 상기 블록 단위 상관도 값을 도출하고,
   상기 제1 서브 블록 및 상기 제2 서브 블록은 각각 하나의 컬럼(column)인 것을 특징으로 하는 스테레오 매칭 방법.

Images