KR20150062215A - 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법 및 그 장치 - Google Patents

Abstract

블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법 및 그 장치가 개시된다. 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법은 (a) 블록내의 픽셀간 크기 비교에 따른 블록별 초기 비트열을 생성하는 단계; (b) 상기 블록별 초기 비트열을 이용하여 윈도우내에 포함된 각 블록에 대한 초기 비트열을 추출하는 단계; (c) 상기 윈도우내의 픽셀 구분을 위한 서포트 비트열을 생성하는 단계; (d) 상기 초기 비트열 및 상기 서포트 비트열을 이용하여 상기 윈도우에 대한 센서스 변환 비트열을 생성하는 단계; 및 (e) 상기 윈도우별 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행하는 단계를 포함한다.

Description

블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법 및 그 장치{Stereo matching method and apparatus using block based fast census transform}

본 발명은 블록 기반 센서스 변환을 이용한 스테레오 매칭 방법 및 그 장치에 관한 것이다.

스테레오 카메라를 이용하여 영상을 얻으면 카메라간 거리 차이와 카메라의 초점 거리로 인해 동일한 영상에 존재하는 동일한 물체가 서로 다른 위치에 존재하게 된다. 예를 들어, 카메라에서 가까운 물체와 멀리 떨어진 물체가 한 영상에 들어가도록 두 카메라 모두에서 영상을 획득했다고 가정하면 가까운 물체는 카메라 간의 거리 차이에 영향을 받기 때문에 획득한 두 영상에서 서로 다른 부분에 위치하게 되고, 멀리 있는 물체는 두 영상에서 유사한 부분에 위치하게 된다.

이러한 성질을 이용하여 한 영상의 각 픽셀이 다른 영상의 어떤 픽셀과 가장 유사한지를 검색하여 그 결과를 통해 영상에 있는 물체의 깊이 정보를 획득하는 것이 가능하다.

이러한 스테레오 비전 연산을 수행하는 경우 많은 검색량과 연산량 때문에 두 영상에서 같은 점을 찾는 스테레오 매칭은 어려운 문제 중 하나이다.

스테레오 매칭을 위한 일반적인 방법이 센서스 변환이고, 센서스 변환은 주로 지능형 장치 어플리케이션에서 사용된다. 그러나, 종래의 센서스 변환은 센서스 변환을 위한 매칭 윈도우의 크기가 증가하는 경우 계산에 따른 수행 시간이 기하 급수적으로 증가하여 실시간에서 사용하기 어려운 문제가 있다.

또한, 최근 기술 발전으로 인해, 자동차 등에서 이용되는 영상은 풀 고화질(Full HD) 영상으로 종래의 센서스 변환을 이용하는 경우 수행 시간이 길어 주행에 따른 장애물 등을 감지하는데 적용하기 어려운 단점이 있다.

본 발명은 블록 기반 센서스 변환을 이용한 스테레오 매칭 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 블록 기반으로 초기 비트스트림 센서스 맵을 생성한 후 매칭 윈도우에 대한 센서스 변환을 수행함으로써 매칭 윈도우 크기에 영향이 적어 수행 속도가 빠른 블록 기반 센서스 변환을 이용한 스테레오 매칭 방법 및 그 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 블록 기반 센서스 변환을 이용한 스테레오 매칭 방법이 제공된다.

본 발명의 일 실시예에 따르면, (a) 블록내의 픽셀간 크기 비교에 따른 블록별 초기 비트열을 생성하는 단계; (b) 상기 블록별 초기 비트열을 이용하여 윈도우내에 포함된 각 블록에 대한 초기 비트열을 추출하는 단계; (c) 상기 윈도우내의 픽셀 구분을 위한 서포트 비트열을 생성하는 단계; (d) 상기 초기 비트열 및 상기 서포트 비트열을 이용하여 상기 윈도우에 대한 센서스 변환 비트열을 생성하는 단계; 및 (e) 상기 윈도우별 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행하는 단계를 포함하는 블록 기반 센서스 변환을 이용한 스테레오 매칭 방법이 제공될 수 있다.

상기 (a) 단계는,

상기 블록내 픽셀과 다른 픽셀들을 각각 비교하여 크면 제1 비트값으로 계산하고, 작으면 제2 비트값으로 계산하여 상기 블록에 대한 초기 비트열을 생성하되, 상기 픽셀과 다른 픽셀들의 크기 비교는 중복되지 않는다.

상기 서포트 비트열을 생성하는 단계는, 상기 윈도우내의 중심 블록에 포함된 픽셀들 중 어느 하나의 픽셀과 인접한 다른 픽셀들과의 크기를 비교하여 생성할 수 있다.

상기 (b) 단계는, 상기 윈도우내의 중심 블록을 기준으로 지정된 방향으로 각 블록에 대한 초기 비트열을 추출할 수 있다.

상기 (b) 단계는, 상기 윈도우내의 상기 중심 블록은 제외하고 상기 중심 블록을 기준으로 각 블록의 초기 비트열을 추출할 수 있다.

상기 (d) 단계는, 상기 추출된 초기 비트열 및 상기 서포트 비트열을 연접하여 상기 센서스 변환 비트열을 생성하되, 상기 초기 비트열은 추출된 순서대로 연접된다.

상기 (b) 내지 상기 (d) 단계는 영상의 모든 영역에 대해 상기 윈도우를 이동시키면서 반복적으로 수행될 수 있다.

본 발명의 다른 측면에 따르면, 블록 기반 센서스 변환을 이용한 스테레오 매칭을 위한 장치가 제공된다.

본 발명의 일 실시예에 따르면, 영상을 미리 지정된 크기의 블록 단위로 분할하는 분할부; 상기 블록내의 픽셀간 크기 비교에 따른 블록별 초기 비트열을 생성하고, 상기 블록별 초기 비트열을 이용하여 윈도우내에 포함된 각 블록에 대한 초기 비트열을 추출하여 센서스 변환 비트열을 생성하는 센서스 변환부; 및 상기 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행하는 스테레오 매칭부를 포함하는 영상 처리 장치가 제공될 수 있다.

상기 센서스 변환부는, 상기 윈도우내의 픽셀 구분을 위한 서포트 비트열을 생성하되, 상기 서포트 비트열을 더 이용하여 상기 센서스 변환 비트열을 생성할 수 있다.

상기 센서스 변환부는 상기 윈도우 내에 포함된 각 블록에 대해 지정된 방향에 따라 각 블록에 대한 초기 비트열을 추출하여 연접하고, 상기 서포트 비트열을 연접하여 상기 센서스 변환 비트열을 생성할 수 있다.

상기 센서스 변환부는, 상기 블록의 픽셀간 크기 변화에 따라 블록별 초기 비트열을 생성하는 제1 계산부; 상기 윈도우내의 특정 픽셀에 대한 픽셀 구분을 위한 서포트 비트열을 생성하는 제2 계산부; 및 상기 윈도우 내의 각 블록에 대한 초기 비트열을 추출하고, 상기 서포트 비트열을 연접하여 상기 센서스 변환 비트열을 생성하는 생성부를 포함할 수 있다.

상기 제1 계산부 및 상기 제2 계산부는 병렬 수행될 수 있다.

상기 초기 비트열 및 상기 서포트 비트열은 각 픽셀과 다른 픽셀의 차이를 비교하여 크면 제1 비트값을 할당하고, 작으면 제2 비트값을 할당하여 생성되는 것을 특징으로 하는 영상 처리 장치.

본 발명의 일 실시예에 따른 블록 기반 센서스 변환을 이용한 스테레오 매칭 방법를 제공함으로써, 블록 기반으로 초기 비트스트림 센서스 맵을 생성한 후 매칭 윈도우에 대한 센서스 변환을 수행함으로써 매칭 윈도우 크기에 영향이 적어 수행 속도가 빠른 이점이 있다.

도 1은 본 발명의 일 실시예에 따른 블록 기반 센서스 변환을 이용한 스테레오 매칭 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 블록별 초기 비트열을 생성하는 방법을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 서포트 비트열을 생성하는 방법을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 내부 구성을 개략적으로 도시한 블록도.
도 5는 본 발명의 일 실시예에 따른 센서스 변환부의 구성을 개략적으로 도시한 도면.
도 6 및 도 7은 종래와 본 발명의 일 실시예에 따른 뎁스 예측 결과를 나타낸 도면.
도 8은 종래와 본 발명의 일 실시예에 따른 센서스 변환 수행에 따른 윈도우 사이즈별 PSNR을 비교한 그래프.
도 9는 종래와 본 발명의 일 실시예에 따른 센서스 변환 수행에 따른 윈도우 사이즈별 계산 시간을 비교한 그래프.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 블록별 초기 비트열을 생성하는 방법을 설명하기 위해 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 서포트 비트열을 생성하는 방법을 설명하기 위해 도시한 도면이다.

단계 110에서 영상 처리 장치(100)는 제1 영상 및 제2 영상을 각각 입력받는다. 여기서, 제1 영상 및 제2 영상은 일정 간격 이격된 영상 획득 장치(예를 들어, 카메라)를 통해 동일한 물체를 촬영한 영상일 수 있다.

단계 115에서 영상 처리 장치(100)는 입력받은 제1 영상 및 제2 영상을 일정 크기의 블록으로 분할한다. 예를 들어, 블록은 n X m 크기이거나 n X n 크기일 수 있다. 여기서, n, m은 각각 자연수이다.

블록의 크기는 스테레오 매칭을 위한 윈도우 크기에 따라 상이하게 설정될 수 있으며, 윈도우 크기는 영상의 해상도에 따라 상이하게 설정될 수 있다.

본 발명의 일 실시예에 따르면 블록 크기 및 윈도우 크기는 각각 실험치에 의해 결정될 수 있다.

단계 120에서 영상 처리 장치(100)는 제1 영상 및 제2 영상의 각 블록내의 픽셀 크기를 비교하여 블록별 초기 비트열을 생성한다.

도 2를 참조하여 블록별 초기 비트열을 생성하는 방법에 대해 간략하게 설명하기로 한다. 예를 들어, 블록의 크기가 2 X 2라고 가정하자. 블록내의 제1 픽셀(210)은 제2 픽셀(212), 제3 픽셀(214) 및 제4 픽셀(216)과 각각 크기를 비교하여 비트값을 계산한다. 이때, 제1 픽셀과 인접한 다른 픽셀들과의 크기 비교 결과에 따른 비트열은 010일 수 있다. 이어, 제2 픽셀(212)는 이미 픽셀 크기 비교를 수행한 제1 픽셀(210)과의 크기 비교는 수행하지 않고, 제3 픽셀(214) 및 제4 픽셀(216)과의 크기 비교를 통해 비트값을 각각 계산한다. 이때의 제2 픽셀(212)와 다른 픽셀과의 크기 비교 결과에 따른 비트값은 11일 수 있다. 이와 같은 방식으로 제3 픽셀(214)는 제4 픽셀(216)과의 크기 비교를 통해 비트값(1)을 계산한다. 이에, 제1 블록에 대한 초기 비트열은 010111로 생성될 수 있다.

이와 같은 방식으로 모든 블록에 대해 블록내의 픽셀간 크기 비교(픽셀간 중복 비교 없이)픽셀간 크기 비교를 통해 초기 비트열을 각각 생성한다.

단계 125에서 영상 처리 장치(100)는 윈도우내의 픽셀 구분을 위한 서포트 비트열을 생성한다.

전술한 바와 같이, 단계 120에서 각 블록단위로 픽셀 크기 비교에 따른 초기 비트열을 계산하였다. 이에 따라, 블록 단위로 센서스 변환을 수행하는 경우, 동일 윈도우 내의 블록에 대한 초기 비트열은 모두 동일하게 된다. 이에 따라, 윈도우 내의 중심 픽셀의 구분을 위해 중심 블록내의 어느 하나의 픽셀을 기준으로 인접한 복수의 다른 픽셀들과의 차이 비교를 통해 서포트 비트열을 생성할 수 있다.

예를 들어, 도 3과 같이, 윈도우가 결정되었다고 가정하자. 윈도우 사이즈가 6 X 6이라고 가정하면, 윈도우내에는 제1 블록(310), 제2 블록(315), 제3 블록(320), 제4 블록(325), 제5 블록(330), 제6 블록(335), 제7 블록(340), 제8 블록(345) 및 제9 블록(350)을 포함한다. 윈도우 내의 모든 블록은 각각 초기 비트열이 동일하다. 이로 인해, 블록 기반으로 윈도우에 대한 센서스 변환을 수행하는 경우 센서스 변환 비트열이 모두 동일하게 되어 특정 픽셀 위치를 상세히 특정할 수 없는 문제가 발생하게 된다.

이로 인해, 영상 처리 장치(100)는 중심 블록(즉, 제5 블록(330))에 포함된 특정 픽셀을 구분하기 위해 특정 픽셀을 중심으로 인접한 복수의 다른 픽셀과의 차이 비교에 따른 비트값을 생성하고, 이들 비트값을 이용하여 서포트 비트열을 생성할 수 있다.

이때, 중심 블록내의 특정 픽셀을 기준으로 인접한 다른 픽셀과의 차이 비교를 위한 순서는 지정되어 있을 수 있다. 예를 들어, 중심 픽셀을 기준으로 인접한 상위 픽셀과의 차이 비교를 시작으로 시계 방향으로 인접한 픽셀과 비교할 수도 있고, 반시계 방향으로 비교할 수도 있다.

또한, 중심 픽셀을 기준으로 차이를 비교할 인접한 픽셀의 개수도 4개 또는 8개와 같이 실험적으로 지정될 수 있음은 당연하다.

도 3의 예시에서는 서포트 비트열이 0101으로 생성될 수 있다.

단계 130에서 영상 처리 장치(100)는 윈도우 내의 각 블록에 대한 초기 비트열과 서포트 비트열을 이용하여 해당 윈도우에 대한 센서스 변환 비트열을 생성한다.

예를 들어, 영상 처리 장치(100)는 윈도우 내의 중심 블록을 제외한 다른 블록에 대한 초기 비트열을 지정된 방향으로 추출하고, 추출된 초기 비트열에 중심 블록의 특정 픽셀에 대한 서포트 비트열을 추가하여 해당 윈도우에 대한 센서스 변환 비트열을 생성할 수 있다.

단계 125 내지 단계 130을 모든 픽셀에 대해 반복 수행하여 각 픽셀에 대한 센서스 변환 비트열을 모두 생성할 수 있다.

도 1에서는 이해와 설명의 편의를 도모하기 위해 하나의 영상에 대해서는 수행하는 것으로 설명되어 있으나, 이는 스테레오 영상의 경우, 좌안 영상 및 우안 영상 각각에 대해 단계 115 내지 단계 130이 반복적으로 수행될 수 있다.

좌안 영상 및 우안 영상의 모든 픽셀에 대한 센서스 변환 비트열 생성이 완료되면, 단계 135에서 영상 처리 장치(100)는 생성된 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행한다.

영상 처리 장치(100)는 좌안 영상 및 우안 영상의 센서스 비트열을 이용하여 해밍 디스턴스(hamming distance)를 계산하여 매칭 지점을 찾을 수 있다.

해밍 디스턴스 및 해밍 디스턴스를 이용하여 두 영상에 대한 스테레오 매칭을 수행하는 방법 자체는 이미 당업자에게는 자명한 사항이므로 이에 대한 상세한 설명은 생략하기로 한다.

도 1에서 설명한 바와 같이, 본 발명의 일 실시예에 따른 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법은, 영상을 서브 블록으로 분할하여 블록내의 픽셀간 크기 비교에 따른 블록별 초기 비트열을 생성하여 일시적으로 저장한 후 매칭 윈도우를 이동시키면서 이미 계산된 블록별 초기 비트열을 추출(복사)하고, 윈도우 내의 특정 픽셀에 대한 서포트 비트열을 추가하여 센서스 변환 비트열을 생성함으로써 윈도우 크기 증가에도 계산 속도에 크게 영향을 받지 않는 것을 알 수 있다.

도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 내부 구성을 개략적으로 도시한 블록도이고, 도 5는 본 발명의 일 실시예에 따른 센서스 변환부의 구성을 개략적으로 도시한 도면이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치(100)는 입력부(410), 분할부(415), 센서스 변환부(420), 스테레오 매칭부(425), 메모리(430) 및 제어부(435)를 포함하여 구성된다.

입력부(410)는 스테레오 영상(즉, 좌안 영상 및 우안 영상)을 입력받기 위한 수단이다.

분할부(415)는 좌안 영상 및 우안 영상을 지정된 크기의 블록으로 분할하기 위한 수단이다. 예를 들어, 분할부(415)는 n X m 크기로 좌안 영상 및 우안 영상을 각각 분할 할 수 있다. 여기서, 블록의 크기는 영상의 해상도 및 윈도우 크기에 따라 결정될 수 있다.

센서스 변환부(420)는 좌안 영상 및 우안 영상의 각 블록내의 픽셀 크기를 비교하여 블록별 초기 비트열을 생성하고, 윈도우에 포함된 각 블록의 초기 비트열을 추출한 후 윈도우내의 중심 블록의 특정 픽셀에 대한 서포트 비트열을 생성하여 최종 센서스 변환 비트열을 생성하기 위한 수단이다.

도 5를 참조하면, 센서스 변환부(420)는 제1 계산부(510), 제2 계산부(515) 및 생성부(520)를 포함하여 구성된다.

제1 계산부(510)는 각 블록내의 픽셀간의 크기를 비교한 비트값들을 이용하여 각 블록에 대한 초기 비트열을 출력하기 위한 수단이다.

제1 계산부(510)는 모든 블록에 대해 블록 내의 픽셀간의 크기 비교(픽셀간의 크기 비교에 따른 중복 비교 없이)를 통해 블록별 초기 비트열을 계산할 수 있다. 이는 이미 도 2를 이용하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

이와 같이, 계산된 초기 비트열은 초기 비트열 센서스 맵으로 일시적으로 저장될 수도 있다.

제2 계산부(515)는 윈도우내의 중심 블록내의 픽셀 구분을 위한 서포트 비트열을 계산하기 위한 수단이다.

예를 들어, 제2 계산부(515)는 윈도우내의 복수의 블록들 중 중심 블록내의 어느 하나의 픽셀을 기준으로 인접한 복수의 다른 픽셀들과의 크기 비교를 통해 서포트 비트열을 계산할 수 있다. 이는 도 3을 이용하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

제1 계산부(510) 및 제2 계산부(515)는 각각 병렬로 동작될 수 있다.

생성부(520)는 윈도우내의 각 블록에 대한 초기 비트열을 초기 비트열 센서스 맵에서 추출하고, 추출된 각 블록에 대한 초기 비트열과 서포트 비트열을 이용하여 윈도우에 대한 센서스 변환에 따른 최종 비트열(센서스 변환 비트열)을 생성하기 위한 수단이다.

예를 들어, 생성부(520)는 윈도우 내에 포함된 각 블록에 대한 초기 비트열을 지정된 방향으로 추출하여 추출 순서대로 후단에 위치시키고, 서포트 비트열을 가장 후단에 위치시켜 최종 센서스 변환 비트열을 생성할 수 있다.

센서스 변환부(420)는 좌안 영상 및 우안 영상에 대해 각각 윈도우를 이동시켜 가면서 각 픽셀에 대한 센서스 변환 비트열을 각각 생성할 수 있다.

스테레오 매칭부(425)는 생성된 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행하기 위한 수단이다.

예를 들어, 스테레오 매칭부(425)는 센서스 변환 비트열(좌안에 대한 센서스 변환 비트열, 우안에 대한 센서스 변환 비트열)간의 해밍 디스턴스를 구하여 매칭 포인트를 찾을 수 있다. 이는 당업자에게는 자명한 사항이므로 상세한 설명은 생략하기로 한다.

메모리(430)는 본 발명의 일 실시예에 따른 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭을 수행하기 위해 필요한 다양한 알고리즘, 블록별 초기 비트열, 서포트 비트열, 센서스 변환 비트열 등을 저장한다.

제어부(435)는 본 발명의 일 실시예에 따른 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭을 수행하는 영상 처리 장치(100)의 내부 구성 요소들(예를 들어, 입력부(410), 분할부(415), 센서스 변환부(420), 스테레오 매칭부(425), 메모리(430) 등)을 제어하기 위한 수단이다.

도 6 및 도 7은 종래와 본 발명의 일 실시예에 따른 뎁스 예측 결과를 나타낸 도면이고, 도 8은 종래와 본 발명의 일 실시예에 따른 센서스 변환 수행에 따른 윈도우 사이즈별 PSNR을 비교한 그래프이고, 도 9는 종래와 본 발명의 일 실시예에 따른 센서스 변환 수행에 따른 윈도우 사이즈별 계산 시간을 비교한 그래프이다.

도 6의 610은 오리지널 칼라 영상을 나타내고, 615는 종래의 센서스 변환에 따른 뎁스 예측 결과를 나타낸 것이고, 620은 본 발명의 일 실시예에 따른 센서스 변환에 따른 뎁스 예측 결과를 나타낸 것이다.

도 6에 도시된 바와 같이, 종래의 센서스 변환에 비해 본 발명의 일 실시예에 따른 센서스 변환이 뎁스 예측 결과 종래와 비교하여 결코 뒤지지 않은 것을 알 수 있으며 계산 시간 또한 상당히 줄어드는 것을 알 수 있다.

도 7의 (a)는 원본 칼라 영상을 나타내고, (b)는 실제 뎁스를 나타내고, (c)는 종래의 센서스 변환에 따른 뎁스 예측 결과를 나타내며, (d)는 종래의 수정된 센서스 변환(MCT)에 따른 뎁스 예측 결과를 나타내고, (e)는 종래의 센서스 변환에 따른 뎁스 예측 결과를 나타내며, (d)는 본 발명의 일 실시예에 따른 센서스 변환에 따른 뎁스 예측 결과를 나타낸 것이다.

매칭 윈도우의 크기는 6 X 6 내지 7 X 7로 설정하였다. 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 뎁스 예측에 따른 품질을 비교한 결과 종래와 비교하여 결코 뒤지지 않은 것을 알 수 있으며(도 8 참조), 반면 수행 시간은 본 발명의 일 실시예에 따른 센서스 변환을 이용한 경우 상당히 많이 줄어든 것을 알 수 있다(도 9 참조).

종래의 센서스 변환의 경우 윈도우 사이즈 증가에 따라 수행 시간 또한 기하 급수적으로 늘어나는 것을 알 수 있다. 반면, 본 발명의 일 실시예에 따른 센서스 변환은 블록 기반으로 수행되어 윈도우 사이즈에도 기하급수적으로 계산 시간이 비약적으로 증가되지 않는 것을 알 수 있다.

한편, 본 발명의 실시예에 따른 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

410: 입력부
415: 분할부
420: 센서스 변환부
425: 스테레오 매칭부
430: 메모리
435: 제어부

Claims (14)

1. (a) 블록내의 픽셀간 크기 비교에 따른 블록별 초기 비트열을 생성하는 단계;
   (b) 상기 블록별 초기 비트열을 이용하여 윈도우내에 포함된 각 블록에 대한 초기 비트열을 추출하는 단계;
   (c) 상기 윈도우내의 픽셀 구분을 위한 서포트 비트열을 생성하는 단계;
   (d) 상기 초기 비트열 및 상기 서포트 비트열을 이용하여 상기 윈도우에 대한 센서스 변환 비트열을 생성하는 단계; 및
   (e) 상기 윈도우별 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행하는 단계를 포함하는 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법.
   
   
2. 제1 항에 있어서,
   상기 (a) 단계는,
   상기 블록내 픽셀과 다른 픽셀들을 각각 비교하여 크면 제1 비트값으로 계산하고, 작으면 제2 비트값으로 계산하여 상기 블록에 대한 초기 비트열을 생성하되,
   상기 픽셀과 다른 픽셀들의 크기 비교는 중복되지 않는 것을 특징으로 하는 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법.
   
   
3. 제1 항에 있어서,
   상기 서포트 비트열을 생성하는 단계는,
   상기 윈도우내의 중심 블록에 포함된 픽셀들 중 어느 하나의 픽셀과 인접한 다른 픽셀들과의 크기를 비교하여 생성하는 것을 특징으로 하는 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법.
4. 제1 항에 있어서,
   상기 (b) 단계는,
   상기 윈도우내의 중심 블록을 기준으로 지정된 방향으로 각 블록에 대한 초기 비트열을 추출하는 것을 특징으로 하는 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법.
5. 제4 항에 있어서,
   상기 (b) 단계는,
   상기 윈도우내의 상기 중심 블록은 제외하고 상기 중심 블록을 기준으로 각 블록의 초기 비트열을 추출하는 것을 특징으로 하는 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법.
6. 제1 항에 있어서,
   상기 (d) 단계는,
   상기 추출된 초기 비트열 및 상기 서포트 비트열을 연접하여 상기 센서스 변환 비트열을 생성하되,
   상기 초기 비트열은 추출된 순서대로 연접되는 것을 특징으로 하는 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법
7. 제1 항에 있어서,
   상기 (b) 내지 상기 (d) 단계는 영상의 모든 영역에 대해 상기 윈도우를 이동시키면서 반복적으로 수행되는 것을 특징으로 하는 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법.
8. 제1 항 내지 제7 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 기록매체 제품.
9. 영상을 미리 지정된 크기의 블록 단위로 분할하는 분할부;
   상기 블록내의 픽셀간 크기 비교에 따른 블록별 초기 비트열을 생성하고, 상기 블록별 초기 비트열을 이용하여 윈도우내에 포함된 각 블록에 대한 초기 비트열을 추출하여 센서스 변환 비트열을 생성하는 센서스 변환부; 및
   상기 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행하는 스테레오 매칭부를 포함하는 영상 처리 장치.
10. 제9 항에 있어서,
    상기 센서스 변환부는,
    상기 윈도우내의 픽셀 구분을 위한 서포트 비트열을 생성하되,
    상기 서포트 비트열을 더 이용하여 상기 센서스 변환 비트열을 생성하는 것을 특징으로 하는 영상 처리 장치.
11. 제10 항에 있어서,
    상기 센서스 변환부는 상기 윈도우 내에 포함된 각 블록에 대해 지정된 방향에 따라 각 블록에 대한 초기 비트열을 추출하여 연접하고, 상기 서포트 비트열을 연접하여 상기 센서스 변환 비트열을 생성하는 것을 특징으로 하는 영상 처리 장치.
12. 제10 항에 있어서,
    상기 센서스 변환부는,
    상기 블록의 픽셀간 크기 변화에 따라 블록별 초기 비트열을 생성하는 제1 계산부;
    상기 윈도우내의 특정 픽셀에 대한 픽셀 구분을 위한 서포트 비트열을 생성하는 제2 계산부; 및
    상기 윈도우 내의 각 블록에 대한 초기 비트열을 추출하고, 상기 서포트 비트열을 연접하여 상기 센서스 변환 비트열을 생성하는 생성부를 포함하는 것을 특징으로 하는 영상 처리 장치.
13. 제12 항에 있어서,
    상기 제1 계산부 및 상기 제2 계산부는 병렬 수행되는 것을 특징으로 하는 영상 처리 장치.
14. 제10 항에 있어서,
    상기 초기 비트열 및 상기 서포트 비트열은 각 픽셀과 다른 픽셀의 차이를 비교하여 크면 제1 비트값을 할당하고, 작으면 제2 비트값을 할당하여 생성되는 것을 특징으로 하는 영상 처리 장치.

Images