KR101622344B1 - 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템 - Google Patents

Abstract

본 발명은 센서스 변환 기반 스테레오 정합에서 적응적 영역 가중치 기법과 듬성한 모양의 윈도우를 사용하여 정합 정확도를 향상시키는 방법에 관한 것으로서, 좌 영상의 특정 지점을 중심으로 하는 적응적 영역 가중치 윈도우를 설정하고, 우 영상에서 좌 영상의 특정 지점에 대하여 최대 시차 예측값 이내에 위치하는 한 점에 대하여 동일한 크기의 적응적 영역 가중치 윈도우를 설정하는 제 1 단계, 좌 영상과 우 영상의 각 가중치 윈도우 내의 픽셀들에 대하여 적응적 영역 가중치를 산출하는 제 2 단계, 좌 영상과 우 영상에 설정된 상기 적응적 영역 가중치 윈도우 내의 픽셀들에 대하여 정합 윈도우를 설정하는 제 3 단계, 상기 정합 윈도우를 이용하여 상기 적응적 영역 가중치 윈도우 내의 픽셀들에 대한 원시 정합 비용을 산출하는 제 4 단계, 상기 산출된 각 픽셀들의 적응적 영역 가중치와 원시 정합 비용을 이용하여 정합 비용을 산출하는 제 5 단계 및 우 영상에서 좌 영상의 특정 지점에 대하여 최대 시차 예측값 이내에 위치하는 다른 점들에 대하여 정합 비용을 산출한 후, 산출된 정합 비용들의 비교를 통해 시차값을 산출하는 제 6 단계를 포함한다.

Description

적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템{A DISPARITY CACULATION METHOD BASED ON OPTIMIZED CENSUS TRANSFORM STEREO MATCHING WITH ADAPTIVE SUPPORT WEIGHT METHOD AND SYSTEM THEREOF}

본 발명은 영역기반 스테레오 정합에서 적응적 영역 가중치 방법을 적용한 개선된 센서스 변환 기반 스테레오 정합법을 이용하여 정밀한 시차를 계산하는 방법을 개시하고 있다.

스테레오 정합 (stereo matching)은 두 대의 카메라를 통해 동일 시간에 서로 다른 위치에서 획득한 2차원 영상들로부터 3차원 정보를 획득하는 기술이며, 좌/우 영상 내에서 동일 지점에 해당하는 대응점을 찾아 두 대응점간의 시차 (disparity) 정보를 계산함으로써 3차원 거리정보인 뎁스 맵(depth map)을 획득할 수 있다.

스테레오 정합 방법 중 하나인 센서스 변환 기반 스테레오 정합 방법은 두 카메라 사이의 이득(gain)이나 성향(bias)의 차이에 의해 발생하는 오차에 강인하며, SAD(sum of absolute difference), SSD (sum of squared difference), NCC (normalized correlation) 등과 같은 다른 스테레오 정합 방법과 비교하여 하드웨어로 구현하기 용이한 방법으로 알려져 있다.

도 1은 좌/우 영상에서 일정한 윈도우 크기 및 일정한 크기의 시차 탐색 범위(disparity search range)를 사용하는 센서스 변환 기반 스테레오 정합법을 나타낸 것이고, 도 2는 설정된 윈도우에서 해밍 웨이트 윈도우를 산출하는 방법을 나타낸 것이며, 도 3은 좌,우 해밍 웨이트 윈도우를 이용하여 해밍 비트 윈도우를 생성하는 방법을 도시한 것이다.

도 1을 참조하면, 좌 영상의 A 지점에 대한 우 영상에서의 대응점을 찾기 위해 좌 영상A 지점을 중심으로 하는 윈도우를 설정하고, 그에 대응하여 우 영상에서 A 지점에 대응되는 좌표인 B 지점으로부터 최대 시차 예측 범위인 B'지점까지 동일한 크기로 설정된 윈도우를 이동해가면서 우 영상에서 설정된 윈도우 영역 내부의 상관도가 좌 영상에서 설정된 윈도우 영역 내부의 상관도와 가장 높은 지점을 찾아 A 지점에 대응되는 좌우 영상간의 시차값을 얻게 된다.

그리고 또 다른 예로 C 지점에 대한 우 영상에서의 대응점을 찾기 위해 D 지점에서 D' 지점까지의 일정한 변위 범위 내에서 상관도가 가장 높은 지점을 찾는다.

좌,우 윈도우 간의 상관도 비교를 위한 방법을 도 2 및 도 3을 통해 설명한다.

센서스 변환은 특정 영역 내의 영상의 밝기 정보를 이용하여 비트열(bit stream) 정보를 생성하는 변환이다.

도 2는 센서스 변환 윈도우가 5×5 크기로 설정된 경우에 해밍 웨이트를 산출하는 방법을 도시한 것으로서, 좌 영상과 우 영상의 센서스 변환 윈도우에 대해 각각 해밍 웨이트를 구해야 한다.

도 2에서 좌측의 센서스 변환 윈도우내의 각 셀에 표시된 숫자는 영상을 2진화하였을 때의 밝기값을 나타내는 것으로서, 중앙에 있는 데이터를 기준으로 각각의 픽셀의 크기를 비교하여 각 픽셀의 밝기값이 중앙 지점의 밝기값보다 큰 경우 1, 반대인 경우 0으로 설정하여 우측과 같은 해밍 웨이트 윈도우를 생성하며, 이를 이용하여 도 2 하단부에 도시된 바와 같은 해밍 비트 스트림을 생성한다.

좌 영상과 우 영상에 대하여 각각 해밍 웨이트 윈도우가 생성되면, 도 3과 같이 좌 영상 해밍 웨이트 윈도우와 우 영상 해밍 웨이트 윈도우 간의 대응되는 셀의 값을 비교하여 두 값이 같으면 해밍 비트를 1로 설정하고, 다르면 0으로 설정한다.

도 3의 하단은 해밍 비트 윈도우를 나타낸 것으로서, 해밍 비트가 1인 개수가 많을수록 두 개의 영상이 일치함을 나타낸다.

좌 영상의 특정 지점의 해밍 웨이트값과 우 영상에서 설정된 윈도우에 대한 해밍 웨이트 값들을 비교하여 해밍 비트의 개수가 가장 많은 지점을 추출하게 되고, 좌 영상과 그에 대응되는 우 영상의 지점 간의 시차가 산출된다.

센서스 변환 기반 스테레오 정합 기법은 윈도우 크기에 따라 유사도 판단을 위한 비용(cost)을 계산하기 때문에 윈도우 크기가 클수록 정합 정확도가 높은 특성이 있어 윈도우의 크기가 커질 수록 대응점을 찾기 위한 연산량이 급격히 증가하고 3차원 정보를 획득하는데 많은 시간이 소모되는 문제가 있다.

한편, 윈도우 영역 별로 가중치에 차등을 두어 다양한 크기 및 모양을 가지는 윈도우를 사용하는 효과를 거둘 수 있는 적응적 영역 가중치 방법이 알려져 있다.

적응적 영역 가중치 방법은 좌영상과 우영상에서 설정된 윈도우 내의 각 픽셀에 대하여, 중심 픽셀과의 거리 및 색상 차를 활용하여 가중치를 계산한 후, 좌영상의 가중치와 우영상의 가중치가 반영된 정합비용의 누적치를 이용하여 좌,우 영상 윈도우 내의 상관도가 가장 높은 지점을 찾는 방식으로서, 좌영상내의 p점과 우영상내의 q점 간의 정합 비용(비유사도)는 하기의 수학식 1과 같이 표현된다.

수학식 1에서 픽셀 p는 윈도우의 중심 픽셀이며, q는 주변 픽셀로서, N_p, N_p는 각각 좌 영상 윈도우와 우 영상 윈도우 영역 내의 대응되는 픽셀이다.

e(q,q_d)는 원시 정합 비용(raw matching cost)를 나타내는 것으로서, 대응되는 좌,우 영상의 픽셀(p,q) 간의 밝기값의 절대차이다.

그리고,

는 가중치 값으로서, γ_c,γ_p 는 상수계수이며, Δc_pq는 픽셀 p와 픽셀 q사이의 색상 유사도, Δp_pq는 픽셀 p와 픽셀 q사이의 거리 근접도를 나타낸다.

그러나, 적응적 영역 가중치 방법은 연산량이 급격하게 증가하여 연산속도가 늘어나는 문제점이 있고, 원시 정합비용을 픽셀 간의 밝기 절대차를 이용하므로 센서스 변환 방식에 비해 정합비용 정확도가 떨어지는 문제점이 있다.

그 외에, 듬성한 윈도우 모양을 사용하여 센서스 변환의 비트열 생성을 위한 특정 영역을 지정하는 윈도우에서 특정 영역만 사용하는 방법과 적응적 영역 가중치 방법에서 윈도우 영역 내에 특정 영역만 연산에 사용하는 방법이 있다. 이 방법은 연산량을 감소시키고 연산 속도를 향상 시킬 수 있는 장점이 있으나, 그만큼 정확도가 떨어지는 문제점도 있다. 도 4는 다양한 윈도우 모양의 예를 나타내며, 제시된 모양 이외에도 다양한 모양이 사용된다.

본 발명은 이러한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 보 발명의 목적은 윈도우 영역 일부를 사용하지 않는 기법과 적응적 영역 가중치 방법을 융합하고, 센서스 변환 방식 기반의 누적 정합 비용을 사용함으로써 정합속도를 향상시키고 정합 정확도를 높일 수 있도록 하는 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 좌 영상의 특정 지점을 중심으로 하는 적응적 영역 가중치 윈도우를 설정하고, 우 영상에서 좌 영상의 특정 지점에 대하여 최대 시차 예측값 이내에 위치하는 한 점에 대하여 동일한 크기의 적응적 영역 가중치 윈도우를 설정하는 제 1 단계, 좌 영상과 우 영상의 각 가중치 윈도우 내의 픽셀들에 대하여 적응적 영역 가중치를 산출하는 제 2 단계, 좌 영상과 우 영상에 설정된 상기 적응적 영역 가중치 윈도우 내의 픽셀들에 대하여 정합 윈도우를 설정하는 제 3 단계, 상기 정합 윈도우를 이용하여 상기 적응적 영역 가중치 윈도우 내의 픽셀들에 대한 원시 정합 비용을 산출하는 제 4 단계, 상기 산출된 각 픽셀들의 적응적 영역 가중치와 원시 정합 비용을 이용하여 정합 비용을 산출하는 제 5 단계 및 우 영상에서 좌 영상의 특정 지점에 대하여 최대 시차 예측값 이내에 위치하는 다른 점들에 대하여 정합 비용을 산출한 후, 산출된 정합 비용들의 비교를 통해 시차값을 산출하는 제 6 단계를 포함하는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법이 제공된다.

본 발명의 바람직한 다른 일 측면에 따르면, 좌 영상과 우 영상에 각각 설정된 적응적 영역 가중치 윈도우 내의 픽셀들에 대하여 적응적 영역 가중치를 산출하는 가중치 산출부, 상기 적응적 영역 가중치 윈도우 내의 픽셀들에 대하여 정합 윈도우를 설정하고, 상기 정합 윈도우를 이용하여 상기 적응적 영역 가중치 윈도우 내의 픽셀들에 대한 원시 정합 비용을 산출하는 센서스 변환부, 상기 산출된 각 픽셀들의 적응적 영역 가중치와 원시 정합 비용을 이용하여 정합 비용을 산출하는 정합 비용 산출부 및 우 영상에서 좌 영상의 특정 지점에 대하여 최대 시차 예측값 이내에 위치하는 다른 점들에 대하여 정합 비용을 산출한 후, 산출된 정합 비용들의 비교를 통해 시차값을 산출하는 시차 산출부를 포함하는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 시스템이 제공된다.

이상과 같은 본 발명에 의하면, 센서스 변환 기반 스테레오 매칭과 적응적 영역 가중치 방식을 조합함으로써 정합 정확도를 향상시킬 수 있으면서도, 윈도우 영역 내부의 사용 픽셀을 제한함으로써 급격한 연산량 증가를 방지할 수 있어 연산속도가 빠르면서도 높은 정합도를 달성할 수 있는 효과가 있다.

또한, 가중치 산출과 센서스 변환 기반 스테레오 매칭 처리를 동시에 진행하고 정합 비용 산출과정에서 분자 계산과 분모 계산을 동시에 진행함으로써 연산 속도를 높일 수 있다.

도 1은 좌/우 영상에서 일정한 윈도우 크기 및 일정한 크기의 시차 탐색 범위(disparity search range)를 사용하는 센서스 변환 기반 스테레오 정합법을 나타낸 것이다.
도 2는 설정된 윈도우에서 해밍 웨이트 윈도우를 산출하는 방법을 나타낸 것이다.
도 3은 좌,우 해밍 웨이트 윈도우를 이용하여 해밍 비트 윈도우를 생성하는 방법을 도시한 것이다.
도 4는 정합 비용 계산에 사용되는 윈도우 모양의 다양한 예를 나타내는 그림이다.
도 5는 본 발명에 따른 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법이 수행되는 과정을 도시한 흐름도이다.
도 6은 본 발명의 실시예에 따른 센서스 변환 기반 스테레오 정합 방법과 적응적 영역 가중치 방법을 융합하여 신뢰성 높은 시차정보를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 시스템의 구성을 도시한 블럭도이다.
도 8은 본 발명의 실시예에 따른 밝기 차이에 따른 가중치 값과 이를 구하는 슈도코드를 나타낸다.
도 9는 본 발명의 실시예에 따른 다양한 윈도우 모양의 예를 나타내는 그림이다.
도 10은 본 발명의 실시예에 따른 적응적 영역 가중치 윈도우와 센서스 변환 스테레오 정합을 위한 정합 윈도우의 사용방법을 나타내는 그림이다.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.

도 5는 본 발명에 따른 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법이 수행되는 과정을 도시한 흐름도, 도 6은 본 발명의 실시예에 따른 센서스 변환 기반 스테레오 정합 방법과 적응적 영역 가중치 방법을 융합하여 신뢰성 높은 시차정보를 획득하는 방법을 설명하기 위한 도면, 도 7은 본 발명에 따른 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 시스템의 구성을 도시한 블럭도, 도 8은 본 발명의 실시예에 따른 밝기 차이에 따른 가중치 값과 이를 구하는 슈도코드를 나타낸다.

도 5를 기반으로 본 발명에서 센서스 변환 기반 스테레오 정합 방법과 적응적 영역 가중치 방법을 융합하여 신뢰성 높은 시차정보를 획득하는 방법을 설명하면 다음과 같다.

우선, 좌 영상과 우 영상에서 각각 비용 정합 산출을 위한 윈도우가 설정된다(S100-1, S100-2). 도 6과 같이, 좌 영상의 특정 지점(P)에 대응되는 우 영상의 지점을 찾기 위해 좌 영상의 특정 지점(P)을 중심으로 하는 적응적 영역 가중치 윈도우(W_al, 이하 "가중치 윈도우"라 함)가 설정된다. 도 6의 실시예에서는 5×5 크기의 가중치 윈도우(W_al)가 예시되어 있다. 그리고, 우 영상에서 좌 영상의 P 지점에 대하여 최대 시차 예측값 이내에 위치하는 한 점(P_d)에 대하여 동일한 크기의 가중치 윈도우(W_ar)가 설정된다.

좌 영상과 우 영상에서 가중치 윈도우(W_al,W_ar)가 각각 설정되면, 각 윈도우 (W_al,W_ar)내의 모든 픽셀에 대하여 적응적 영역 가중치(이하 "가중치"라 함)가 산출된다(S110-1, S110-3).

본 발명에서는 가중치 산출을 위한 연산을 감소시킬 수 있도록 픽셀의 밝기값 차만을 이용하였으며, 가중치는 하기 수학식 2에 의해 산출된다.

γ _p : 상수 계수

Δp_pq : 셀의 밝기 값의 차이

즉, 중심 픽셀(P)과 이웃 픽셀의 밝기 차가 클수록 가중치가 지수함수적으로 감소함을 알 수 있으며, 도 8과 같은 간단한 슈도 코드(psedo code)로 가중치 계산함수가 구현될 수 있다. 도 8의 가중치 계산 함수는 최대 64에서 0 사이에서 지수적으로 가중치가 감소하도록 되어 있다.

상기 수학식 2를 이용하여 좌 영상과 우 영상에서 가중치 윈도우(W_al,W_ar) 내의 모든 픽셀들에 대하여 가중치가 계산된다. 이러한 계산은 하드웨어적으로 구현될 수 있으며, 이를 위해 본 발명에 따른 시차 계산 시스템은 좌측 적응적 영역 가중치 산출부(210)와 우측 적응적 영역 가중치 산출부(220)를 포함하는 가중치 산출부(200)를 포함할 수 있다.

가중치 산출과 동시에 스테레오 기반 센서스 변환이 이루어진다(S110-2). 이와 같이 좌 영상과 우 영상의 가중치 계산 및 센서스 변환이 동시에 병렬적으로 이루어지므로 연산 시간을 단축시킬 수 있는 장점이 있다.

스테레오 기반 센서스 변환을 위해 좌 영상과 우 영상에 설정된 가중치 윈도우(W_al,W_ar)내의 모든 픽셀들에 대하여 원시 정합 비용(raw matching cost)을 구하기 위한 정합 윈도우(W_cl,W_cr)가 설정된다.

도 6에서 좌측 가중치 윈도우(W_al) 내의 픽셀들에 대하여 일정 크기(실시예에서는 3×3)의 정합 윈도우(W_cl)가 설정되고, 우측 가중치 윈도우(W_ar) 내의 대응 픽셀들에 대해서도 동일한 크기의 정합 윈도우(W_cr)가 설정된다. 도 6에서는 좌측 가중치 윈도우(W_al) 내의 q 픽셀과 우측 가중치 윈도우(W_ar) 내의 대응 픽셀인 q_d 픽셀에 각각 정합 윈도우(W_cl, W_ar)가 설정된 것을 나타낸다.

좌측 정합 윈도우(W_cl)와 우측 정합 윈도우(W_cr)에 대하여 센서스 변환 기반 스테레오 매칭 방식을 적용하여 가중치 윈도우(W_al) 내의 q 픽셀과 우측 가중치 윈도우(W_ar) 내의 대응 픽셀인 q_d 픽셀 간의 원시 정합비용이 계산된다. 이러한 계산은 하드웨어적으로 구현될 수 있으며, 이를 위해 본 발명에 따른 시차 계산 시스템은 좌측 해밍 웨이트 산출부(110), 우측 해밍 웨이트 산출부(120) 및 해밍 디스턴스 산출부(130)를 포함하는 센서스 변환부(100)를 포함할 수 있다.

상기에서 좌,우 영상에 대하여 가중치와 원시 정합비용이 산출되면, 하기 수학식 3을 이용하여 정합 비용으로서 D_ASW(p,p_d)가 계산된다.

여기서, N_p, N_pd는 각각 좌 영상 윈도우와 우 영상 윈도우 영역 내의 대응되는 픽셀이고, e(q,q_d)는 종래 기술에 따른 수학식 1과 달리 센서스 변환 기반 스테레오 매칭을 통해 계산된 원시 정합 비용을 나타낸다.

상기 수학식 3을 이용하여 정합 비용을 구하는 과정은, 수학식 3의 분자를 합산하는 과정(S120-1)과 수학식 3의 분모를 합산하는 과정(S120-2)을 거친 후, 합산된 분자값을 분모값으로 제산하는 과정(S130)을 통해 이루어진다. 이러한 분자 및 분모값 합산 및 제산 처리는 하드웨어적으로 구현될 수 있으며, 이를 위해 본 발명에 따른 시차 계산 시스템은 분자 합산부(310), 분모 합산부(320) 및 제산부(330)를 포함하는 정합비용 산출부(300)를 포함할 수 있다.

그리고, 분자 계산 과정(S120-1)과 분모 계산 과정(120-2) 또한 동시에 처리되도록 함으로써 연산 속도를 향상시킬 수 있다.

좌 영상의 p점과 우 영상에서 p점에 대응되는 최대 시차 예측범위 내의 모든 점들에 대하여 상기와 같은 정합 비용이 산출된 후, 산출된 정합 비용 비교를 통해 시차값이 계산된다(S140). 이러한 시차 계산도 하드웨어적으로 이루어질 수 있고, 본 발명에 따른 시차 계산 시스템은 시차 산출부(400)를 포함할 수 있다.

도 9는 본 발명의 변형된 실시예에 따른 다양한 윈도우 모양의 예를 나타내는 그림이고, 도 10은 본 발명의 변형된 실시예에 따른 가중치 윈도우와 정합 윈도우의 사용방법을 나타내는 그림이다.

도 9의 (a)는 듬성한 가중치 윈도우의 일례를 나타낸 것이고, (b)는 듬성한 정합 윈도우를 나타내는 일례로서, 본 발명의 변형된 실시예는 스테레오 정합과 가중치 계산에서 윈도우 영역 일부를 사용하지 않는 것이 특징이다.

보다 구체적으로 도 9에서, (a)는 7×7 크기의 윈도우에서 8 점의 사용을 나타내는 원형(circle)의 가중치 윈도우를 나타내며, (b)는 5×5 크기의 윈도우에서 8 점의 사용을 나타내는 듬성형(sparse)의 정합 윈도우를 나타낸다. 가중치 윈도우는 가중치 계산과정(S110-1, S110-2)에서 사용되는 윈도우 영역의 사용 여부를 결정하며, 정합 윈도우는 센서스 변환 과정(S110-2)에서 사용되는 윈도우 영역의 사용 여부를 결정한다.

즉, 수학식 3에서 N_p, N_pd는 좌우 듬성한 윈도우 영역 내의 선택 픽셀을 나타내며, 선택 픽셀에 대해서만 센서스 변환과 가중치 계산이 이루어지도록 함으로써 연산 시간을 감소시킬 수 있도록 하였다.

도 10은 도 9에 예시된 가중치 윈도우와 정합 윈도우를 이용하여 정합 비용을 산출하는 방법을 도시한 것으로서, 가중치 윈도우에서 미리 설정된 선택 픽셀에 대해서만 정합 윈도우가 설정되어 센서스 변환 기반의 스테레오 매칭이 이루어지고, 센서스 변환 기반의 스테레오 매칭에 있어서도 정합 윈도우에서 미리 설정된 선택 픽셀에 대해서만 센서스 변환이 이루어지는 과정을 통해 연산 시간을 감소시키게 된다.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100 : 센서스 변환부 110 : 좌측 해밍 웨이트 산출부
120 : 우측 해밍 웨이트 산출부 130 : 해밍 디스턴스 산출부
200 : 가중치 산출부
210 : 좌측 적응적 영역 가중치 산출부
220 : 우측 적응적 영역 가중치 산출부
300 : 정합비용 산출부 310 : 분자 합산부
320 : 분모 합산부 330 : 제산부
340 : 시차 산출부

Claims (20)

1. 좌 영상의 특정 지점을 중심으로 하는 적응적 영역 가중치 윈도우를 설정하고, 우 영상에서 좌 영상의 특정 지점에 대하여 최대 시차 예측값 이내에 위치하는 한 점에 대하여 동일한 크기의 적응적 영역 가중치 윈도우를 설정하는 제 1 단계;
   좌 영상과 우 영상의 각 가중치 윈도우 내의 픽셀들에 대하여 적응적 영역 가중치 윈도우의 중심 픽셀과 나머지 픽셀들의 밝기값의 차를 이용하여 적응적 영역 가중치를 산출하는 제 2 단계;
   좌 영상과 우 영상에 설정된 상기 적응적 영역 가중치 윈도우 내의 픽셀들에 대하여 정합 윈도우를 설정하는 제 3 단계;
   상기 정합 윈도우를 이용하여 상기 적응적 영역 가중치 윈도우 내의 픽셀들에 대한 원시 정합 비용을 산출하는 제 4 단계;
   상기 산출된 각 픽셀들의 적응적 영역 가중치와 원시 정합 비용을 이용하여 정합 비용을 산출하는 제 5 단계; 및
   우 영상에서 좌 영상의 특정 지점에 대하여 최대 시차 예측값 이내에 위치하는 다른 점들에 대하여 정합 비용을 산출한 후, 산출된 정합 비용들의 비교를 통해 시차값을 산출하는 제 6 단계를 포함하되,
   상기 제 1, 2 단계와 제3,4 단계가 동시에 병렬적으로 수행되고, 상기 적응적 영역 가중치 윈도우와 정합 윈도우는 윈도우 영역 내의 선택 픽셀만 사용하는 듬성형 윈도우인 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법.
2. 삭제
3. 제 1 항에 있어서,
   상기 적응적 영역 가중치는 하기 수학식에 의해 산출되는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법.
   

   

   
   γ_p : 상수 계수, Δp_pq : 셀의 밝기 값의 차이
4. 삭제
5. 제 1 항에 있어서,
   상기 원시 정합 비용은 센서스 변환 기반 스테레오 매칭을 통해 계산되는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법.
6. 제 5 항에 있어서,
   상기 제 5 단계에서, 정합 비용은 하기 수학식에 의해 산출되는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법.
   

   

   
   여기서, N_p, N_pd는 각각 좌 영상 윈도우와 우 영상 윈도우 영역 내의 대응되는 픽셀이고, e(q,q_d)는 센서스 변환 기반 스테레오 매칭을 통해 계산된 원시 정합 비용임
7. 제 6 항에 있어서,
   상기 수학식을 이용하여 정합 비용을 구하는 제 5 단계는,
   수학식 3의 분자를 합산하는 제 5-1 단계와, 수학식 3의 분모를 합산하는 제 5-2 단계와, 합산된 분자값을 분모값으로 제산하는 제 5-3 단계를 통해 산출되는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법.
8. 제 7 항에 있어서,
   상기 제 5-1 단계와 5-2 단계는 동시에 병렬적으로 수행되는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법.
9. 삭제
10. 삭제
11. 좌 영상과 우 영상에 각각 설정된 적응적 영역 가중치 윈도우 내의 픽셀들에 대하여 적응적 영역 가중치 윈도우의 중심 픽셀과 나머지 픽셀들의 밝기값의 차를 이용하여 적응적 영역 가중치를 산출하는 가중치 산출부;
    상기 적응적 영역 가중치 윈도우 내의 픽셀들에 대하여 정합 윈도우를 설정하고, 상기 정합 윈도우를 이용하여 상기 적응적 영역 가중치 윈도우 내의 픽셀들에 대한 원시 정합 비용을 산출하는 센서스 변환부;
    상기 산출된 각 픽셀들의 적응적 영역 가중치와 원시 정합 비용을 이용하여 정합 비용을 산출하는 정합 비용 산출부;
    우 영상에서 좌 영상의 특정 지점에 대하여 최대 시차 예측값 이내에 위치하는 다른 점들에 대하여 정합 비용을 산출한 후, 산출된 정합 비용들의 비교를 통해 시차값을 산출하는 시차 산출부를 포함하되,
    상기 적응적 영역 가중치 윈도우와 정합 윈도우는 윈도우 영역 내의 선택 픽셀만 사용하는 듬성형 윈도우이고, 상기 가중치 산출부와 센서스 변환부는 동시에 병렬적으로 구동되는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 시스템.
12. 제 11 항에 있어서,
    상기 가중치 산출부는
    좌측 적응적 영역 가중치 윈도우 내의 픽셀들에 대하여 적응적 영역 가중치를 산출하는 좌측 적응적 영역 가중치 산출부와, 우측 적응적 영역 가중치 윈도우 내의 픽셀들에 대하여 적응적 영역 가중치를 산출하는 우측 적응적 영역 가중치 산출부를 포함하는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 시스템.
13. 제 11 항에 있어서,
    상기 센서스 변환부는
    좌측 정합 윈도우내의 중심 픽셀과 나머지 픽셀들의 밝기 차를 이용하여 해밍 웨이트를 산출하는 좌측 해밍 웨이트 산출부와, 우측 정합 윈도우내의 중심 픽셀과 나머지 픽셀들의 밝기 차를 이용하여 해밍 웨이트를 산출하는 우측 해밍 웨이트 산출부와, 상기 산출된 좌측 해밍 웨이트와 우측 해밍 웨이트를 이용하여 해밍 디스턴스를 산출하는 해밍 디스턴스 산출부를 포함하는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 시스템.
14. 제 11 항에 있어서,
    상기 정합 비용 산출부는 하기 수학식에 의해 정합 비용을 산출하는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 시스템.
    

    

    
    여기서, N_p, N_pd는 각각 좌 영상 윈도우와 우 영상 윈도우 영역 내의 대응되는 픽셀이고, e(q,q_d)는 센서스 변환 기반 스테레오 매칭을 통해 계산된 원시 정합 비용임
15. 제 14 항에 있어서,
    상기 정합 비용 산출부는
    상기 수학식의 분자값을 합산처리하는 분자 합산부와, 상기 수학식의 분모값을 합산처리하는 분모 합산부와, 상기 분자 합산값을 분모 합산값으로 제산하는 제산부를 포함하는 것을 특징으로 하는 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 시스템.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images