KR101507992B1

KR101507992B1 - 시차맵 생성 방법 및 장치

Info

Publication number: KR101507992B1
Application number: KR20140024184A
Authority: KR
Inventors: 이준웅; 송광열
Original assignee: 전남대학교산학협력단
Priority date: 2014-02-28
Filing date: 2014-02-28
Publication date: 2015-04-07

Abstract

본 발명은 시차맵 생성 방법 및 장치에 관한 것으로, (a) 좌우 영상의 절대차와 센서스 변환의 조합에 의해 초기 매칭 비용을 계산하고, 상기 초기 매칭 비용 계산에 의해 3차원의 제1 시차공간영상을 구축하는 단계, (b) 상기 제1 시차공간영상에서 스캔라인 최적화를 수행하고, 스캔라인 최적화 후 구축된 시차공간영상에서 좌우 일관성을 체크하여 초기 시차맵을 생성하는 단계, (c) 상기 좌우 영상의 모든 픽셀에 대해 십자 팔을 형성하고, 상기 십자 팔을 이용하여 직립형 십자기반 지원영역을 형성하는 단계, (d) 상기 초기 시차맵상에서 상기 십자 팔(arm)을 이용하여 시차 기울기를 계산하고, 상기 계산된 시차 기울기에 시차의 잔차 및 기울기 빈도의 히스토그램을 이용하여 상기 시차 기울기를 개선하는 단계, (e) 상기 제1 시차공간영상에서 시차 기울기에 따라 2차원 직교 누적영상 기법을 사용하여 비용합산을 수행하고, 상기 비용합산을 통해 제2 시차공간영상을 구축하는 단계, (f) 상기 제2시차공간영상에 좌우 일관성을 체크하여 최종 시차맵을 생성하는 단계를 포함한다.

Description

시차맵 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING DISPARITY MAP}

본 발명은 시차맵 생성 방법 및 장치에 관한 것으로, 보다 상세하게는 좌우 영상의 모든 픽셀에 대해 십자 팔(arm)을 형성하고, 그 십자 팔을 이용하여 직립형 십자기반 지원영역을 형성하며, 초기 시차맵상에서 십자 팔(arm)을 이용하여 시차 기울기를 계산하고, 잔차 및 기울기 빈도의 히스토그램을 이용하여 시차 기울기를 개선하며, 시차 기울기에 따라 2차원 직교 누적영상 기법을 사용하여 비용합산을 수행하여 최종 시차맵을 생성하는 시차맵 생성 방법 및 장치에 관한 것이다.

도로 교통 씬은 스테레오 영상 처리에 있어서 매우 도전적인 대상이다. 왜냐하면 복잡하면서도 동적이고, 무작위적인 환경하에 있으며 날씨의 변화나 시시각각으로 그 위치가 변하는 광원으로 인한 조명변화 또는 그늘이 일정 간격 떨어진 두 대의 카메라로 동시에 촬영된 스테레오 영상의 매칭에 영향을 미치기 때문이다. 또한, 스테레오 매칭은 전경과 배경 물체들의 다양한 모양과 색깔로 인해서도 어려운 문제가 된다. 물체들은 각기 크고, 작고, 높고, 낮고, 똑바로 서 있거나 심하게 기울어져 있고, 정지해 있거나 움직인다. 도로는 구획화되어 있거나 구획화되어 있지 않고, 포장되어 있거나 포장되어 있지 않고, 좁거나 넓다. 덧붙여 노면은 종횡으로도 변화가 크다. 즉, 평평하거나 오르막이거나 내리막이거나 또는 오르막 내리막이 뒤섞여 있기도 하다. 도로 재질 또한 아스팔트, 시멘트, 흙, 자갈 등 다양하다.

한편, 스테레오 시차 계산과 관련하여 많은 이슈들이 논의되어 왔다. 이 논의는 대개 픽셀기반 매칭과 영역기반 매칭을 포함하는 초기 비용 계산에서 출발한다. 절대차와 제곱차는 픽셀 기반 매칭의 유사도 척도로 자주 사용된다. 영역기반 매칭의 유사도 척도들로는 정규화된 상호상관, 절대차의 합, 제곱차의 합, 센서스 변환, 순위 변환 등이 있다. 픽셀의 밝기값이나 칼라는 이러한 척도들의 입력으로 사용된다. 매칭비용 계산을 위한 지원 영역 구축은 중요하게 다루어져 왔다. 지원영역은 고정된 크기의 윈도우, 변화되는 크기의 윈도우, 직립형 십자기반 윈도우 등을 포함한다. 이러한 이슈 외에 비용합산, 시차계산과 최적화, 시차 개선 등이 중요하게 논의되어 왔다. 비용계산 방법과 상관없이 단지 초기 매칭 비용만 사용할 때 정확한 시차를 추출하는 것은 어렵다. 따라서, 비용합산 과정을 도입하는 것이 필요하다. 더욱이 비용합산의 효과는 추출된 시차의 정확도 관점에서 적응형 지원 가중치의 효과에 견줄만하다.

많은 스테레오 알고리즘들은 "지원 영역내에서 유사한 칼라를 가진 픽셀들은 유사한 시차를 갖는다"라는 시차 원활성 제약에 의존하고 있다. 그러나 대표적으로도로 노면의 경우 비록 노면이 유사한 색깔로 이루어져 있어도 이웃하는 픽셀들의 시차가 다르기 때문에 노면에 대해서는 성립되지 않은 제약이다. 시차 원활성 제약이 작동하느냐 하지 않느냐의 문제는 색상이 아닌 물체의 모양에 달려있다. 스테레오 매칭에 있어서 적응형 지원 가중치 방법이나 동일 시차를 가진 평면을 따라 이루어지는 비용합산과 스캔라인 최적화의 결합은 노면에 대해 정확한 시차를 제공하지 못한다. 그 이유는 이 두 접근 방법 모두 물체의 모양을 고려하지 않은 채 시차 원활성 제약에 기반을 뒀기 때문이다.

또한, 도로 교통 상황은 복잡하면서도 동적이고 무작위적이기 때문에, 도로 교통 씬의 스테레오 영상에 대한 정확한 시차 계산은 쉽지 않다. 따라서, 스테레오 영상 처리를 위해서는 촬영된 영상에 있는 픽셀들의 정확한 시차 추출 기술이 필요하다.

한국공개특허 제10-2013-0084850호, 발명의 명칭 '시차 값을 생성하는 영상 처리 방법 및 장치'

본 발명의 목적은 도로교통 씬의 스테레오 영상에 대해 정확한 고밀도 시차맵을 구축하는 시차맵 생성 방법 및 장치를 제공함에 있다.

본 발명의 다른 목적은 물체의 모양에 상관없이 좌우 스테레오 영상 사이의 대응 픽셀들을 정확하게 탐색할 수 있는 시차 기울기 기반의 시차맵 생성 방법 및 장치를 제공하는데 있다.

본 발명의 또 다른 목적은 시차 기울기를 따라 수행되는 비용합산에 소요되는 시간을 단축할 수 있도록 하는 시차맵 생성 방법 및 장치를 제공하는데 있다.

상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, (a) 좌우 영상의 절대차와 센서스 변환의 조합에 의해 초기 매칭 비용을 계산하고, 상기 초기 매칭 비용 계산에 의해 3차원의 제1 시차공간영상을 구축하는 단계, (b) 상기 제1 시차공간영상에서 스캔라인 최적화를 수행하고, 스캔라인 최적화 후 구축된 시차공간영상에서 좌우 일관성을 체크하여 초기 시차맵을 생성하는 단계, (c) 상기 좌우 영상의 모든 픽셀에 대해 십자 팔을 형성하고, 상기 십자 팔을 이용하여 직립형 십자기반 지원영역을 형성하는 단계, (d) 상기 초기 시차맵상에서 상기 십자 팔(arm)을 이용하여 시차 기울기를 계산하고, 상기 계산된 시차 기울기에 시차의 잔차 및 기울기 빈도의 히스토그램을 이용하여 상기 시차 기울기를 개선하는 단계, (e) 상기 제1 시차공간영상에서 시차 기울기에 따라 2차원 직교 누적영상 기법을 사용하여 비용합산을 수행하고, 상기 비용합산을 통해 제2 시차공간영상을 구축하는 단계, (f) 상기 제2시차공간영상에 좌우 일관성을 체크하여 최종 시차맵을 생성하는 단계를 포함하는 시차맵 생성 방법이 제공된다.

상기 (c) 단계는 상기 좌우 영상의 모든 픽셀에 대해 칼라 유사도와 기하학적 유사도에 기초하여 상하좌우 팔(arm)을 가진 직립형 십자를 형성하는 단계, 상기 좌우 영상내 각 픽셀의 수직 팔 위에 있는 모든 픽셀들의 수평 팔들을 합쳐서 직립형 십자기반 지원영역을 형성하는 단계를 포함할 수 있다.

상기 (d) 단계는 상기 초기 시차맵상에서 좌측 영상의 직립 십자와 우측 영상의 직립 십자 사이의 공통영역을 탐색하고, 상기 탐색된 공통영역에서 수평방향 및 수직방향의 시차 기울기를 계산하는 단계, 상기 계산된 시차 기울기에 의한 시차의 잔차 제곱합을 계산하고, 상기 잔차 제곱합을 근거로 가중치를 계산하며, 상기 시차 기울기의 범위를 일정 간격으로 나누고 나눈 각 구간을 빈이라 하며, 영상 내의 모든 픽셀 각각의 수직 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행한 후, 수평 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행하여 상기 시차 기울기를 개선하는 단계를 포함할 수 있다.

상기 (e) 단계는 현재 픽셀과 바로 이전 픽셀간 시차 기울기의 누적 차를 구하여 점핑맵을 구축하는 단계, 상기 점핑맵에서 정해진 비용 누적 방향을 따라 상기 제1 시차공간영상에서 셀들의 위치를 탐색하기 위해 누적 점핑맵을 구축하는 단계, 상기 구축된 누적 점핑맵에 따라 탐색된 셀들의 비용차를 계산하는 단계, 상기 계산된 비용차를 이용하여 수직 팔 및 수평 팔내에서의 비용합산을 수행하여, 제2 시차공간영상을 구축하는 단계를 포함할 수 있다.

본 발명의 다른 측면에 따르면, (a) 좌우 영상의 절대차와 센서스 변환의 조합에 의해 초기 매칭 비용을 계산하고, 상기 초기 매칭 비용 계산에 의해 3차원의 제1 시차공간영상을 구축하는 단계, (b) 상기 제1 시차공간영상에서 스캔라인 최적화를 수행하고, 스캔라인 최적화 후 구축된 시차공간영상에서 좌우 일관성을 체크하여 초기 시차맵을 생성하는 단계, (c) 상기 좌우 영상의 모든 픽셀에 대해 십자 팔을 형성하고, 상기 십자 팔을 이용하여 직립형 십자기반 지원영역을 형성하는 단계, (d) 상기 초기 시차맵상에서 상기 십자 팔(arm)을 이용하여 시차 기울기를 계산하고, 상기 계산된 시차 기울기에 시차의 잔차 및 기울기 빈도의 히스토그램을 이용하여 상기 시차 기울기를 개선하는 단계, (e) 상기 제1 시차공간영상에서 시차 기울기에 따라 2차원 직교 누적영상 기법을 사용하여 비용합산을 수행하고, 상기 비용합산을 통해 제2 시차공간영상을 구축하는 단계, (f) 상기 제2시차공간영상에 좌우 일관성을 체크하여 최종 시차맵을 생성하는 단계를 포함하는 시차맵 생성 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.

본 발명의 또 다른 측면에 따르면, 좌우 영상의 절대차와 센서스 변환의 조합에 의한 초기 매칭 비용을 계산하고, 상기 초기 매칭 비용 계산에 의해 3차원의 제1 시차공간영상을 구축하는 초기 매칭 비용 계산부, 상기 제1 시차공간영상에서 스캔라인 최적화를 수행하고, 스캔라인 최적화 후 구축된 시차공간영상에서 좌우 일관성을 체크하여 초기 시차맵을 생성하는 초기 시차맵 생성부, 상기 좌우 영상의 모든 픽셀에 대해 십자 팔을 형성하고, 상기 십자 팔을 이용하여 직립형 십자기반 지원영역을 형성하는 십자 기반 지원영역 구축부, 상기 초기 시차맵상에서 상기 십자 팔(arm)을 이용하여 시차 기울기를 계산하고, 상기 계산된 시차 기울기에 시차의 잔차 및 기울기 빈도의 히스토그램을 이용하여 상기 시차 기울기를 개선하는 시차 기울기 예측부, 상기 제1 시차공간영상에서 시차 기울기에 따라 2차원 직교 누적영상 기법을 사용하여 비용합산을 수행하고, 상기 비용합산을 통해 제2 시차공간영상을 구축하는 비용 합산부, 상기 제2시차공간영상에 좌우 일관성을 체크하여 최종 시차맵을 생성하는 최종 시차맵 생성부를 포함하는 시차맵 생성 장치가 제공된다.

상기 십자기반 지원영역 구축부는 상기 좌우 영상의 모든 픽셀에 대해 칼라 유사도와 기하학적 유사도에 기초하여 상하좌우 팔(arm)을 가진 직립형 십자를 형성하고, 상기 좌우 영상내 각 픽셀의 수직 팔 위에 있는 모든 픽셀들의 수평 팔들을 합쳐서 직립형 십자기반 지원영역을 형성할 수 있다.

상기 시차 기울기 예측부는 상기 초기 시차맵상에서 좌측 영상의 직립 십자와 우측 영상의 직립 십자 사이의 공통영역을 탐색하고, 상기 탐색된 공통영역에서 수평방향 및 수직방향의 시차 기울기를 계산하는 시차 기울기 계산모듈, 상기 계산된 시차 기울기에 의한 시차의 잔차 제곱합을 계산하고, 상기 잔차 제곱합을 근거로 가중치를 계산하며, 상기 시차 기울기의 범위를 일정 간격으로 나누고 나눈 각 간격을 빈이라 하며, 영상 내의 모든 픽셀들 각각의 수직 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행한 후, 수평 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행하여 상기 시차 기울기를 개선하는 시차 기울기 개선모듈을 포함할 수 있다.

상기 비용 합산부는 현재 픽셀과 바로 이전 픽셀간 시차 기울기의 누적 차를 구하여 점핑맵을 구축하는 비용 누적모듈, 상기 점핑맵에서 정해진 비용 누적 방향을 따라 상기 제1 시차공간영상에서 셀들의 위치를 탐색하기 위해 누적 점핑맵을 구축하고, 상기 구축된 누적 점핑맵에 따라 탐색된 셀들의 비용차를 계산하며, 상기 계산된 비용차를 이용하여 수직 팔 및 수평 팔내에서의 비용합산을 수행하여, 제2 시차공간영상을 구축하는 비용차 계산모듈을 포함할 수 있다.

본 발명에 따르면, 도로교통 씬의 스테레오 영상에 대해 정확한 고밀도 시차맵을 구축할 수 있다.

또한, 최소제곱법 및 누적영상기법을 활용하여 시차기울기를 계산함으로써, 물체의 모양에 상관없이 좌우 스테레오 영상 사이의 대응 픽셀들을 정확하게 탐색할 수 있고, 예측된 시차 기울기의 잡음효과를 없앨 수 있고, 시차 기울기 계산에 소요되는 시간을 단축시킬 수 있다.

또한, 시차 기울기를 따라 수행되는 비용합산에 2차원 직교누적영상 기법을 적용함으로써, 비용합산에 소요되는 시간을 단축시킬 수 있다.

또한, 시차맵의 3차원 재구성을 통하여 보도와 같이 높이가 아주 낮은 물체들을 3차원으로 복원할 수 있다.

도 1은 본 발명의 실시예에 따른 시차맵 생성 장치의 구성을 개략적으로 나타낸 블럭도.
도 2는 본 발명에 따른 십자기반 지원영역을 설명하기 위한 예시도.
도 3은 도 1에 도시된 시차 기울기 예측부의 구성을 구체적으로 나타낸 도면.
도 4는 본 발명에 따른 히스토그램을 사용한 시차 기울기 개선을 설명하기 위한 예시도.
도 5는 십자기반 지원영역내에서 비용 합산을 설명하기 위한 도면.
도 6은 비용 합산을 위한 1차원 직교 누적영상 기법을 설명하기 위한 도면.
도 7은 본 발명에 따른 2차원 직교 누적 영상 기법을 설명하기 위한 도면.
도 8은 도 1에 도시된 비용 합산부의 구성을 구체적으로 나타낸 도면.
도 9는 본 발명에 따른 점핑맵을 설명하기 위한 도면.
도 10은 본 발명에 따른 누적 점핑맵을 설명하기 위한 도면.
도 11은 본 발명의 실시예에 따른 시차맵 생성 방법을 나타낸 흐름도.
도 12는 본 발명에 따른 알고리즘과 다른 알고리즘에 의한 시차맵과 에러픽셀의 비교화면.
도 13은 본 발명에 따른 스캔라인 최적화와 비용합산의 효과를 설명하기 위한 화면 예시도.
도 14는 본 발명에 따른 초기매칭, 스캔라인 최적화, 비용합산과정에서 얻은 시차맵,

,

와 같은 중간 결과물들을 설명하기 위한 화면 예시도.

본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.

도 1은 본 발명의 실시예에 따른 시차맵 생성 장치의 구성을 개략적으로 나타낸 블럭도, 도 2는 본 발명에 따른 십자기반 지원영역을 설명하기 위한 예시도, 도 3은 도 1에 도시된 시차 기울기 예측부의 구성을 구체적으로 나타낸 도면, 도 4는 본 발명에 따른 히스토그램을 사용한 시차 기울기 개선을 설명하기 위한 예시도, 도 5는 십자기반 지원영역내에서 비용 합산을 설명하기 위한 도면, 도 6은 비용 합산을 위한 1차원 직교 누적영상 기법을 설명하기 위한 도면, 도 7은 본 발명에 따른 2차원 직교 누적 영상 기법을 설명하기 위한 도면, 도 8은 도 1에 도시된 비용 합산부의 구성을 구체적으로 나타낸 도면, 도 9는 본 발명에 따른 점핑맵을 설명하기 위한 도면, 도 10은 본 발명에 따른 누적 점핑맵을 설명하기 위한 도면이다.

도 1을 참조하면, 시차맵 생성 장치(100)는 영상 획득부(미도시), 초기 매칭비용계산부(110), 초기 시차맵 생성부(120), 십자 기반 지원 영역 구축부(130), 시차 기울기 예측부(140), 비용 합산부(150), 최종 시차맵 생성부(160)를 포함한다.

영상 획득부(미도시)는 좌우 영상을 획득한다. 영상 획득부는 스테레오 카메라 등을 포함할 수 있다.

초기 매칭비용 계산부(110)는 영상 획득부에서 획득된 좌우 영상의 절대차와 센서스 변환의 조합에 의해 초기 매칭 비용을 계산하고, 초기 매칭 비용 계산에 의해 3차원의 제1 시차공간영상을 구축한다.

절대차와 센서스 변환의 조합에 의해 초기 매칭 비용을 계산하는 것은 다른 어떤 유사도 척도의 조합보다 우수한 초기 매칭을 제공한다. 일반적으로 밝기 일관성이 한쌍의 스테레오 영상 사이에서 성립되지 않으므로, 절대차만으로는 신뢰할만한 초기 매칭을 이끌어내지 못한다. 이 문제의 보완을 위해 광학적 왜곡에 강인한 것으로 알려진 센서스 변환을 일정 크기의 윈도우 내에서 수행한다. 여기서, 센서스 변환은 윈도우 내의 중심 픽셀(pixel)과 주변 픽셀 간의 휘도차(luminance difference)로부터 해밍 거리(hamming distance) 값을 연산하고, WTA(Winner-Take-All) 규칙을 적용하여 시차 값으로 최적 값을 결정한 것이다.

절대차와 센서스 변환의 조합에 의한 초기 매칭비용 계산은 3차원의 제1 시차공간영상(disparity space image, DSI) C_I(x,y,d)을 구축한다.

초기 시차맵 생성부(120)는 초기 매칭비용 계산부(110)에서 생성된 제1 시차공간영상에서 스캔라인 최적화(scanline optimization, SO)를 수행하고, 스캔라인이 최적화된 영상에서 좌우 일관성을 체크(left right consistency check, LRCC)하여 초기 시차맵을 생성한다. 스캔라인 최적화는 매칭 품질을 개선하고, 좌우 일관성 체크는 잡음이 섞인 시차들 속에서 정확한 시차를 찾도록 한다. 이처럼, 초기 매칭비용 계산, SO, LRCC의 과정을 통해 초기 시차맵이 생성된다.

십자 기반 지원영역 구축부(130)는 영상 획득부에서 획득된 좌우 영상의 모든 픽셀에 대해 칼라 유사도와 기하학적 유사도에 기초하여 직립형 십자 기반 지원영역을 구축한다. 즉, 십자기반 지원영역 구축부(130)는 좌우 영상의 모든 픽셀에 대해 칼라 유사도와 기하학적 유사도에 기초하여 상하좌우 팔(arm)을 가진 직립형 십자를 형성하고, 각 픽셀의 수직 팔 위에 있는 모든 픽셀들의 수평 팔들을 합쳐서 지원영역을 형성한다. 이처럼 십자 기반 지원영역 구축부(130)는 좌우 영상의 모든 픽셀에 대해 유사한 칼라를 가진 이웃 픽셀들은 유사한 시차를 가져야 한다는 평활화 제약을 사용하여 지원영역(support region)을 구축한다.

십자 기반 지원 영역 구축부(130)가 십자 기반 지원영역을 구축하는 방법에 대해 도 2를 참조하여 설명하기로 한다.

도 2를 참조하면, 십자 기반 지원영역 구축부(130)는 칼라영상 I 내에서 어떤 픽셀 p=(x,y)의 좌우상하 팔(arm)을 가진 직립형 십자를 형성하고, p의 수직 팔 위에 있는 모든 픽셀들의 수평 팔들을 합쳐서 p의 지원영역을 형성한다.

이때, 칼라영상 I내에서 어떤 픽셀 p=(x,y)의 좌우상하 팔(arm)을 가진 직립형 십자는 하기 조건들에 의해 형성한다. 이 조건들은 좌측 팔의 형성을 가지고 이 팔의 끝 픽셀인

을 찾는 것을 예로 하여 설명한 것이다.

조건 1.

조건 2.

조건 3.

여기서, D_C(p₁,p)는 p₁ 과 p사이의 칼라차이이고, τ₁과 τ₂(τ₁>τ₂)는 미리 설정된 문턱치이다. Ds(p₁,p)는 p₁ 과 p사이의 공간거리이며, L₁과 L₂(L₁>L₂)는 미리 설정된 픽셀단위의 길이다. 칼라차(D_C(p₁,p))는 수학식 1로 정의되고, 공간거리차(Ds(p₁,p))는 수학식 2로 정의된다.

p의 우, 상, 하측 팔도 상기 좌측 팔의 형성과 유사한 방법으로 형성되므로 이에 대한 설명은 생략하기로 한다.

도 2의 A영역이 직립형 십자의 예이다. 여기에서

,

은 각각 상하좌우 팔의 끝 픽셀을 나타낸다. 칼라영상 I내의 모든 픽셀에 대해 수직 팔 V(p)=[p_t,p_b]과 수평 팔 H(p)=[p_l, p_r]이 구축된다. 픽셀 p의 직립 십자는 U(p)={V(p), H(p)}={

,

}로 표기된다.

다음으로, 십자 기반 지원 영역 구축부(130)는 p의 수직 팔 위에 있는 모든 픽셀들의 수평 팔들을 합쳐서 p의 지원영역을 형성한다. 이때, 생성된 p의 지원영역은 도 2에 도시된 B영역일 수 있다. B영역의 선이 지원영역의 테두리일 수 있다.

이처럼 십자 기반 지원영역 구축부(130)는 좌우 영상의 모든 픽셀에 대해 십자 팔을 구축한다. 구축된 십자 팔은 시차 기울기를 계산하는 데에 있어서 시차 선택범위를 제한하고, 비용합산과정에서 시차공간영상내의 비용 선택 범위를 제한하는 역할을 한다.

시차 기울기 예측부(140)는 초기 시차맵 생성부(120)에서 생성된 초기 시차맵상에서 십자 기반 지원영역 구축부(130)에서 생성된 십자 팔(arm)을 이용하여 시차 기울기를 계산하고, 상기 계산된 시차 기울기에 시차의 잔차와 기울기 빈도의 히스토그램을 이용하여 상기 시차 기울기를 개선한다.

시차 기울기 예측부(140)는 선형 회귀에 의해 라인의 기울기를 계산하는 로직에 1차원의 직교 누적 영상 기법을 적용하여 시차 기울기의 계산 시간을 단축한다. 즉, 시차 기울기 예측부(140)는 선형회귀를 기반으로 시차 기울기를 예측한다. 그러나, 선형회귀는 잡음에 민감하므로, 추정된 기울기에 내포되어 있을 수 있는 잡음효과를 제거하기 위해 잔차 기반의 히스토그램을 이용한다. 더욱이 최소 자승법을 사용한 기울기 계산에 요구되는 빈번한 수학적 연산들은 중복계산이 많아 긴 처리를 요하므로, 이러한 시간을 줄이기 위해 1차원의 직교 누적 영상 기법을 적용하여 시차 기울기를 계산한다.

이러한 시차 기울기 예측부(140)에 대해 도 3을 참조하면, 시차 기울기 예측부(140)는 시차 기울기 계산모듈(142), 시차 기울기 개선모듈(144)을 포함한다.

시차 기울기 계산모듈(142)은 선형회귀에 기반하여 시차 기울기를 계산한다. 즉, 시차 기울기 계산모듈(142)은 초기 시차맵상에서 좌측 영상의 직립 십자와 우측 영상의 직립 십자 사이의 공통영역을 탐색하고, 상기 탐색된 공통영역에서 시차 기울기를 계산한다. 이때, 시차 기울기 계산모듈(142)는 공통영역에서 수평방향 및 수직방향의 시차 기울기를 계산한다.

이하, 시차 기울기 계산모듈(142)이 시차 기울기를 계산하는 방법에 대해 좀더 상세히 설명하기로 한다.

시차 맵을 시차함수 d(x,y)로 표기하면, d(x,y)의 기울기

는 편미분

와

로 정의된다. 단순선형회귀의 모수 가운데 하나인 기울기를 사용하여

의 추정값을 얻을 수 있다.

수평의 x-축과 수직의 y-축을 따라 정의되는 기울기 요소인 g_x와 g_y는 초기 시차맵상에서 계산된다. 이 계산을 위해 시차 기울기 계산모듈(142)은 수학식 3과 같이 왼쪽 영상의 직립 십자와 오른쪽 영상의 직립 십자 사이의 공통 영역을 탐색한다.

여기에서 위 첨자 c는 공통영역을 나타내고, 아래 첨자 L 과 R은 각각 좌우 영상을 의미한다.

는 왼쪽 영상의 픽셀 p에 대응되는 우측 영상의 픽셀을 나타낸다. d는 초기 시차맵 생성부의 LRCC 적용 이전에 '승자독식' 규칙에 의해 얻어진 픽셀 p의 시차를 나타낸다. 이 공통영역 결정은 시차 기울기를 결정하는 데에 있어서 중요한 역할을 한다. 그 이유는 좌우 영상의 좌측단에서는 좌우 카메라의 시계가 겹치지 않아서 생기는 폐색영역이 존재하게 되고, 이것 때문에 이 영역에서 시차의 정확도가 떨어질 수밖에 없다. 이렇게 정확성이 담보되지 않은 시차로 시차 기울기를 계산하게 되면 정확한 기울기를 계산할 수 없다. 그러나 시차 기울기 계산모듈은 수학식 3과 같이 공통 영역을 탐색하고, 탐색된 공통 영역내에서만 시차 기울기를 계산하므로 상기 문제로 인한 오류를 피할 수 있다.

공통영역이 탐색되면, 시차 기울기 계산모듈(142)은 수학식 4 및 수학식 5를 이용하여 픽셀 p=(x,y)의

와

를 계산한다.

여기에서, S_xd, S_xx, S_yd, S_yy는 수학식 6 내지 수학식 9를 이용하여 구한다.

n은 H^c(p)내에서 첫 LRCC를 통과한 픽셀들의 수를 나타내고, m은 V^c(p)내에서 이 LRCC를 통과한 픽셀들의 수를 나타낸다. d_i는첫 LRCC를 통과한 H^c(p)나 V^c(p)내의 i번째 픽셀의 시차다.

,

는 각각 이 계산에 사용된 픽셀들의 x-좌표, y-좌표, 그리고 시차의 평균을 뜻한다. 여기에서 첫 LRCC를 통과한 픽셀들만을 사용한 것은 정확한 기울기를 얻기 위해서다.

이처럼, 시차 기울기 계산모듈(142)은 입력 영상의 모든 픽셀들에 대해

와

를 계산하므로, 수학식 6 내지 수학식 9의

,

은 많은 중복계산을 요한다. 따라서 계산시간이 많이 걸리는데, 이 중복계산을 없애기 위해 1차원 직교 누적영상 기법을 도입하고, 이로 인해 계산시간을 단축한다. 직교 누적영상 기법을 적용함에 있어 LRCC를 통과하지 못한 픽셀들의 x-좌표, y-좌표, 그리고 시차의 값은 0으로 간주한다. 이 1차원 직교 누적영상 기법을 활용할 수 있는 점이 시차 기울기 예측에 선형회귀를 사용한 이유 가운데 하나이다.

시차 기울기 개선모듈(144)은 시차 기울기 계산모듈(142)에서 구해진 시차 기울기에 시차의 잔차와 기울기 빈도의 히스토그램을 이용하여 상기 시차 기울기를 개선한다. 즉, 시차 기울기 개선모듈(144)은 시차 기울기에 의한 잔차 제곱합을 계산하고, 상기 잔차 제곱합을 근거로 가중치를 계산하며, 상기 시차 기울기의 범위를 일정 간격으로 나누고 나눈 각 간격을 빈이라 하며, 영상 내의 모든 픽셀들 각각의 수직 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행한 후, 수평 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행하여 상기 시차 기울기를 개선한다. 이때, 시차 기울기 개선모듈(144)은 시차 기울기의 범위[-1.05,1.05]를 21개의 일정 간격으로 나눌 수 있다.

수학식 4와 수학식 5에 의해 얻은

와 는 잡음에 영향을 받기 때문에

와

의 개선이 필요하다.

와

가 정확하다면

나

에 의해 추정된

와 실제

사이의 에러는 적을 것이다. 이를 고려하여 잔차 제곱합을 계산한다.

첫째,

에 의한 잔차 제곱합은 수학식 10과 같다.

여기에서 b는 d축 절편에 해당하는 회귀모수로서

로 표현된다. E_x를 풀어서 정리하면 수학식 11과 같다.

둘째,

에 의한 잔차 제곱합은 수학식 12와 같다.

여기에서 d축 절편에 해당하는 회귀모수인

는

로 표현된다. E_y를 풀어서 정리하면 수학식 13과 같다.

와

를 사용하여 수학식 14 및 수학식 15와 같은 가중치를 정의한다.

수학식 14와 수학식 15로부터 잔차 제곱합

와

가 작다면 가중치는 커진다는 것을 알 수 있다. 결과적으로 어떤 픽셀이 작은 가중치를 갖고 있다면, 그때

와

는 정확할 가능성이 크다. 이 전제를 통해

와

를 개선한다.

시차 기울기 개선모듈(144)은 구해진 시차 기울기의 개선을 위해 시차 기울기의 범위 [-1.05, 1.05]를 21등분한다. 이 범위와 간격의 수는 실험을 통해 임으로 선택할 수 있다. 덧붙여 세 개의 누적기 G, W 그리고 h를 준비한다. 여기에서 G는

나

의 누적을 담당하고, W는

나

의 누적을 담당하며, h는 픽셀들의 카운터이다. 기울기 범위의 21등분 분할에 따라 각 누적기는 21개의 빈(bin)을 갖도록 설계된다. 이 세 누적기들의 빈들은 처음에 0으로 초기화된다.

이하, 시차 기울기 개선모듈(144)이 시차 기울기를 개선하는 방법을

를 가지고 설명하기로 한다.

먼저, 시차 기울기 개선모듈(144)은 도 4에 예시한 것처럼 픽셀 p의 수직 팔

를 따라 누적을 수행된다. 만약 팔내에서 어떤 픽셀의

가 범위 [-1.05, 1.05]를 벗어난 경우는 그 픽셀은 아웃라이어로 간주하고 다음 픽셀로 넘어간다. 반면에 범위내에 있다면, 이

의 값에 해당하는 빈을 탐색한 후, 이때 빈의 인덱스가 k라면 W, G 그리고 k의 빈 k의 값은 각각

,

, 그리고,

로 갱신된다.

내의 모든 픽셀들에 대해 이와 같은 누적이 수행되면, 픽셀 p의

는

로 갱신되고,

는

로 갱신된다. 여기에서 j는 W의 값이 최대인 빈의 인덱스이다.

수직 팔을 따라 누적을 행하는 과정이 영상내의 모든 픽셀들에 적용되면, 시차 기울기 개선모듈(144)은 수직 팔을 따라 개선이 이루어진 기울기

를 수평 팔을 따라 누적을 행하는 과정을 수행한다. 수평 팔을 따라 누적을 행하는 과정은 수직팔을 따라 누적을 행하는 과정과 동일하므로 그 설명은 생략하기로 한다.

시차 기울기 개선모듈(144)은 정확한

를 얻기 위해 수직 팔을 따라 누적을 행하는 단계1과 수평 팔을 따라 누적을 행하는 단계2를 연속해서 2회 수행한다.

의 개선 과정도

와 동일한 방법이 적용되는데,

와

대신에

와

를 사용한다는 점과 단계 1은

로 수행하고 단계 2는

로 수행한다는 점이 다르다.

의 개선에 있어서 단계 1이

로 수행되는 이유는 수학식 4에서 최초

가

를 따라 추정되었기 때문이며,

의 개선에서 단계 1이

로 수행되는 것은 최초

가

를 따라 추정되었기 때문이다. 이와 같이 개선과정에서 팔을 교체한 것이 추정과정에서 내포되었을지도 모르는 잡음효과를 줄이는 데에 효과적이다.

비용 합산부(150)는 제1 시차공간영상에서 시차 기울기에 따라 2차원 직교 누적영상 기법을 사용하여 비용합산을 수행하고, 비용합산을 통해 제2 시차공간영상을 구축한다.

시차 기울기 예측은 물체의 모양에 상관없이 좌우 스테레오 영상 사이의 대응 픽셀들을 정확하게 탐색할 수 있는 가능성을 높여준다. 즉, 시차 기울기를 앎으로써 비용합산 과정에서 서로 대응되는 픽셀들에 의해 산출된 비용을 선정할 가능성을 높일 수 있다. 이렇게 탐색된 비용은 일반적으로 대응이 되지 않은 픽셀들에 의해 계산된 비용보다 적다. 이렇게 적은 비용들을 합산하는 것은 큰 비용을 합산하는 것에 비해 상대적으로 비용을 크게 줄이는 효과를 낳는다. 제안된 알고리즘은 올바른 시차결정 가능성을 높이기 위해 비용합산 과정을 반복한다. 이 접근법은 궁극적으로 양호한 시차 품질을 낳는다, 시차 기울기를 따라 수행하는 비용합산과 이 과정의 반복은 이 비용합산이 매칭 비용이 저장되어 있는 3차원 시차공간내에서 3차원적으로 수행되므로, 많은 시간을 요구한다. 그러므로, 처리 시간 단축을 위해 점핑맵과 누적 점팽맵으로 구성된 새로운 2차원 누적영상 기법을 제안한다.

비용 합산부(150)는 시차 기울기를 따라 수행되는 3차원 비용합산 과정에 2차원 누적영상 기법을 적용한다. 직교 누적영상 기법은 수평합산과 수직합산을 수행하는 것을 의미할 수 있다.

이하 직교 누적 영상 기법에 대해 설명하기로 한다.

먼저, 도 5를 참조하면, (a)와 같은 지원영역내에서의 비용합산은 (b)의 수평합산과 (c)의 수직합산의 두 단계 과정으로 수행된다. 이들은 처리속도를 높이기 위해 직교 누적영상 기법을 사용하여 시차공간영상내의 동일 시차를 갖는 평면상에서 매칭비용을 합산한다.

도 6은 비용합산을 위한 1차원 직교 누적영상 기법을 설명하기 위한 도면이다. 도 6을 참조하면, 시차공간영상내의 동일 시차를 가진 단면상에서 수행되는 비용합산은 영상평면에 평행한 면들에 대해서 수행된다. 그러나 장면내의 물체들의 면들은 일반적으로 기울어져 있다. 그러한 기울어진 면들에 대해 품질이 양호한 시차를 얻기 위해서는 시차공간영상내에 다른 시차를 가진 단면상에 있는 매칭비용들을 합산해야 할 필요가 있다. 이 합산을 위해

와

를 토대로 하는 2차원의 직교 누적영상 기법을 제안한다.

시차공간영상내의 xd-단면상에서 체계화한 2차원 직교 누적영상 기법의 예를 도 7에 보였다. 도 7에서 A 실선은 합산되어야 할 비용이 들어 있는 셀들을 통과하고,

과

은 수평팔의 좌우 끝점이며,

은

로 나타내어지는

의 바로 이전 픽셀이고 ,

은 픽셀

의 시차이다. 비용을 누적해야 할 셀들의 시차 좌표가 변화되고 있음을 알 수 있다. 이 변화가 바로 원래의 1차원 직교 누적영상 기법과 새로운 2차원의 직교 누적영상 기법의 차이점이다.

시차공간영상내의 xd-단면들에서 수행되는 비용합산과 yd-단면들에서 수행되는 비용합산은 각각

와

를 사용한다. 이 두 비용합산은 순차적이고, 한 싸이클을 형성한다. 이 두 비용합산 가운데 하나가 끝나면 나머지 하나가 시작되는데 이때 사용되는 비용은 이전 합산과정이 산출한 비용을 사용한다. 이 두 합산 사이의 순서는 중요하지 않다.

합산은 두 단계로 이루어진다. 첫 단계는 도 7의 (a)와 (b)에 보인 바와 같은 매칭비용 누적이다. 비용누적이 전방을 향해 진행되는 동안 누적 대상 셀의 시차좌표는 변한다. 그러므로 누적 대상 셀을 미리 지정해 놓을 수만 있다면 처리시간을 단축할 수 있다. 이 선지정을 위해 점핑 맵(J-맵)으로 명명된 맵을 설계한다.

두 번째 단계는 도 7의 (c)에 보인 것처럼 팔내에서 합산된 비용을 얻기 위해 사용되는 뺄셈단계이다. 이 단계가 시작될 때 빠른 계산을 위해 팔의 양쪽 끝에 해당되는 셀을 신속하게 탐색하는 것이 필요하다. 이 탐색을 위해 누적 점핑맵(IJ-맵)으로 명명된 맵을 설계한다.

이를 위한 비용 합산부(150)에 대해 도 8을 참조하면, 비용 합산부(150)는 비용 누적모듈(152), 비용차 계산모듈(154)을 포함한다.

비용 누적모듈(152)은 누적 대상 셀의 선 지정을 위한 점팽맵을 설계하고, 설계된 점핑맵에 의해 매칭 비용을 누적한다. 이때, 비용 누적 모듈(152)은 현재 픽셀과 바로 이전 픽셀 사이의 시차 기울기 누적의 차를 취하여 점핑맵을 구축한다. 구축된 점핑맵의 각 셀의 값은 비용누적 방향이 이전 방향과 같은지 또는 같지 않은지를 말해준다.

비용 누적모듈(152)은 x-축과 y-축 각각의 J맵

와

를 설계한다. 즉, 비용 누적모듈(152)은 입력 영상의 각 행마다

를 사용하여

를 산출하고, 각 열마다

를 사용하여

를 산출한다. 입력 영상의 한 행은 시차공간영상내에 하나의 xd-단면(slice)을 형성하고, 한 열은 시차공간영상내에 하나의 yd-단면을 형성한다. 따라서 하나의

는 하나의 xd-단면을 커버하고, 하나의

는 하나의 yd-단면을 커버한다.

이하 비용 누적모듈(152)이 점핑맵을 설계하는 과정에 대해

의 경우를 예로하여 설명하기로 한다.

는 기울기 요소가

에서

로 전환된다는 점만 제외하고

구축시 사용한 방법으로 구축된다.

어떤 픽셀 p=(x,y)의

는 연속된 두 픽셀들 p와 p 바로 이전 픽셀

사이의

누적의 차를 취하여 구축한다.

즉, 비용 누적모듈(152)은 수학식 16을 이용하여 픽셀 p=(x,y)의

을 구축한다.

여기에서, round()는 ()안의 어떤 실수에 가장 가까운 정수를 반환하고,

는

의 누적이며,

는 수학식 1로 정의된 칼라차이며, t ₁는

에 대한 문턱치일 수 있다.

는 수학식 17과 같이 구축된다.

이와 같이 구축된 J-맵의 각 셀의 값은 비용누적 방향이 이전 방향과 같은지 또는 같지 않은지를 말해준다.

의 값이 0인 경우는 누적 방향에 변화가 없다는 뜻인 반면, 1이나 -1은 도 6에 보인 것처럼 d-축의 좌표가 '1'증가하거나 '1'감소함을 뜻한다. 도 9는 시차공간영상내의 하나의 xd-단면과 이 단면에 해당하는

를 보인 것이다. 이

는 이 xd-단면의 모든 셀들의 비용누적 방향을 안내한다.

도 9를 참조하면, d=0 또는 d=d _max인 경계에서 누적 경로가 시차 범위 [0, d_max]를 벗어날 수 있다. 이러한 상황을 고려하여 시차공간영상 내의 매칭비용의 누적은 수학식 18과 같이 얻는다.

이때

로 놓는다. d는

로서 입력 영상의 픽셀 p=(x,y)의 시차이며,

는 입력영상 크기와 카메라 파라메터들에 의해 정해진 최대 시차이다. C_I(p,d)는 초기 매칭비용이며, 상수 '2'는 초기 매칭비용 계산시 사용된 비용함수로부터 얻을 수 있는 최대 비용을 나타내고, 2x의 x는 x-축 좌표이다.

비용차 계산모듈(154)은 비용 누적모듈(152)에서 정해진 비용 누적 방향을 따라 제1 시차공간영상에서 셀들의 위치를 탐색하기 위해 누적 점핑맵을 구축하고, 구축된 누적 점핑맵에 따라 탐색된 셀들의 비용차를 계산하며, 상기 계산된 비용차가 수직 팔 및 수평 팔 내에서 합산된 비용이 된다.

즉, 시차공간영상내의 모든 셀들에 대해 비용누적이 끝나면, 뺄셈 과정이 시작된다. 이 뺄셈은 비용누적 경로를 따라 셀들의 위치(p,d)를 필요로 한다. 이 셀 위치탐색을 신속하게 하기 위해, 비용차 계산모듈은 x-축과 y-축 각각에 대해 누적 점핑맵(IJ-맵)인

과

를 설계한다.

이하 비용차 계산모듈(154)이 IJ-맵을 구축하는 방법에 대해

를 가지고 설명하기로 한다.

는

와 유사한 방법으로 구축한다.

즉, 비용차 계산모듈(154)은 수학식 19를 이용하여 누적 점핑맵을 구축한다.

여기에서

의 좌표는

이다. 도 9에서 보였듯이 비용누적 경로상에서 팔의 끝이 시차 범위

밖에 있을 수 있다. 이 상황을 고려하여 수학식 20과 같이 수평 팔

내에서의 비용 합을 구한다.

여기에서,

,

그리고 상수 '2'는 수학식 18에서 설명된 최대비용이다.

와

는 수학식 21 및 수학식 22와 같이

를 사용하여 탐색한다.

도 10은 매칭비용을 합산하기 위해 셀의 위치를 탐색하는 데에

의 사용을 예시한 것이다.

시차공간영상내의 모든 셀들에 대해 수평방향의 비용합산이 끝나면 수직방향의 비용합산이 시작된다. 수직방향의 비용합산에서는

,

, 그리고

가 사용되고, p의 이전 픽셀 며,

는

이 된다. 덧붙여, 수학식 18에서 C_I(p,d)대신에 수학식 20의 결과인 C_a(p,d)가 C_s(p,d)를 얻는 데에 사용된다. 이외의 절차는 수평방향의 비용합산과 유사하다.

수평과 수직방향의 비용합산이 한 싸이클이 된다. 보다 정확한 시차를 얻기 위해 이 싸이클을 4회 반복한다. 싸이클이 진행됨에 따라 새로운 C_a(p,d)가 C_s(p,d)를 낳고, 이 새로운 C_s(p,d)는 또 C_a(p,d)를 낳는다. 따라서 초기 매칭비용인 C_I(p,d)는 딱 한 번 수학식 18에서 사용된다.

최종 시차맵 생성부(160)는 비용 합산부(150)에서 생성된 제2 시차공간영상에 좌우 일관성을 체크하여 최종 시차맵을 생성한다.

상기와 같이 구성된 시차맵 생성 장치(100)는 스마트폰, 태블릿, PC, 노트북, PDA 등의 전자 장치의 형태로 구현될 수 있으며, 이 외에도 연산 동작이 가능한 다양한 전자 장치의 형태로 구현될 수 있다.

도 11은 본 발명의 실시예에 따른 시차맵 생성 방법을 나타낸 흐름도이다.

도 11을 참조하면, 시차맵 생성 장치는 좌우 영상이 입력되면(S1002), 좌우 영상의 절대차와 센서스 변환의 조합에 의한 초기 매칭 비용을 계산한다(S1004). 시차맵 생성 장치는 초기 매칭 비용 계산에 의해 3차원의 제1 시차공간영상을 구축한다.

그런 후, 시차맵 생성 장치는 제1 시차공간영상에서 스캔라인 최적화를 수행하고(S1006), 스캔라인 최적화 후 구축된 시차공간영상에서 좌우 일관성을 체크하여 초기 시차맵을 생성한다(S1008).

그런 후, 시차맵 생성 장치는 좌우 영상의 모든 픽셀에 대해 십자 팔을 형성하고, 그 십자 팔을 이용하여 직립형 십자기반 지원영역을 형성한다(S1010). 즉, 시차맵 생성 장치는 좌우 영상의 모든 픽셀에 대해 칼라 유사도와 기하학적 유사도에 기초하여 상하좌우 팔(arm)을 가진 직립형 십자를 형성한다. 그런 후, 시차맵 생성 장치는 좌우 영상내 각 픽셀의 수직 팔 위에 있는 모든 픽셀들의 수평 팔들을 합쳐서 직립형 십자기반 지원영역을 형성한다.

S1010이 수행되면, 시차맵 생성 장치는 초기 시차맵상에서 십자 팔(arm)을 이용하여 시차 기울기를 계산하고(S1012), 계산된 시차 기울기에 시차의 잔차 및 기울기 빈도의 히스토그램을 이용하여 시차 기울기를 개선한다(S1014). 즉, 시차맵 생성 장치는 초기 시차맵상에서 좌측 영상의 직립 십자와 우측 영상의 직립 십자 사이의 공통영역을 탐색하고, 탐색된 공통영역에서 수평방향 및 수직방향의 시차 기울기를 계산한다. 그런 후, 시차맵 생성 장치는 계산된 시차 기울기에 의해 시차의 잔차 제곱합을 계산하고, 상기 잔차 제곱합을 근거로 가중치를 계산하며, 상기 시차 기울기의 범위 [-1.05,1.05]를 21개의 일정 간격으로 나누고 나눈 각 간격을 빈이라 하고, 영상 내의 모든 픽셀들 각각의 수직 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행한 후, 수평 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행하여 상기 시차 기울기를 개선한다.

S1014가 수행되면, 시차맵 생성 장치는 제1 시차공간영상에서 시차 기울기에 따라 2차원 직교 누적영상 기법을 사용하여 비용합산을 수행하고, 상기 비용합산을 통해 제2 시차공간영상을 구축한다(S1016). 즉, 시차맵 생성 장치는 현재 픽셀과 바로 이전 픽셀간 시차 기울기의 누적 차를 구하여 점핑맵을 구축한다. 그런 후, 시차맵 생성 장치는 구축된 점핑맵에서 정해진 비용 누적 방향을 따라 제1 시차공간영상에서 셀들의 위치를 탐색하기 위해 누적 점핑맵을 구축하고, 구축된 누적 점핑맵에 따라 탐색된 셀들의 비용차를 계산한다. 그런 후, 시차맵 생성 장치는 상기 계산된 비용차로 수직 팔 및 수평 팔 내에서 합산된 비용을 얻고, 제2 시차공간영상을 구축한다.

S1016이 수행되면, 시차맵 생성 장치는 제2시차공간영상에 좌우 일관성을 체크하여(S1018), 최종 시차맵을 생성한다(S1020).

도 12는본 발명에 따른 알고리즘과 다른 알고리즘에 의한 시차맵과 에러픽셀의 비교화면이다.

도 12를 참조하면, (d), (f), (h)에서 하얀 픽셀들은 에러 픽셀을 나타내는데, 본 발명에 의한 알고리즘이 가장 적은 에러 픽셀을 낳고 있음을 알 수 있다.

도 13은 본 발명에 따른 스캔라인 최적화와 비용합산의 효과를 설명하기 위한 화면 예시도이다.

도 13은 매칭비용이 저장되어 있는 시차공간영상을 사용하여 도로영상에 대해 스캔라인 최적화와 비용합산과정이 스테레오 매칭에 어떻게 영향을 미치는지를 설명하고 있다. 이를 위해 입력영상에서 어떤 픽셀을 선택하여 이 픽셀을 통과하는 수평, 수직 라인을 긋는다. 그리고 이 수평선에 대응되는 시차공간영상내의 xd-단면과 이 수직선에 대응되는 시차공간영상내의 yd-단면에서 그레이(gray)스케일의 밝기로 표현된 비용분포를 관찰할 수 있다. 이 xd-단면과 yd-단면 각각을 도 13의 위쪽과 왼쪽에 나타내었다. 위쪽과 왼쪽 각각에 시차공간영상의 두 개의 단면들이 보인다. 위쪽에 있는 두 단면들은 시차공간영상내의 동일한 xd-단면인데, 첫 번째 단면은 xd-단면상에서 최소비용을 가진 셀들을 표시하기 위한 보조적인 것으로서, 여기에서 빨간색으로 표시된 셀들이 각 x-좌표 마다 최소비용을 가진 픽셀들이다. 왼쪽에 있는 두 단면들은 시차공간영상내의 동일한 yd-단면인데, 첫 번째 단면은 yd-단면상에서 최소비용을 가진 셀들을 표시하기 위한 보조적인 것으로서, 여기에서 빨간색으로 표시된 셀들이 각 y-좌표마다의 최소비용을 가진 셀들이다. 시차공간영상의 단면상에서 매칭비용이 낮은 셀일수록 밝기를 검은색에 가깝게 표현하였다. '승자독식'규칙에 따라 xd-단면상의 최소비용을 가진 셀들이 애초에 탐색하려는 시차를 제공한다.

도 13의 영상에서 흰색 차량의 후미에 해당되는 시차는 매우 유사할 것이다. 그러나 초기 매칭은 (a)의 xd-단면과 yd-단면상에 보인 것처럼 부정확한 시차의 셀들과 정확한 시차의 셀들 사이에서 뚜렷한 비용차이를 제공하지 않았다. 즉, (a)의 xd-단면들 가운데 첫 번째 평면에서 흰색 차량의 후미에 대응되는 부분의 빨간색 셀들의 위치가 일정한 d를 가져야 함에도 일정하지 않고 크게 변하고 있음을 알 수 있다. 스캔라인 최적화의 결과는 초기매칭에 비해 개선되긴 했지만 (b)에 보인 것처럼 흰색 차량 후미에 해당되는 부분의 빨간색 셀들의 위치가 여전히 크게 변화하고 있다. 반면에 비용합산은 (c)에 보인 것처럼 흰색 차량에 해당되는 부분뿐만 아니라 노면과 같은 다른 영역에서도 큰 개선을 이끌어 냈다. 본 발명에 따른 알고리즘은 매우 약한 텍스처 영역인 흰색 차량의 후미부분에 대해 올바른 시차를 산출함을 알 수 있다.

도 14는 본 발명에 따른 초기매칭, 스캔라인 최적화, 비용합산과정에서 얻은 시차맵,

,

와 같은 중간 결과물들을 설명하기 위한 화면 예시도이다.

도 14를 참조하면, (b), (c), (d)에 보인 시차맵에서 빨간색은 큰 시차를, 파란색은 작은 시차를 나타낸다. 이 세개의 시차맵들로부터 이 세 과정의 진행에 따라 시차품질이 점차 개선되고 있음을 알 수 있다. (e), (f), (g), (h)에서 검은 색은 그 검은색에 해당되는 픽셀의 값이 0이라는 것을 나타낸다. 노면에 속한 대부분의 픽셀들은 (e)에 보인 것처럼

에 있어서는 0에 가까운 값을 갖지만, (f)에 보인 것처럼

에 있어서는 큰 값을 갖는다. 이것은 노면에 속한 픽셀들이 영상의 수평축을 따라서는 유사한 시차를 갖지만, 수직축을 따라서는 시차가 변한다는 것을 의미한다. 그러므로 비용합산 방향이 (g)의

에서 보인 것처럼 수평축을 따라서는 거의 변하지 않지만, (h)의

에서 보인 것처럼 수직축을 따라서는 빈번하게 변함을 알 수 있다.

한편, 시차맵 생성 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 시차맵 생성 장치 110 : 초기 매칭 비용 계산부
120 : 초기 시차맵 생성부 130 : 십자기반 지원영역 구축부
140 : 시차 기울기 예측부 150 : 비용 합산부
160 : 최종 시차맵 생성부

Claims

(a) 좌우 영상의 절대차와 센서스 변환의 조합에 의해 초기 매칭 비용을 계산하고, 상기 초기 매칭 비용 계산에 의해 3차원의 제1 시차공간영상을 구축하는 단계;
(b) 상기 제1 시차공간영상에서 스캔라인 최적화를 수행하고, 스캔라인 최적화 후 구축된 시차공간영상에서 좌우 일관성을 체크하여 초기 시차맵을 생성하는 단계;
(c) 상기 좌우 영상의 모든 픽셀에 대해 십자 팔을 형성하고, 상기 십자 팔을 이용하여 직립형 십자기반 지원영역을 형성하는 단계;
(d) 상기 초기 시차맵상에서 상기 십자 팔(arm)을 이용하여 시차 기울기를 계산하고, 상기 계산된 시차 기울기에 시차의 잔차 및 기울기 빈도의 히스토그램을 이용하여 상기 시차 기울기를 개선하는 단계;
(e) 상기 제1 시차공간영상에서 시차 기울기에 따라 2차원 직교 누적영상 기법을 사용하여 비용합산을 수행하고, 상기 비용합산을 통해 제2 시차공간영상을 구축하는 단계; 및
(f) 상기 제2시차공간영상에 좌우 일관성을 체크하여 최종 시차맵을 생성하는 단계;
를 포함하는 시차맵 생성 방법.
제1항에 있어서,
상기 (c) 단계는,
상기 좌우 영상의 모든 픽셀에 대해 칼라 유사도와 기하학적 유사도에 기초하여 상하좌우 팔(arm)을 가진 직립형 십자를 형성하는 단계; 및
상기 좌우 영상내 각 픽셀의 수직 팔 위에 있는 모든 픽셀들의 수평 팔들을 합쳐서 직립형 십자기반 지원영역을 형성하는 단계를 포함하는 것을 특징으로 하는 시차맵 생성 방법.
제1항에 있어서,
상기 (d) 단계는,
상기 초기 시차맵상에서 좌측 영상의 직립 십자와 우측 영상의 직립 십자 사이의 공통영역을 탐색하고, 상기 탐색된 공통영역에서 수평방향 및 수직방향의 시차 기울기를 계산하는 단계; 및
상기 계산된 시차 기울기에 의한 시차의 잔차 제곱합을 계산하고, 상기 잔차 제곱합을 근거로 가중치를 계산하며, 상기 시차 기울기의 범위를 일정 간격으로 나누고 나눈 각 구간을 빈이라 하며, 영상 내의 모든 픽셀 각각의 수직 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행한 후, 수평 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행하여 상기 시차 기울기를 개선하는 단계를 포함하는 것을 특징으로 하는 시차맵 생성 방법.
제1항에 있어서,
상기 (e) 단계는,
현재 픽셀과 바로 이전 픽셀간 시차 기울기의 누적 차를 구하여 점핑맵을 구축하는 단계;
상기 점핑맵에서 정해진 비용 누적 방향을 따라 상기 제1 시차공간영상에서 셀들의 위치를 탐색하기 위해 누적 점핑맵을 구축하는 단계;
상기 구축된 누적 점핑맵에 따라 탐색된 셀들의 비용차를 계산하는 단계; 및
상기 계산된 비용차를 이용하여 수직 팔 및 수평 팔내에서의 비용합산을 수행하여, 제2 시차공간영상을 구축하는 단계를 포함하는 것을 특징으로 하는 시차맵 생성 방법.
(a) 좌우 영상의 절대차와 센서스 변환의 조합에 의해 초기 매칭 비용을 계산하고, 상기 초기 매칭 비용 계산에 의해 3차원의 제1 시차공간영상을 구축하는 단계;
(b) 상기 제1 시차공간영상에서 스캔라인 최적화를 수행하고, 스캔라인 최적화 후 구축된 시차공간영상에서 좌우 일관성을 체크하여 초기 시차맵을 생성하는 단계;
(c) 상기 좌우 영상의 모든 픽셀에 대해 십자 팔을 형성하고, 상기 십자 팔을 이용하여 직립형 십자기반 지원영역을 형성하는 단계;
(d) 상기 초기 시차맵상에서 상기 십자 팔(arm)을 이용하여 시차 기울기를 계산하고, 상기 계산된 시차 기울기에 시차의 잔차 및 기울기 빈도의 히스토그램을 이용하여 상기 시차 기울기를 개선하는 단계;
(e) 상기 제1 시차공간영상에서 시차 기울기에 따라 2차원 직교 누적영상 기법을 사용하여 비용합산을 수행하고, 상기 비용합산을 통해 제2 시차공간영상을 구축하는 단계; 및
(f) 상기 제2시차공간영상에 좌우 일관성을 체크하여 최종 시차맵을 생성하는 단계를 포함하는 시차맵 생성 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
좌우 영상의 절대차와 센서스 변환의 조합에 의한 초기 매칭 비용을 계산하고, 상기 초기 매칭 비용 계산에 의해 3차원의 제1 시차공간영상을 구축하는 초기 매칭 비용 계산부;
상기 제1 시차공간영상에서 스캔라인 최적화를 수행하고, 스캔라인 최적화 후 구축된 시차공간영상에서 좌우 일관성을 체크하여 초기 시차맵을 생성하는 초기 시차맵 생성부;
상기 좌우 영상의 모든 픽셀에 대해 십자 팔을 형성하고, 상기 십자 팔을 이용하여 직립형 십자기반 지원영역을 형성하는 십자 기반 지원영역 구축부;
상기 초기 시차맵상에서 상기 십자 팔(arm)을 이용하여 시차 기울기를 계산하고, 상기 계산된 시차 기울기에 시차의 잔차 및 기울기 빈도의 히스토그램을 이용하여 상기 시차 기울기를 개선하는 시차 기울기 예측부;
상기 제1 시차공간영상에서 시차 기울기에 따라 2차원 직교 누적영상 기법을 사용하여 비용합산을 수행하고, 상기 비용합산을 통해 제2 시차공간영상을 구축하는 비용 합산부; 및
상기 제2시차공간영상에 좌우 일관성을 체크하여 최종 시차맵을 생성하는 최종 시차맵 생성부;
를 포함하는 시차맵 생성 장치.
제6항에 있어서,
상기 십자기반 지원영역 구축부는 상기 좌우 영상의 모든 픽셀에 대해 칼라 유사도와 기하학적 유사도에 기초하여 상하좌우 팔(arm)을 가진 직립형 십자를 형성하고, 상기 좌우 영상내 각 픽셀의 수직 팔 위에 있는 모든 픽셀들의 수평 팔들을 합쳐서 직립형 십자기반 지원영역을 형성하는 것을 특징으로 하는 시차맵 생성 장치.
제6항에 있어서,
상기 시차 기울기 예측부는,
상기 초기 시차맵상에서 좌측 영상의 직립 십자와 우측 영상의 직립 십자 사이의 공통영역을 탐색하고, 상기 탐색된 공통영역에서 수평방향 및 수직방향의 시차 기울기를 계산하는 시차 기울기 계산모듈; 및
상기 계산된 시차 기울기에 의한 시차의 잔차 제곱합을 계산하고, 상기 잔차 제곱합을 근거로 가중치를 계산하며, 상기 시차 기울기의 범위를 일정 간격으로 나누고 나눈 각 간격을 빈이라 하며, 영상 내의 모든 픽셀들 각각의 수직 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행한 후, 수평 팔에 속한 픽셀들의 기울기를 그 기울기가 속한 빈에 누적을 수행하여 상기 시차 기울기를 개선하는 시차 기울기 개선모듈을 포함하는 것을 특징으로 하는 시차맵 생성 장치.
제6항에 있어서,
상기 비용 합산부는,
현재 픽셀과 바로 이전 픽셀간 시차 기울기의 누적 차를 구하여 점핑맵을 구축하는 비용 누적모듈;
상기 점핑맵에서 정해진 비용 누적 방향을 따라 상기 제1 시차공간영상에서 셀들의 위치를 탐색하기 위해 누적 점핑맵을 구축하고, 상기 구축된 누적 점핑맵에 따라 탐색된 셀들의 비용차를 계산하며, 상기 계산된 비용차를 이용하여 수직 팔 및 수평 팔내에서의 비용합산을 수행하여, 제2 시차공간영상을 구축하는 비용차 계산모듈을 포함하는 것을 특징으로 하는 시차맵 생성 장치.