KR101690645B1 - 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치 - Google Patents

다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치 Download PDF

Info

Publication number
KR101690645B1
KR101690645B1 KR1020150133106A KR20150133106A KR101690645B1 KR 101690645 B1 KR101690645 B1 KR 101690645B1 KR 1020150133106 A KR1020150133106 A KR 1020150133106A KR 20150133106 A KR20150133106 A KR 20150133106A KR 101690645 B1 KR101690645 B1 KR 101690645B1
Authority
KR
South Korea
Prior art keywords
parallax
value
image
search range
disparity
Prior art date
Application number
KR1020150133106A
Other languages
English (en)
Inventor
문병인
안태웅
배경렬
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020150133106A priority Critical patent/KR101690645B1/ko
Priority to US14/990,278 priority patent/US9785825B2/en
Application granted granted Critical
Publication of KR101690645B1 publication Critical patent/KR101690645B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H04N13/0003—
    • H04N13/004—
    • H04N13/0203—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 연속적인 영상의 스테레오 정합시 이전 시차영상의 시차 히스토그램을 분석하여 해당 시차영상을 다양한 크기의 영상블럭들로 분할하고, 각 영상블럭에 대해 일정 임계값 이상의 픽셀수를 갖는 시차값을 근거로 시차탐색범위를 추정하여 다음 프레임의 스테레오 정합에 적용하도록 함으로써, 스테레오 정합율은 향상시키면서 연산량은 감소시킬 수 있도록 해 주는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치에 관한 것이다.
본 발명에 따른 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법을 이용한 스테레오 영상 정합장치는 동일 시간에 동일 위치를 촬영하여 스테레오 영상을 제공하기 위한 좌 카메라와 우 카메라, 상기 좌 카메라와 우 카메라로부터 제공되는 두 개의 영상에서 이전 시차영상에 대해 추정된 분할된 각 영상블럭별 시차탐색범위를 근거로 해당 영상블럭에 대해 상관도에 따른 정합처리를 수행함으로써, 현재 스테레오 영상에 대한 시차영상을 출력하는 스테레오 정합부 및, 상기 스테레오 정합부로부터 출력되는 시차영상에 대하여 시차값별 픽셀 수로 이루어지는 시차 히스토그램을 생성하고, 이 시차 히스토그램에서 임계값 이상인 픽셀수를 갖는 유효 시차값을 마스킹하여 얻어진 유효 시차값 개수를 기초로 시차영상을 다단계 블럭으로 분할하며, 분할된 각 영상블럭별 유효 시차값을 포함하도록 시차탐색범위를 생성하여 상기 스테레오 정합부로 제공하는 시차탐색범위 추정부를 포함하여 구성되는 것을 특징으로 한다.

Description

다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치{Method for estimating of disparity search range applied multi-level disparity image partitioning and device for matching of stereo image using thereof}
본 발명은 연속적인 영상의 스테레오 정합시 이전 시차영상의 시차 히스토그램을 분석하여 해당 시차영상을 다양한 크기의 영상블럭들로 분할하고, 각 영상블럭에 대해 일정 임계값 이상의 픽셀수를 갖는 시차값을 근거로 시차탐색범위를 추정하여 다음 프레임의 스테레오 정합율은 향상시키면서 연산량은 감소시킬 수 있도록 해 주는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치에 관한 것이다.
스테레오 정합(stereo matching)은 서로 다른 두 대의 카메라를 다른 위치에 두고 같은 시각에 같은 위치를 촬영하여 획득한 영상들로부터 3차원 정보를 획득하는 기술이다. 이때, 스테레오 정합은 기준 영상과 비교 영상 내에서 동일 지점에 해당하는 대응점(matching point)을 찾아 두 대응점간의 시차(disparity)정보를 계산함으로써, 3차원 거리정보인 시차영상(disparity image)을 획득한다.
스테레오 정합 방법으로는 특징기반 정합법(feature-based matching)과 영역기반 정합법(area-based matching)이 있다.
상기 특징기반 정합법은 전체 영상에서 특징점을 찾고, 특징점끼리 정합을 실시하는 방법이다. 이는 연산속도는 빠르지만 정확도가 낮다는 단점이 있다.
반면, 상기 영역기반 정합법은 영상 전체에 대해 정합을 실시하기 때문에 연산속도는 늦지만 정확도가 높다는 장점이 있다.
상기 영역기반 정합법은 연산 속도가 늦다는 단점을 보완하기 위해, 스테레오 정합을 수행할 때 상관도를 비교할 범위를 지정하여 영역기반 정합법의 연산 양을 줄여 연산 시간을 감소시킨다. 이때, 상관도를 비교할 지정된 범위를 시차탐색범위(disparity search range)라고 한다.
도1은 시차탐색범위를 이용하여 스테레오 정합처리를 수행하는 과정을 설명하기 위한 도면이다.
도1에서 기준영상의 점 P와 같은 좌표 값을 갖는 비교 영상의 점을 Q라 할 때, Q를 기준으로 일정 크기의 시차탐색범위(Z) 내에서 점 P와 대응되는 점을 탐색한다. 이때, 점 P와 가장 상관도가 높은 점을 P'라 하며, P'와 Q의 거리차이인 시차 D를 산출하여 3차원 거리정보인 시차영상을 획득한다.
상기한 스테레오 정합법은 비교 영상을 일정 크기로 설정된 시차탐색범위 내의 점들과 기준 영상의 한 점간의 상관도를 일일이 계산하여 시차를 구하게 되므로, 시차탐색범위에 비례하여 스테레오 정합의 연산 양이 증가하게 된다.
상기한 이유로 연속되는 영상의 스테레오 정합 시, 인접한 프레임 간의 영상 변화가 크지 않다고 가정하였을 때, 이전 프레임의 스테레오 정합으로부터 추출된 시차의 범위에서만 스테레오 정합을 수행한다면 스테레오 정합의 연산량을 줄일 수 있다. 또한, 시차영상을 고정된 크기로 분할한 뒤 생성된 영상블럭 각각에서 상기한 이전 프레임의 시차범위에서 스테레오 정합을 수행하는 방법을 사용한다면 스테레오 정합의 연산량을 더욱 줄일 수 있다.
그러나, 상기한 고정 분할 시차탐색범위 추정방법은 연산 양을 고려하여 시차영상에 대한 분할 영상블럭의 개수를 많게 설정하게 되면, 시차탐색범위에 해당하는 영상블럭내에 많은 양의 잡음이 존재하거나 작은 크기의 객체 혹은 그 객체의 일부만 영상블럭내에 존재하는 경우, 이를 잡음 성분으로 판정하여 제거하여 시차 정보의 획득에 오류가 발생할 수 있다. 이는 결국, 스테레오 정합의 정확도를 감소시키는 요인이 된다.
1. 한국등록특허 제10-1505360호 (발명의 명칭 : 시차탐색범위 추정 장치 및 방법) 2. 한국등록특허 제10-1260132호 (발명의 명칭 : 스테레오 매칭 처리 장치, 스테레오 매치 처리 방법, 및 기록 매체)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 연속적인 영상의 스테레오 정합시 이전 시차영상의 시차 히스토그램을 분석하여 해당 시차영상을 다양한 크기의 영상블럭들로 분할하고, 각 영상블럭에 대해 일정 임계값 이상의 픽셀수를 갖는 시차값을 근거로 시차탐색범위를 추정하여 다음 프레임의 스테레오 정합에 적용하도록 함으로써, 스테레오 정합율은 향상시키면서 스테레오 정합 연산량을 감소시켜 신속한 연산처리가 가능하도록 해 주는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치를 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 일측면에 의하면, 동일 시간에 동일 위치를 촬영하여 스테레오 영상을 제공하기 위한 좌 카메라와 우 카메라, 상기 좌 카메라와 우 카메라로부터 제공되는 두 개의 영상에서 이전 시차영상에 대해 추정된 분할된 각 영상블럭별 시차탐색범위를 근거로 해당 영상블럭에 대해 상관도에 따른 정합처리를 수행함으로써, 현재 스테레오 영상에 대한 시차영상을 출력하는 스테레오 정합부 및, 상기 스테레오 정합부로부터 출력되는 시차영상에 대하여 시차값별 픽셀 수로 이루어지는 시차 히스토그램을 생성하고, 이 시차 히스토그램에서 임계값 이상인 픽셀수를 갖는 유효 시차값을 마스킹하여 얻어진 유효 시차값 개수를 기초로 시차영상을 다단계 블럭으로 분할하며, 분할된 각 영상블럭별 유효 시차값을 포함하도록 시차탐색범위를 생성하여 상기 스테레오 정합부로 제공하는 시차탐색범위 추정부를 포함하여 구성되고, 상기 시차탐색범위 추정부는 입력되는 영상에 대한 시차값별 픽셀수로 이루어지는 시차 히스토그램을 생성하는 시차 히스토그램 생성모듈과, 해당 영상블럭에 대해 분할 횟수가 증가할수록 점점 작은 값을 갖도록 임계값을 산출하는 임계값 산출모듈, 해당 영상블럭에서 임계값 이상인 유효 시차값을 마스킹하고, 마스킹된 유효 시차값 개수가 최대 시차탐색값의 일정 비율 이상인 경우 해당 영상블럭을 분할하여 블럭화처리를 수행하는 영상블럭화 모듈, 하나의 시차영상에 대해 다단계 분할된 각 영상블럭별 유효 시차값에 대응되는 픽셀정보를 근거로 각 영상블럭별 시차탐색범위를 생성하는 시차탐색범위 생성모듈을 포함하여 구성되는 것을 특징으로 하는 스테레오 영상 정합장치가 제공된다.
삭제
또한, 상기 시차탐색범위 추정부는 하기 스트레치 함수(stretch function)에 시차값을 적용하여 산출된 픽셀 수와 기 설정된 임계값을 비교함으로써 유효 시차값을 추가 산출하고, 해당 영상블럭에 대해 마스킹된 유효 시차값과 추가 산출된 유효 시차값을 포함하는 시차탐색범위를 생성하도록 구성되는 것을 특징으로 하는 스테레오 영상 정합장치가 제공된다.
Figure 112016076512158-pat00001
여기서, 상기 γ는 사용자에 의해 설정되는 상수, x는 시차값, y 는 시차가 x인 픽셀의 개수, a는 γ에 의해 생성되는 스트레치 함수의 x축 최소값, b는 γ에 의해 생성되는 스트레치 함수의 x축 최대값, c는 γ에 의해 생성되는 스트레치 함수의 y축 최소값, d는 γ에 의해 생성되는 스트레치 함수의 y축 최대값.
또한, 상기 시차탐색범위 추정부는 사용자에 의해 설정되는 제1γ에 대해 스트레치 함수를 이용한 유효 시차값을 1차적으로 산출하고, 상기 제1 γ와의 평균값이 "1"인 제2 γ를 산출하여 이 제2 γ에 대해 스트레치 함수를 이용한 유효 시차값을 2차적으로 산출하며, 상기 제1 γ에 대한 유효 시차값과 제2 γ에 대한 유효 시차값을 포함하는 시차탐색범위를 생성하도록 구성되는 것을 특징으로 하는 스테레오 영상 정합장치가 제공된다.
또한, 상기 임계값 산출모듈은 하기의 수학식을 이용하여 해당 영상블럭에 대한 임계값(threshold)을 산출하도록 구성되는 것을 특징으로 하는 스테레오 영상 정합장치가 제공된다.
Figure 112015091708915-pat00002
여기서, max(hist) 는 시차값에 대응되는 픽셀 수 중 최대 픽셀 수, α는 임계값 비율로서 0<α<1 범위의 값, β는 영상블럭 분할수(현재 분할 횟수).
또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 의하면, 좌 카메라와 우 카메라로부터 제공되는 좌우 촬영영상에 대하여 정합 처리된 시차영상을 이용하여 다음 프레임에 대한 좌우 촬영영상 정합에 적용할 시차탐색범위를 추정하는 시차탐색범위 추정방법에 있어서, 좌우 촬영영상에 대한 시차영상을 분석하여 시차값별 픽셀수로 이루어지는 시차 히스토그램을 생성하는 제1 단계와, 상기 시차 히스토그램에서 임계값 이상인 픽셀수를 갖는 유효 시차값을 마스킹하되, 상기 임계값은 해당 영상에 대한 분할 횟수가 증가할수록 점점 작은 값을 갖도록 설정되는 제2 단계, 상기 마스킹된 유효 시차값의 개수가 최대 시차값의 일정 비율 이상인 경우 해당 영상블럭을 분할하여 블럭화처리를 수행하는 제3 단계, 상기 제3 단계에서 분할된 각 영상블럭에 대해 해당 시차 히스토그램을 생성하고, 임계값 이상인 픽셀수를 갖는 유효 시차값을 마스킹하며, 마스킹된 유효 시차값의 개수를 근거로 상기 제3 단계를 반복 수행하는 제4 단계 및, 상기 제3 단계에서 상기 마스킹된 유효 시차값의 개수가 최대 시차탐색값의 일정 비율 미만인 경우 해당 시차영상에 대해 분할된 각 영상블럭에 대한 유효 시차값을 포함하도록 각 영상블럭별 시차탐색범위를 생성하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법이 제공된다.
삭제
또한, 상기 제2 단계에서 임계값(threshold)은 하기의 수학식을 통해 산출하는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법이 제공된다.
Figure 112016076512158-pat00003
여기서, max(hist) 는 시차값에 대응되는 픽셀 수 중 최대 픽셀 수, α는 임계값 비율로서 0<α<1 범위의 값, β는 영상블럭 분할수(현재 분할 횟수).
또한, 상기 제3 단계는 마스킹된 유효 시차값의 개수가 최대 시차값을 기 설정된 영상블럭 분할수로 나눈 값 이상인 경우, 해당 영상블럭을 해당 영상블럭 분할수로 분할하도록 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법이 제공된다.
또한, 상기 제3 단계는 해당 영상블럭을 "4"개의 영상블럭으로 분할하여 블럭화도록 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법이 제공된다.
또한, 상기 제3 단계는 현재 분할 횟수와 기 설정된 최대 분할횟수를 비교하여 현재 분할 횟수가 최대 분할횟수 이상인 경우 해당 영상블럭에 대한 블럭화처리를 종료하는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법이 제공된다.
또한, 상기 제5 단계에서 하기 스트레치 함수(stretch function)에 시차값을 적용하여 산출된 픽셀 수와 기 설정된 임계값을 비교함으로써 유효 시차값을 추가 산출하고, 해당 영상블럭에 대해 마스킹된 유효 시차값과 추가 산출된 유효 시차값을 포함하는 시차탐색범위를 생성하도록 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법이 제공된다.
Figure 112016076512158-pat00004
여기서, 상기 γ는 사용자에 의해 설정되는 상수, x는 시차값, y 는 시차가 x인 픽셀의 개수, a는 γ에 의해 생성되는 스트레치 함수의 x축 최소값, b는 γ에 의해 생성되는 스트레치 함수의 x축 최대값, c는 γ에 의해 생성되는 스트레치 함수의 y축 최소값, d는 γ에 의해 생성되는 스트레치 함수의 y축 최대값.
또한, 상기 제5 단계는 상기 스트레치 함수(stretch function)에 시차값을 적용하여 산출된 픽셀 수를 근거로 해당 영상블럭에 대한 시차 히스토그램을 추가 생성하고, 이 추가 생성된 시차 히스토그램에 대해 기 설정된 임계값 이상인 픽셀 수를 갖는 시차값을 유효 시차값으로 추가 산출하도록 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법이 제공된다.
또한, 상기 제5 단계는 사용자에 의해 설정되는 제1γ에 대해 스트레치 함수를 이용한 유효 시차값을 1차적으로 산출하고, 상기 제1 γ과의 평균값이 "1"인 제2 γ를 산출하여 이 제2 γ에 대해 스트레치 함수를 이용한 유효 시차값을 2차적으로 산출하며, 상기 제1 γ에 대한 유효 시차값과 제2 γ에 대한 유효 시차값을 포함하는 시차탐색범위를 생성하도록 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법이 제공된다.
본 발명에 의하면, 시차영상을 가변적 크기의 다수개 영상블럭으로 분할하고 각 영상블럭별 크기에 대응하여 산출된 임계값을 근거로 해당 영상블럭에 적응적인 시차탐색범위를 추정하도록 함으로써, 정합에 따른 연산량을 감소시켜 스테레오 정합처리를 보다 신속하게 수행할 수 있게 된다.
또한, 본 발명은 시차영상을 가변적 크기로 다단계 분할하여 각 영상블럭에 대해 적응적인 시차탐색범위를 추정함에 있어서, 각 영상블럭에 대해 스트레치 함수를 통해 산출된 유효 시차값을 추가로 포함하도록 시차탐색범위에 여유를 두어 추정하도록 함으로써, 연속적인 시차영상에 대한 시차탐색범위가 점차 감소되어 나타날 수 있는 스테레오 정합 정확도 감소문제를 해결할 수 있게 된다.
도1은 시차탐색범위를 이용하여 스테레오 정합처리를 수행하는 과정을 설명하기 위한 도면.
도2는 본 발명에 따른 스테레오 영상 정합장치의 개략적인 구성을 도시한 도면.
도3은 도2에 도시된 시차탐색범위 추정부(400)의 내부구성을 기능적으로 분리하여 나타낸 도면.
도4는 기준영상과 비교영상 및 이에 대한 시차영상과, 이 시차영상에 대해 생성된 시차 히스토그램을 예시한 도면.
도5는 도3에 도시된 유효 시차값 확장모듈(440)에서 이용되는 스트레치 함수의 γ값에 따른 특성을 예시한 도면.
도6은 본 발명에 따른 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법을 설명하기 위한 흐름도.
도7은 도6에서 시차영상에 대한 다단계 분할 블럭화 상태를 예시한 도면.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치에 대해 설명한다.
도2는 본 발명에 따른 스테레오 영상 정합장치는 동일 시간에 동일 위치를 촬영하여 스테레오 영상을 제공하기 위한 좌/우 카메라(100,200)와, 스테레오 정합부(300) 및 시차탐색범위 추정부(400)를 포함하여 구성된다.
상기 좌 카메라(100)와 우 카메라(200)는 일정 거리 이격되게 배치되어 동일 위치에 대한 스테레오 영상을 촬영한다.
상기 스테레오 정합부(300)는 상기 좌 카메라(100)와 우 카메라(200)로부터 제공되는 두 개의 영상에서 이전 시차영상에 대해 추정된 시차탐색범위를 근거로 영역기반 정합법, 즉 상관도에 따른 정합처리를 수행함으로써, 현재 스테레오 영상에 대한 시차영상을 출력한다. 이때, 상기 스테레오 정합부(300)는 상기 시차탐색범위 추정부(400)로부터 제공되는 다단계 분할 영상블럭별 시차탐색범위를 근거로 현재 촬영영상에 대한 정합처리를 수행한다.
상기 시차탐색범위 추정부(400)는 상기 스테레오 정합부(300)로부터 출력되는 시차영상에 대하여 시차값별 픽셀 수로 이루어지는 시차 히스토그램을 생성하고, 이 시차 히스토그램에서 임계값 이상인 픽셀수를 갖는 유효 시차값을 근거로 시차영상을 다단계의 영상블럭으로 분할하며, 각 영상블럭별 시차탐색범위를 산출하여 상기 스테레오 정합부(300)로 제공한다.
한편, 상기 시차탐색범위 추정부(400)에서 각 영상블럭에 대해 임계값을 근거로 시차탐색범위를 추정함에 있어서는 연속되는 프레임이 증가할수록 시차탐색범위가 점차 감소하게 된다. 이는 스테레오 정합부(300)에서 스테레오 정합처리의 정확도를 저하시키는 요인이 된다.
이에, 상기 시차탐색범위 추정부(400)는 이러한 상황을 고려하여 각 영상블럭에 대해 유효 시차값을 추가 설정하여 시차탐색범위를 추정하도록 구성할 수 잇다. 이때, 상기 시차탐색범위 추정부(400)는 스트레치 함수(stretch function)에 시차값을 적용하여 산출된 픽셀 수와 기 설정된 임계값을 비교함으로써 유효 시차값을 추가 산출할 수 있다.
도3은 상기 시차탐색범위 추정부(400)의 내부구성을 기능적으로 분리하여 나타낸 블럭구성도이다.
도3에 도시된 바와 같이 시차탐색범위 추정부(400)는 시차 히스토그램 생성모듈(410)과, 임계값 산출모듈(420), 영상블럭화 모듈(430), 유효시차값 확장모듈(440) 및 시차탐색범위 생성모듈(450)을 포함하여 구성된다.
상기 시차 히스토그램 생성모듈(410)은 입력되는 영상에 대한 시차값별 픽셀수로 이루어지는 시차 히스토그램을 생성한다. 이때, 상기 시차 히스토그램 생성모듈(410)은 가장 먼저 상기 스테레오 정합부(100)로부터 제공되는 시차영상 전체 즉, 하나의 영상블럭으로 이루어지는 영상에 대한 히스토그램을 생성하고, 이후에는 해당 시차영상에 대해 상기 영상블럭화 모듈(430)을 통해 분할된 각 영상블럭에 대한 시차 히스토그램을 각각 생성한다. 도4에는 좌 카메라(100)에 의해 촬영된 기준영상과 우 카메라(200)에 의해 촬영된 비교영상, 상기 기준영상과 비교영상에 대해 상기 스테레오 정합부(300)에서 정합처리되어 출력되는 시차영상 및, 이 시차영상에 대한 시차 히스토그램이 도시되어 있다. 도4에서 시차 히스토그램의 X축은 시차값이고, Y축은 픽셀 수 이다. 여기서, 최대 시차값은 사용자에 의해 미리 지정될 수 있다. 예컨대, 시차 히스토그램의 시차값은 "0 ~ 64"의 범위로서, 최대 시차값은 사용자에 의해 "32"과 같이 설정될 수 있다.
상기 임계값 산출모듈(420)은 시차영상 전체 영상블럭 또는 다단계로 분할된 각 영상블럭에 대한 임계값을 생성한다. 임계값은 해당 영상블럭에서 오류 성분을 제거하여 시차탐색범위를 최적화하기 위한 유효 시차값 판단 기준이 된다. 이는 통상 물체가 존재하는 영상의 시차 히스토그램의 특정 시차값에 대해서는 높은 픽셀 분포를 나타내기 때문에, 일정 값보다 적은 값을 가진 시차값에 대해서는 잡음 등으로 인한 오류성분으로 판단할 수 있음을 고려한 것이다.
또한, 상기 임계값 산출모듈(420)은 수학식1과 같은 방법으로 해당 시차 히스토그램에 대한 임계값(threshold)을 생성한다.
Figure 112015091708915-pat00005
여기서, 상기 max(hist) 는 시차 히스토그램에서 시차값에 대응되는 픽셀 수 중 가장 많은 픽셀 수에 해당하는 최대 픽셀 수이고, α는 임계값 비율로서 0<α<1 범위의 값으로 설정되며, β는 영상블럭 분할수(현재 분할 횟수)이다. 이때, 상기 α는 사용자에 의해 설정되는 값으로, 최대 시차값의 몇 퍼센트를 임계값으로 설정할 것인지를 나타내는 파라미터이고, β는 영상블럭이 작아질수록 값이 커지게 됨으로 인해 영상블럭의 크기가 작아질수록 임계값을 낮게 설정하는 파라미터이다.
상기 영상블럭화 모듈(430)은 상기 임계값 산출모듈(420)에서 생성된 임계값을 근거로 해당 영상블럭에 대한 분할여부를 판단하고, 기 설정된 분할 조건을 만족하는 경우, 해당 영상블럭을 기 설정된 영상블럭 분할수로 분할하여 다단계의 영상으로 블럭화한다. 여기서, 상기 영상블럭화 모듈(430)은 현재 영상블럭에서 임계값 이상인 유효 시차값을 마스킹하여 추출하고, 이 마스킹된 유효 시차값 개수와 현재 분할 횟수가 기 설정된 기준값 이상인지의 여부를 근거로 현재 영상블럭에 대한 분할여부를 판단한다. 즉, 상기 영상블럭화 모듈(430)은 상기 스테레오 정합부(300)로부터 제공되는 시차영상을 다단계의 영상블럭으로 분할하는 것으로, 이에 대한 상세한 설명은 이하 흐름도를 통해 설명한다.
상기 유효시차값 확장모듈(440)은 스트레치 함수(stretch function)를 이용하여 유효 시차값을 확장한다. 이때, 상기 스트레치 함수는 수학식2와 같다.
Figure 112015091708915-pat00006
여기서, 상기 γ는 사용자에 의해 설정되는 상수이고, x는 시차값, y 는 시차가 x인 픽셀의 개수, a는 γ에 의해 생성되는 스트레치 함수의 x축 최소값, b는 γ에 의해 생성되는 함수의 x축 최대값, c는 γ에 의해 생성되는 스트레치 함수의 y축 최소값, d는 γ에 의해 생성되는 스트레치 함수의 y축 최대값이다. 즉, 상기 유효시차값 확장모듈(440)은 상기 수학식2에서 시차값(x)에 대하여 재 산출되는 픽셀의 개수(y)가 임계값 이상인 유효 시차값을 산출한다. 이때, 상기 유효시차값 확장모듈(440)은 상기 수학식2에 의해 산출되는 픽셀의 개수를 근거로 새롭게 시차 히스토그램을 생성하고, 이 새롭게 산출된 시차 히스토그램에 대해 기 설정된 임계값 이상인 픽셀 수를 갖는 시차값을 유효 시차값으로 추가 산출 유효 시차값을 추출하도록 구성될 수 있다.
도6은 γ의 범위에 따라 생성되는 함수의 특성 그래프를 예시한 도면이다. 즉, 스트레치 함수는 "1"을 기준으로 γ값이 "1"보다 큰 경우와 작은 경우 서로 다른 그래프 특성을 나타냄을 알 수 있다.
또한, 상기 유효시차값 확장모듈(440)은 각 영상블럭에 대한 마스킹정보를 스트레치 함수(stretch function)에 적용함에 있어서, γ값에 따라 두 번의 유효 시차값 확장처리를 수행한다. 즉, 상기 유효시차값 확장모듈(440)은 제1 γ값은 0 < 제1γ < 1 범위에서 설정되고, 제2 γ는 제1 γ값과의 평균값이 "1"이 되는 값으로 설정하여 유효 시차값을 추가로 생성한다. 예컨대, 상기 유효시차값 확장모듈(440)은 상기 수학식2를 통해 제1γ 값이 "0.8"인 경우의 유효 시차값을 생성한 후, 제2 γ값이 "1.2"인 경우의 유효 시차값을 생성한다.
상기 시차탐색범위 생성모듈(450)은 각 영상블럭에 대한 상기 영상블럭화모듈(430)에서 추출된 유효 시차값 정보와 상기 유효시차값 확장모듈(440)에서 추가 생성된 유효 시차값 정보를 근거로 각 영상블럭에 대한 시차탐색범위를 생성한다. 예컨대, 상기 시차탐색범위 생성모듈(450)은 상기 영상블럭화 모듈(430)에서 추출된 유효 시차값이 "2,4,5,6" 이고, 상기 유효시차값 확장모듈(440)에서 추가 생성된 유효 시차값이 "1,3,4,5"와 "3,5,6,7" 인 경우, 해당 영상블럭에서 이들 유효 시차값을 모두 포함하는 "1,2,3,4,5,6,7" 시차값 영역을 해당 영상블럭에 대한 시차탐색범위로 설정한다.
이어, 도6에 도시된 흐름도를 참조하여 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법을 설명한다.
먼저, 스테레오 정합부(300)는 좌 카메라(100)와 우 카메라(200)로부터 제공되는 좌우 촬영영상에 대하여 이전 시차영상에 대해 추정된 시차탐색범위를 근거로 정합처리를 수행한다. 또한, 상기 스테레오 정합부(300)는 현재 영상 프레임에 대해 정합처리에 따른 시차영상을 생성하여 출력한다.
시차탐색범위 추정부(400)는 상기 스테레오 정합부(300)로부터 제공되는 시차영상을 근거로 시차 히스토그램을 생성한다(ST10). 도4에 도시된 바와 같이, 상기 시차 히스토그램은 X축은 시차값이고, Y축은 픽셀 수로 이루어진다. 이때, 상기 시차값에 대응되는 픽셀정보를 메모리(미도시)에 저장된다.
이어, 시차탐색범위 추정부(400)는 상기 시차 히스토그램을 근거로 해당 영상에 대한 임계값을 산출한다(ST20). 이때, 상기 임계값은 현재 분할 횟수가 많을수록 작은 값으로 산출된다. 즉, 하나의 영상 프레임에 대해 설정되는 제1 임계값에 비해 이후 영상 프레임의 일정 분할 영역 다시 말해, 보다 작은 영상블럭에 대해 산출되는 제2 임계값은 제1 임계값보다 작게 설정된다. 예컨대, 상기 시차탐색범위 추정부(400)는 최대 픽셀 수가 "32"이고, 임계값 비율이 "0.5"이며, 영상블럭 분할수가 "4"인 상태에서, 현재 분할 횟수가 "1"인 경우에는 수학식1을 통해 "4"의 제1 임계값이 산출되고, 이후, 현재 분할 횟수가 "2"인 경우에는 수학식1을 통해 "1"의 제2 임계값이 산출된다.
시차탐색범위 추정부(400)는 해당 영상에 대한 시차 히스토그램과 상기 ST20 단계에서 산출된 임계값을 비교하여 임계값 이상의 픽셀수를 갖는 유효 시차값을 마스킹한다(ST30). 예컨대, 도7에 도시된 시차 히스토그램에서 임계값(H) 이상의 픽셀수를 갖는 유효 시차값은 "1,2,3,4,…, 15,16"이 될 수 있다.
이어, 상기 시차탐색범위 추정부(400)는 현재 분할 횟수와 기 설정된 최대 분할 횟수를 비교하여 현재 분할 횟수가 최대 분할 횟수와 동일한지를 판단한다(ST40).
상기 시차탐색범위 추정부(400)는 상기 ST40 단계에서 현재 분할 횟수가 기 설정된 최대 분할 횟수와 동일하지 않은 경우, 보다 상세하게는 최대 분할 횟수 미만인 경우, 상기 ST30 단계에서 마스킹된 유효 시차값 개수가 기 설정된 최대 시차값의 일정 비율이상인지를 판단한다(ST50). 예컨대, 상기 시차탐색범위 추정부(400)는 최대 시차값이 "32"이고 영상블럭 분할수가 "4"인 경우, 현재 마스킹된 유효 시차값 개수 "16"이 최대 시차값/분할 수, 즉 32/4="8" 이상인지를 판단한다.
상기 시차탐색범위 추정부(400)는 ST50단계에서 마스킹된 유효 시차값 개수가 기 설정된 최대 시차값의 일정 비율 이상인 경우, 현재 영상블럭을 기 설정된 분할 수에 대응되도록 분할하여 블럭화한다(ST60). 예컨대, 영상블럭 분할수가 "4"인 경우, 현재 영상블럭은 4개의 영상블럭으로 분할된다. 이때, 시차탐색범위 추정부(400)는 현재 시차영상에 대한 분할 회수를 카운트하여 메모리에 저장한다.
이후, 상기 시차탐색범위 추정부(400)는 4개 영상블럭으로 분할된 각 영상블럭에 대해 상기 ST40 및 ST50 단계의 조건을 만족하는 경우 해당 영상블럭을 또 다시 4개 영상블럭으로 재 분할처리한다. 즉, 하나의 시차영상에 대해 분할조건에 따라 다단계의 영상블럭으로 분할된다. 도7은 시차영상에 대한 다단계 분할 블럭화 상태를 예시한 도면이다. 도7에는 하나의 시차영상이 1회 분할을 통해 제1 내지 제4 영상블럭(B1,B2,B3,B4)로 블럭화되고, 이후 제2 영상블럭(B2)와 제4 영상블럭(B4)에 대해서는 2회 분할을 통해 제21 내지 제24 영상블럭(B21,B22,B23,B24), 제41 내지 제44 영상블럭(B41,B42,B43,B44)으로 재 블럭화처리된 상태가 도시되어 있다.
이어, 상기 시차탐색범위 추정부(400)는 상기 ST60 단계에서 블럭화된 각 영상블럭에 대한 시차 히스토그램을 생성한다(ST70).
또한, 상기 시차탐색범위 추정부(400)는 분할 영상블럭에 대한 시차 히스토그램을 근거로 해당 임계값을 생성하고 이 임계값 이상인 유효 시차값을 마스킹하며, 마스킹된 유효 시차값 개수를 근거로 분할 여부를 판단하고, 분할 여부 판단 결과에 따라 해당 영상블럭에 대한 블럭화처리를 수행하는 일련의 처리를 수행한다. 이때, 각 영상블럭별 마스킹된 유효 시차값에 대한 픽셀정보는 메모리(미도시)에 저장된다.
한편, 상기 시차탐색범위 추정부(400)는 상기 ST30 단계에서 현재 분할 횟수가 기 설정된 최대 분할 횟수 이상이거나, 상기 ST40 단계에서 해당 시차영상에 대한 모든 영상블럭의 유효 시차값 개수가 최대 시차값 비율 미만인 경우, 영상블럭에 대한 블럭화처리를 종료한다.
이어, 상기 시차탐색범위 추정부(400)는 스트레치 함수(stretch function)를 이용하여 해당 영상블럭에 대한 추가 유효 시차값을 산출한다(ST80). 이때, 상기 시차탐색범위 추정부(400)는 스트레치 함수(stretch function)에 시차값을 적용하여 산출된 픽셀 수가 임계값 이상인 유효 시차값을 추가 산출하되, 사용자에 의해 설정된 γ값을 근거로 상기 수학식2을 이용하여 두 번의 유효 시차값 추가 산출처리를 수행한다. 예컨대, 상기 유효시차값 확장모듈(440)은 상기 수학식2를 통해 유효 시차값 "2,4,5,6"에 대해 제1γ 값 "0.8"인 경우에 대해 유효 시차값"1,3,4,5"를 추가 생성하고, 제2 γ값 "1.2"인 경우에 대해 유효 시차값 "3,5,6,7"를 추가 생성한다.
이후, 상기 시차탐색범위 추정부(400)는 하나의 시차영상을 구성하는 각 영상블럭에 대하여 임계값을 기준으로 추출된 유효 시차값과 스트레치 함수를 통해 추가 산출된 유효 시차값을 포함하도록 각 영상블럭에 대한 시차탐색범위를 생성한다(ST90).
그리고, 상기 시차탐색범위 추정부(400)는 상기 ST90 단계에서 생성된 각 영상블럭에 대한 모든 시차탐색범위 정보를 상기 스테레오 정합부(300)로 제공하여 이후 프레임에 대한 시차탐색범위로 적용하도록 한다.
즉, 상기 실시예에 의하면 시차영상을 기 설정된 분할조건에 따라 다단계의 영상블럭으로 분할하고, 분할된 각 영상블럭에 대한 시차 히스토그램을 분석하여 각 영상블럭에 대한 임계값을 기준으로 한 유효 시차값을 추출하며, 각 영상블럭에 대하여 스트레치 함수를 이용한 유효 시차값을 추가 산출한다. 그리고, 각 영상블럭에 대한 마스킹 정보와 마스킹 확장정보에 포함된 시차값에 대응되는 영상 영역을 해당 시차영상에 대한 시차탐색범위로 추정하도록 구성된다.
또한, 상기 실시예에 의하면 이전 시차영상에 대한 다단계 시차영상 분할을 통해 산출된 시차탐색범위정보를 이용하여 현재 프레임에 대한 스테레오 정합처리를 수행하도록 함으로써, 보다 신속하고 정확한 스테레오 정합처리를 수행할 수 있게 된다.
10O : 좌 카메라, 200 : 우 카메라,
300 : 스테레오 정합부, 400 : 시차탐색범위 추정부,
410 : 시차 히스토그램 생성모듈, 420 : 임계값 산출모듈,
430 : 영상블럭화 모듈, 440 : 유효시차값 확장모듈,
450 : 시차탐색범위 생성모듈.

Claims (14)

  1. 동일 시간에 동일 위치를 촬영하여 스테레오 영상을 제공하기 위한 좌 카메라와 우 카메라,
    상기 좌 카메라와 우 카메라로부터 제공되는 두 개의 영상에서 이전 시차영상에 대해 추정된 분할된 각 영상블럭별 시차탐색범위를 근거로 해당 영상블럭에 대해 상관도에 따른 정합처리를 수행함으로써, 현재 스테레오 영상에 대한 시차영상을 출력하는 스테레오 정합부 및,
    상기 스테레오 정합부로부터 출력되는 시차영상에 대하여 시차값별 픽셀 수로 이루어지는 시차 히스토그램을 생성하고, 이 시차 히스토그램에서 임계값 이상인 픽셀수를 갖는 유효 시차값을 마스킹하여 얻어진 유효 시차값 개수를 기초로 시차영상을 다단계 블럭으로 분할하며, 분할된 각 영상블럭별 유효 시차값을 포함하도록 시차탐색범위를 생성하여 상기 스테레오 정합부로 제공하는 시차탐색범위 추정부를 포함하여 구성되고,
    상기 시차탐색범위 추정부는 입력되는 영상에 대한 시차값별 픽셀수로 이루어지는 시차 히스토그램을 생성하는 시차 히스토그램 생성모듈과, 해당 영상블럭에 대해 분할 횟수가 증가할수록 점점 작은 값을 갖도록 임계값을 산출하는 임계값 산출모듈, 해당 영상블럭에서 임계값 이상인 유효 시차값을 마스킹하고, 마스킹된 유효 시차값 개수가 최대 시차탐색값의 일정 비율 이상인 경우 해당 영상블럭을 분할하여 블럭화처리를 수행하는 영상블럭화 모듈, 하나의 시차영상에 대해 다단계 분할된 각 영상블럭별 유효 시차값에 대응되는 픽셀정보를 근거로 각 영상블럭별 시차탐색범위를 생성하는 시차탐색범위 생성모듈을 포함하여 구성되는 것을 특징으로 하는 스테레오 영상 정합장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 시차탐색범위 추정부는 하기 스트레치 함수(stretch function)에 시차값을 적용하여 산출된 픽셀 수와 기 설정된 임계값을 비교함으로써 유효 시차값을 추가 산출하고, 해당 영상블럭에 대해 마스킹된 유효 시차값과 추가 산출된 유효 시차값을 포함하는 시차탐색범위를 생성하도록 구성되는 것을 특징으로 하는 스테레오 영상 정합장치.
    Figure 112016076512158-pat00007

    여기서, 상기 γ는 사용자에 의해 설정되는 상수, x는 시차값, y 는 시차가 x인 픽셀의 개수, a는 γ에 의해 생성되는 스트레치 함수의 x축 최소값, b는 γ에 의해 생성되는 스트레치 함수의 x축 최대값, c는 γ에 의해 생성되는 스트레치 함수의 y축 최소값, d는 γ에 의해 생성되는 스트레치 함수의 y축 최대값.
  4. 제3항에 있어서,
    상기 시차탐색범위 추정부는 사용자에 의해 설정되는 제1γ에 대해 스트레치 함수를 이용한 유효 시차값을 1차적으로 산출하고,
    상기 제1 γ와의 평균값이 "1"인 제2 γ를 산출하여 이 제2 γ에 대해 스트레치 함수를 이용한 유효 시차값을 2차적으로 산출하며,
    상기 제1 γ에 대한 유효 시차값과 제2 γ에 대한 유효 시차값을 포함하는 시차탐색범위를 생성하도록 구성되는 것을 특징으로 하는 스테레오 영상 정합장치.
  5. 제1항에 있어서,
    상기 임계값 산출모듈은 하기의 수학식을 이용하여 해당 영상블럭에 대한 임계값(threshold)을 산출하도록 구성되는 것을 특징으로 하는 스테레오 영상 정합장치.
    Figure 112016076512158-pat00008

    여기서, max(hist) 는 시차값에 대응되는 픽셀 수 중 최대 픽셀 수, α는 임계값 비율로서 0<α<1 범위의 값, β는 영상블럭 분할수(현재 분할 횟수).
  6. 좌 카메라와 우 카메라로부터 제공되는 좌우 촬영영상에 대하여 정합 처리된 시차영상을 이용하여 다음 프레임에 대한 좌우 촬영영상 정합에 적용할 시차탐색범위를 추정하는 시차탐색범위 추정방법에 있어서,
    좌우 촬영영상에 대한 시차영상을 분석하여 시차값별 픽셀수로 이루어지는 시차 히스토그램을 생성하는 제1 단계와,
    상기 시차 히스토그램에서 임계값 이상인 픽셀수를 갖는 유효 시차값을 마스킹하되, 상기 임계값은 해당 영상에 대한 분할 횟수가 증가할수록 점점 작은 값을 갖도록 설정되는 제2 단계,
    상기 마스킹된 유효 시차값의 개수가 최대 시차값의 일정 비율 이상인 경우 해당 영상블럭을 분할하여 블럭화처리를 수행하는 제3 단계,
    상기 제3 단계에서 분할된 각 영상블럭에 대해 해당 시차 히스토그램을 생성하고, 임계값 이상인 픽셀수를 갖는 유효 시차값을 마스킹하며, 마스킹된 유효 시차값의 개수를 근거로 상기 제3 단계를 반복 수행하는 제4 단계 및,
    상기 제3 단계에서 상기 마스킹된 유효 시차값의 개수가 최대 시차탐색값의 일정 비율 미만인 경우 해당 시차영상에 대해 분할된 각 영상블럭에 대한 유효 시차값을 포함하도록 각 영상블럭별 시차탐색범위를 생성하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 제2 단계에서 상기 임계값(threshold)은 하기의 수학식을 통해 산출하는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법.
    Figure 112016076512158-pat00009

    여기서, max(hist) 는 시차값에 대응되는 픽셀 수 중 최대 픽셀 수, α는 임계값 비율로서 0<α<1 범위의 값, β는 영상블럭 분할수(현재 분할 횟수).
  9. 제6항에 있어서,
    상기 제3 단계는 마스킹된 유효 시차값의 개수가 최대 시차값을 기 설정된 영상블럭 분할수로 나눈 값 이상인 경우, 해당 영상블럭을 기 설정된 영상블럭 분할수로 분할하도록 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법.
  10. 제9항에 있어서,
    상기 제3 단계는 해당 영상블럭을 "4"개의 영상블럭으로 분할하여 블럭화도록 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법.
  11. 제6항에 있어서,
    상기 제3 단계는 현재 분할 횟수와 기 설정된 최대 분할횟수를 비교하여 현재 분할 횟수가 최대 분할횟수 이상인 경우 해당 영상블럭에 대한 블럭화처리를 종료하는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법.
  12. 제6항에 있어서,
    상기 제5 단계에서 하기 스트레치 함수(stretch function)에 시차값을 적용하여 산출된 픽셀 수와 기 설정된 임계값을 비교함으로써 유효 시차값을 추가 산출하고, 해당 영상블럭에 대해 마스킹된 유효 시차값과 추가 산출된 유효 시차값을 포함하는 시차탐색범위를 생성하도록 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법.
    Figure 112016076512158-pat00010

    여기서, 상기 γ는 사용자에 의해 설정되는 상수, x는 시차값, y 는 시차가 x인 픽셀의 개수, a는 γ에 의해 생성되는 스트레치 함수의 x축 최소값, b는 γ에 의해 생성되는 스트레치 함수의 x축 최대값, c는 γ에 의해 생성되는 스트레치 함수의 y축 최소값, d는 γ에 의해 생성되는 스트레치 함수의 y축 최대값.
  13. 제12항에 있어서,
    상기 제5 단계는 상기 스트레치 함수(stretch function)에 시차값을 적용하여 산출된 픽셀 수를 근거로 해당 영상블럭에 대한 시차 히스토그램을 추가 생성하고, 이 추가 생성된 시차 히스토그램에 대해 기 설정된 임계값 이상인 픽셀 수를 갖는 시차값을 유효 시차값으로 추가 산출하도록 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법.
  14. 제12항에 있어서,
    상기 제5 단계는 사용자에 의해 설정되는 제1γ에 대해 스트레치 함수를 이용한 유효 시차값을 1차적으로 산출하고, 상기 제1 γ와의 평균값이 "1"인 제2 γ를 산출하여 이 제2 γ에 대해 스트레치 함수를 이용한 유효 시차값을 2차적으로 산출하며, 상기 제1 γ에 대한 유효 시차값과 제2 γ에 대한 유효 시차값을 포함하는 시차탐색범위를 생성하도록 구성되는 것을 특징으로 하는 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법.
KR1020150133106A 2015-09-21 2015-09-21 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치 KR101690645B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150133106A KR101690645B1 (ko) 2015-09-21 2015-09-21 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치
US14/990,278 US9785825B2 (en) 2015-09-21 2016-01-07 Method for estimating disparity search range to which multi-level disparity image division is applied, and stereo image matching device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150133106A KR101690645B1 (ko) 2015-09-21 2015-09-21 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치

Publications (1)

Publication Number Publication Date
KR101690645B1 true KR101690645B1 (ko) 2016-12-29

Family

ID=57736511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150133106A KR101690645B1 (ko) 2015-09-21 2015-09-21 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치

Country Status (2)

Country Link
US (1) US9785825B2 (ko)
KR (1) KR101690645B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292367A (zh) * 2020-02-18 2020-06-16 青岛联合创智科技有限公司 一种基线可变的双目相机深度图生成方法
CN112602118A (zh) * 2019-03-14 2021-04-02 欧姆龙株式会社 图像处理装置和三维测量系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996933B2 (en) * 2015-12-22 2018-06-12 Qualcomm Incorporated Methods and apparatus for outlier detection and correction of structured light depth maps
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統
CN108876841B (zh) * 2017-07-25 2023-04-28 成都通甲优博科技有限责任公司 一种视差图视差求精中插值的方法及系统
CN109919991A (zh) * 2017-12-12 2019-06-21 杭州海康威视数字技术股份有限公司 一种深度信息确定方法、装置、电子设备及存储介质
CN108322724B (zh) * 2018-02-06 2019-08-16 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN110110682B (zh) * 2019-05-14 2023-04-18 西安电子科技大学 遥感图像的语义立体重构方法
CN110135496B (zh) * 2019-05-16 2023-01-17 东莞职业技术学院 一种基于特征的立体图像匹配算法
CN113965697B (zh) * 2021-10-21 2022-12-16 合肥的卢深视科技有限公司 基于连续帧信息的视差成像方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260132B1 (ko) 2008-11-25 2013-05-02 엔이씨 시스템 테크놀로지 가부시키가이샤 스테레오 매칭 처리 장치, 스테레오 매칭 처리 방법, 및 기록 매체
JP2014089498A (ja) * 2012-10-29 2014-05-15 Hitachi Automotive Systems Ltd ステレオ画像処理装置及びステレオ画像処理方法
KR101505360B1 (ko) 2014-01-22 2015-03-30 경북대학교 산학협력단 시차 탐색 범위 추정 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290248B2 (en) * 2009-12-31 2012-10-16 Mitsubishi Electric Research Laboratories, Inc. Determining disparity search range in stereo videos
KR101220003B1 (ko) * 2011-08-31 2013-01-09 성균관대학교산학협력단 시차 맵 생성 방법
US9762881B2 (en) * 2011-11-03 2017-09-12 Texas Instruments Incorporated Reducing disparity and depth ambiguity in three-dimensional (3D) images
US9014463B2 (en) * 2011-11-25 2015-04-21 Kyungpook National University Industry-Academic Cooperation Foundation System for real-time stereo matching
KR101299697B1 (ko) * 2011-12-14 2013-08-26 전자부품연구원 마스킹 장치 및 연판정 마스킹 방법
CN104574342B (zh) * 2013-10-14 2017-06-23 株式会社理光 视差深度图像的噪声识别方法和噪声识别装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260132B1 (ko) 2008-11-25 2013-05-02 엔이씨 시스템 테크놀로지 가부시키가이샤 스테레오 매칭 처리 장치, 스테레오 매칭 처리 방법, 및 기록 매체
JP2014089498A (ja) * 2012-10-29 2014-05-15 Hitachi Automotive Systems Ltd ステレオ画像処理装置及びステレオ画像処理方法
KR101505360B1 (ko) 2014-01-22 2015-03-30 경북대학교 산학협력단 시차 탐색 범위 추정 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112602118A (zh) * 2019-03-14 2021-04-02 欧姆龙株式会社 图像处理装置和三维测量系统
CN112602118B (zh) * 2019-03-14 2024-06-07 欧姆龙株式会社 图像处理装置和三维测量系统
CN111292367A (zh) * 2020-02-18 2020-06-16 青岛联合创智科技有限公司 一种基线可变的双目相机深度图生成方法
CN111292367B (zh) * 2020-02-18 2023-04-07 青岛联合创智科技有限公司 一种基线可变的双目相机深度图生成方法

Also Published As

Publication number Publication date
US20170084014A1 (en) 2017-03-23
US9785825B2 (en) 2017-10-10

Similar Documents

Publication Publication Date Title
KR101690645B1 (ko) 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
US8588515B2 (en) Method and apparatus for improving quality of depth image
KR100813100B1 (ko) 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
EP3095090B1 (en) System and method for processing input images before generating a high dynamic range image
JP5944575B2 (ja) 画像シーケンス用のノイズリダクション
KR101698314B1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
WO2018068129A1 (en) Determining variance of a block of an image based on a motion vector for the block
CN108257165B (zh) 图像立体匹配方法、双目视觉设备
EP3200442A1 (en) Method and apparatus for image processing
KR101537559B1 (ko) 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법
WO2014092550A2 (en) Method for camera motion estimation with presence of moving object
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
KR101439013B1 (ko) 스테레오 영상 처리 장치 및 방법
WO2012101995A1 (en) Object separating apparatus, image restoration apparatus, object separating method and image restoration method
EP3143549A1 (en) Segmentation based image transform
KR101505360B1 (ko) 시차 탐색 범위 추정 장치 및 방법
KR101178015B1 (ko) 시차 맵 생성 방법
KR101265021B1 (ko) 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치
KR101592790B1 (ko) 카메라 노출 제어 시스템 및 그 방법
KR101220003B1 (ko) 시차 맵 생성 방법
Yang et al. Analysis of disparity error for stereo autofocus
KR101544156B1 (ko) 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치
CN107945187B (zh) 一种深度形状先验提取方法
JP2008158946A (ja) 画像処理システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191204

Year of fee payment: 4