KR101178015B1 - 시차 맵 생성 방법 - Google Patents

시차 맵 생성 방법 Download PDF

Info

Publication number
KR101178015B1
KR101178015B1 KR1020110087620A KR20110087620A KR101178015B1 KR 101178015 B1 KR101178015 B1 KR 101178015B1 KR 1020110087620 A KR1020110087620 A KR 1020110087620A KR 20110087620 A KR20110087620 A KR 20110087620A KR 101178015 B1 KR101178015 B1 KR 101178015B1
Authority
KR
South Korea
Prior art keywords
image
search range
histogram
generating
size
Prior art date
Application number
KR1020110087620A
Other languages
English (en)
Inventor
조준동
박찬오
함헌호
허준회
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020110087620A priority Critical patent/KR101178015B1/ko
Application granted granted Critical
Publication of KR101178015B1 publication Critical patent/KR101178015B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 시차 맵을 생성하는 방법은 스테레오 이미지가 입력되는 S1 단계, 스테레오 이미지에 대한 해밍 거리 연산에 사용되는 유효 검색 범위(ESR)가 결정되는 S2 단계 및 유효 검색 범위(ESR)을 이용하여 시차 맵이 생성되는 S3 단계를 포함한다. S2 단계는 스테레오 이미지에 대한 저해상도 축소 이미지가 생성되는 S2-1 단계, 저해상도 축소 이미지에 대한 히스토그램이 생성되는 S2-2 단계 및 히스토그램을 이용하여 유효 검색 범위(ESR)가 결정되는 S2-3 단계를 포함한다.
본 발명에 따른 시차 맵 생성 방법은 스테레오 매칭을 위한 검색 범위가 줄어들기 때문에, 영상이미지를 불러오기 위해 필요한 메모리 밴드위드(bandwidth) 도 줄어들고 이에 따른 하드웨어 비용 절감, 필요 칩면적 감소, 저전력 효과 등을 볼 수 있다.

Description

시차 맵 생성 방법{GENERATING METHOD FOR DISPARITY MAP}
본 발명은 스테레오 이미지(stereo image)로부터 3차원 이미지를 얻는 것에관한 기술로서, 특히 스테레오 이미지로부터 희박 시차 맵(disparity map) 히스토그램을 생성하여 시차 맵을 생성하는 방법에 관한 것이다.
스테레오 매칭 기술은 스테레오 이미지로부터 3차원 이미지를 얻기 위해 이용되는 기술로서, 동일 피사체에 대하여 동일선상의 서로 다른 촬영 위치에서 촬영된 다수의 2차원 이미지로부터 3차원 이미지를 얻기 위해 이용된다. 스테레오 이미지는 이처럼 피사체에 대하여 서로 다른 촬영 위치에서 촬영된 다수의 2차원 이미지, 즉 서로 짝(pair) 관계에 있는 다수의 2차원 이미지를 의미한다.
일반적으로 2차원 이미지로부터 3차원 이미지를 생성하기 위해서는 2차원 이미지의 수직,수평의 위치 정보인 x,y 좌표에 더하여 깊이 정보인 z 좌표를 필요로 한다. z 좌표를 구하기 위해서는 스테레오 이미지의 시차 정보를 필요로 하는데, 스테레오 매칭은 이러한 시차를 얻기 위해 사용되는 기술이다. 예를 들어 스테레오 이미지가 두 대의 좌,우 카메라에 의해 촬영된 좌,우 이미지라면, 좌,우 이미지 중에 하나를 기준 이미지로, 다른 하나를 탐색 이미지로 정한다. 이러한 경우에 공간상의 동일한 한 점에 대한 기준 이미지와 탐색 이미지 간의 거리, 즉 좌표의 차이를 시차라고 하는데, 스테레오 매칭 기술을 이용하여 시차를 얻는다.
이미지의 전체 화소들에 대하여 위와 같이 얻어지는 기준 이미지와 탐색 이미지 간의 시차들을 이용하여 각 화소들에 대한 깊이 정보를 얻어 3차원 좌표들로 표현되는 디스패리티 맵을 생성한다.
통상적으로 기준 이미지와 탐색 이미지간의 시차를 구하기 위해 사용되는 스테레오 매칭 기술의 일 예를 개략적으로 설명하면 다음과 같다. 먼저 기준 이미지의 기준 화소를 중심으로 일정 크기의 윈도우(window)를 설정하며, 탐색 이미지에 대해서도 탐색 화소들을 중심으로 같은 크기의 윈도우를 설정한다. 기준 화소는 기준이미지의 화소들 중에 탐색 이미지에서 대응하는 점, 즉 대응점을 현재 탐색해야할 화소를 의미한다. 탐색 화소는 탐색 이미지의 화소들 중에 기준 화소에 대한 대응점인지를 현재 확인해야할 화소를 의미한다. 윈도우는 중심 화소와 그를 둘러싼 주변 화소들로 이루어지는 매트릭스 형태이다.
위와 같이 설정된 기준 화소 윈도우 내의 화소들과 각각의 탐색 화소 윈도우 내의 화소들 간의 유사도를 계산하고, 탐색 화소 윈도우들 중에 기준 화소 윈도우와 가장 유사도가 큰 값을 갖는 탐색 화소 윈도우의 탐색 화소를 대응점에 해당하는 대응 화소라고 규정한다. 그리고 기준 화소와 대응 화소 간의 거리를 시차로서 구한다.
기준 화소 윈도우 내의 화소들과 각각의 탐색 화소 윈도우 내의 화소들 간의 유사도를 계산하는 방법의 한 가지로서, 기준 화소 윈도우 내의 화소들의 평균값과 각각의 탐색 화소 윈도우 내의 화소들의 평균값을 구하여 비교하는 방법이 사용되어 왔었다.
기준 이미지와 탐색 이미지 간의 시차를 얻기 위해, 기준 화소 윈도우 내의 화소들의 평균값과 각각의 탐색 화소 윈도우 내의 화소들의 평균값을 구하여 비교함에 따라 메모리 사용량이 커지게 될 뿐만 아니라 오랜 처리 시간이 소요된다. 즉, 윈도우 내에 있는 모든 화소들에 대한 평균값을 구하여 비교해야 하기 때문에, 윈도우 내에 있는 모든 화소값들과 그의 평균값을 저장해야만 하므로 메모리 사용량이 커지게 되며, 처리시간도 많이 소요된다. 이뿐만 아니라 이미지 전체의 화소들에 각각에 관하여 모두 대응 화소를 탐색하여야 하기 때문에 메모리 사용량과 처리 시간이 비약적으로 커지게 된다.
이러한 문제를 해결하고자 한국 등록특허 10-0762670호에서 시차 맵을 생성하는 방법 및 그를 위한 스트레오 매칭 방법을 공개하였으나 이 기술 역시 해밍 거리(hamming distance)를 연산하는 과정은 종래의 기술과 동일한 한계점이 있었다.
한편 이동통신단말처럼 제품의 크기가 작은 각종 휴대용 단말에 채용되는 임베디드 시스템(embedded system)에 서는 공급 전력 용량이 적고, 프로세서의 연산 속도가 낮으며, 메모리 용량이 적은 등 많은 제약 사항을 가지며, 그 성능 또한 제한적인 경우가 많다. 그러므로 엠베디드 시스템에서는 큰 메모리 사용량과 긴 처리 시간을 필요로 하는 기능은 현실적으로 채용하기 곤란한 문제점이 있었다.
본 발명에 따른 시차 맵 생성 방법은 다음과 같은 해결과제를 목적으로 한다.
첫째, 축소 이미지를 통해 히스토그램을 분석함으로써 시차 맵의 깊이 해상도에 해당하는 서치 레인지는 우수하게 유지하면서도 고 밀도 시차 맵 생성에 이용되는 검색 범위를 축소한 시차 맵 생성방법을 제공하고자 한다.
둘째, 원본 이미지의 축소 이미지에 대한 히스토그램을 분석하여 산출된 유효 검색 범위 내에서 시차 맵을 생성하고자 한다.
셋째, 시차 맵 생성의 정확도와 생성의 속도 관계를 적절히 조절하여 최적의 시차 맵 생성 방법을 제공하고자 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 시차 맵을 생성하는 방법은 스테레오 이미지가 입력되는 S1 단계, 스테레오 이미지에 대한 해밍 거리 연산에 사용되는 유효 검색 범위(ESR)가 결정되는 S2 단계 및 유효 검색 범위(ESR)을 이용하여 시차 맵이 생성되는 S3 단계를 포함한다.
S2 단계는 스테레오 이미지에 대한 저해상도 축소 이미지가 생성되는 S2-1 단계, 저해상도 축소 이미지에 대한 히스토그램이 생성되는 S2-2 단계 및 히스토그램을 이용하여 유효 검색 범위(ESR)가 결정되는 S2-3 단계를 포함한다.
S2-3 단계는 히스토그램에 log 값을 취한 후 평균값을 연산한 후 문턱값 조절 계수(
Figure 112011067852970-pat00001
)를 곱하여 문턱값(
Figure 112011067852970-pat00002
)이 산출되는 S2-3-1 단계, 문턱값(
Figure 112011067852970-pat00003
)을 이용한 아래의 수학식으로 결정되는 검색 범위 정보(T(k))가 산출되는 S2-3-2 단계 및 T(k)가 0이 아닌 k 값 범위가 유효 검색 범위(ESR)로 결정되는 S2-3-3 단계를 포함한다.
Figure 112011067852970-pat00004
여기서, HUDSM(k)는 저해상도 축소 이미지에 대한 히스토그램, SR은 검색 범위를 의미한다.
본 발명에 따른 시차 맵을 생성하는 방법은 S2-1 단계전에 저해상도 축소 이미지의 크기 및
Figure 112011067852970-pat00005
값이 사전에 결정되는 단계를 더 포함할 수 있다.
축소 이미지의 크기 및
Figure 112011067852970-pat00006
값은 아래의 수학식으로 표현되는 범위에서 결정되는 것을 특징으로 하는 시차 맵을 생성하는 것이 바람직하다.
Figure 112011067852970-pat00007
여기서, μH는 히스토그램에 대한 log 값이고, IWH는 원본 이미지의 크기이고, fs는원본 이미지 대 부분 샘플링 이미지 크기의 비율이고, ▽k는 이미지에서 타겟이 되는 객체의 비율을 의미한다.
본 발명에 따른 시차 맵 생성 방법은 스테레오 매칭을 위한 검색 범위가 50%이상 줄어듦으로 영상이미지를 불러오기 위해 필요한 메모리 밴드위드(bandwidth) 가 줄고 이에 따른 하드웨어 비용 절감, 필요 칩면적 감소, 저전력 효과 등을 볼 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 윈도우 내의 해밍 거리를 도시한 그래프의 예이다.
도 2는 특정 간격에 픽셀 시차 값이 집중되는 예를 도시한 그래프이다.
도 3은 희박 시차 크기 비교를 위한 이미지의 예이다.
도 4(a)는 도 3에 도시된 각각 서로 다른 크기의 그림에 대한 히스토그램이고, 도 4(b)는 도 3에 도시된 각 크기의 그림에 대한 검색 범위를 도시한 그래프이다.
도 5는
Figure 112011067852970-pat00008
값에 따라 서로 다른 검색 범위를 보여주는 예를 도시한 그래프이다.
도 6은 희박 시차 맵의 크기를 나누기 위한 예를 도시한 그림이다.
도 7은 본 발명에 따른 시차 맵 생성 방법의 개략적인 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
이하에서는 도면을 참조하면서 본 발명에 따른 시차 맵 생성 방법에 관하여 구체적으로 설명하겠다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
센서스 변환을 이용한 스테레오 매칭 방법
본 발명은 스트레오 이미지로부터 3차원 이미지를 얻기 위한 시차 맵(disparity map)을 생성하기 위한 것이다. 먼저 종래의 스테레오 매칭 방법을 설명하고 본 발명의 아이디어에 대해 설명하기로 한다.
2차원 스테레오 이미지로부터 3차원 이미지를 생성하기 위한 시차 맵을 생성하는 방법으로 스테레오 매칭(stereo matching) 방법이 사용된다. 본 발명도 스테레오 매칭 방법을 개량한 발명에 해당한다.
본 발명에서는 많은 매칭 알고리즘 중에 센서스 변환(census transform)을 이용한다. 센서스 변환 알고리즘은 하드웨어 구현에 적합한 것으로 본 발명 역시 하드웨어에 적용하기 적합한 시차 맵 생성방법에 해당한다.
센서스 스테레오 매칭 알고리즘은 윈도우 내의 중심 픽셀(pixel)과 주변 픽셀 간의 휘도차(luminance difference)로부터 해밍 거리(hamming distance) 값을 연산하고, WTA(Winner-Take-All) 규칙을 적용하여 시차 값으로 최적 값을 결정한다.
이하 기본적인 센서스 알고리즘과 본 발명의 아이디어에 대해 살펴보기로 한다.
첫째, 2개의 스트레오 이미지 각각에 대해 타겟 픽셀(센터 픽셀)과 주변 픽셀들 간의 픽셀 값을 비교한다. 이 과정이 센서스 변환이고, 이 과정을 통해 아래의 수학식 1로 표현되는 비트 스트림(bit stream) 형태로 윈도우 내의 특징 데이터를 나타내는 n x n 행렬이 생성된다.
Figure 112011067852970-pat00009
윈도우 크기인 n은 입력되는 스테레오 이미지의 해상도에 따라 크기가 달라진다.
둘째, 왼쪽 고정 윈도우와 각 오른쪽 이동하는 윈도 간에 해밍 거리(hamming distance)를 연산한다. 해밍 거리(Hx ,y(k))는 아래의 수학식 2 및 수학식 3을 통해 연산되며, 대상이되는 윈도우는 검색 범위(SR: search range) 내에 위치한 것만 연산된다.
Figure 112011067852970-pat00010
Figure 112011067852970-pat00011
도 1은 윈도우 내의 해밍 거리를 도시한 그래프의 예이다. 해밍 거리 값이 높다는 것은 왼쪽과 오른쪽 이미지에 있는 두 픽셀들의 유사도가 높다는 것을 의미한다. 도 1에서 θ(x,y)는 이미지 위치(x,y)에서 가장 매칭되는 지점을 의미한다.
상기 과정을 반복하면 아래의 수학식 4로 표현되는 전체 시차 이미지 d(x,y)를 획득하게 된다.
Figure 112011067852970-pat00012
여기서, FSR은 전체 검색 범위(full search range)를 의미한다. 시차 맵의 깊이 해상도(depth resolution)은 FSR의 길이에 비례하여 달라진다.
저해상도 이미지에 대한 히스토그램 사용
본 발명에서는 고해상도 시차 맵을 생성하기 전에 검색 범위 추정을 수행한다. 이를 통해 빠른 실시간 시차 맵 생성이 가능해진다.
시차 맵의 중복성(redundancy)과 인접성(locality) 때문에 시차 맵의 히스토그램 에너지는 몇몇 지점(간격)에 집중되는 경향이 있다.
도 2는 특정 간격에 픽셀 시차 값이 집중되는 예를 도시한 그래프이다. 도 2를 살펴보면, B로 표기된 영역인 25 ~ 150 거리(distance) 내에 약 95%의 픽셀 시차 값이 존재하는 것을 알 수 있다. 만약 이러한 정보를 사전에 알 수 있다면, A 영역은 매칭에 고려하지 않을 수 있다.
본 발명은 시차 맵 생성에 가치있는 영역(간격)을 사전에 확보하여 보다 빠르게 시차 맵을 작성하고자 한다. 먼저 저해상도 축소 이미지를 획득하여 이용한다. 저해상도 축소 이미지는 희박 표현 이론(sparse representation theory)로부터 근거한 것으로, 희박 표현 이론은 어떤 유형의 데이터가 중복성과 인접성을 갖고 있다면 희박한 형태로 표현이 가능하다. 본 발명에서는 주어진 스테레오 이미지의 시차 특성을 사전에 발견하기 위해 저해상도 축소 이미지를 사용한다.
도 3은 희박 시차 크기 비교를 위한 이미지의 예이다. 도 4(a)는 도 3에 도시된 각각 서로 다른 크기의 그림에 대한 히스토그램이고, 도 4(b)는 도 3에 도시된 각 크기의 그림에 대한 검색 범위를 도시한 그래프이다. 도 3에 표시된 크기는 아래의 표 1에 다시 정의되어 있다. 도 3에는 원본 이미지와 축소된 3개의 이미지가 도시되어 있다.
도 4(b)에 도시된 바와 같이, 유효한 검색 범위는 이미지 크기에 관계 없이 거의 동일하다. 아래의 표 1은 도 4가 나타내는 데이터를 SNR 용어(term)으로 분석한 것이다.
Figure 112011067852970-pat00013
SNR Himg는 원본 그림에 대한 히스토그램과 크기가 작은 샘플 이미지에 대한 히스토그램 사이의 SNR을 나타낸다. 이미지 크기가 줄어들면 SNR Himg가 줄어들지만, 대략적인 모양이나 검색 범위(SR)는 거의 변하지 않는다. 40 x 23 크기의 이미지에 대한 검색 범위는 다른 크기의 이미지에 비래 크다. 큰 검색 범위는 시차 맵 생성에 있어서 정확도에 영향을 미치지는 않고, 시차 맵 획득 과정의 속도를 약간 늦추는 정도에 불과하다.
검색 범위 추정
본 발명에 있어서 핵심적 구성의 하나는 검색 범위를 추정하여 시차 맵 생성 속도를 향상시키는 것이다. 즉 도 2에 도시된 의미 있는 B 영역만을 시차 맵 생성에 이용하고자 하는 것이다.
전술한 바와 같이, 저해상도 축소 이미지의 히스토그램이 원본 이미지 히스토그램과 거의 동일하다. 따라서 저해상도 축소 이미지 히스토그램을 분석하여 검색 범위를 줄이는데 필요한 영역(간격) 정보를 획득할 수 있다. 이 분석은 두 단계를 통해 수행된다.
첫째, 아래의 수학식 5와 같이, 저해상도 축소 이미지에 대한 히스토그램에 로그(log) 값을 취하고 평균을 구한 후
Figure 112011067852970-pat00014
를 곱하여 문턱값(
Figure 112011067852970-pat00015
)을 구한다.
Figure 112011067852970-pat00016
여기서 SRL(search range length)은 시차 맵의 깊이 해상도를 의미하고, H(k)는 히스토그램을 의미하고,
Figure 112011067852970-pat00017
는 문턱값 조절기능을 갖는 계수이다. SRL은 왼쪽 이미지에서 오른쪽 블록과 동일한 블록을 찾기 위해 좌우로 어느 범위로 검색할 것인지와 관련된 수치입니다.
둘째, 아래의 수학식 6과 같이, 각 히스토그램 값 H(k)로부터 상기 문턱값(
Figure 112011067852970-pat00018
)을 감산하고, 이진 비트 스트림 형태로 변환하여 검색 범위 정보 T(k)를 얻는다.
Figure 112011067852970-pat00019
여기서, T(k)가 0이 아닌 k는 유효 검색 범위(ESR)에 해당한다.
상기 과정을 통해 고해상도 시차 맵 생성을 위한 범위가 줄어든 검색 범위를 획득하게 된다.
정확도 관련 요소
본 발명은 저해상도 축소 이미지 히스토그램과
Figure 112011067852970-pat00020
값에 따른 정확도가 다소 달라진다. 중요하지 않은 검색 범위 영역은 무시하기 때문에, 최종 고해상도 시차 맵은 일부 정보가 누락될 수 있다. 하지만 정확도와 속도라는 요소 간에 관계를 잘 설정하면 보다 최적화된 시차 맵 생성 방법이 도출될 수 있다.
첫째,
Figure 112011067852970-pat00021
값을 조절하는 방법이다.
Figure 112011067852970-pat00022
값은 문턱값을 조절하기 위한 계수이다. 도 5는
Figure 112011067852970-pat00023
값에 따라 서로 다른 검색 범위를 보여주는 예를 도시한 그래프이다.
Figure 112011067852970-pat00024
값이 감소하면 검색 범위는 상기 수학식 5 및 수학식 6에 따라 줄어든다.
히스토그램에서 0의 값을 갖는 검색 범위만 제거되도록
Figure 112011067852970-pat00025
값을 최저로 설정하면, 주어진 저해상도 축소 이미지 크기 내에서 최대의 정확도를 담보하게 된다.
둘째, 저해상도 축소 이미지 크기 자체를 조절하는 방법이다. 저해상도 축소 이미지를 검색 범위 측정에 사용하기 때문에, 더 희박한 저해상도 축소 이미지를 사용할수록 인식가능한 최저 해상도는 증가하게 된다. 즉, 특정 객체가 최저 식별 가능한 직각 모양 영역보다 작다면, 그 객체의 검색 범위는 무시될 수 있다.
도 6은 저해상도 축소 이미지의 크기를 조절하기 위한 예를 도시한 그림이다. 굵은 라인으로 표시한 직사각형 영역이 인식 가능한 최저 영역이라고 가정한다. 도 6은 극도로 희박한 시차 맵을 생성하기 위한 1/9 부분 샘플링 과정을 도시한다. 인식 가능한 최저 영역은 3x3 직사각형 영역이다. 만약 특정 객체 모양이 직사각형이 아니거나, 인식 가능한 최저 영역보다 작다면, 해당 객체는 가우시안 가능성(Gaussian probability)과 같이 인식된다.
결국 특정 객체의 일부(▽k)가 시차 맵에서 확실하게 인식되도록 만들기 위해서는 저해상도 축소 이미지의 크기와
Figure 112011067852970-pat00026
값을 아래의 수학식 7을 만족하도록 설정해야 한다.
Figure 112011067852970-pat00027
μH는 히스토그램에 대한 log 값이고, IWH는 원본 이미지의 크기이고, fs는원본 이미지 대 부분 샘플링 이미지 크기의 비율을 의미한다. 상기 수학식 7은 객체 인식 규칙이 가우시안 가능성을 따른다는 전제하에 상기 수학식 5 및 수학식 6으로부터 도출가능한 것이다. ▽k는 이미지에서 타겟이 되는 객체의 비율을 의미한다. 예컨대, 시차 맵 중 10% 면적을 갖는 단일 깊이 객체가 있다는 ▽k = 0.1이 된다.
작은 물체가 중요하다고 가정하면, 희박도가 낮은 저해상도 축소 이미지를 사용하고 높은
Figure 112011067852970-pat00028
값을 설정해야 모든 유효한 검색 범위를 유지할 수 있는 것이다.
다중 검색 범위 추정
정확도를 향상시키기 위하여 다중 검색 범위 추정 방법을 사용할 수 있다. 다중 검색 범위 추정은 시차 맵을 구성하는 작은 블럭(영역)에 대해 각각 검색 범위를 추정하는 것이다. 작은 블럭은 이미지의 일 부이지만, 그들의 히스토그램은 시차 내용물에 따라 달라질 수 있다. 따라서 각 로컬 블럭에 따라 보다 적합한 검색 범위를 사용한다면 정확도를 향상시킬 수 있다.
상기 수학식 6에서의 유효 검색 범위를
Figure 112011067852970-pat00029
로 표현한다면, 다중 검색 범위 추정에서의 유효 검색 범위는 아래의 수학식 8과 같이 표현된다.
Figure 112011067852970-pat00030
시차 추정
유효 검색 범위가 도출되었다면, 최종 고해상도 시차 맵을 생성할 수 있다. 고해상도 시차 맵은 전술한 센서스 알고리즘을 동일하게 적용하여 획득할 수 있다. 다만 검색 범위를 전체 검색 범위가 아닌 유효 검색 범위를 이용하는 것이다.
WTA(Winner-Take-All)을 적용하면 두 픽셀 간의 시차는 아래의 수학식 9에 의해 결정된다.
Figure 112011067852970-pat00031
만약 다중 검색 범위를 적용한다면 검색 범위 k는 조건에 따라 아래의 수학식 10과 같이 달라질 수 있다.
Figure 112011067852970-pat00032
여기서 W는 이미지의 가로 크기이고, H 상수는 이미지의 세로 크기이다.
도 7은 본 발명에 따른 시차 맵 생성 방법의 개략적인 순서도이다. 도 7(a)는 전체 시차 맵 생성 방법에 대한 순서도이고, 도 7(b)는 유효 검색 범위가 결정되는 S2 단계에 대한 세부 순서도이다.
본 발명에 따른 시차 맵을 생성하는 방법은 스테레오 이미지가 입력되는 S1 단계, 스테레오 이미지에 대한 해밍 거리 연산에 사용되는 유효 검색 범위(ESR)가 결정되는 S2 단계 및 유효 검색 범위(ESR)을 이용하여 시차 맵이 생성되는 S3 단계를 포함한다.
S2 단계는 스테레오 이미지에 대한 저해상도 축소 이미지가 생성되는 S2-1 단계, 저해상도 축소 이미지에 대한 히스토그램이 생성되는 S2-2 단계 및 히스토그램을 이용하여 유효 검색 범위(ESR)가 결정되는 S2-3 단계를 포함한다.
S2-3 단계는 히스토그램에 log 값을 취한 후 평균값을 연산한 후 문턱값 조절 계수(
Figure 112011067852970-pat00033
)를 곱하여 문턱값(
Figure 112011067852970-pat00034
)이 산출되는 S2-3-1 단계, 문턱값(
Figure 112011067852970-pat00035
)을 이용한 상기 수학식 6으로 결정되는 검색 범위 정보(T(k))가 산출되는 S2-3-2 단계 및 T(k)가 0이 아닌 k 값 범위가 유효 검색 범위(ESR)로 결정되는 S2-3-3 단계를 포함한다.
본 발명에 따른 시차 맵을 생성하는 방법은 S2-1 단계전에 저해상도 축소 이미지의 크기 및
Figure 112011067852970-pat00036
값이 사전에 결정되는 단계를 더 포함할 수 있다.
축소 이미지의 크기 및
Figure 112011067852970-pat00037
값은 상기 수학식 7로 표현되는 범위에서 결정되는 것을 특징으로 하는 시차 맵을 생성하는 것이 바람직하다.
본 발명의 다른 측면으로 전술한 시차 맵을 생성하는 방법이 컴퓨터에서 수행될 수 있도록 프로그램밍되는 컴퓨터로 읽을 수 있는 기록 매체가 포함된다.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (6)

  1. 3차원 입체 이미지를 위한 시차 맵을 생성하는 방법에 있어서,
    스테레오 이미지가 입력되는 S1 단계;
    상기 스테레오 이미지에 대한 해밍 거리 연산에 사용되는 유효 검색 범위(ESR)가 결정되는 S2 단계; 및
    상기 유효 검색 범위(ESR)을 이용하여 시차 맵이 생성되는 S3 단계를 포함하는 것을 특징으로 하는 시차 맵을 생성하는 방법.
  2. 제1항에 있어서,
    상기 S2 단계는
    상기 스테레오 이미지에 대한 저해상도 축소 이미지가 생성되는 S2-1 단계;
    상기 저해상도 축소 이미지에 대한 히스토그램이 생성되는 S2-2 단계; 및
    상기 히스토그램을 이용하여 유효 검색 범위(ESR)가 결정되는 S2-3 단계를 포함하는 것을 특징으로 하는 시차 맵을 생성하는 방법.
  3. 제2항에 있어서,
    상기 S2-3 단계는
    상기 히스토그램에 log 값을 취한 후 평균값을 연산한 후 문턱값 조절 계수(
    Figure 112011067852970-pat00038
    )를 곱하여 문턱값(
    Figure 112011067852970-pat00039
    )이 산출되는 S2-3-1 단계;
    상기 문턱값(
    Figure 112011067852970-pat00040
    )을 이용한 아래의 식으로 결정되는 검색 범위 정보(T(k))가 산출되는 S2-3-2 단계; 및
    상기 T(k)가 0이 아닌 k 값 범위가 유효 검색 범위(ESR)로 결정되는 S2-3-3 단계를 포함하는 것을 특징으로 하는 시차 맵을 생성하는 방법.

    Figure 112011067852970-pat00041

    (여기서 HUDSM(k)는 저해상도 축소 이미지에 대한 히스토그램, SR은 검색 범위를 의미함)
  4. 제3항에 있어서,
    상기 S2-1 단계전에 저해상도 축소 이미지의 크기 및
    Figure 112011067852970-pat00042
    값이 사전에 결정되는 단계를 더 포함하는 것을 특징으로 하는 시차 맵을 생성하는 방법.
  5. 제4항에 있어서,
    상기 축소 이미지의 크기 및
    Figure 112011067852970-pat00043
    값은 아래의 식으로 표현되는 범위에서 결정되는 것을 특징으로 하는 시차 맵을 생성하는 방법.
    Figure 112011067852970-pat00044

    (여기서, μH는 히스토그램에 대한 log 값이고, IWH는 원본 이미지의 크기이고, fs는원본 이미지 대 부분 샘플링 이미지 크기의 비율이고, ▽k는 이미지에서 타겟이 되는 객체의 비율을 의미함)
  6. 제1항 내지 제5항 중 어느 한 항에 따른 시차 맵을 생성하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020110087620A 2011-08-31 2011-08-31 시차 맵 생성 방법 KR101178015B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110087620A KR101178015B1 (ko) 2011-08-31 2011-08-31 시차 맵 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110087620A KR101178015B1 (ko) 2011-08-31 2011-08-31 시차 맵 생성 방법

Publications (1)

Publication Number Publication Date
KR101178015B1 true KR101178015B1 (ko) 2012-08-30

Family

ID=46887982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110087620A KR101178015B1 (ko) 2011-08-31 2011-08-31 시차 맵 생성 방법

Country Status (1)

Country Link
KR (1) KR101178015B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210076851A (ko) * 2019-12-13 2021-06-24 넥스트브이피유 (상하이) 코포레이트 리미티드 시차 결정 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체
KR20210076853A (ko) * 2019-12-13 2021-06-24 넥스트브이피유 (상하이) 코포레이트 리미티드 시차 추정 시스템, 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
KR100943635B1 (ko) 2008-11-06 2010-02-24 삼성에스디에스 주식회사 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
KR100943635B1 (ko) 2008-11-06 2010-02-24 삼성에스디에스 주식회사 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문:전자공학회논문집
논문:한국광학회

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210076851A (ko) * 2019-12-13 2021-06-24 넥스트브이피유 (상하이) 코포레이트 리미티드 시차 결정 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체
KR20210076853A (ko) * 2019-12-13 2021-06-24 넥스트브이피유 (상하이) 코포레이트 리미티드 시차 추정 시스템, 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체
KR102289239B1 (ko) 2019-12-13 2021-08-12 넥스트브이피유 (상하이) 코포레이트 리미티드 시차 추정 시스템, 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체
KR102297082B1 (ko) 2019-12-13 2021-09-02 넥스트브이피유 (상하이) 코포레이트 리미티드 시차 결정 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity
US11158077B2 (en) 2019-12-13 2021-10-26 NextVPU (Shanghai) Co., Ltd. Disparity estimation

Similar Documents

Publication Publication Date Title
US11983893B2 (en) Systems and methods for hybrid depth regularization
Zhang et al. Stereo matching with segmentation-based cooperation
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
US11030478B1 (en) System and method for correspondence map determination
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
CN108460792B (zh) 一种基于图像分割的高效聚焦立体匹配方法
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
CN106952304A (zh) 一种利用视频序列帧间相关性的深度图像计算方法
Moghadam et al. Common and innovative visuals: a sparsity modeling framework for video
KR20150082417A (ko) 병렬화가능한 구조에서의 이미지들을 사용하여 표면 엘리먼트들의 로컬 지오메트리 또는 표면 법선들을 초기화 및 솔빙하는 방법
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
KR101178015B1 (ko) 시차 맵 생성 방법
JP6285686B2 (ja) 視差画像生成装置
CN110992393A (zh) 一种基于视觉的目标运动跟踪方法
Muresan et al. A multi patch warping approach for improved stereo block matching
KR101220003B1 (ko) 시차 맵 생성 방법
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
JP2961272B1 (ja) 特徴ベクトルを利用した物体の認識装置および方法
Hlubik et al. Advanced point cloud estimation based on multiple view geometry
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
KR101505360B1 (ko) 시차 탐색 범위 추정 장치 및 방법
CN112615993A (zh) 深度信息获取方法、双目摄像模组、存储介质及电子设备
Shin et al. Understanding the Limitations of SfM-Based Camera Calibration on Multi-View Stereo Reconstruction
Chen et al. Live accurate and dense reconstruction from a handheld camera
KR101717381B1 (ko) 스테레오 카메라 기반의 주행 가능 영역 추정 장치 및 방법과 이에 관한 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160607

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee