KR101265020B1 - 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법 - Google Patents

스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법 Download PDF

Info

Publication number
KR101265020B1
KR101265020B1 KR1020120021515A KR20120021515A KR101265020B1 KR 101265020 B1 KR101265020 B1 KR 101265020B1 KR 1020120021515 A KR1020120021515 A KR 1020120021515A KR 20120021515 A KR20120021515 A KR 20120021515A KR 101265020 B1 KR101265020 B1 KR 101265020B1
Authority
KR
South Korea
Prior art keywords
disparity map
histogram
search range
stereo image
generating
Prior art date
Application number
KR1020120021515A
Other languages
English (en)
Inventor
조준동
박찬오
허준회
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020120021515A priority Critical patent/KR101265020B1/ko
Application granted granted Critical
Publication of KR101265020B1 publication Critical patent/KR101265020B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 본 발명은 고해상도 디스패리티 맵을 생성하는 장치 및 방법에 관한 것으로서, 피사체를 촬영하고, 피사체의 스테레오 이미지를 취득하는 촬영부(901), 스테레오 이미지에서 서치 레인지 측정을 위한 저해상도의 디스패리티 맵인 서브 스케일의 디스패리티 맵을 생성하는 제1 디스패리티 맵 생성부;와, 상기 서브 스케일 디스패리티 맵을 하나 이상의 영역으로 이루어지도록 분할해 분할 영역을 생성한 후, 상기 분할 영역을 확장하여 확장 영역을 생성하고, 확장 영역 간의 중복된 제1 중복 영역을 포함시켜 확장 영역별 히스토그램을 생성하는 히스토그램 생성부;와, 히스토그램을 분석하여, 유효 서치 레인지를 추출하는 서치 레인지 추출부 및 유효 서치 레인지를 이용해 고해상도의 디스패리티 맵을 생성하는 제2 디스패리티 맵 생성부를 포함한다.
또한, 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법은 피사체를 촬영하는 촬영 장치로부터 상기 피사체의 스테레오 이미지(Stereo Image)를 취득하는 S2-1단계;와, 취득한 스테레오 이미지에서 깊이, 높이 및 거리 정보를 나타내는 서치 레인지(Search Range)의 측정을 위한 서브 스케일(Sub Scale)의 디스패리티 맵(DiSparity Map)을 생성하는 S2-2단계;와, 히스토그램 생성부가 상기 서브 스케일 디스패리티 맵을 하나 이상의 영역으로 이루어지도록 분할해 분할 영역을 생성한 후, 상기 분할 영역을 확장하여 확장 영역을 생성하고, 확장 영역 간의 중복된 제1 중복 영역을 포함시켜 확장 영역별 히스토그램을 생성하는 S2 -3단계;와, 상기 히스토그램을 분석하여 유효 서치 레인지를 추출하는 S2-4단계 및 상기 유효 서치 레인지를 이용해 고해상도의 디스패리티 맵을 생성하는 S2-5단계를 포함한다.

Description

스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법{CREATION METHOD AND APPARATUS FOR HIGH RESOLUTION DISPARITY MAP BY THE HISTOGRAM ANALYSIS OF DUPLICATED TERRITORY FROM THE STEREO IMAGE}
본 발명은 고해상도 디스패리티 맵을 생성하는 방법에 관한 것으로서, 더욱 상세하게는 거리, 높이 및 위치 정보를 나타내는 서치 레인지(Search Range)의 측정을 위해 서브 스케일(Sub Scale)의 디스패리티 맵(DiSparity Map)을 생성하여, 영역으로 이루어지도록 분할 후 확장시켜, 확장 영역이 중복된 상태에서 히스토그램을 생성 및 분석에 의해 고해상도 디스패리티 맵을 생성하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법.
최근, 스테레오 카메라(Stereo Camera)로 촬영된 스테레오 이미지(Stereo Image)의 사용이 광범위해짐에 따라, 다양한 스테레오 이미지 처리 기술이 개발되고 있다. 스테레오 이미지는 이미지상에서 수평적 위치 정보(거리 정보)와 수직적 위치정보(높이 정보)뿐만 아니라, 거리정보까지 포함하는 입체적인 이미지를 의미한다.
스테레오 카메라와 같은 촬영장치로부터 취득한 이미지를 입체적으로 처리하기 위해서는 스테레오 이미지의 시차 정보를 필요로 한다. 이 시차 정보를 취득하기 위해 디스패리티 맵을 생성하게 된다. 일반적으로 디스패리티 맵을 형성하는 방법은 도 1과 같다.
도 1은 종래 기술에 따른 디스패리티 맵 형성 방법을 설명하는 순서도이다. 도 1에 도시된 바와 같이, 종래 기술에 따른 디스패리티 맵 형성 방법은 스테레오 이미지로부터 에지 이미지 추출단계(S1-1), 에지 이미지의 에지 스테레오 매칭 단계(S1-2), 에지 디스패리티 맵 생성 단계(S1-3) 및 비 에지 영역에 대한 디스패리티 맵 보완 단계(S1-4)를 포함한다.
종래 기술에 따른 디스패리티 맵 형성 방법에 있어서, S1-1단계는 스테레오 카메라, 디지털 카메라, 3D 카메라와 같은 이미지 촬영장치로부터 스테레오 이미지를 취득하고, 스테레오 이미지의 좌, 우 이미지로부터 각각의 에지 이미지를 검출한다. 이때, 에지 이미지는 에지 추출기를 이용하게 된다. 에지 추출기는 좌, 우 이미지에서 에지를 추출하여 윤곽선을 이루는 에지 화소들만으로 이루어진 이미지를 생성한 후 에지 스테레오 매칭기에 출력한다.
S1-2단계는 에지 스테레오 매칭기가 에지 이미지 추출기에서 입력받은 에지 이미지를 스테레오 매칭하는 단계이다. 좌, 우 에지 이미지 중 하나를 기준 에지 이미지라 하고, 다른 하나를 탐색 에지 이미지라 한다.
S1-3단계는 에지 스테레오 매칭기에 의해 취득한 기준 에지 이미지의 에지 화소들과 이들 각각에 대응하는 탐색 에지 이미지의 대응 에지 화소들을 이용하여 에지 이미지 디스패리티 맵을 생성한다. 에지 디스패리티 맵 생성기가 에지 이미지 디스패리티 맵을 생성하는 것은 에지에 관한 디스패리티 맵이라는 점을 제외하면, 일반적인 디스패리티 맵을 생성하는 방식과 동일하다. S1-3단계에서 생성된 에지 이미지 디스패리티 맵은 전체 스테레오 이미지에 관한 디스패리티 맵이 아니라, 에지 이미지만의 디스패리티 맵임으로, 비 에지 이미지 영역에 대한 디스패리티 맵이 생성되지 않은 상태이다.
S1-4단계는 S1-3단계에서 생성되지 않은 비 에지 이미지 영역에 대한 디스패리티 맵을 보완하는 단계이다. 보완은 디스패리티 맵 보완기에 의해 이루어지며, 비 에지 이미지 영역에 대한 디스패리티 맵을 보완하여 최종 디스패리티 맵을 생성한다. 에지 이미지 디스패리티 맵의 비 에지 이미지 영역에 대한 디스패리티 맵 보완은 일반적으로 화소간 보간법을 이용하게 된다.
도 1에서 설명한 종래 기술에 따른 디스패리티 맵 형성 방법은 스테레오 이미지의 활용 용도 및 범위가 광범위해짐에 따라, 스테레오 이미지 처리 과정에서 계산량이 많아지고, 처리시간이 늘어나 처리 응답성이 떨어진다. 또한, 최종 디스패리티 맵의 생성 시 해상도가 낮아져 계단 현상이 발생한다는 문제점이 있다.
본 발명은 위에서 상술한 문제점을 해결하기 위한 것으로, 스테레오 이미지의 디스패리티 맵 형성 시 계산량을 줄이고, 처리시간을 단축하여 실시간 처리 시 응답성을 높이며, 디스패리티 맵 상의 계단 현상을 최소화하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법을 제공함을 그 목적으로 한다.
위와 같은 목적을 달성하기 위하여 본 발명에 따른 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치는 피사체를 촬영하고, 피사체의 스테레오 이미지를 취득하는 촬영부(901), 스테레오 이미지에서 서치 레인지 측정을 위한 저해상도의 디스패리티 맵인 서브 스케일의 디스패리티 맵을 생성하는 제1 디스패리티 맵 생성부;와, 상기 서브 스케일 디스패리티 맵을 하나 이상의 영역으로 이루어지도록 분할해 분할 영역을 생성한 후, 상기 분할 영역을 확장하여 확장 영역을 생성하고, 확장 영역 간의 중복된 제1 중복 영역을 포함시켜 확장 영역별 히스토그램을 생성하는 히스토그램 생성부;와, 히스토그램을 분석하여, 유효 서치 레인지를 추출하는 서치 레인지 추출부 및 유효 서치 레인지를 이용해 고해상도의 디스패리티 맵을 생성하는 제2 디스패리티 맵 생성부를 포함한다.
또한, 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법은 피사체를 촬영하는 촬영 장치로부터 상기 피사체의 스테레오 이미지(Stereo Image)를 취득하는 S2-1단계;와, 취득한 스테레오 이미지에서 깊이, 높이 및 거리 정보를 나타내는 서치 레인지(Search Range)의 측정을 위한 서브 스케일(Sub Scale)의 디스패리티 맵(DiSparity Map)을 생성하는 S2-2단계;와, 히스토그램 생성부가 상기 서브 스케일 디스패리티 맵을 하나 이상의 영역으로 이루어지도록 분할해 분할 영역을 생성한 후, 상기 분할 영역을 확장하여 확장 영역을 생성하고, 확장 영역 간의 중복된 제1 중복 영역을 포함시켜 확장 영역별 히스토그램을 생성하는 S2-3단계;와, 상기 히스토그램을 분석하여 유효 서치 레인지를 추출하는 S2-4단계 및 상기 유효 서치 레인지를 이용해 고해상도의 디스패리티 맵을 생성하는 S2-5단계를 포함한다.
위에서 상술한 바와 같이 본 발명은 스테레오 이미지에서 서치 레인지의 측정을 위한 서브 스케일 디스패리티 맵을 생성하고, 서브 스케일 디스패리티 맵이 영역으로 이루어지도록 분할 후, 상기 영역을 확장시켜 상기 영역의 확장 영역을 중복해 중복 영역 히스토그램을 생성하고, 상기 중복 영역 히스토그램의 분석을 통해 고해상 디스패리티 맵을 생성함으로써, 디스패리티 맵 형성 시 계산량을 줄이고, 처리시간을 단축하여 실시간 처리 시 응답성을 향상시킬 수 있다.
나아가, 본 발명은 서브 스케일 디스패리티 맵에서 분할된 영역과 중복된 상기 영역의 확장 영역이 포함된 히스토그램에서 유효 서치 레인지를 추출하여, 고해상도 디스패리티 맵을 형성함으로써, 해상도 저하로 인한 계단현상의 발생을 최소화할 수 있다.
도 1은 종래 기술에 따른 디스패리티 맵 형성 방법을 설명하는 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법을 설명하는 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 스테레오 이미지이다.
도 4는 본 발명의 일 실시 예에 따른 S2-3단계를 설명하는 이미지이다.
도 5는 본 발명의 일 실시 예에 따른 S2-3단계를 설명하는 다른 도면이다.
도 6은 본 발명의 S2-3단계에서 생성된 히스토그램을 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 서브 스케일의 디스패리티 맵을 설명하는 이미지이다.
도 8은 본 발명의 일 실시 예에 따른 서브 스케일의 디스패리티 맵의 유효 서치 레인지의 추출 범위를 나타내는 그래프이다.
도 9는 본 발명의 일 실시 예에 따른 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치를 설명하는 도면이다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예들을 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적인 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 2는 본 발명의 일 실시 예에 따른 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법을 설명하는 순서도이다. 도시된 바와 같이, 본 발명은 피사체를 촬영하는 촬영부로부터 피사체의 스테레오 이미지(Stereo Image)를 취득하는 S2-1단계;와, 제1 디스패리티 맵 생성부에서 스테레오 이미지의 깊이, 높이 및 거리 정보를 나타내는 서치 레인지(Search Range)의 측정을 위한 서브 스케일(Sub Scale)의 디스패리티 맵(DiSparity Map)을 생성하는 S2-2단계;와, 히스토그램 생성부가 상기 서브 스케일 디스패리티 맵이 하나 이상의 영역으로 이루어지도록 분할하고, 분할된 각 영역의 중복 영역을 포함하는 히스토그램(HiStogram)을 생성하는 S2-3단계;와, 서치 레인지 추출부가 상기 히스토그램을 분석하여 유효 서치 레인지를 추출하는 S2-4단계 및 제2 디스패리티 맵 생성부가 상기 유효 서치 레인지를 이용해 고해상도의 디스패리티 맵을 생성하는 S2-5단계를 포함한다.
일 실시 예에 있어서, S2-1단계는 일반적인 디지털 카메라, 휴대폰 카메라, 스마트폰 카메라, 개인휴대정보 단말기의 내장 카메라, 스테레오 카메라 또는 3D 카메라 중 어느 하나 이상을 포함하는 촬영부(901)가 피사체를 촬영하여 스테레오 이미지(Stereo Image)를 촬영하는 단계다. S2-1단계에서 촬영부(901)로부터 취득한 스테레오 이미지는 도 3의 이미지와 같이 좌 이미지(300), 우 이미지(301)가 소정의 상이한 위치에서 촬영된 것이다.
도 3은 본 발명의 일 실시 예에 따른 스테레오 이미지이다. 도시된 바와 가이, 본 발명의 스테레오 이미지는 촬영부(901)에서 연속촬영에 의해 다수의 이미지로 이루어질 수 있다. S2-1단계에서 촬영자는 스테레오 이미지 취득을 위해 하나의 이미지를 촬영하고 소정의 상이한 각도에서 동일한 피사체를 다시 촬영하는 방법을 수차례 반복할 수 있다. S2-1단계에서 취득한 좌 이미지(300), 우 이미지(301) 중 어느 하나는 기준 이미지고, 다른 하나는 탐색 이미지가 된다. 본 발명은 스테레오 이미지에서 기준 이미지와 탐색 이미지의 디스패리티 맵에서 히스토그램(402)을 생성하여 고해상도 디스패리티 맵을 생성한다.
일 실시 예에 있어서, S2-2단계는 S2-1단계에서 취득한 스테레오 이미지에서 유효 서치 레인지의 추출에 필요한 히스토그램을 위한 서브 스케일의 디스패리티 맵(400)을 제1 디스패리티 맵 생성부(902)에서 생성하는 단계이다. 본 발명의 S2-2단계는 S2-1단계에서의 스테레오 이미지 간의 시차(거리차) 정보를 이용하여, 스테레오 이미지의 각 화소들에 대한 깊이 정보를 취득하고, 이를 이용해 서브 스케일 디스패리티 맵(400)을 생성한다. 이때, 서브 스케일 디스패리티 맵(400)은 다양한 디스패리티 맵 생성기에 의해 생성될 수 있으며, 디스패리티 맵 생성 소프트웨어를 이용해 생성가능하다.
S2-2단계의 제1 디스패리티 맵 생성부(902)에서 서브 스케일로 디스패리티 맵(400)의 생성 시, 서브 스케일은 축소와는 다른 개념으로 일반적인 디스패리티 맵에서 유효 서치 레인지를 짧은 시간에 추출할 수 있다. 서브 스케일의 디스패리티맵(400)은 도 7과 같이, 원본 디스패리티 맵의 1/64, 1/128 등의 크기로 이루어질 수 있다.
도 7은 본 발명의 일 실시 예에 따른 서브 스케일의 디스패리티 맵을 설명하는 이미지이다. 또한, 도 8은 본 발명의 일 실시 예에 따른 서브 스케일의 디스패리티 맵의 유효 서치 레인지의 추출 범위를 나타내는 그래프이다. 도 8의 (A)는 도 7에 도시된 각각 서로 다른 크기의 디스패리티 맵에 대한 히스토그램이고, (B)는 도 7의 각각 다른 크기의 디스패리티 맵에 대한 유효 서치 레인지 검색범위를 나타내는 그래프이다.
도 7에 표시된 크기는 아래의 표 1에 다시 정의되어 있다. 도 7에는 원본의 디스패리티 맵과 크기별 서브 스케일의 디스패리티 맵이 도시되어 있다. 또한, 도 8의 (B)와 같이 유효 서치 레인지의 추출을 위한 범위는 디스패리티 맵의 크기에 관계없이 거의 동일하다. 아래의 표 1은 도 8이 나타내는 데이터를 SNR 용어(Term)로 분석한 것이다.
Figure 112012017134654-pat00001
SNR Himg는 원본 크기의 디스패리티 맵에 대한 히스토그램과 서브 스케일의 디스패리티 맵에 대한 히스토그램 사이의 SNR을 나타낸다. 크기가 줄어들면 SNR Himg가 줄어들지만, 대략적인 모양이나 검색 범위(SR)는 거의 변하지 않는다. 40 x 23 크기의 디스패리티 맵에 대한 검색 범위는 다른 크기의 디스패리티 맵에 비해 크다. 큰 검색 범위는 디스패리티 맵 생성에 있어서 정확도에 영향을 미치지는 않고, 디스패리티 맵 획득 과정의 속도를 약간 늦춘다.
일 실시 예에 있어서, S2-3단계는 S2-2단계에서 생성된 서브 스케일 디스패리티 맵(400)을 도 3과 같이 히스토그램 생성부(903)에서 영역으로 이루어지도록 분할하고, 분할된 각 영역에서 히스토그램(402)을 생성한다. S2-2단계의 서브 스케일 디스패리티 맵(400)의 영역 분할은 도 4를 참조하여 설명할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 S2-3단계를 설명하는 이미지이다. 도시된 바와 같이, 본 발명의 S2-3단계는 S2-2단계에서 생성된 서브 스케일 디스패리티 맵(400)을 히스토그램 생성부(903)에서 도 4의 <A>와 같이 3×3 또는 <B>와 같이 4×4의 영역으로 이루어지도록 분할하여 분할 영역(401)을 생성하고, 각 분할 영역(401)별로 히스토그램(402)을 생성한다. 본 발명은 이에 한정되지않으며, 3×3, 4×4 외에 그 이상의 범위인 N×N으로 분할 영역(401)을 생성할 수 있다. 이때, N은 양의 정수인 것이 바람직하다. 서브 스케일 디스패리티 맵(400)의 영역 분할의 수는 스테레오 이미지의 크기에 따라 달라질 수 있다.
S2-3단계는 분할 영역(401)을 생성한 후, 각각의 분할 영역(401a)의 히스토그램(402)을 생성한다. 분할 영역(401a)의 히스토그램(402)은 분할 영역(401a) 및 분할 영역(401a)이 확장되어 생성된 확장 영역(500a), 타 분할 영역(401b) 및 타 분할 영역(401b)이 확장되어 생성된 타 확장 영역(500b)과 중복되는 제1 중복 영역(501)이 포함된 확장 영역(500)별 히스토그램(402)이다. 본 발명에서 타 분할 영역(401b)의 히스토그램(402)도 이와 동일한 개념으로 이해할 수 있다.
S2-3단계에서 분할 영역(401)의 중복은 도 5를 참조하여 설명할 수 있다. 히스토리그램(402)의 생성은 일반적인 흑백 영상의 히스토그램 방법과 동일하다. 히스토그램(402)의 X축이 디스패리티이고, Y축이 해당 디스패리티를 가지는 픽셀이므로, 이미지를 검색하면서 해당 디스패리티가 몇 개나 있지 세는 방식으로 구할 수 있다.
도 4 및 도 5에 도시된 바와 같이, 분할영역을 통칭하는 도면부호는 '401'이며, 각각의 분할영역을 401a, 401b 등으로 지칭할 수 있다.
또한, 도 4 및 도 5에 도시된 바와 같이, 확장영역을 통칭하는 도면부호는 '500'이며, 각각의 확장영역을 501a, 501b 등으로 지칭할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 S2-3단계를 설명하는 다른 도면이다. 도시된 바와 같이, 본 발명의 S2-3단계는 히스토그램 생성부(903)(도9참조)가 상기 서브 스케일 디스패리티 맵(400)이 하나 이상의 영역으로 이루어지도록 분할해 분할 영역(401a, 401b)을 생성 후, 상기 분할 영역(401a, 401b)을 확장하여 확장 영역(500a, 500b)을 생성하고, 확장 영역(500a, 500b) 간의 중복된 제1 중복 영역(501)을 포함시켜 확장 영역(500)별 히스토그램을 생성한다.
401a, 401b 및 501a, 501b는 설명을 위한 예시이고, 각 분할영역의 확장영역이 중복되는 경우가 고려되는 것은 당연하다.
또한, S2-3단계는 일 분할 영역(401)이 포함된 확장 영역(500)과 이웃하는 타 분할 영역의 일부가 중복되어 생성된 제2 중복 영역(502)이 포함된 히스토그램(402)을 생성한다. 분할 영역(401)의 확장은 스테레오 이미지의 크기에 따라 범위가 달라질 수 있다. S2-3단계에서 히스토그램(402)은 서브 스케일 디스패리티 맵(400)에서 분할 영역(401a, 401b)의 확장 영역(500a, 500b)에 대한 히스토그램(402)의 실시예가 가능하다. 그리고 제1 중복 영역(501)이 포함된 확장 영역(500a, 500b)의 히스토그램의 실시예가 가능하다. 나아가, 제1 중복 영역(501)이 제외된 확장 영역(500a, 500b)의 히스토그램의 실시예도 가능하다.
히스토그램(402)을 생성하려는 확장 영역(500a, 500b)은 상, 하, 좌, 우 방향에 위치하며, 확장되지 않은 분할 영역의 일부와 중복될 수 있다.
본 발명의 S2-3단계는 유효 서치 레인지 추출을 위해 서브 스케일 디스패리티 맵을 영역으로 이루어지도록 분할하고, 이 분할 영역(401)의 확장 영역(500)을 타 분할 영역(401)과 중복시키고, 중복된 확장 영역(500) 및 분할 영역(401)을 포함하는 히스토그램(402)을 생성시킴으로써, 유효 서치 레인지 추출과 고해상도 디스패리티 맵 형성 시 해상도 저하로 인한 계단현상의 발생을 최소화할 수 있다. 따라서, 고해상도의 디스패리티 맵을 형성할 수 있다.
S2-3단계에서 히스토그램 생성부(903)에 의해 생성된 히스토그램(402)은 S2-2단계에서 서브 스케일 디패리티 맵(400)의 히스토그램과 비교하면 확연한 차이점을 가진다. 히스토그램(402)의 차이는 도 6을 참조하여 설명할 수 있다.
도 6은 본 발명의 S2-3단계에서 생성된 히스토그램을 설명하는 도면이다. 도시된 바와 같이, 도 6의 <A′>는 S2-3단계에서 생성된 중복 후 히스토그램(600)이고, <B′>는 분할 영역(401) 만의 중복 전 히스토그램(601)이다. 도 6에서 보여지는 바와 같이, <A′>가 <B′> 보다 레인지가 더욱 넓고, X축에서 동일한 범위 안에 그래프가 촘촘한 것을 알 수 있다.
이는 S2-4단계에서 유효 서치 레인지 추출 시 미세하게 값을 추출할 수 있다는 것을 의미한다. 따라서, 유효 서치 레인지 추출 값을 이용해 디스패리티 맵 형성 시 해상도가 높아지고, 픽셀 간의 계단현상을 최소화할 수 있다. S2-3단계의 히스토그램(402)은 소프트웨어로 이루어진 히스토그램 생성 수단을 이용한다.
일 실시 예에 있어서, S2-4단계는 S2-3단계에서 생성한 히스토그램(402)에서 고해상도 디스패리티 맵을 생성하기 위해 서치 레인지 추출부(904)에서 유효 서치 레인지를 추출하는 단계이다. 유효 서치 레인지의 추출은 서치 레인지 추출부(904)에서 중복된 영역의 히스토그램(402)에 로그(Log)를 취하고, 트레숄드 값(ThreShold Value)을 상기 히스토그램(402)으로부터 차감하여 ‘0’보다 큰 부분의 정보를 기록하여, 영역마다 유효 서치 레인지를 추출하는 것을 특징으로 한다.
S2-4단계는 트레숄드 값 산출부(904a)에서 중복된 영역의 히스토그램에 로그(Log)를 취한 후 평균값을 연산한 후, 트레숄드 값 조절 계수(
Figure 112012017134654-pat00002
)을 곱하여, 트레숄드 값(
Figure 112012017134654-pat00003
)이 산출되는 S2-4-1 단계;와, 범위 산출부(904b)에서 트레숄드 값(
Figure 112012017134654-pat00004
)을 이용해 아래의 수학식으로 결정되는 유효 서치 레인지 추출 범위 정보(T(K))가 산출되는 S2-4-2 단계; 및 범위 결정부(904c)에서 상기 T(K)가 0이 아닌 k 값 범위가 유효 검색 범위(ESR)로 결정되는 S2-4-3 단계를 포함한다. 이는, 아래의 수학식을 참조하여 설명할 수 있다. 수학식 1과 같이, 히스토그램(402)에 로그값을 취하고, 평균을 구한 후 트레숄드 값 조절 계수(
Figure 112012017134654-pat00005
)를 곱하여, 트레숄드 값(
Figure 112012017134654-pat00006
)을 구한다.
Figure 112012017134654-pat00007
여기서, H(k)는 히스토그램을 의미하고, 트레숄드 값 조절 계수(
Figure 112012017134654-pat00008
)는 트레숄드 값 조절기능을 갖는 계수이다.
또한, 아래 수학식 2와 같이 각 히스토그램(402)의 값 H(K)로부터 트레숄드 값(
Figure 112012017134654-pat00009
)을 감산하고, 이진 비트 스트림 형태로 변환하여 검색 범위 정보 T(k)를 얻는다.
Figure 112012017134654-pat00010
여기서, 서브 스케일 디스패리티 맵의 크기 및 트레숄드 값 조절 계수(
Figure 112012017134654-pat00011
)값은 위의 수학식 2로 표현되는 범위에서 결정되는 것을 특징으로 한다.
(여기서, μH는 히스토그램에 대한 log 값이고, IWH는 원본 디스패리티 맵의 크기이고, fs는 원본 디스패리티 맵 대 부분 샘플링 이미지 크기의 비율이고, ▽k는 디스패리티 맵에 표현되는 객체 크기임)
Figure 112012017134654-pat00012
여기서, T(k)가 0이 아닌 k는 유효 검색 범위(ESR)에 해당한다.
본 발명은 수학식 1과 2를 통해 고해상도 디스패리티 맵 생성을 위해 유효 서치 레인지를 추출한다. 아울러, S2-5단계에서는 S2-4단계에서 추출된 유효 서치 레인지를 이용하여 제2 디스패리티 맵 생성부(905)에서 고해상도 디스패리티 맵을 생성한다.
본 발명은 S2-1단계에서 S2-5단계까지 상세히 설명한 바와 같이, 스테레오 이미지(300, 301)에서 유효 서치 레인지의 측정을 위한 서브 스케일 디스패리티 맵(400)을 생성하고, 서브 스케일 디스패리티 맵(400)이 영역으로 이루어지도록 분할 후, 상기 영역을 확장시켜 상기 영역의 확장 영역(500)을 중복해 중복 영역 히스토그램(402)을 생성하고, 상기 중복 영역 히스토그램(402)의 분석을 통해 고해상 디스패리티 맵을 생성함으로써, 디스패리티 맵 형성 시 계산량을 줄이고, 처리시간을 단축하여 실시간 처리 시 응답성을 향상시킬 수 있다.
나아가, 본 발명은 서브 스케일 디스패리티 맵(400)에서 분할된 영역과 중복된 상기 영역의 확장 영역(500)이 포함된 히스토그램(402)에서 유효 서치 레인지를 추출하여, 고해상도 디스패리티 맵을 형성함으로써, 해상도 저하로 인한 계단현상의 발생을 최소화할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치를 설명하는 도면이다. 도 9에 도시된 바와 같이, 본 발명에 따른 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치는 피사체를 촬영하고, 피사체의 스테레오 이미지를 취득하는 촬영부(901), 스테레오 이미지에서 서치 레인지 측정을 위한 서브 스케일의 디스패리티 맵을 생성하는 제1 디스패리티 맵 생성부(902), 서브 스케일 디스패리티 맵을 하나 이상의 영역으로 이루어지도록 분할해 분할 영역을 생성한 후, 상기 분할 영역을 확장하여 확장 영역을 생성하고, 확장 영역 간의 중복된 제1 중복 영역을 포함시켜 확장 영역별 히스토그램을 생성하는 히스토그램 생성부(903), 히스토그램을 분석하여, 유효 서치 레인지를 추출하는 서치 레인지 추출부(904) 및 유효 서치 레인지를 이용해 고해상도의 디스패리티 맵을 생성하는 제2 디스패리티 맵 생성부(905)를 포함한다.
일 실시 예에 있어서, 히스토그램 생성부(903)는 분할 영역이 포함된 확장 영역과 타 분할 영역의 일부가 중복되어 생성된 제2 중복 영역(502)이 포함된 히스토그램을 생성한다.
히스토그램 생성부(903)는 서브 스케일 디스패리티 맵(400)을 N×N의 영역으로 이루어지도록 분할하며, N은 2 이상의 양의 정수인 것을 특징으로 한다.
일 실시 예에 있어서, 서치 레인지 추출부(904)는 히스토그램에 로그를 취한 후 평균값을 연산한 후, 트레숄드 값 조절 계수를 곱하여, 트레숄드 값을 산출하는 트레숄드 값 산출부(904a), 트레숄드 값을 이용해 결정되는 유효 서치 레인지 추출 범위 정보를 산출하는 범위 산출부(904b) 및 유효 검색 범위를 결정하는 범위 결정부(904c)를 더 포함한다.
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
300: 좌 이미지
301: 우 이미지
400: 서브 스케일 디스패리티 맵
401, 401a, 401b: 분할 영역
402: 히스토그램
500, 500a, 500b: 확장 영역
501: 제1 중복 영역
502: 제2 중복 영역
901: 촬영부
902: 제1 디스패리티 맵 생성부
903: 히스토그램 생성부
904: 서치 레인지 추출부
904a : 트레숄드 값 산출부
904b: 범위 산출부
904c: 범위 결정부
905: 제2 디스패리티 맵 생성부

Claims (11)

  1. 피사체를 촬영하고, 상기 피사체의 스테레오 이미지를 취득하는 촬영부;
    상기 스테레오 이미지에서 서치 레인지 측정을 위한 저해상도의 디스패리티 맵인 서브 스케일 디스패리티 맵을 생성하는 제1 디스패리티 맵 생성부;
    상기 서브 스케일 디스패리티 맵을 하나 이상의 영역으로 이루어지도록 분할해 분할 영역을 생성한 후, 상기 분할 영역을 확장하여 확장 영역을 생성하고,
    확장 영역 간의 중복된 제1 중복 영역을 포함시켜 확장 영역별 히스토그램을 생성하는 히스토그램 생성부;
    상기 히스토그램을 분석하여, 유효 서치 레인지를 추출하는 서치 레인지 추출부; 및
    유효 서치 레인지를 이용해 서브 스케일 디스패리티 맵에 비해 고해상도의 디스패리티 맵을 생성하는 제2 디스패리티 맵 생성부를
    포함하는 것을 특징으로 하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치.
  2. 제1항에 있어서, 상기 히스토그램 생성부는,
    일 분할 영역의 확장 영역과 타 분할 영역의 일부가 중복되어 생성된 제2 중복 영역이 포함된 히스토그램을 생성하는 것을 특징으로 하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치.
  3. 제1항에 있어서, 상기 히스토그램 생성부는,
    서브 스케일 디스패리티 맵을 N×N의 영역으로 이루어지도록 분할하며, 상기 N은 2 이상의 양의 정수인 것을 특징으로 하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치.
  4. 제1항에 있어서, 상기 서치 레인지 추출부는,
    히스토그램에 로그를 취한 후 평균값을 연산한 후, 트레숄드 값 조절 계수를 곱하여, 트레숄드 값을 산출하는 트레숄드 값 산출부;
    트레숄드 값을 이용해 결정되는 유효 서치 레인지 추출 범위 정보를 산출하는 범위 산출부; 및
    유효 검색 범위를 결정하는 범위 결정부
    를 더 포함하는 것을 특징으로 하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치.
  5. 피사체를 촬영하는 촬영부로부터 피사체의 스테레오 이미지를 취득하는 S2-1단계;
    제1 디스패리티 맵 생성부에서 스테레오 이미지의 깊이, 높이 및 거리 정보를 나타내는 서치 레인지의 측정을 위한 저해상도의 디스패리티 맵인 서브 스케일 디스패리티 맵(DiSparity Map)을 생성하는 S2-2단계;
    히스토그램 생성부가 상기 서브 스케일 디스패리티 맵을 하나 이상의 영역으로 이루어지도록 분할해 분할 영역을 생성한 후, 상기 분할 영역을 확장하여 확장 영역을 생성하고,
    확장 영역 간의 중복된 제1 중복 영역을 포함시켜 확장 영역별 히스토그램을 생성하는 S2-3단계;
    서치 레인지 추출부가 상기 히스토그램을 분석하여 유효 서치 레인지를 추출하는 S2-4단계; 및
    제2 디스패리티 맵 생성부가 상기 유효 서치 레인지를 이용해 저해상 디스패리티 맵에 비해 고해상도의 디스패리티 맵을 생성하는 S2-5단계
    를 포함하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법.
  6. 제5항에 있어서, 상기 S2-3단계는,
    일 분할 영역의 확장 영역과 타 분할 영역의 일부가 중복되어 생성된 제2 중복 영역이 포함된 히스토그램을 생성하는 것을 특징으로 하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법.
  7. 제5항에 있어서, 상기 확장 영역은,
    상, 하, 좌, 우 방향 중 하나 이상의 방향에 위치한 타 분할 영역과 중복되는 것을 특징으로 하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법.
  8. 제5항에 있어서, 상기 S2-3단계는,
    서브 스케일 디스패리티 맵을 N×N 영역으로 이루어지도록 분할하며, 상기 N은 2 이상의 양의 정수인 것을 특징으로 하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법.
  9. 제5항에 있어서, 상기 S2-4단계는,
    트레숄드 값 산출부에서 중복된 영역의 히스토그램에 로그(Log)를 취한 후 평균값을 연산한 후, 트레숄드 값 조절 계수(
    Figure 112012017134654-pat00013
    )을 곱하여, 트레숄드 값(
    Figure 112012017134654-pat00014
    )이 산출되는 S2-4-1 단계;
    범위 산출부에서 트레숄드 값(
    Figure 112012017134654-pat00015
    )을 이용해 아래의 식으로 결정되는 유효 서치 레인지 추출 범위 정보(T(K))가 산출되는 S2-4-2 단계; 및
    Figure 112012017134654-pat00016

    (여기서 HUDSM(k)는 서브 스케일의 디스패리티 맵에 대한 히스토그램, SR은 검색범위를 의미하고, k는 유효 검색 범위(ESR)에 해당됨)
    범위 결정부에서 상기 T(K)가 0이 아닌 k 값 범위가 유효 검색 범위(ESR)로 결정되는 S2-4-3 단계
    를 더 포함하는 것을 특징으로 하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법.
  10. 제9항에 있어서,
    서브 스케일 디스패리티 맵의 크기 및 트레숄드 값 조절 계수(
    Figure 112012017134654-pat00017
    )값은 아래의 식으로 표현되는 범위에서 결정되는 것을 특징으로 하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법.
    Figure 112012017134654-pat00018

    (여기서, μH는 히스토그램에 대한 log 값이고, IWH는 서브 디스패리티 맵의 크기이고, fs는 원본 디스패리티 맵 대 부분 샘플링 이미지 크기의 비율이고, ▽k는 디스패리티 맵에 표현되는 객체 크기임)
  11. 제9항에 있어서,
    트레숄드 값(
    Figure 112012017134654-pat00019
    )은 아래의 수학식으로 결정되는 것을 특징으로 하는 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 방법.
    Figure 112012017134654-pat00020

    (여기서, HUSDM(k)는 히스토그램을 의미하고,
    Figure 112012017134654-pat00021
    는 트레숄드 값 조절기능을 갖는 계, SRL(search range length)은 시차 맵의 깊이 해상도임)
KR1020120021515A 2012-02-29 2012-02-29 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법 KR101265020B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120021515A KR101265020B1 (ko) 2012-02-29 2012-02-29 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120021515A KR101265020B1 (ko) 2012-02-29 2012-02-29 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101265020B1 true KR101265020B1 (ko) 2013-05-24

Family

ID=48666340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120021515A KR101265020B1 (ko) 2012-02-29 2012-02-29 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101265020B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160006949A (ko) * 2014-07-10 2016-01-20 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법
WO2019009579A1 (ko) * 2017-07-07 2019-01-10 전자부품연구원 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
KR100943635B1 (ko) 2008-11-06 2010-02-24 삼성에스디에스 주식회사 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
KR100943635B1 (ko) 2008-11-06 2010-02-24 삼성에스디에스 주식회사 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160006949A (ko) * 2014-07-10 2016-01-20 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법
KR101882931B1 (ko) 2014-07-10 2018-07-30 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법
WO2019009579A1 (ko) * 2017-07-07 2019-01-10 전자부품연구원 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치

Similar Documents

Publication Publication Date Title
CN108734776B (zh) 一种基于散斑的三维人脸重建方法及设备
JP7350343B2 (ja) 対象物の３次元画像を生成するための方法およびシステム
US20140340486A1 (en) Image processing system, image processing method, and image processing program
KR100793076B1 (ko) 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR20090055803A (ko) 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
WO2012096747A1 (en) Forming range maps using periodic illumination patterns
KR20110127899A (ko) 3차원 뎁스 영상 시간 보간 방법 및 장치
KR101139389B1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
JP2019120591A (ja) 視差値算出装置、視差値算出方法及びプログラム
US10142613B2 (en) Image processing apparatus, image processing system, and image processing method
CN110390645B (zh) 用于立体瞬时图像序列的改善3d数据重构的系统和方法
US9165341B2 (en) Method for generating super-resolution images having improved image resolution and measuring device
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
WO2013080544A1 (ja) 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム
JP2015019346A (ja) 視差画像生成装置
KR20130006246A (ko) 깊이 영상 변환 장치 및 방법
KR101265020B1 (ko) 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법
KR20170047780A (ko) 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법
Fernandez et al. Absolute phase mapping for one-shot dense pattern projection
KR101507992B1 (ko) 시차맵 생성 방법 및 장치
KR101178015B1 (ko) 시차 맵 생성 방법
KR101505360B1 (ko) 시차 탐색 범위 추정 장치 및 방법
KR101265021B1 (ko) 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170329

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee