KR101265021B1 - 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치 - Google Patents

고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치 Download PDF

Info

Publication number
KR101265021B1
KR101265021B1 KR1020120021514A KR20120021514A KR101265021B1 KR 101265021 B1 KR101265021 B1 KR 101265021B1 KR 1020120021514 A KR1020120021514 A KR 1020120021514A KR 20120021514 A KR20120021514 A KR 20120021514A KR 101265021 B1 KR101265021 B1 KR 101265021B1
Authority
KR
South Korea
Prior art keywords
disparity map
search range
frame
value
time
Prior art date
Application number
KR1020120021514A
Other languages
English (en)
Inventor
조준동
박찬오
허준회
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020120021514A priority Critical patent/KR101265021B1/ko
Application granted granted Critical
Publication of KR101265021B1 publication Critical patent/KR101265021B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치에 관한 것으로, 본 발명에 따른 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치는 피사체를 촬영해 스테레오 영상을 취득하는 스테레오 촬영부;와, 스테레오 촬영부로부터 취득한 스테레오 영상의 프레임을 취득하고, 상기 프레임별 저해상도 디스페리티 맵을 생성 및 분할해 분할 영역을 생성하여, 상기 각 분할 영역의 히스토그램을 생성하는 히스토그램 생성부;와, 상기 분할 영역마다 생성된 히스토그램에서 깊이, 높이 및 거리 정보를 나타내는 제1 서치 레인지 값을 추출하는 서치 레인지 값 추출부;와, 상기 제1 서치 레인지 값을 이용해 상기 프레임에 해당되는 고해상도 디스패리티 맵을 생성할 때, 소요되는 시간을 예측하는 소요 시간 예측부;와, 상기 소요 시간 예측부에서 예측된 소요 시간에 따라 상기 프레임의 감마값을 설정 및 저장하며, 상기 감마값을 상기 서치 레인지 값 추출부에 제공하는 감마값 설정부; 및 상기 소요 시간 예측부에서 예측된 시간과 상기 서치 레인지 값 추출부에서 감마값이 적용되어 추출된 제2 서치 레인지 값을 이용해 고해상도 디스패리티 맵을 생성하는 디스패리티 맵 생성부를 포함한다.
또한, 본 발명에 따른 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법은 스테레오 촬영부가 피사체를 촬영하여 스테레오 영상을 취득하는 S2-1단계;와, 히스토그램 생성부에서 상기 스테레오 영상의 프레임을 취득하고, 상기 프레임에서 저해상도 디스패리티 맵을 생성 후, 상기 저해상도 디스패리티 맵이 영역으로 이루어지도록 분할 영역을 생성하고, 상기 분할 영역의 히스토그램을 생성하는 S2-2단계;와, 서치 레인지 값 추출부가 상기 분할 영역마다 생성된 히스토그램에서 깊이, 높이 및 거리 정보를 나타내는 제1 서치 레인지 값을 추출하는 S2-3단계;와, 소요 시간 예측부가 상기 제1 서치 레인지 값을 이용해 상기 프레임에 해당되는 고해상 디스패리티 맵을 생성할 때, 소요되는 시간을 예측하는 S2-4단계;와, 감마값 설정부가 상기 소요되는 시간에 따라 상기 프레임의 감마값을 설정 및 저장하고, 상기 감마값을 상기 서치 레인지 값 추출부에 제공하는 S2-5단계; 및 디스패리티 맵 생성부가 상기 소요 시간 예측부에서 예측된 시간과 상기 서치 레인지 값 추출부에서 감마값이 적용되어 추출된 제2 서치 레인지 값을 이용해 고해상도 디스패리티 맵을 생성하는 S2-6단계를 포함한다.

Description

고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치{CREATION METHOD AND APPARATUS FOR HIGH RESOLUTION DISPARITY MAP FROM FIXED OR VARIABLE FRAME RATE}
본 발명은 고해상도 디스패리티 맵 생성 방법 및 장치에 관한 것으로, 더욱 상세하게는 스테레오 영상에서 고정 또는 가변 프레임을 취득하고, 상기 프레임에서 고속으로 고해상도 디스패리티 맵을 생성하여, 해당 프레임의 FPS(Feet Per Second)를 원하는 양으로 고정시킬 수 있는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치에 관한 것이다.
최근, 3D 영상의 보급과 활용 범위가 광범위해짐에 따라, 다양한 스테레오 영상의 영상 처리 기술이 개발되고 있다. 일반적으로 스테레오 영상의 영상처리는 스테레오 촬영장치로부터 취득한 스테레오 이미지 또는 영상에서 프레임을 취득하여 이루어진다.
상기 프레임에서 시차 정보를 취득하고, 상기 시차 정보를 이용해 영상처리함으로써, 입체적인 이미지 또는 영상을 생성한다. 이를 위해서는 프레임의 디스패리티 맵(Disparity Map)을 생성하게 되는데, 일반적으로 디스패리티 맵을 생성하는 방법은 도 1과 같다.
도 1은 종래 기술에 따른 디스패리티 맵 생성 방법을 설명하는 순서도이다. 도 1에 도시된 바와 같이, 종래 기술에 따른 디스패리티 맵 생성 방법은 스테레오 이미지로부터 에지 이미지 추출단계(S1-1), 에지 이미지의 에지 스테레오 매칭 단계(S1-2), 에지 디스패리티 맵 생성 단계(S1-3) 및 비 에지 영역에 대한 디스패리티 맵 보완 단계(S1-4)를 포함한다.
도 1에서 설명하는 스테레오 이미지는 스테레오 영상에서 취득한 스테레오 프레임과 동일한 의미로 해석 가능하며, 상기 스테레오 이미지는 고정 또는 가변되는 스테레오 프레임을 모두 포함한다. 도 1에서 설명하는 이미지 또한 프레임과 동이한 의미로 해석될 수 있다.
종래 기술에 따른 디스패리티 맵 형성 방법에 있어서, S1-1단계는 스테레오 카메라, 디지털 카메라, 3D 카메라와 같은 이미지 촬영장치로부터 스테레오 이미지를 취득하고, 스테레오 이미지의 좌, 우 이미지로부터 각각의 에지 이미지를 검출한다. 이때, 에지 이미지는 에지 추출기를 이용하게 된다. 에지 추출기는 좌, 우 이미지에서 에지를 추출하여 윤곽선을 이루는 에지 화소들만으로 이루어진 이미지를 생성한 후 에지 스테레오 매칭기에 출력한다.
S1-2단계는 에지 스테레오 매칭기가 에지 이미지 추출기에서 입력받은 에지 이미지를 스테레오 매칭하는 단계이다. 좌, 우 에지 이미지 중 하나를 기준 에지 이미지라 하고, 다른 하나를 탐색 에지 이미지라 한다.
S1-3단계는 에지 스테레오 매칭기에 의해 취득한 기준 에지 이미지의 에지 화소들과 이들 각각에 대응하는 탐색 에지 이미지의 대응 에지 화소들을 이용하여 에지 이미지 디스패리티 맵을 생성한다. 에지 디스패리티 맵 생성기가 에지 이미지 디스패리티 맵을 생성하는 것은 에지에 관한 디스패리티 맵이라는 점을 제외하면, 일반적인 디스패리티 맵을 생성하는 방식과 동일하다. S1-3단계에서 생성된 에지 이미지 디스패리티 맵은 전체 스테레오 이미지에 관한 디스패리티 맵이 아니라, 에지 이미지만의 디스패리티 맵임으로, 비 에지 이미지 영역에 대한 디스패리티 맵이 생성되지 않은 상태이다.
S1-4단계는 S1-3단계에서 생성되지 않은 비 에지 이미지 영역에 대한 디스패리티 맵을 보완하는 단계이다. 보완은 디스패리티 맵 보완기에 의해 이루어지며, 비 에지 이미지 영역에 대한 디스패리티 맵을 보완하여 최종 디스패리티 맵을 생성한다. 에지 이미지 디스패리티 맵의 비 에지 이미지 영역에 대한 디스패리티 맵 보완은 일반적으로 화소간 보간법을 이용하게 된다.
도 1에서 설명한 스테레오 영상을 포함하는 스테레오 이미지의 디스패리티 맵 생성방법은 디스패리티 맵 생성을 위해 서치 레인지 값을 측정하게 된다. 스테레오 영상의 프레임별로 디스패리티 맵을 형성하게 될 때, 각 프레임마다 서치 레인지 값의 측정 시간이 상이해 진다. 이로 인해 스테레오 영상의 프레임 레이트가 프레임마다 상이해지는 문제점이 있다. 또한, 스테레오 이미지 또는 스테레오 영상의 프레임에서 디스패리티 맵의 생성을 위한 소요 시간이 모두 틀리기 때문에 FPS를 원하는 양으로 조절할 수 없는 문제점이 있다.
본 발명은 위에서 상술한 문제점을 해결하기 위한 것으로, 스테레오 영상의 프레임에서 서치 레인지를 측정하여 고해상도 디스패리티 맵 생성 시, 각 프레임마다 서치 레인지 값의 측정 시간을 단축할 수 있는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치를 제공함을 그 목적으로 한다.
나아가, 본 발명은 스테레오 이미지 또는 스테레오 영상의 프레임에서 디스패리티 맵의 생성을 위한 소요 시간을 미리 예측하고, 예측된 소요시간을 바탕으로 감마값을 설정하여 고속으로 서치 레인지 값의 추출 및 고해상도 디스패리티 맵을 생성하여, 스테레오 영상의 FPS를 원하는 양으로 조절할 수 있는 고속의 고해상도 디스패리티 맵 생성 방법 및 장치를 제공함을 그 목적으로 한다.
위와 같은 목적을 달성하기 위하여 본 발명에 따른 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치는 피사체를 촬영해 스테레오 영상을 취득하는 스테레오 촬영부;와, 스테레오 촬영부로부터 취득한 스테레오 영상의 프레임을 취득하고, 상기 프레임별 저해상도 디스페리티 맵을 생성 및 분할해 분할 영역을 생성하여, 상기 각 분할 영역의 히스토그램을 생성하는 히스토그램 생성부;와, 상기 분할 영역마다 생성된 히스토그램에서 깊이, 높이 및 거리 정보를 나타내는 제1 서치 레인지 값을 추출하는 서치 레인지 값 추출부;와, 상기 제1 서치 레인지 값을 이용해 상기 프레임에 해당되는 고해상도 디스패리티 맵을 생성할 때, 소요되는 시간을 예측하는 소요 시간 예측부;와, 상기 소요 시간 예측부에서 예측된 소요 시간에 따라 상기 프레임의 감마값을 설정 및 저장하며, 상기 감마값을 상기 서치 레인지 값 추출부에 제공하는 감마값 설정부; 및 상기 소요 시간 예측부에서 예측된 시간과 상기 서치 레인지 값 추출부에서 감마값이 적용되어 추출된 제2 서치 레인지 값을 이용해 고해상도 디스패리티 맵을 생성하는 디스패리티 맵 생성부를 포함한다.
또한, 본 발명에 따른 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법은 스테레오 촬영부가 피사체를 촬영하여 스테레오 영상을 취득하는 S2-1단계;와, 히스토그램 생성부에서 상기 스테레오 영상의 프레임을 취득하고, 상기 프레임에서 저해상도 디스패리티 맵을 생성 후, 상기 저해상도 디스패리티 맵이 영역으로 이루어지도록 분할 영역을 생성하고, 상기 분할 영역의 히스토그램을 생성하는 S2-2단계;와, 서치 레인지 값 추출부가 상기 분할 영역마다 생성된 히스토그램에서 깊이, 높이 및 거리 정보를 나타내는 제1 서치 레인지 값을 추출하는 S2-3단계;와, 소요 시간 예측부가 상기 제1 서치 레인지 값을 이용해 상기 프레임에 해당되는 고해상 디스패리티 맵을 생성할 때, 소요되는 시간을 예측하는 S2-4단계;와, 감마값 설정부가 상기 소요되는 시간에 따라 상기 프레임의 감마값을 설정 및 저장하고, 상기 감마값을 상기 서치 레인지 값 추출부에 제공하는 S2-5단계; 및 디스패리티 맵 생성부가 상기 소요 시간 예측부에서 예측된 시간과 상기 서치 레인지 값 추출부에서 감마값이 적용되어 추출된 제2 서치 레인지 값을 이용해 고해상도 디스패리티 맵을 생성하는 S2-6단계를 포함한다.
위에서 상술한 바와 같이 본 발명은 스테레오 영상의 프레임에서 저해상도 디스패리티 맵을 생성하고, 상기 디스패리티 맵에서 분할 영역별로 히스토그램을 생성해 서치 레인지 값을 추출 후, 고해상도 디스패리티 맵 생성을 위한 소요 시간을 미리 예측하여 감마값을 설정함으로써, 최종으로 고해상도 디스패리티 맵 생성 시 서치 레인지 값의 측정 시간을 단출할 수 있다.
나아가, 본 발명은 예측된 소요 시간과 프레임별로 설정된 감마값을 바탕으로 서치 레인지 값을 추출해 고속으로 고해상도 디스패리티 맵을 생성할 수 있음으로, 스테레오 영상의 FPS를 원하는 양으로 조절할 수 있다.
도 1은 종래 기술에 따른 디스패리티 맵 생성 방법을 설명하는 순서도이다.
도 2는 본 발명의 일 실시 예에 따른, 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치를 설명하는 도면이다.
도 3은 본 발명의 일 실시 예에 따른, 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법을 설명하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 S2-1단계를 설명하는 이미지이다.
도 5는 본 발명의 일 실시 예에 따른, S2-2단계를 설명하는 이미지이다.
도 6은 본 발명의 일 실시 예에 따른, S2-3단계에서 서치 레인지 값 추출 방법을 설명하는 도면이다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예들을 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적인 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 2는 본 발명의 일 실시 예에 따른, 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치를 설명하는 도면이다. 도시된 바와 같이, 본 발명에 따른 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치(200)은 스테레오 촬영부(201), 히스토그램 생성부(202), 서치 레인지 값 추출부(203), 소요 시간 예측부(204), 감마값 설정부(205) 및 디스패리티 맵 생성부(206)를 포함한다.
일 실시 예에 있어서, 스테레오 촬영부(201)는 피사체를 촬영해 스테레오 영상을 취득한다. 스테레오 촬영부(201)는 일반적인 디지털 카메라, 휴대폰 카메라, 스마트폰 카메라, 개인휴대정보 단말기의 내장 카메라, 스테레오 카메라 또는 3D 카메라 중 어느 하나 이상의 카메라이며, 이를 이용해 피사체를 촬영하여 스테레오 이미지(Stereo Image)를 촬영한다.
히스토그램 생성부(202)는 스테레오 촬영부(201)로부터 취득한 스테레오 영상에서 프레임을 취득하고, 상기 프레임별 저해상도 디스패리티 맵을 분할해 분할 영역(501)을 생성한다. 또한, 히스토그램 생성부(202)는 각각의 분할 영역(501)에 해당되는 히스토그램을 생성한다. 히스토그램 생성부(202)는 스테레오 영상의 프레임별로 저해상도 디스패리티 맵을 생성하고, 상기 디스패리티 맵을 N×N의 영역으로 분할 영역(501)을 생성한다. N은 2이상의 양의 정수이며, 분할 영역(501)의 수는 스테레오 원본 이미지의 크기에 따라 달리 이루어질 수 있다.
히스토그램 생성부(202)는 서치 레인지 값 추출부(203)에서 제1 서치 레인지 값 추출에 필요한 저해상도 디스패리티 맵을 생성하고, 상기 저해상도 디스패리티 맵은 디스패리티 맵 생성부(206)에서 생성되는 고해상도 디스패리티 맵의 생성을 위한 기본 데이터에 해당된다. 본 발명의 서치 레인지 값 추출부(203)는 상기 저해상도 디스패리티 맵의 히스토그램을 바탕으로 제1 서치 레인지 값을 추출하게 된다.
서치 레인지 값 추출부(203)는 히스토그램 생성부(202)에서 생성된 저해상도 디스패리티 맵의 히스토그램에서 깊이, 높이 및 거리 정보를 나타내는 제1 서치 레인지 값을 추출한다. 제1 서치 레인지 값의 추출은 상기 저해상도 디스패리티 맵에서 픽셀 값을 이용하여 추출하며, 이는 다양하게 소개되고 있는 기술을 이용할 수 있다.
또한, 서치 레인지 값 추출부(203)는 히스토그램에 로그를 취해 평균값을 연산한 후, 트레숄드 값 조절 계수를 곱하여, 트레숄드 값을 산출하는 트레숄드 값 산출부(203A), 트레숄드 값을 이용해 결정되는 서치 레인지의 추출 범위 정보를 산출하는 범위 산출부(203B) 및 서치 레인지의 검색 범위를 결정하는 범위 결정부(203C)를 더 포함한다.
소요 시간 예측부(204)는 서치 레인지 값 추출부(203)에서 추출한 제1 서치 레인지 값을 이용해, 히스토그램 생성부(202)에서 취득한 프레임에 해당되는 고해상도 디스패리티 맵의 생성 시 소요되는 시간을 예측한다. 소요 시간 예측부(204)는 프레임별 저해상도 디스패리티 맵의 생성 시간을 측정하여, 프레임별로 생성 시간과 생성 시간 차를 저장한다.
감마값 설정부(205)는 소요 시간 예측부(204)에서 예측된 소요 시간에 따라 해당 프레임의 감마값을 설정 및 저장하며, 상기 감마값을 서치 레인지 값 추출부(203)에 제공한다. 감마값 설정부(205)는 소요 시간 예측부(204)에서 예측된 소요 시간을 해당 프레임마다 비교했을 때, 고해상도 디스패리티 맵의 생성을 위한 소요 시간이 이전 프레임에 비해 상대적으로 긴 프레임에는 감마값을 작게 설정한다.
이와는 반대로, 소요 시간 예측부(204)에서 예측된 소요 시간을 해당 프레임마다 비교했을 때, 소요 시간이 이전 프레임에 비해 상대적으로 짧은 프레임은 감마값을 크게 설정한다. 고해상도 디스패리티 맵의 생성을 위해 소요 시간에 따라 감마값을 설정하는 것은 고해상도 디스패리티 맵의 생성 시 제2 서치 레인지 값 추출 속도와 디스패리티 맵의 정확도에 영향을 주기 때문이다.
또한, 감마값 설정부(205)는 히스토그램 생성부(202)에서 히스토그램이 생성되는 개별 프레임에 소요 시간 예측부(204)에서 예측된 소요 시간을 바탕으로 감마값을 설정하고, 상기 감마값을 서치 레인지 값 추출부에 제공하는 과정을 반복 실시한다. 따라서, 연속적으로 스테레오 영상의 프레임에서 고해상도 디스패리티 맵을 생성할 수 있도록 한다.
감마값 설정부(205)에서 감마값을 고해상도 디스패리티 맵을 생성하려는 프레임에 미리 설정을 함으로써, 서치 레인지 값 추출부(203)에서 제2 서치 레인지 값 추출을 위한 시간을 단축시킬 수 있으며, 해당 프레임의 프레임 레이트(Fram rate)의 FPS를 원하는 양으로 조절할 수 있다. 위에서 상세히 설명한 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치를 이용한 고해상도 디스패리티 맵의 생성 방법은 도 3을 참조하여 설명할 수 있다.
도 3은 본 발명의 일 실시 예에 따른, 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법을 설명하는 도면이다. 도시된 바와 같이, 본 발명에 따른 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법은 스테레오 촬영부가 피사체를 촬영하여 스테레오 영상을 취득하는 S2-1단계, 히스토그램 생성부에서 상기 스테레오 영상의 프레임을 취득하고, 상기 프레임에서 저해상도 디스패리티 맵을 생성 후, 상기 저해상도 디스패리티 맵이 영역으로 이루어지도록 분할 영역을 생성하고, 상기 분할 영역의 히스토그램을 생성하는 S2-2단계, 서치 레인지 값 추출부가 상기 분할 영역마다 생성된 히스토그램에서 깊이, 높이 및 거리 정보를 나타내는 제1 서치 레인지 값을 추출하는 S2-3단계, 소요 시간 예측부가 상기 제1 서치 레인지 값을 이용해 상기 프레임에 해당되는 고해상 디스패리티 맵을 생성할 때, 소요되는 시간을 예측하는 S2-4단계, 감마값 설정부가 상기 소요되는 시간에 따라 상기 프레임의 감마값을 설정 및 저장하고, 상기 감마값을 상기 서치 레인지 값 추출부에 제공하는 S2-5단계; 및 디스패리티 맵 생성부가 상기 소요 시간 예측부에서 예측된 시간과 상기 서치 레인지 값 추출부에서 감마값이 적용되어 추출된 제2 서치 레인지 값을 이용해 고해상도 디스패리티 맵을 생성하는 S2-6단계를 포함한다.
일 실시 예에 있어서, S2-1단계는 일반적인 디지털 카메라, 휴대폰 카메라, 스마트폰 카메라, 개인휴대정보 단말기의 내장 카메라, 스테레오 카메라, 입체 영상 카메라 또는 3D 카메라와 같은 스테레오 촬영부(201)를 이용해 피사체를 촬영하여 가변적인 스테레오 영상이나 고정된 스테레오 이미지를 취득하는 단계이다. S2-1단계에서 취득한 스테레오 영상을 각각의 프레임으로 확인하면, 도 4와 같이 좌 프레임 이미지(401), 우 프레임 이미지(402)가 소정의 상이한 각도로 촬영된 것을 알 수 있다.
도 4는 본 발명의 일 실시 예에 따른 S2-1단계를 설명하는 이미지이다. 도 4와 같이, 본 발명의 좌 프레임 이미지(401), 우 프레임 이미지(402)는 스테레오 촬영부(201)의 좌안 촬영부와 우안 촬영부의 거리로 인해 초점 거리의 차이가 존재한다. S2-1단계에서 도 4와 같이 촬영된 스테레오 영상은 S2-2단계에서 프레임으로 취득하게 된다. S2-1단계에서 취득한 좌 프레임 이미지(401), 우 프레임 이미지(402)는 201단계에서 저해상도 디스패리티 맵 생성 시, 어느 하나가 기준 프레임 이미지가 되고, 다른 하나는 탬색 프레임 이미지가 된다.
일 실시 예에 있어서, S2-2단계는 히스토그램 생성부(202)가 S2-1단계에서 취득한 스테레오 영상에서 각각 프레임을 취득하는 단계이다. 또한, 저해상도 디스패리티 맵을 생성한 후, 상기 디스패리티 맵을 영역으로 이루어지도록 분할하여 분할 영역(501)을 생성하며, 상기 분할 영역(501)들의 개별적인 히스토그램을 생성한다. 저해상도 디스패리티 맵의 생성은 좌, 우 프레임간의 시차(거리차) 정보를 이용하는데, 좌, 우 프레임의 각 화소들에 대한 깊이 정보를 취득하여, 이 정보를 이용해 생성하게 된다.
S2-2단계에서 히스토그램 생성부(202)는 도 5와 같이, 프레임의 저해상도 디스패리티 맵이 영역으로 이루어지도록 분할 영역(501)을 생성한다. 도 5는 본 발명의 일 실시 예에 따른, S2-2단계를 설명하는 이미지이다. 도 5와 같이, S2-2단계는 저해상도 디스패리티 맵을 <A>와 같이 3×3으로 분할 영역(501)을 생성할 수 있고, <B>와 같이 4×4로 분할 영역(501)을 생성할 수 있다. 본 발명의 S2-2단계는 이에 한정되지 않으며, 저해상도 디스패리티 맵을 N×N 영역으로 분할 영역을 생성하며, 상기 N은 2 이상의 양의 정수인 것을 특징으로 한다.
본 발명은 S2-2단계에서 히스토그램 생성부(202)에 의해 생성된 히스토그램을 이용해 S2-3단계에서 제1 서치 레인지 값을 추출하고, 제1 서치 레인지 값을 이용해 고해상도 디스패리티 맵이 생성될 때, 소요되는 시간을 S2-4단계에서 예측한다.
일 실시 예에 있어서, S2-3단계는 S2-2단계에서 생성된 히스토그램에서 제1 서치 레인지 값을 추출하는 단계이다. S2-3단계는 S2-1단계에서 취득한 스테레오 영상의 좌 프레임 이미지(401), 우 프레임 이미지(402)를 S2-2단계에서 생성한 히스토그램에서 X축, Y축, Z축을 기준으로 거리, 높이 ,깊이에 대한 정보를 추출한다. S2-3단계는 S2-2단계에서 생성된 저해상도 디스패리티 맵의 분할 영역들의 히스토그램에서 제1 서치 레인지 값을 추출하기 때문에, 서치 레인지 값을 보다 세밀하게 추출할 수 있어 디스패리티 맵 생성시 해상도를 높여, 해상도로 인한 계단현상을 최소화할 수 있다.
또한, S2-3단계는 S2-5단계에서 설정된 감마값을 제공받아, 제2 서치 레인지 값이 추출되는 프레임의 다음 차수 프레임의 제1 서치 레인지 값을 추출하게 된다. S2-3단계에서 서치 레인지 값 추출부에 의해 추출된 제2 서치 레인지 값은 S2-4단계의 소요 시간 예측부로 제공되어, 현재 제2 서치 레인지 값이 추출된 프레임의 고해상도 디스패리티 맵 생성 시, 소요되는 시간을 측정하도록 한다.
S2-3단계에서 제2 서치 레인지 값의 추출은 프레임별 저해상도 디스패리티 맵의 분할 영역(501)의 히스토그램에 로그(Log)를 취하고, 트레숄드 값(ThreShold Value)을 상기 히스토그램으로부터 차감하여 ‘0’보다 큰 부분의 정보를 기록하여, 분할 영역(501)마다 제1과 제2 서치 레인지 값을 추출하는 것을 특징으로 한다.
상세하게 설명하자면, S2-3단계는 트레숄드 값 산출부(203A)에서 히스토그램에 로그(Log)를 취한 후 평균값을 연산한 후, 트레숄드 값 조절 계수(
Figure 112012017134519-pat00001
)을 곱하여, 트레숄드 값(
Figure 112012017134519-pat00002
)이 산출되는 S2-3-1 단계, 범위 산출부(203B)에서 트레숄드 값(
Figure 112012017134519-pat00003
)을 이용해 수학식으로 결정되는 서치 레인지 추출 범위 정보(T(K))가 산출되는 S2-3-2 단계, 범위 결정부에서 상기 T(K)가 0이 아닌 k 값 범위가 검색 범위(ESR)로 결정되는 S2-2-3 단계를 더 포함한다. 이는 수학식들을 참조하여 설명할 수 있다.
수학식 1과 같이, 히스토그램에 로그값을 취하고, 평균을 구한 후 트레숄드 값 조절 계수(
Figure 112012017134519-pat00004
)를 곱하여, 트레숄드 값(
Figure 112012017134519-pat00005
)을 구한다.
Figure 112012017134519-pat00006
여기서, H(k)는 히스토그램을 의미하고, (
Figure 112012017134519-pat00007
)는 트레숄드 값 조절기능을 갖는 계수이다.
또한, 아래 수학식 2와 같이 각 히스토그램의 값 H(K)로부터 트레숄드 값(
Figure 112012017134519-pat00008
)을 감산하고, 이진 비트 스트림 형태로 변환하여 검색 범위 정보 T(k)를 얻는다.
Figure 112012017134519-pat00009
여기서, 제1 디스패리티 맵의 크기 및 (
Figure 112012017134519-pat00010
)값은 수학식 2로 표현되는 범위에서 결정되는 것을 특징으로 한다.
(여기서, μH는 히스토그램에 대한 log 값이고, IWH는 원본 디스패리티 맵의 크기이고, fs는 원본 디스패리티 맵 대 부분 샘플링 이미지 크기의 비율이고, ▽k는 디스패리티 맵에 표현되는 객체 크기임)
Figure 112012017134519-pat00011
여기서, T(k)가 0이 아닌 k는 검색 범위(ESR)에 해당한다.
본 발명은 수학식 1과 2를 통해 고해상도 디스패리티 맵 생성을 위해 제1과 제2 서치 레인지 값을 추출한다. 아울러, S2-6단계에서는 S2-3단계에서 추출된 제1 서치 레인지 값, 감마값 및 예측된 시간을 이용해 디스패리티 맵 생성부(206)에서 고해상도 디스패리티 맵을 생성한다.
일 실시 예에 있어서, S2-4단계는 S2-3단계의 서치 레인지 값 추출부(203)에서 추출한 제1과 제2 서치 레인지 값을 이용해 디스페리티 맵 생성부(206)에서 고해상도 디스패리티 맵을 생성할 때, 소요되는 시간을 측정 및 예측한다. 또한, S2-4단계는 S2-2단계에서 히스토그램 생성부(202)가 저해상도 디스패리티 맵을 생성할 때, 각 프레임별로 소요되는 시간 차를 계산하여 저장할 수 있다. S2-4단계에서 소요 시간 예측부(204)가 저장한 시간에 따라 S2-5단계의 감마값 설정부(205)가 해당 프레임에 감마값을 설정하게 된다.
일 실시 예에 있어서, S2-5단계는 S2-4단계의 소요 시간 예측부(204)에서 예측된 해당 프레임에 감마값을 설정하고, 상기 감마값을 저장하여 다음 차수의 프레임에 상기 감마값을 적용한다. 다수의 프레임에 감마값을 재차 설정함으로써, 제1 또는 제2 서치 레인지 값을 추출할 때 소요되는 시간이 단축된다. 이는 스테레오 영상이 프레임별로 각기 다른 이미지로 이루어지지 않고, 일정 시간 또는 일정 범위까지 어느 정도 일정한 이미지가 반복되는 특징이 있음으로 감마값의 재차 설정이 가능하다.
S2-5단계에서 감마값 설정부(205)는 S2-4단계의 소요 시간 예측부(204)에서 예측된 소요 시간을 프레임마다 비교했을 때, 소요되는 시간이 상대적으로 짧은 프레임은 감마값을 크게 설정한다. 또한, S2-4단계에서 예측된 소요 시간을 프레임마다 비교했을 때, 소요 시간이 상대적으로 긴 프레임은 감마값을 작게 설정하는 것을 특징으로 한다.
본 발명의 S2-5단계는 히스토그램이 생성되는 개별 프레임에 S2-4단계에서 예측된 소요 시간을 바탕으로 감마값을 설정하고, 상기 감마값을 S2-3단계에 제공하는 과정을 반복 실시하는 것을 특징으로 한다. S2-5단계의 감마값 설정부(205)에서 설정된 감마값을 이용해 다음 차수의 프레임에서 서치 레인지 값을 추출할 때 시간을 단축한다. 또한, S2-6단계의 디스패리티 맵 생성부(206)에서 S2-4단계에서 예측된 소요 시간을 이용해 고해상도 디스패리티 맵을 생성한다.
S2-5단계에서 감마값을 제공받은 S2-3단계의 서치 레인지 값 추출부(203)의 제2 서치 레인지 값 추출은 도 6을 참조하여 설명할 수 있다. 도 6은 본 발명의 일 실시 예에 따른, S2-3단계에서 서치 레인지 값 추출 방법을 설명하는 도면이다. 도 6은 S2-2단계에서 분할 영역(501)의 히스토그램을 확대한 것이다. 도 6을 참조하여, S2-5단계에서 감마값 설정부(205)로부터 제공받은 감마값과 S2-4단계에서 예측된 소요 시간을 이용해 제2 서치 레인지 값을 추출하는 것을 설명할 수 있다. 도 6에서 A′에 해당되는 부분은 매칭되는 픽셀이 없다는 의미로 이 부분에 대한 매칭을 하지 않을 경우 약 50%에 달하는 연산이 줄어들게 된다.
따라서, 일 실시 예에 있어서, S2-3단계의 서치 레인지 값 추출부(206)가 B′구간에 대한 정보를 추출하기 위해 히스토그램을 트레숄드 값에서 빼주게 되면 ‘0’보다 큰 구간만을 구하게 됨으로써, 고해상도 디스패리티 맵 생성의 고속화가 가능하다.
아울러, S2-5단계에서 감마값을 저장하여, 해당 프레임의 다음 차순 프레임에 이용하기 때문에 다음 차순 프레임의 소요 시간을 예측하고, 감마값을 다시 셋팅하는 루프에 소비되는 시간을 줄일 수 있다.
위에서 상술한 바와 같이 본 발명은 스테레오 영상의 프레임에서 저해상도 디스패리티 맵을 생성하고, 상기 디스패리티 맵에서 분할 영역별로 히스토그램을 생성해 서치 레인지 값을 추출 후, 고해상도 디스패리티 맵 생성을 위한 소요 시간을 미리 예측하여 감마값을 설정함으로써, 최종으로 고해상도 디스패리티 맵 생성 시 서치 레인지 값의 측정 시간을 단출할 수 있다.
나아가, 본 발명은 예측된 소요 시간과 프레임별로 설정된 감마값을 바탕으로 서치 레인지 값을 추출해 고속으로 고해상도 디스패리티 맵을 생성할 수 있음으로, 스테레오 영상의 FPS를 원하는 양으로 조절할 수 있다.
이상에서 설명한 바와 같은 본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경이 가능함은 당 기술분야의 통상의 지식을 가진 자에게는 자명할 것이다.
200: 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치
201: 스테레오 촬영부 202: 히스토그램 생성부
203: 서치 레이지 값 추출부 203A: 트레숄드 값 산출부
203B: 범위 산출부 203C: 범위 결정부
204: 소요 시간 예측부 205: 감마값 설정부
206: 디스패리티 맵 생성부 401: 좌 프레임 이미지
402: 우 프레임 이미지 501: 분할 영역

Claims (15)

  1. 피사체를 촬영해 스테레오 영상을 취득하는 스테레오 촬영부;
    스테레오 촬영부로부터 취득한 스테레오 영상의 프레임을 취득하고, 상기 프레임별 저해상도 디스페리티 맵을 생성 및 분할해 분할 영역을 생성하여, 상기 각 분할 영역의 히스토그램을 생성하는 히스토그램 생성부;
    상기 분할 영역마다 생성된 히스토그램에서 깊이, 높이 및 거리 정보를 나타내는 제1 서치 레인지 값을 추출하는 서치 레인지 값 추출부;
    상기 제1 서치 레인지 값을 이용해 상기 프레임에 해당되는 고해상도 디스패리티 맵을 생성할 때, 소요되는 시간을 예측하는 소요 시간 예측부;
    상기 소요 시간 예측부에서 예측된 소요 시간에 따라 상기 프레임의 감마값을 설정 및 저장하며, 상기 감마값을 상기 서치 레인지 값 추출부에 제공하는 감마값 설정부; 및
    상기 소요 시간 예측부에서 예측된 소요 시간과 상기 서치 레인지 값 추출부에서 감마값이 적용되어 추출된 제2 서치 레인지 값을 이용해 고해상도 디스패리티 맵을 생성하는 디스패리티 맵 생성부
    를 포함하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치.
  2. 제1항에 있어서, 상기 히스토그램 생성부는,
    스테레오 영상의 프레임 별 저해상도 디스패리티 맵을 생성하고, 생성된 저해상도 디스패리티 맵을 N×N 영역으로 분할 영역을 생성하며, N은 2 이상의 양의 정수인 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치.
  3. 제1항에 있어서, 상기 소요 시간 예측부는,
    상기 프레임별 저해상도 디스패리티 맵의 생성 시간을 측정하여, 프레임별로 상기 생성 시간과 생성 시간 차를 저장하는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치.
  4. 제1항에 있어서, 상기 서치 레인지 값 추출부는,
    히스토그램에 로그를 취해 평균값을 연산한 후, 트레숄드 값 조절 계수를 곱하여, 트레숄드 값을 산출하는 트레숄드 값 산출부;
    트레숄드 값을 이용해 결정되는 서치 레인지의 추출 범위 정보를 산출하는 범위 산출부; 및
    서치 레인지의 유효 검색 범위를 결정하는 범위 결정부
    를 더 포함하는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치.
  5. 제1항에 있어서, 상기 감마값 설정부는,
    소요 시간 예측부에서 예측된 소요 시간을 상기 프레임별로 비교했을 때, 소요 시간이 이전 프레임보다 상대적으로 긴 프레임의 감마값을 작게 설정하는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치.
  6. 제1항에 있어서, 상기 감마값 설정부는,
    소요 시간 예측부에서 예측된 소요 시간을 상기 프레임마다 비교했을 때, 소요 시간이 이전 프레임보다 상대적으로 짧은 프레임의 감마값을 크게 설정하는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치.
  7. 제1항에 있어서, 상기 감마값 설정부는,
    히스토그램 생성부에서 히스토그램이 생성되는 개별 프레임에 소요 시간 예측부에서 예측된 소요 시간을 바탕으로 감마값을 설정하고, 상기 감마값을 서치 레인지 값 추출부에 제공하는 과정을 반복 실시하는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 장치.
  8. 스테레오 촬영부가 피사체를 촬영하여 스테레오 영상을 취득하는 S2-1단계;
    히스토그램 생성부에서 상기 스테레오 영상의 프레임을 취득하고, 상기 프레임에서 저해상도 디스패리티 맵을 생성 후, 상기 저해상도 디스패리티 맵이 영역으로 이루어지도록 분할 영역을 생성하고, 상기 분할 영역의 히스토그램을 생성하는 S2-2단계;
    서치 레인지 값 추출부가 상기 분할 영역마다 생성된 히스토그램에서 깊이, 높이 및 거리 정보를 나타내는 제1 서치 레인지 값을 추출하는 S2-3단계;
    소요 시간 예측부가 상기 제1 서치 레인지 값을 이용해 상기 프레임에 해당되는 고해상 디스패리티 맵을 생성할 때, 소요되는 시간을 예측하는 S2-4단계;
    감마값 설정부가 상기 소요되는 시간에 따라 상기 프레임의 감마값을 설정 및 저장하고, 상기 감마값을 상기 서치 레인지 값 추출부에 제공하는 S2-5단계; 및
    디스패리티 맵 생성부가 상기 소요 시간 예측부에서 예측된 시간과 상기 서치 레인지 값 추출부에서 감마값이 적용되어 추출된 제2 서치 레인지 값을 이용해 고해상도 디스패리티 맵을 생성하는 S2-6단계
    를 포함하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법.
  9. 제8항에 있어서, 상기 S2-2단계는,
    상기 저해상도 디스패리티 맵을 N×N 영역으로 분할 영역을 생성하며, N은 2 이상의 양의 정수인 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법.
  10. 제8항에 있어서, 상기 S2-3단계는,
    트레숄드 값 산출부에서 히스토그램에 로그(Log)를 취한 후 평균값을 연산한 후, 트레숄드 값 조절 계수(
    Figure 112012017134519-pat00012
    )을 곱하여, 트레숄드 값(
    Figure 112012017134519-pat00013
    )이 산출되는 S2-3-1 단계;
    범위 산출부에서 트레숄드 값(
    Figure 112012017134519-pat00014
    )을 이용해 아래의 수학식으로 결정되는 서치 레인지 추출 범위 정보(T(K))가 산출되는 S2-3-2 단계; 및
    Figure 112012017134519-pat00015

    (여기서 HUDSM(k)는 저해상도 디스패리티 맵에 대한 히스토그램, SR은 검색범위를 의미하고, k는 유효 검색 범위(ESR)에 해당됨)
    범위 결정부에서 상기 T(K)가 0이 아닌 k 값 범위가 유효 검색 범위(ESR)로 결정되는 S2-2-3 단계
    를 더 포함하는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법.
  11. 제10항에 있어서,
    트레숄드 값(
    Figure 112012017134519-pat00016
    )은 아래의 수학식으로 결정되는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법.
    Figure 112012017134519-pat00017

    (여기서, HUSDM(k)는 히스토그램을 의미하고,
    Figure 112012017134519-pat00018
    는 트레숄드 값 조절기능을 갖는 계수, SRL(search range length)은 시차 맵의 깊이 해상도임)
  12. 제8항에 있어서, 상기 S2-4단계는,
    상기 프레임별로 상기 저해상도 디스패리티 맵의 생성 시간과 생성 시간차를 저장하는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법.
  13. 제8항에 있어서, 상기 S2-5단계는,
    S2-4단계에서 예측된 상기 소요 시간을 상기 프레임마다 비교했을 때, 소요 시간이 상대적으로 긴 프레임은 감마값을 작게 설정하는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법.
  14. 제13항에 있어서, 상기 S2-5단계는,
    S2-4단계에서 예측된 상기 소요 시간을 상기 프레임마다 비교했을 때, 소요 시간이 상대적으로 짧은 프레임은 감마값을 크게 설정하는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법.
  15. 제8항에 있어서, 상기 S2-5단계는,
    S2-2단계에서 히스토그램이 생성되는 개별 프레임에 S2-4단계에서 예측된 소요 시간을 바탕으로 감마값을 설정하고, 상기 감마값을 S2-3단계에 제공하는 과정을 반복 실시하는 것을 특징으로 하는 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법.
KR1020120021514A 2012-02-29 2012-02-29 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치 KR101265021B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120021514A KR101265021B1 (ko) 2012-02-29 2012-02-29 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120021514A KR101265021B1 (ko) 2012-02-29 2012-02-29 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101265021B1 true KR101265021B1 (ko) 2013-05-24

Family

ID=48666341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120021514A KR101265021B1 (ko) 2012-02-29 2012-02-29 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101265021B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842400B2 (en) 2015-01-27 2017-12-12 Samsung Electronics Co., Ltd. Method and apparatus for determining disparity
WO2019009579A1 (ko) * 2017-07-07 2019-01-10 전자부품연구원 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
KR100943635B1 (ko) 2008-11-06 2010-02-24 삼성에스디에스 주식회사 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
KR100943635B1 (ko) 2008-11-06 2010-02-24 삼성에스디에스 주식회사 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842400B2 (en) 2015-01-27 2017-12-12 Samsung Electronics Co., Ltd. Method and apparatus for determining disparity
WO2019009579A1 (ko) * 2017-07-07 2019-01-10 전자부품연구원 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치

Similar Documents

Publication Publication Date Title
TWI537875B (zh) 影像合成方法與影像處理裝置
US9918065B2 (en) Depth-assisted focus in multi-camera systems
US9485495B2 (en) Autofocus for stereo images
KR101665567B1 (ko) 3차원 뎁스 영상 시간 보간 방법 및 장치
JP5138031B2 (ja) 深度関連情報を処理する方法、装置及びシステム
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
KR101690645B1 (ko) 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치
EP3095090B1 (en) System and method for processing input images before generating a high dynamic range image
KR102350232B1 (ko) 스테레오 영상 매칭 방법 및 장치
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
WO2019221013A2 (en) Video stabilization method and apparatus and non-transitory computer-readable medium
JP2015096812A (ja) 画像処理装置、撮像装置および距離補正方法
KR101642964B1 (ko) 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치
TW201541938A (zh) 優化深度資訊的方法與裝置
JP3990271B2 (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
KR101537559B1 (ko) 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
KR101265021B1 (ko) 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치
JP6221333B2 (ja) 画像処理装置、画像処理回路及び画像処理方法
CN108062765A (zh) 双目图像处理方法、成像装置及电子设备
KR101281003B1 (ko) 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법
KR101371826B1 (ko) 신축 움직임 추정장치 및 그 추정방법
KR101265020B1 (ko) 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법
KR101505360B1 (ko) 시차 탐색 범위 추정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170329

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee