KR20130094626A - 스테레오 매칭 방법 및 장치 - Google Patents

스테레오 매칭 방법 및 장치 Download PDF

Info

Publication number
KR20130094626A
KR20130094626A KR1020120016026A KR20120016026A KR20130094626A KR 20130094626 A KR20130094626 A KR 20130094626A KR 1020120016026 A KR1020120016026 A KR 1020120016026A KR 20120016026 A KR20120016026 A KR 20120016026A KR 20130094626 A KR20130094626 A KR 20130094626A
Authority
KR
South Korea
Prior art keywords
image
stereo matching
information
unit
matching
Prior art date
Application number
KR1020120016026A
Other languages
English (en)
Inventor
임을균
황대환
신호철
조재일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120016026A priority Critical patent/KR20130094626A/ko
Priority to US13/615,137 priority patent/US20130215234A1/en
Publication of KR20130094626A publication Critical patent/KR20130094626A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 양안 영상으로부터 양안시차정보(disparity)를 계산하는 스테레오 매칭 방법에 관한 것으로, 본 발명은 양안 영상을 이용하여 영상에 포함된 객체들의 거리정보를 추출하는 스테레오 매칭 방법에 있어서, 상기 양안 영상을 획득하기 위한 제1 카메라 및 제2 카메라로부터 획득된 양안 영상을 입력 받는 단계, 미리 결정된 제1 알고리즘을 이용하여 입력 받은 영상에 포함된 객체 및 배경객체간의 대비를 증가시키는 영상 가공 단계, 가공된 영상을 이용하여 스테레오 매칭을 수행하는 단계를 포함한다. 본 발명에 따르면 오브젝트와 뒷 배경이 구분된 디스패리티 맵을 출력하므로 사람이나 장애물을 강건하게 인식할 수 있다.

Description

스테레오 매칭 방법 및 장치 {Method and apparatus for stereo matching}
본 발명은 양안 카메라를 이용하여 양안시차정보(disparity)를 계산하는 스테레오 매칭 시스템의 구성에 관한 것이다.
두 개의 카메라를 이용해서 영상으로부터 거리정보를 구하는 기술을 통상 스테레오 매칭 기술이라고 한다.
스테레오 매칭에서 같은 장면의 두 영상에서 정합되는 점을 찾는 대응관계 문제는 스테레오 계산에서 가장 중요한 단계에 속하는데, 그 원리를 간략히 설명한다.
도 1은 일반적인 평행축 스테레오 카메라에서의 양안시차를 설명하기 위한 핀홀 카메라 모델 예시도이다.
도 1에 도시한 바와 같이, 예를 들어 z축상의 점은 왼쪽 카메라의 sensor plane의 정중앙에 상이 맺히지만, 오른쪽 카메라의 sensor plane에서는 정중앙에서 d*w만큼 떨어진 곳에 상이 맺히게 되고, 오른쪽 카메라 영상에서는 정중앙에서 d픽셀만큼 떨어진 곳에 나타난다. 이 d값을 양안시차라고 부르며 이 값은 두 직선 L1, L2의 교점으로 구할 수 있으므로 두 카메라의 초점거리(f), 두 카메라 사이의 거리(B), sensor의 픽셀 폭(w), 카메라 핀홀부터 피사체까지의 거리(z)의 함수이다. 이처럼, 두 개의 카메라를 이용하여 영상을 얻으면 두 카메라 간의 위치 차이 때문에 한 물체가 두 영상에서 서로 다른 위치에 존재하게 된다.
이러한 성질을 이용하여 한 영상의 각 픽셀이 다른 영상의 픽셀과 가장 유사한지를 검색하여 그 결과를 통해 영상에 있는 물체까지의 거리 정보를 획득하는 것이 가능하게 된다.
두 개의 카메라로부터 입력받은 영상을 이용하여 양안시차 정보(disparity)를 계산하는 스테레오 매칭 시스템은 크게 local approach, global approach, semi-global approach 등으로 구분할 수 있다. 이중 semi-global approach는 1차원 에너지 최적화를 수행하므로 ASIC 등의 하드웨어 구현이 가능하여 가장 널리 사용되는 방식이다.
semi-global approach 중에서 비터비 알고리즘에 기반한 스테레오 매칭 기술은 다양한 방식의 격자 구조를 이용하여 이웃 픽셀간의 양안시차값의 증감을 결정한다. 양안시차값의 증감을 결정하는 과정에서 PD(Penalty of disparity Discontinuity) 값이 사용되는데, PD 값은 하나의 노드에서 양안시차값 레벨이 다른 노드로 이어지는 경로가 최적의 경로로 선정되는 것을 방지하는 것으로 일종의 패널티(penalty) 값을 의미한다.
보통 PD값은 화면 전체에 대해서 고정된 값을 사용하는데, 이 경우 Object와 뒷 배경의 차이가 작은 경우에는 상대적으로 큰 PD값에 의해서 디스패리티의 변화가 억제되는 문제가 발생할 수 있다.
다음은 그레이 스케일 이미지의 Absolute Difference값을 raw cost로 삼고 이를 [문헌1]의 격자구조에 입력하여 얻은 디스패리티맵의 사례 2가지이다.
[문헌 1] Hong JEONG and Yuns OH, “Fast Stereo Matching Using
Constraints in Discrete Space”, IEICE TRANS. INF. & SYST. VOL.E83-D, NO.7 JULY 2000.
도 2를 참조하면 디스패리티 맵에서 사람의 다른 부분은 나타나지만 복부 일부분이 나타나지 않는 현상이 발생한 경우(a)와 사람의 입 근방이 사라진 현상이 발생한 경우(b)이다.
이와 같이 스캔 라인 단위로 다이나믹 프로그래밍 방식 스테레오 매칭을 수행하되 화면 전체에 대해 하나의 PD값을 사용하는 경우, 디스패리티맵 상에서 object가 뒷 배경에 의해 단절되는 현상이 발생하는 경우가 빈번히 발생하게 된다. 이 현상이 발생하면, 디스패리티맵을 이용하여 사람이나 기타 장애물을 분리해 내는 작업이 크게 어려워지는 문제가 있다. 서로 다른 PD값을 사용하여 얻은 디스패리티맵을 합성하는 것을 제안하였으나, 유사한 뒷배경에 의해 오브젝트의 단절이 국소적으로 일어나는 경우를 완벽히 방지하지는 못하는 문제가 여전히 존재였다.
본 발명은 상기 종래 기술의 문제를 해결하기 위하여 안출된 것으로서, 다이나믹 프로그래밍 방식 스테레오 매칭에 입력되는 영상을 전처리하여 스테레오 매칭 결과인 디스패리티맵 상에서 오브젝트의 단절을 줄이는 장치 및 방법을 제공하는 것을 목적으로 한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 스테레오 매칭 방법은 양안 영상을 이용하여 영상에 포함된 객체들의 거리정보를 추출하는 스테레오 매칭 방법에 있어서, 상기 양안 영상을 획득하기 위한 제1 카메라 및 제2 카메라로부터 획득된 양안 영상을 입력 받는 단계; 미리 결정된 제1 알고리즘을 이용하여 상기 입력 받은 영상에 포함된 객체 및 배경객체간의 대비를 증가시키는 영상 가공 단계; 및 상기 가공된 영상을 이용하여 스테레오 매칭을 수행하는 단계를 포함한다.
상기 영상 가공 단계는, 상기 입력 받은 영상에서 평균적인 정보 값을 가지는 평균영상을 추출하는 단계; 상기 추출된 평균영상을 이용하여 상기 영상에서 객체의 특징을 표현하는 반사 성분에 대한 정보를 추출하는 단계; 및 상기 추출된 반사 성분에 대한 정보를 압축하는 단계를 포함하는 것이 바람직하다.
상기 평균 영상을 추출하는 단계는, 미리 결정된 제2 알고리즘을 이용하여 상기 영상에서 명암을 표현하는 조명성분에 대한 정보를 추출하는 단계; 및 상기 추출된 조명성분에 대한 정보와 상기 입력 받은 영상의 정보를 컨벌루션(convolution)하여 상기 평균 영상을 추출하는 단계를 포함하는 것이 바람직하다.
상기 반사 성분에 대한 정보를 추출하는 단계는, 상기 입력 받은 영상의 픽셀들의 좌표에 따라 상기 영상의 픽셀 정보값에서 상기 추출된 평균영상의 픽셀 정보값을 제거하여 상기 반사 성분에 대한 정보를 추출하는 것이 바람직하다.
상기 추출된 반사 성분에 대한 정보를 압축하는 단계는 상기 반사 성분에 대한 정보를 추출하는 단계에서 추출된 반사 성분에 대한 정보를 로그(log) 스케일화하는 것이 바람직하다.
상기 스테레오 매칭을 수행하는 단계에 앞서, 상기 가공된 영상의 스테레오 매칭 수행시 기준선이 되는 스캔 라인을 정렬하는 영상 보정(rectification) 단계를 포함하고, 상기 스태레오 매칭을 수행하는 단계는 상기 가공된 영상을 상기 영상 보정 단계에서 보정한 영상을 이용하는 것이 바람직하다.
상기 영상을 가공하는 단계에 앞서, 상기 입력된 영상의 스테레오 매칭 수행시 기준선이 되는 스캔 라인을 정렬하는 영상 보정(rectification) 단계를 포함하고, 상기 가공하는 단계는 상기 보정을 수행하는 단계에서 보정된 영상을 가공하는 것이 바람직하다.
상기 스테레오 매칭을 수행하는 단계는 동적 프로그램 방식(Dynamic programming)을 이용하여 상기 영상의 스테레오 매칭을 수행하는 것이 바람직하다.
상기 스테레오 매칭을 수행하는 단계에 앞서, 상기 가공하는 단계에서 가공된 영상에 대한 정합비용을 계산하는 단계를 더 포함하고, 상기 스테레오 매칭을 수행하는 단계는 상기 계산된 정합비용을 이용하여 스테레오 매칭을 수행하는 것이 바람직하다.
상기 정합비용을 계산하는 단계는 상기 계산된 정합비용을 상기 입력 받은 양안 영상을 이용하여 보정된 정합비용(aggregation cost)을 계산하는 단계를 더 포함하고, 상기 스테레오 매칭을 수행하는 단계는 상기 합산된 정합비용을 이용하여 스테레오 매칭을 수행하는 것이 바람직하다.
상기 스테레오 매칭을 수행하는 단계는 스테레오 매칭을 수행함으로써 시차맵(disparity map)을 생성하는 것이 바람직하다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 스테레오 매칭 장치는 양안 영상을 이용하여 영상에 포함된 객체들의 거리정보를 추출하는 스테레오 매칭 장치에 있어서, 상기 양안 영상을 획득하기 위한 제1 카메라 및 제2 카메라로부터 획득된 양안 영상을 입력 받는 영상 입력부; 미리 결정된 제1 알고리즘을 이용하여 상기 입력 받은 영상에 포함된 객체 및 배경객체간의 대비를 증가시키는 영상 가공부; 및 상기 가공된 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 매칭부를 포함한다.
상기 영상 가공부는, 상기 입력 받은 영상에서 평균적인 정보 값을 가지는 평균영상을 추출하는 평균 영상 추출부; 상기 추출된 평균영상을 이용하여 상기 영상에서 객체의 특징을 표현하는 반사 성분에 대한 정보를 추출하는 반사 성분 추출부; 및 상기 추출된 반사 성분에 대한 정보를 압축하는 반사 성분 압축부를 포함하는 것이 바람직하다.
상기 평균 영상 추출부는, 미리 결정된 제2 알고리즘을 이용하여 상기 영상에서 명암을 표현하는 조명성분에 대한 정보를 추출하는 조명 성분 추출부; 및 상기 추출된 조명성분에 대한 정보와 상기 입력 받은 영상의 정보를 컨벌루션(convolution)하여 상기 평균 영상을 추출하는 컨벌루션부를 포함하는 것이 바람직하다.
상기 반사 성분 추출부는, 상기 입력 받은 영상의 픽셀들의 좌표에 따라 상기 영상의 픽셀 정보값에서 상기 추출된 평균영상의 픽셀 정보값을 제거하여 상기 반사 성분에 대한 정보를 추출하는 것이 바람직하다.
상기 반사 성분 압축부는 상기 반사 성분에 대한 정보를 추출하는 부에서 추출된 반사 성분에 대한 정보를 로그(log) 스케일화하는 것이 바람직하다.
상기 스테레오 매칭 장치는, 상기 가공된 영상의 스테레오 매칭 수행시 기준선이 되는 스캔 라인을 정렬하는 영상 보정(rectification)부를 포함하고, 상기 스태레오 매칭부는 상기 가공된 영상을 상기 영상 보정부에서 보정한 영상을 이용하거나 또는 상기 영상 가공부는 상기 영상 보정부에서 보정된 영상을 가공하는 것이 바람직하다.
상기 스테레오 매칭부는 동적 프로그램 방식(Dynamic programming)을 이용하여 상기 영상의 스테레오 매칭을 수행하는 것이 바람직하다.
상기 스테레오 매칭 장치는, 상기 가공하는 부에서 가공된 영상에 대한 정합비용을 계산하는 부를 더 포함하고, 상기 스테레오 매칭을 수행부는 상기 계산된 정합비용을 이용하여 스테레오 매칭을 수행하는 것이 바람직하다.
상기 정합비용을 계산하는 부는 상기 계산된 정합비용을 상기 입력 받은 양안 영상을 이용하여 보정된 정합비용(aggregation cost)을 계산하는 부를 더 포함하고, 상기 스테레오 매칭 수행부는 상기 보정된 정합비용을 이용하여 스테레오 매칭을 수행하는 것이 바람직하다
상기 스테레오 매칭 수행부는 스테레오 매칭을 수행함으로써 시차맵(disparity map)을 생성하는 것이 바람직하다.
본 발명에 따르면 다이나믹 프로그래밍 방식 스테레오 매칭에 입력되는 영상을 전처리하여 스테레오 매칭을 수행함으로써, 기존의 스테레오 매칭 시스템이 오브젝트가 끊어지는 디스패리티 맵을 출력하는 상황(오브젝트와 뒷 배경이 유사한 상황)에서도 본 스테레오 매칭 시스템은 오브젝트와 뒷 배경이 구분된 디스패리티 맵을 출력하므로, 본 스테레오 매칭 시스템이 사용된 시스템(지능형 이동 로봇 등)이 사람이나 장애물을 강건하게 인식할 수 있다.
도 1은 일반적인 평행축 스테레오 카메라에서의 양안시차를 설명하기 위한 핀홀 카메라 모델 예시도이다.
도 2는 디스패리티 맵에서 객체의 일부가 사라진 현상을 나타내는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 매칭 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 스테레오 매칭 방법에서 세부적인 영상 가공 단계를 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 스테레오 매칭 방법에서 세부적인 평균 영상을 추출하는 단계를 나타내는 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 입력된 원 영상을 제1 알고리즘을 통하여 가공한 영상 및 그 프로파일을 나타내는 예시도이다.
도 7a, 7b는 본 발명의 일 실시예에 따른 스테레오 매칭 방법에서 영상 보정 단계를 포함하는 예를 나타내는 흐름도이다.
도 8는 본 발명의 일 실시예에 따른 스테레오 매칭 방법에서 세부적인 정합 비용을 계산하는 단계를 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 스테레오 매칭 방법에 의해 생성된 시차맵을 나타내는 예시도이다.
도 10은 본 발명의 일실시예에 따른 스테레오 매칭 장치를 나타내는 블록도이다.
도 11은 본 발명의 일실시예에 따른 스테레오 매칭 장치의 영상 가공부의 세부 구성을 나타내는 블록도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 3은 본 발명의 일 실시예에 따른 스테레오 매칭 방법을 나타내는 흐름도이다.
도 3에 따르면, 본 실시예에 따른 스테레오 매칭 방법은 양안 영상을 입력 받는 단계(S100), 제1 알고리즘을 통한 영상 가공 단계(S200), 스테레오 매칭을 수행 하는 단계(S300)를 포함한다.
양안 영상이란 상대적인 위치에 따라 좌측에서 객체를 촬영하는 좌측 카메라와 우측에서 객체를 촬영하는 우측카메라에서 촬영한 좌측 및 우측 영상을 의미한다. 객체란 스테레오 매칭을 수행하여 얻은 시차(disparity)맵을 통하여 상대적인 거리정보를 추출하는 대상인 것이 바람직하다.
양안 영상을 입력 받는 단계(S100)는 양안 영상을 획득하기 위한 제1 카메라 및 제2 카메라로부터 획득된 양안 영상을 입력 받는다. 제1 카메라 및 제2 카메라는 상술한 좌측 또는 우측 카메라를 지칭하며 그 순서는 좌측 우측위치와 무관하다.
제1 알고리즘을 통한 영상 가공 단계(S200)는 미리 결정된 제1 알고리즘을 이용하여 상기 입력 받은 영상에 포함된 객체 및 배경객체간의 대비를 증가시킨다.
제1 알고리즘은 사람의 눈은 시간이 지남에 따라 환경에 적응해서 각 물체의 컬러 정보를 구별해 낼 수 있는데, 이러한 사람의 눈에 대한 성능을 영상에서도 표현할 수 있도록 환경에 적응하여 대비를 향상시키는 알고리즘인 것이 바람직하다. 제1 알고리즘은 영상의 밝기와 인지된 감각 사이에는 로그 관계를 가진다는 Weber-Fechner's Law와 영상의 밝기는 조명 성분과 반사 성분의 곱으로 이루어진다는 Land의 시각적 모델을 가정하여 조명 성분의 영향을 줄이고 사물의 특징을 표현하는 반사 성분을 나타냄으로써 대비도를 향상시키는 방법이다.
제1 알고리즘의 기본 원리는 입력영상에서 배경성분을 제거하는 것일 수 있다. 배경 영상은 입력 영상의 평균적인 영상으로 생각할 수 있고 이는 가우시안(Gaussian)필터를 적용하여 얻는 것이 바람직하다. 이 필터를 적용하면 입력 영상에서 필터 사이즈 보다 작은 스케일은 무시하게 된다. 입력 영상에서의 반사성분은 입력 영상을 앞서 구한 배경영상으로 나누는 것을 통해 추출될 수 있다.
영상 가공 단계(S200)는 도 4 및 도 5를 통하여 보다 상세하게 설명한다.
도 4는 본 발명의 일 실시예에 따른 스테레오 매칭 방법에서 세부적인 영상 가공 단계를 나타내는 흐름도이다.
도 4에 따르면 영상 가공 단계(S200)는 평균 영상을 추출하는 단계(S210), 반사 성분을 추출하는 단계(S220), 추출된 반사 성분의 정보를 압축하는 단계(S230)를 포함한다.
평균 영상을 추출하는 단계(S210)는 양안 영상을 입력 받는 단계(S100)에서 입력 받은 영상에서 평균적인 정보 값을 가지는 평균영상을 추출한다. 평균 영상은 상술한 바와 같이 입력 받은 영상의 배경객체 일 수 있으며, 배경 정보는 입력 받은 영상에서 색상, 또는 명도 등에 대하여 평균적인 값을 가지는 정보인 것이 바람직하다.
도 5에 따르면 평균 영상을 추출하는 단계(S210)는 제2 알고리즘을 통하여 조명 성분을 추출하는 단계(S212), 입력 받은 영상과 컨벌루션(Convolution)하는 단계(S214)를 포함한다.
제2 알고리즘을 통하여 조명 성분을 추출하는 단계(S212)는 미리 결정된 제2 알고리즘을 이용하여 상기 영상에서 명암을 표현하는 조명성분에 대한 정보를 추출한다. 미리 결정된 제2 알고리즘은 입력 받은 영상에서 조명 성분을 추정하기 위한 함수인 것이 바람직하다. 본 실시예에서 제2 알고리즘은 가우시안 함수(Gaussian Center/Surround)함수 인 것이 바람직하다. 가우시안 함수는 수학식 1을 통해 표현된다. x 와 y는 입력 받은 영상에서의 픽셀의 좌표 (x,y)를 의미하며 c는 가우시안 함수 상수를 나타낸다. c는 가우시안 함수의 센터값과 주변값의 반영 정도를 결정하는 것으로, c 가 너무 작은 경우 영상의 경계를 보존하면서 어두운 영역의 정보가 복원된다. 하지만 원 영상에서의 어두운 영역과 밝은 영역 사이의 차이가 너무 줄어들어 회색조로 보이는 영상을 얻게 된다. 반면 c 가 큰 경우 어두운 영역과 밝은 영역의 차이가 적절하지만 영상의 경계 정보와 밝은 영역의 정보가 손실되게 된다.
Figure pat00001
상기 수학식 1에서 K는 수학식 2를 통해 구해진다.
Figure pat00002
입력 받은 영상과 컨벌루션(Convolution)하는 단계(S214)는 조명 성분을 추출하는 단계(S212)에서 추출된 조명성분에 대한 정보와 상기 입력 받은 영상의 정보를 컨벌루션(convolution)하여 평균 영상을 추출한다.
본 실시예에서 컨벌루션은 수학식 3으로 표현된다. (x,y)는 해당 화소의 좌표를 의미하며, Ii(x, y)는 i 번째 색상 성분을 나타낸다, 즉 RGB 영상의 경우 i = 1, 2, 3 이다. * 연산은 컨벌루션 연산을 나타낸다.
Figure pat00003
반사 성분을 추출하는 단계(S220)는 추출된 평균영상을 이용하여 상기 영상에서 객체의 특징을 표현하는 반사 성분에 대한 정보를 추출한다. 반사 성분은 상술한 바와 같이 영상의 밝기와 인지된 감각 사이에는 로그 관계를 가진다는 Weber-Fechner's Law와 영상의 밝기는 조명 성분과 반사 성분의 곱으로 이루어진다는 Land의 시각적 모델을 가정하여 입력 받은 영상에서 조명 성분의 영향을 줄이고 사물의 특징을 나타내는 성분을 추출한 것일 수 있다.
본 실시예에서 반사 성분을 추출하는 단계(S220)는 입력 받은 영상의 픽셀들의 좌표에 따라 상기 영상의 픽셀 정보값에서 상기 추출된 평균영상의 픽셀 정보값을 제거하여 반사 성분에 대한 정보를 추출하는 것이 바람직하다.
반사 성분의 추출은 입력 영상에서의 반사성분은 입력 영상을 평균 영상을 추출하는 단계(S210)에서 추출된 평균영상(배경영상)으로 나누는 것을 통해 추출될 수 있다. 이는 수학식 4로 나타낼 수 있다.
Figure pat00004
반사 성분의 정보를 압축하는 단계(S230)는 반사 성분을 추출하는 단계(S220)에서 추출된 반사 성분에 대한 정보를 압축한다. 반사 성분의 정보를 압축하는 것은 반사 성분이 분포하는 범위를 압축하는 것일 수 있다.
본 실시예에서 반사 성분의 정보를 압축하는 단계(S230)는 반사 성분에 대한 정보를 추출하는 단계(S220)에서 추출된 반사 성분에 대한 정보를 로그(log) 스케일화하는 것이 바람직하다. 본 실시예에 따른 반사 성분의 정보를 압축하는 단계(S230)를 거쳐서 가공된(S300) 영상 정보는 수학식 5로 표현된다. Ri(x, y)는 입력된 영상의 (x, y) 픽셀을 i 번째 색상에 대하여 압축하여 가공한 결과를 나타낸다.
Figure pat00005
픽셀값이 로그 스케일로 변환되었기 때문에 이를 이용하여 정합비용(cost)를 계산하면 두 픽셀간의 과도한 차이가 정합비용에 반영되는 것을 억제하는 효과가 있다. 본 실시예에 따른 영상 가공 단계(S200)를 수행한 영상에 대하여 스테레오 매칭을 수행하면 객체와 뒷 배경간의 차이가 강조되어 객체의 단절이 개선될 수 있다.
도 6은 본 발명의 일 실시예에 따라 입력된 원 영상을 제1 알고리즘을 통하여 가공한 영상 및 그 프로파일을 나타내는 예시도이다.
도 6에 따르면 객체의 우측 경계가 비슷한 색의 뒷배경에 놓여 있어 디스패리티 맵 상에 단절이 발생한 경우(60)에, 본 발명을 적용하여 원 영상에서 경계가 효과적으로 강조되고 결과적으로 디스패리티 맵 상에서 객체의 단절 문제가 개선된 결과(65)를 알 수 있다.
도 7a에 따르면 본 실시예에 따른 스테레오 매칭 방법은 스테레오 매칭을 수행하는 단계(S300)에 앞서 스캔 라인을 정렬하는 영상 보정(rectification) 단계(S250)를 포함할 수 있다.
영상 보정(rectification) 단계(S250)는 스테레오 매칭 수행시 기준선이 되는 스캔 라인을 정렬한다. 본 실시예에서 영상 보정 단계(S250)는 양안 영상 즉, 좌측 영상과 우측 영상을 정렬하는데, 좌측 영상과 우측 영상의 스캔 라인을 정렬하기 위하여 영상 보정을 수행하게 된다. 이때, 정렬이 맞지 않는 정도에 따라 기 설정한 파라미터를 이용하여 영상 보정을 수행하는 것이 바람직하다.
또한 영상 보정(rectification) 단계(S150)는 도 7b에 따라 영상을 가공하는 단계(S200)에 앞서 입력된 영상의 스캔라인을 보정하고 영상 가공 단계(S200)는 보정된 영상을 가공하는 것일 수 있다.
도 7b 및 도 8에 따르면 본 실시예에 따른 스테레오 매칭 방법은 스테레오 매칭을 수행하는 단계(S300)에 앞서 정합 비용을 계산하는 단계(S260)를 포함할 수 있다.
정합 비용을 계산하는 단계(S260)는 가공하는 단계에서 가공된 영상에 대한 정합비용을 계산하고, 스테레오 매칭을 수행하는 단계(S300)는 상기 계산된 정합비용을 이용하여 스테레오 매칭을 수행하는 것이 바람직하다.
정합비용의 계산은 좌측 영상과 우측 영상에서 대응되는 부분을 찾기 위하여 화소 간의 유사도를 계산하는 것으로 여러 가지 방법이 있다. 정합비용을 계산하는 단계(S260)는 이러한 방식 중 어느 하나의 방식으로 계산된 정합비용을 소정 크기 윈도우의 가중치(support weight)를 이용하여 집성(aggregation)할 수 있다.
또한 사람 눈에 보이는 미묘한 차이는 값으로 반영되고, 과도한 차이는 값에 제한을 두는 것이 바람직한 정합 비용 계산 방식일 수 있다. 본 실시예에서는 Absolute Difference(AD)를 개선한 방법으로 으로 정합비용을 계산할 수 있다. Truncated AD방식은 두 픽셀값 차이가 어느 정도 임계값을 넘으면 정상적인 스테레오 매칭에 방해가 되므로 정합 비용에 그 차이를 모두 반영하지 않는 방식이다.
또한 본 실시예에 따른 스테레오 매칭 방법은 스테레오 매칭을 수행하는 단계(S300)에 앞서 보정된 정합 비용을 계산하는 단계(S280)를 더 포함할 수 있다.
보정된 정합 비용을 계산하는 단계(S280)는 정합 비용을 계산하는 단계(S260)에서 계산된 정합비용을 입력 받은 양안 영상을 이용하여 보정된 정합비용(aggregation cost)을 계산하는 것일 수 있다.
본 실시예에서 보정된 정합 비용을 계산하는 단계(S280)는 정합 비용을 계산하는 단계(S260)에서 계산된 비용에 따라 스테레오 매칭을 수행하는 경우 발생하는 영상 왜곡 현상을 줄이기 위하여 계산된 정합 비용을 다시 원 영상에서 주변 화소들의 비용을 이용하여 다듬는 단계일 수 있다.
스테레오 매칭을 수행 하는 단계(S300)는 가공된 영상을 이용하여 스테레오 매칭을 수행한다. 본 실시예에서 스테레오 매칭을 수행하는 단계(S300)에서 이용되는 가공된 영상은 가공하는 단계(S200)에서 가공된 영상을 보정한(S250)영상 또는 입력 받은 영상을 영상 보정 단계(S150)에서 보정하여 가공한 영상(S200)인 것이 바람직하다.
또는 가공된 영상에 대한 정합비용을 계산하고 계산된 정합비용 또는 계산된 정합비용을 입력 받은 양안 영상을 이용하여 보정한 정합비용(aggregation cost)을 이용하여 스테레오 매칭을 수행하는 것이 바람직하다
스테레오 매칭을 수행하는 단계(S300)는 동적 프로그램 방식(Dynamic programming)을 이용하여 상기 영상의 스테레오 매칭을 수행하는 것이 바람직하다. 동적 프로그램 방식은 전체 결과를 분할하여 최적의 결과를 도출하고 이를 결합하여 최종 결과를 생성하는 것으로 본 실시예에서는 영상 가공 단계(S200)를 통해 가공된 영상에 대하여 스테레오 매칭을 수행함으로써 동적으로 감도를 조절하여 스테레오 매칭을 수행하는 것과 동일한 효과가 있다.
스테레오 매칭을 수행하는 단계(S300)는 스테레오 매칭을 수행함으로써 시차맵(disparity map)을 생성하는 것이 바람직하다. 본 실시예에서 생성된 시차맵은 도 9를 통해 설명한다.
도 9는 본 발명의 일 실시예에 따른 스테레오 매칭 방법에 의해 생성된 시차맵을 나타내는 예시도이다.
도 9에 따르면 영상 가공 단계(S200)를 수행하지 않고 스테레오 매칭을 수행하여 생성된 시차맵(90)에서는 객체의 복부부분에서 단절(91)이 발생하였으나, 본 실시예에 따라 생성된 시차맵(95)에서는 단절이 발생되지 않음을 알 수 있다.
도 10은 본 발명의 일실시예에 따른 스테레오 매칭 장치를 나타내는 블록도이다.
도 10에 따르면 본 실시예에 따른 스테레오 매칭 장치는 제1 카메라(10a), 제2 카메라(10b), 영상 입력부(100), 영상 가공부(200), 스테레오 매칭부(300), 영상 보정부(400), 정합 비용 계산부(500)을 포함한다. 스테레오 매칭 장치(1)는 상술한 스테레오 매칭 방법을 수행하는 장치인 것이 바람직하다.
제1 및 제2 카메라(10a, 10b)는 양안 영상을 획득하기 위한 영상 장치로서, 제1 카메라 및 제2 카메라는 상술한 좌측 또는 우측 카메라를 지칭하며 그 순서는 좌측 우측위치와 무관하다.
영상 입력부(100)는 양안 영상을 획득하기 위한 제1 카메라(10a) 및 제2 카메라(10b)로부터 획득된 양안 영상을 입력 받는다(S100).
영상 가공부(200)는 미리 결정된 제1 알고리즘을 이용하여 상기 입력 받은 영상에 포함된 객체 및 배경객체간의 대비를 증가시킨다(S200). 영상 가공부(200)는 영상 입력부(100)에서 입력된 영상을 가공하거나, 영상 보정부(400)에서 보정된 영상을 가공하는 것일 수 있다. 영상 가공부(200)는 도 11을 통해 상세히 설명한다.
도 11에 따르면 영상 가공부(200)는 평균 영상 추출부(210), 반사 성분 추출부(220), 반사 성분 압축부(230)을 포함하며, 평균 영상 추출부(210)는 조명 성분 추출부(212) 및 컨벌루선부(214)를 포함한다.
평균 영상 추출부(210)는 양안 영상 입력부(100)에서 입력 받은 영상 또는 영상 보정부(400)에서 보정된 영상에서 평균적인 정보 값을 가지는 평균영상을 추출한다(S210). 평균 영상 추출부(210)는 조명 성분 추출부(212) 및 컨벌루선부(214)를 포함한다. 조명 성분 추출부(212)는 미리 결정된 제2 알고리즘을 이용하여 상기 영상에서 명암을 표현하는 조명성분에 대한 정보를 추출한다(S212). 미리 결정된 제2 알고리즘은 입력 받은 영상에서 조명 성분을 추정하기 위한 함수인 것이 바람직하다.
컨벌루선부(214)는 조명 성분 추출부(212)에서 추출된 조명성분에 대한 정보와 상기 입력 받은 영상의 정보를 컨벌루션(convolution)하여 평균 영상을 추출한다(S214).
반사 성분 추출부(220)는 추출된 평균영상을 이용하여 상기 영상에서 객체의 특징을 표현하는 반사 성분에 대한 정보를 추출한다(S220).
반사 성분 압축부(230)는 반사 성분 추출부(220)에서 추출된 반사 성분에 대한 정보를 압축한다(S230). 반사 성분의 정보를 압축하는 것은 반사 성분이 분포하는 범위를 압축하는 것일 수 있다.
본 실시예에서 반사 성분 압축부(230)는 반사 성분 추출부(220)에서 추출된 반사 성분에 대한 정보를 로그(log) 스케일화하는 것이 바람직하다.
영상 보정부(400)는 스테레오 매칭 수행시 기준선이 되는 스캔 라인을 정렬한다(S250). 본 실시예에 따른 영상의 보정은 영상 입력부(100)에서 입력 받은 영상을 보정하거나 영상 가공부에서 입력된 영상을 가공한 가공된 영상을 보정하는 것일 수 있다.
정합 비용 계산부(500)는 영상 가공부(200)에서 가공된 영상에 대한 정합비용을 계산하고(S220), 스테레오 매칭 수행부(300)는 상기 계산된 정합비용을 이용하여 스테레오 매칭을 수행하는 것(S300)이 바람직하다.
또한 본 실시예에 따른 정합 비용 계산부(500) 보정된 정합 비용(Aggregated cost)을 계산(S240) 할 수 있다. 보정된 정합 비용은 정합 비용을 계산하는 단계(S220)에서 계산된 정합비용을 입력 받은 양안 영상을 이용하여 보정된 정합비용(aggregation cost)을 계산하는 것일 수 있다.
스테레오 매칭 부(300)는 가공된 영상을 이용하여 스테레오 매칭을 수행한다(S300). 본 실시예에서 스테레오 매칭 부(300)에서 이용되는 가공된 영상은 영상 가공 부(200)에서 가공된 영상을 영상 보정부(400)보정한(S250)영상 또는 입력 받은 영상을 영상 보정부(400)에서 보정하여(S150) 가공한 영상(S200)인 것이 바람직하다.
또는 정합 비용 계산부(500) 가공된 영상에 대한 정합비용을 계산하고 계산된 정합비용(S260) 또는 계산된 정합비용을 입력 받은 양안 영상을 이용하여 보정한 정합비용(aggregation cost)(S280)을 이용하여 스테레오 매칭을 수행하는 것이 바람직하다.
스테레오 매칭을 수행하는 단계(S300)는 스테레오 매칭을 수행함으로써 시차맵(disparity map)을 생성하는 것이 바람직하다.
한편 본 발명의 스테레오 매칭 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 양안 영상을 이용하여 영상에 포함된 객체들의 거리정보를 추출하는 스테레오 매칭 방법에 있어서,
    상기 양안 영상을 획득하기 위한 제1 카메라 및 제2 카메라로부터 획득된 양안 영상을 입력 받는 단계;
    미리 결정된 제1 알고리즘을 이용하여 상기 입력 받은 영상에 포함된 객체 및 배경객체간의 대비를 증가시키는 영상 가공 단계; 및
    상기 가공된 영상을 이용하여 스테레오 매칭을 수행하는 단계를 포함하는 스테레오 매칭 방법
  2. 제 1 항에 있어서 상기 영상 가공 단계는,
    상기 입력 받은 영상에서 평균적인 정보 값을 가지는 평균영상을 추출하는 단계;
    상기 추출된 평균영상을 이용하여 상기 영상에서 객체의 특징을 표현하는 반사 성분에 대한 정보를 추출하는 단계; 및
    상기 추출된 반사 성분에 대한 정보를 압축하는 단계를 포함하는 것을 특징으로 하는 스테레오 매칭 방법.
  3. 제 2 항에 있어서 상기 평균 영상을 추출하는 단계는,
    미리 결정된 제2 알고리즘을 이용하여 상기 영상에서 명암을 표현하는 조명성분에 대한 정보를 추출하는 단계; 및
    상기 추출된 조명성분에 대한 정보와 상기 입력 받은 영상의 정보를 컨벌루션(convolution)하여 상기 평균 영상을 추출하는 단계를 포함하는 것을 특징으로 하는 스테레오 매칭 방법.
  4. 제 2 항에 있어서 상기 반사 성분에 대한 정보를 추출하는 단계는,
    상기 입력 받은 영상의 픽셀들의 좌표에 따라 상기 영상의 픽셀 정보값에서 상기 추출된 평균영상의 픽셀 정보값을 제거하여 상기 반사 성분에 대한 정보를 추출하는 것을 특징으로 하는 스테레오 매칭 방법.
  5. 제 2 항에 있어서,
    상기 추출된 반사 성분에 대한 정보를 압축하는 단계는 상기 반사 성분에 대한 정보를 추출하는 단계에서 추출된 반사 성분에 대한 정보를 로그(log) 스케일화하는 것을 특징으로 하는 스테레오 매칭 방법.
  6. 제 1 항에 있어서 상기 스테레오 매칭을 수행하는 단계에 앞서,
    상기 가공된 영상의 스테레오 매칭 수행시 기준선이 되는 스캔 라인을 정렬하는 영상 보정(rectification) 단계를 포함하고,
    상기 스태레오 매칭을 수행하는 단계는 상기 가공된 영상을 상기 영상 보정 단계에서 보정한 영상을 이용하는 것을 특징으로 하는 스테레오 매칭 방법.
  7. 제 1 항에 있어서 상기 영상을 가공하는 단계에 앞서,
    상기 입력된 영상의 스테레오 매칭 수행시 기준선이 되는 스캔 라인을 정렬하는 영상 보정(rectification) 단계를 포함하고,
    상기 가공하는 단계는 상기 보정을 수행하는 단계에서 보정된 영상을 가공하는 것을 특징으로 하는 스테레오 매칭 시스탬.
  8. 제 1 항에 있어서,
    상기 스테레오 매칭을 수행하는 단계는 동적 프로그램 방식(Dynamic programming)을 이용하여 상기 영상의 스테레오 매칭을 수행하는 것을 특징으로 하는 스테레오 매칭 방법.
  9. 제 7 항에 있어서 상기 스테레오 매칭을 수행하는 단계에 앞서,
    상기 가공하는 단계에서 가공된 영상에 대한 정합비용을 계산하는 단계를 더 포함하고,
    상기 스테레오 매칭을 수행하는 단계는 상기 계산된 정합비용을 이용하여 스테레오 매칭을 수행하는 것을 특징으로 하는 스테레오 매칭 방법.
  10. 제 9 항에 있어서,
    상기 정합비용을 계산하는 단계는 상기 계산된 정합비용을 상기 입력 받은 양안 영상을 이용하여 보정된 정합비용(aggregation cost)을 계산하는 단계를 더 포함하고,
    상기 스테레오 매칭을 수행하는 단계는 상기 합산된 정합비용을 이용하여 스테레오 매칭을 수행하는 것을 특징으로 하는 스테레오 매칭 방법.
  11. 제 1 항에 있어서,
    상기 스테레오 매칭을 수행하는 단계는 스테레오 매칭을 수행함으로써 시차맵(disparity map)을 생성하는 것을 특징으로 하는 스테레오 매칭 방법.
  12. 양안 영상을 이용하여 영상에 포함된 객체들의 거리정보를 추출하는 스테레오 매칭 장치에 있어서,
    상기 양안 영상을 획득하기 위한 제1 카메라 및 제2 카메라로부터 획득된 양안 영상을 입력 받는 영상 입력부;
    미리 결정된 제1 알고리즘을 이용하여 상기 입력 받은 영상에 포함된 객체 및 배경객체간의 대비를 증가시키는 영상 가공부; 및
    상기 가공된 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 매칭부를 포함하는 스테레오 매칭 장치
  13. 제 12 항에 있어서 상기 영상 가공부는,
    상기 입력 받은 영상에서 평균적인 정보 값을 가지는 평균영상을 추출하는 평균 영상 추출부;
    상기 추출된 평균영상을 이용하여 상기 영상에서 객체의 특징을 표현하는 반사 성분에 대한 정보를 추출하는 반사 성분 추출부; 및
    상기 추출된 반사 성분에 대한 정보를 압축하는 반사 성분 압축부를 포함하는 것을 특징으로 하는 스테레오 매칭 장치.
  14. 제 13 항에 있어서 상기 평균 영상 추출부는,
    미리 결정된 제2 알고리즘을 이용하여 상기 영상에서 명암을 표현하는 조명성분에 대한 정보를 추출하는 조명 성분 추출부; 및
    상기 추출된 조명성분에 대한 정보와 상기 입력 받은 영상의 정보를 컨벌루션(convolution)하여 상기 평균 영상을 추출하는 컨벌루션부를 포함하는 것을 특징으로 하는 스테레오 매칭 장치.
  15. 제 13 항에 있어서 상기 반사 성분 추출부는,
    상기 입력 받은 영상의 픽셀들의 좌표에 따라 상기 영상의 픽셀 정보값에서 상기 추출된 평균영상의 픽셀 정보값을 제거하여 상기 반사 성분에 대한 정보를 추출하는 것을 특징으로 하는 스테레오 매칭 장치.
  16. 제 13 항에 있어서,
    상기 반사 성분 압축부는 상기 반사 성분에 대한 정보를 추출하는 부에서 추출된 반사 성분에 대한 정보를 로그(log) 스케일화하는 것을 특징으로 하는 스테레오 매칭 장치.
  17. 제 16 항에 있어서 상기 스테레오 매칭 장치는,
    상기 가공된 영상의 스테레오 매칭 수행시 기준선이 되는 스캔 라인을 정렬하는 영상 보정(rectification)부를 포함하고,
    상기 스태레오 매칭부는 상기 가공된 영상을 상기 영상 보정부에서 보정한 영상을 이용하거나 또는 상기 영상 가공부는 상기 영상 보정부에서 보정된 영상을 가공하는 것을 특징으로 하는 스테레오 매칭 시스탬.
  18. 제 12 항에 있어서,
    상기 스테레오 매칭부는 동적 프로그램 방식(Dynamic programming)을 이용하여 상기 영상의 스테레오 매칭을 수행하는 것을 특징으로 하는 스테레오 매칭 장치.
  19. 제 17 항에 있어서 상기 스테레오 매칭 장치는,
    상기 영상 가공 부에서 가공된 영상에 대한 정합비용을 계산하는 부를 더 포함하고,
    상기 스테레오 매칭을 수행부는 상기 계산된 정합비용을 이용하여 스테레오 매칭을 수행하는 것을 특징으로 하는 스테레오 매칭 장치.
  20. 제 19 항에 있어서,
    상기 정합비용을 계산하는 부는 상기 계산된 정합비용을 상기 입력 받은 양안 영상을 이용하여 보정된 정합비용(aggregation cost)을 계산하는 부를 더 포함하고,
    상기 스테레오 매칭 수행부는 상기 보정된 정합비용을 이용하여 스테레오 매칭을 수행하는 것을 특징으로 하는 스테레오 매칭 장치.
KR1020120016026A 2012-02-16 2012-02-16 스테레오 매칭 방법 및 장치 KR20130094626A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120016026A KR20130094626A (ko) 2012-02-16 2012-02-16 스테레오 매칭 방법 및 장치
US13/615,137 US20130215234A1 (en) 2012-02-16 2012-09-13 Method and apparatus for stereo matching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120016026A KR20130094626A (ko) 2012-02-16 2012-02-16 스테레오 매칭 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20130094626A true KR20130094626A (ko) 2013-08-26

Family

ID=48981970

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120016026A KR20130094626A (ko) 2012-02-16 2012-02-16 스테레오 매칭 방법 및 장치

Country Status (2)

Country Link
US (1) US20130215234A1 (ko)
KR (1) KR20130094626A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9401022B2 (en) 2014-05-13 2016-07-26 Samsung Electronics Co., Ltd. Method and apparatus for generating spanning tree, method and apparatus for stereo matching, method and apparatus for up-sampling, and method and apparatus for generating reference pixel
US9998725B2 (en) 2015-10-05 2018-06-12 Electronics And Telecommunications Research Institute Apparatus and method for generating depth information

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
DE102013100344A1 (de) 2013-01-14 2014-07-17 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung von Tiefenkarten aus Stereobildern mit verbesserter Tiefenauflösung im Fernbereich
US10171792B2 (en) * 2014-08-15 2019-01-01 The University Of Akron Device and method for three-dimensional video communication
CN105100772B (zh) * 2015-07-16 2017-03-15 深圳市华星光电技术有限公司 一种三维图像处理方法及装置
US9626590B2 (en) 2015-09-18 2017-04-18 Qualcomm Incorporated Fast cost aggregation for dense stereo matching
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
US10839535B2 (en) 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
KR20180087994A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 영상 처리 장치
JP7115832B2 (ja) * 2017-10-04 2022-08-09 株式会社Soken 測距装置
CN108171736B (zh) * 2018-01-04 2021-11-23 北京大学深圳研究生院 一种双目图像的自适应权重立体匹配方法及系统
CN111489385B (zh) * 2020-04-08 2021-12-07 北京市商汤科技开发有限公司 双目立体匹配网络训练方法及装置
CN113808073A (zh) * 2021-08-03 2021-12-17 北京中科慧眼科技有限公司 基于双目立体匹配算法的去天空方法、系统和智能终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3850541B2 (ja) * 1998-02-18 2006-11-29 富士重工業株式会社 高度計測装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9401022B2 (en) 2014-05-13 2016-07-26 Samsung Electronics Co., Ltd. Method and apparatus for generating spanning tree, method and apparatus for stereo matching, method and apparatus for up-sampling, and method and apparatus for generating reference pixel
US9998725B2 (en) 2015-10-05 2018-06-12 Electronics And Telecommunications Research Institute Apparatus and method for generating depth information

Also Published As

Publication number Publication date
US20130215234A1 (en) 2013-08-22

Similar Documents

Publication Publication Date Title
KR20130094626A (ko) 스테레오 매칭 방법 및 장치
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
CN108076338B (zh) 图像视觉处理方法、装置及设备
KR101699919B1 (ko) 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
RU2423018C2 (ru) Способ и система для преобразования стереоконтента
WO2019042216A1 (zh) 图像虚化处理方法、装置及拍摄终端
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
US20110148868A1 (en) Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection
KR20150117646A (ko) 적어도 하나의 추가적인 이미지를 사용한 이미지 향상과 에지 검증을 위한 방법 및 장치
US9519956B2 (en) Processing stereo images
JP6020471B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
CN110378946B (zh) 深度图处理方法、装置以及电子设备
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN110971827B (zh) 人像模式拍摄方法、装置、终端设备和存储介质
US8908959B2 (en) Image processing apparatus
CN106557729B (zh) 用于处理人脸图像的设备和方法
CN116029996A (zh) 立体匹配的方法、装置和电子设备
CN110490886B (zh) 一种针对倾斜视角下证件图像的自动纠正方法及系统
CN114693760A (zh) 图像校正方法、装置及系统、电子设备
CN111340692A (zh) 一种红外图像动态范围压缩以及对比度增强算法
KR20150053438A (ko) 스테레오 매칭 시스템과 이를 이용한 시차 맵 생성 방법
US20160035107A1 (en) Moving object detection
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN113411555B (zh) 白平衡处理方法及装置、存储介质、图像捕获设备

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid