KR101439013B1 - 스테레오 영상 처리 장치 및 방법 - Google Patents

스테레오 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101439013B1
KR101439013B1 KR1020130029181A KR20130029181A KR101439013B1 KR 101439013 B1 KR101439013 B1 KR 101439013B1 KR 1020130029181 A KR1020130029181 A KR 1020130029181A KR 20130029181 A KR20130029181 A KR 20130029181A KR 101439013 B1 KR101439013 B1 KR 101439013B1
Authority
KR
South Korea
Prior art keywords
images
mapping
image
stereo
range
Prior art date
Application number
KR1020130029181A
Other languages
English (en)
Inventor
최진하
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130029181A priority Critical patent/KR101439013B1/ko
Priority to DE102013214497.0A priority patent/DE102013214497A1/de
Priority to US13/954,688 priority patent/US9635340B2/en
Priority to CN201310352721.4A priority patent/CN104065940B/zh
Application granted granted Critical
Publication of KR101439013B1 publication Critical patent/KR101439013B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Abstract

본 발명은 스테레오 영상 처리 장치 및 방법에 관한 것으로, 본 발명에 다른 장치는 각 카메라의 다이나믹 레인지(dynamic range)의 인식 범위가 서로 다르게 설정된 스테레오 카메라로부터 촬영된 영상들을 획득하는 영상 획득부, 상기 영상들로부터 추출된 특징들로부터 결정된 각 영상들의 매핑 영역을 기준으로 상기 영상들을 매핑하는 매핑부, 상기 매핑부에 의한 매핑 영상으로부터 선형 성분을 트래킹 하여 기준 선분을 결정하는 트래킹부, 및 상기 매핑 영상에서 결정된 기준 선분에 근거하여 상기 영상들에 대한 스테레오 영상을 생성하는 스테레오 영상 처리부를 포함한다.

Description

스테레오 영상 처리 장치 및 방법{Apparatus and method for stereo image processing}
본 발명은 스테레오 영상 처리 장치 및 방법에 관한 것으로, 더욱 상세하게는 다이나믹 레인지가 다르게 설정된 다중 카메라로부터의 영상을 처리하는 기술에 관한 것이다.
일반적으로 스테레오 카메라는 기존의 단안 카메라에 비해 카메라를 1개 이상 더 구비하여 영상을 촬영함으로써 레이더와 같이 입체적인 정보를 얻을 수 있으며, 그 외에도 많은 정보를 담을 수 있다.
하지만, 기존의 스테레오 카메라에서 스테레오 매칭을 포함한 단안 카메라의 프레임 한계는 60fps이다. 또한, 일반적으로 스테레오 카메라는 4단계의 노출제어를 통해 각 알고리즘에 맞는 노출을 설정하지만, 이 경우 각 알고리즘별 프레임율을 15fps에 불과하므로, 트래킹을 통해 제어를 구동하는 경우 프레임율이 낮아 트래킹 단계가 낮아지게 되고, 이로 인해 오인식률이 증가하게 된다.
[특허문헌]공개특허 제10-2012-0000373호.
본 발명의 목적은, 스테레오 카메라의 각 카메라에 대한 다이나믹 레인지를 다르게 설정하여 시인성이 향상된 영상을 제공하도록 하는 스테레오 영상 처리 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은, 서로 다른 다이나믹 레인지를 갖는 카메라로부터 촬영된 영상의 HDR 그래프 변환을 통해 스테레오 매핑 영역의 로그 스케일을 최소화하도록 하는 스테레오 영상 처리 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 스테레오 영상 처리 장치는, 각 카메라의 다이나믹 레인지(dynamic range)의 인식 범위가 서로 다르게 설정된 스테레오 카메라로부터 촬영된 영상들을 획득하는 영상 획득부, 상기 영상들을 선처리 하여 상기 영상들로부터 추출된 특징들로부터 상기 각 영상들의 매핑 영역을 결정하고, 상기 결정된 각 영상들의 매핑 영역을 기준으로 상기 영상들을 매핑하는 매핑부, 상기 매핑부에 의한 매핑 영상으로부터 선형 성분을 트래킹 하여 기준 선분을 결정하는 트래킹부, 및 상기 매핑 영상에서 결정된 기준 선분에 근거하여 상기 영상들에 대한 스테레오 영상을 생성하는 스테레오 영상 처리부를 포함하는 것을 특징으로 한다.
상기 매핑부는, 상기 영상들의 에지 영역을 기준으로 스테레오 매칭을 수행하거나 기 설정된 로그스케일을 계산하여, 그 결과에 따라 상기 각 영상들의 매핑 영역을 결정하는 것을 특징으로 한다.
또한, 본 발명에 따른 장치는, 상기 스테레오 카메라에 구비된 각 카메라에 대해 다이나믹 레인지의 인식 범위를 조절하는 다이나믹 레인지 조절부를 더 포함하는 것을 특징으로 한다.
상기 스테레오 카메라는, 다이나믹 레인지의 인식 범위가 어두운 영역을 강조하는 범위로 설정된 제1 카메라 및 다이나믹 레인지의 인식 범위가 밝은 영역을 강조하는 범위로 설정된 제2 카메라를 포함하는 것을 특징으로 한다.
상기 제1 카메라 및 상기 제2 카메라는, 다이나믹 레인지의 인식 범위가 가변적으로 설정 가능한 것을 특징으로 한다.
상기 매핑부는, 상기 영상들 각각에 대한 다이나믹 레인지(Dynamic Range) 그래프의 특정 영역을 선형 변환하여 각 영상들에 대한 매칭을 수행하는 것을 특징으로 한다.
상기 매핑부는, 상기 영상들 각각에 대한 다이나믹 레인지 그래프의 공통되는 선형 구간을 매핑 영역으로 결정하는 것을 특징으로 한다.
상기 트래킹부는, 상기 각 영상들에 대한 매핑 영역에서 검출된 선분들의 평균 기울기를 산출하여 상기 기준 선분의 기울기로 결정하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 스테레오 영상 처리 방법은, 각 카메라의 다이나믹 레인지(dynamic range)의 인식 범위가 서로 다르게 설정된 스테레오 카메라로부터 촬영된 영상들을 획득하는 단계, 상기 영상들을 선처리 하여 상기 영상들로부터 추출된 특징들로부터 상기 각 영상들의 매핑 영역을 결정하는 단계, 상기 결정된 각 영상들의 매핑 영역을 기준으로 상기 영상들을 매핑하는 단계, 상기 매핑하는 단계의 매핑 영상으로부터 선형 성분을 트래킹 하여 기준 선분을 결정하는 단계 및 상기 매핑 영상에서 결정된 기준 선분에 근거하여 상기 영상들에 대한 스테레오 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 촬영된 영상들을 획득하는 단계 이전에, 상기 스테레오 카메라에 구비된 각 카메라에 대해 다이나믹 레인지의 인식 범위를 조절하는 단계를 더 포함하는 것을 특징으로 한다.
상기 매핑 영역을 결정하는 단계는, 상기 영상들의 에지 영역을 기준으로 스테레오 매칭을 수행하거나 기 설정된 로그스케일을 계산하여, 그 결과에 따라 상기 각 영상들의 매핑 영역을 결정하는 것을 특징으로 한다.
상기 영상들을 매핑하는 단계는, 상기 영상들 각각에 대한 다이나믹 레인지(Dynamic Range) 그래프의 특정 영역을 선형 변환하여 각 영상들을 매핑하는 것을 특징으로 한다.
상기 영상들을 매핑하는 단계는, 상기 영상들 각각에 대한 다이나믹 레인지 그래프의 공통되는 선형 구간을 매핑 영역으로 결정하는 것을 특징으로 한다.
상기 기준 선분을 결정하는 단계는, 상기 각 영상들에 대한 매핑 영역에서 검출된 선분들의 평균 기울기를 산출하여 상기 기준 선분의 기울기로 결정하는 것을 특징으로 한다.
본 발명에 따르면, 스테레오 카메라의 각 카메라에 대한 다이나믹 레인지를 다르게 설정하여 스테레오 영상의 시인성이 향상되는 이점이 있다.
또한, 본 발명에 따르면, 서로 다른 다이나믹 레인지를 갖는 카메라로부터 촬영된 영상의 HDR 그래프 변환을 통해 스테레오 매핑 영역의 로그 스케일을 최소화함으로써 선형 변환을 최소화하고, 매칭 오류를 최소화할 수 있는 이점이 있다.
도 1은 본 발명에 따른 스테레오 영상 처리 장치의 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 스테레오 카메라의 다이나믹 레인지를 설정하는 동작을 설명하는데 참조되는 예시도이다.
도 3은 본 발명에 따른 스테레오 영상 처리 장치의 그래프 변환 동작을 설명하는데 참조되는 예시도이다.
도 4는 본 발명에 따른 스테레오 영상 처리 장치의 스테레오 매칭 동작을 설명하는데 참조되는 예시도이다.
도 5는 본 발명에 따른 스테레오 영상 처리 장치의 트래킹 동작을 설명하는데 참조되는 예시도이다.
도 6은 본 발명에 따른 스테레오 영상 처리 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 스테레오 영상 처리 장치의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 스테레오 영상 처리 장치(이하, '영상 처리 장치'라 칭한다.)(100)는 영상 획득부(110), 다이나믹 레인지 조절부(120), 매핑부(130), 트래킹부(140) 및 스테레오 영상 처리부(150)를 포함한다.
먼저, 영상 획득부(110)는 스테레오 카메라(10)로부터 촬영된 영상들을 획득한다.
여기서, 스테레오 카메라(10)는 제1 카메라(11) 및 제2 카메라(15)를 포함하는 것으로 한다. 물론, 스테레오 카메라(10)는 그 이상의 카메라가 더 구비될 수 있으나, 설명의 편의를 위해 이하의 실시예에서는 두 대의 카메라가 구비된 것으로 가정하여 설명하도록 한다.
다이나믹 레인지 조절부(120)는 스테레오 카메라(10)에 구비된 각 카메라에 대해 다이나믹 레인지의 인식 범위를 조절한다. 여기서, 다이나믹 레인지는 카메라에 의해 볼 수 있는 계조(gradiation), 즉, 가장 밝은 부분과 가장 어두운 부분의 농도 단계의 범위로서, 다이나믹 레인지 조절부(120)는 각 카메라별로 어두운 영역 또는 밝은 영역을 강조하는 범위를 조절한다. 일 예로서, 다이나믹 레인지 조절부(120)는 제1 카메라(11)의 다이나믹 레인지의 인식 범위를 어두운 영역을 강조하는 범위로 설정하고, 제2 카메라(15)의 다이나믹 레인지의 인식 범위를 밝은 영역을 강조하는 범위로 설정할 수 있다. 물론, 경우에 따라서 제1 카메라(11) 및 제2 카메라(15)는 다이나믹 레인지의 인식 범위를 가변적으로 설정할 수도 있다.
따라서, 영상 획득부(110)는 다이나믹 레인지 조절부(120)에 의해 각 카메라별로 다이나믹 레인지(dynamic range)의 인식 범위가 서로 다르게 설정된 스테레오 카메라(10)로부터 촬영된 영상들을 획득하게 된다.
매핑부(130)는 영상 획득부(110)에 의해 획득된 영상들의 에지 영역을 기준으로 스테레오 매칭을 수행한다. 이때, 매핑부(130)는 스테레오 매칭 결과로부터 각 영상들의 매핑 영역을 결정하고, 결정된 각 영상들의 매핑 영역을 기준으로 영상들을 매핑한다.
이때, 매핑부(130)는 영상들 각각에 대한 다이나믹 레인지(Dynamic Range, DR) 그래프의 특정 영역을 선형 변환하여 각 영상들에 대한 스테레오 매칭을 수행하고, 영상들 각각에 대한 DR 그래프의 공통되는 선형 구간을 매핑 영역으로 결정한다.
트래킹부(140)는 매핑부(130)에 의한 매핑 영상으로부터 선형 성분을 트래킹 하여 기준 선분을 결정한다. 여기서, 트래킹부(140)는 매핑 영상에서 검출된 선분들의 평균 기울기를 산출하여 기준 선분의 기울기로 결정하도록 한다.
일 예로서, 트래킹부(140)는 제1 카메라(11)로부터 획득한 제1 영상에서 검출된 선분의 기울기와 제2 카메라(15)로부터 획득한 제2 영상에서 검출된 선분의 기울기의 중간값으로 기준 선분의 기울기를 결정한다.
스테레오 영상 처리부(150)는 매핑 영상에서 트래킹부(140)에 의해 결정된 기준 선분의 기울기에 근거하여 각 영상들의 선형 선분의 기울기 차이를 보정함으로써 각 영상들에 대한 스테레오 영상을 생성한다.
여기서, 스테레오 영상 처리부(150)에 의해 생성된 스테레오 영상은 차량에 구비된 디스플레이 수단, 예를 들어, 내비게이션 화면, HUD 및 차량 내장형 모니터 등을 통해 출력될 수 있다.
도 2는 본 발명에 따른 스테레오 카메라의 다이나믹 레인지를 설정하는 동작을 설명하는데 참조되는 예시도이다.
카메라의 다이나믹 레인지는 가장 밝은 부분과 가장 어두운 부분의 농도 단계에서 인식 범위가 설정되며, 카메라 작동 시 설정된 다이나믹 레인지의 인식 범위를 기준으로 영상을 촬영하게 된다.
여기서, 본 발명에 따른 영상 처리 장치는 스테레오 카메라에 구비된 각 카메라에 대해 서로 다른 인식 범위의 다이나믹 레인지를 설정한다.
일 예로서, 영상 처리 장치는 제1 카메라에 대하여 도 2의 (a)와 같이 다이나믹 레인지의 인식 범위를 어두운 영역을 강조하는 범위로 설정하고, 제2 카메라에 대하여 도 2의 (b)와 같이 다이나믹 레인지의 인식 범위를 밝은 영역을 강조하는 범위로 설정한다.
물론, 스테레오 카메라에 구비된 카메라가 세 개 이상인 경우에는 가장 밝은 영역의 인식 범위와 가장 어두운 영역의 인식 범위 사이를 각 카메라의 개수로 나누어 각 인식 범위의 다이나믹 레인지를 설정할 수도 있다. 여기서, 다이나믹 레인지의 인식 범위를 설정하는 방식은 어느 하나에 한정되는 것은 아니며, 실시 형태에 따라 다양하게 적용 가능하다.
이때, 영상 처리 장치는 각 카메라별로 다이나믹 레인지(dynamic range)의 인식 범위가 서로 다르게 설정된 스테레오 카메라로부터 촬영된 영상들을 이용하여 최종의 스테레오 영상을 생성하게 된다.
이 경우, 노출 제어에 따른 영상 획득의 이득이 M개라고 가정할 때, 영상 처리 장치가 N개의 카메라의 다이나믹 레인지의 인식 범위를 각각 다르게 설정하는 경우 N x M개의 이득을 얻을 수 있으므로, 스테레오 영상의 시인성을 향상시킬 수 있다.
도 3은 본 발명에 따른 스테레오 영상 처리 장치의 그래프 변환 동작을 설명하는데 참조되는 예시도이다. 도 3을 참조하면, 스테레오 카메라는 도 3의 (a)와 같이 제1 카메라 및 제2 카메라를 포함한다. 여기서, 제1 카메라 및 제2 카메라는 다이나믹 레인지의 인식 범위가 서로 다르게 설정된다.
이후, 제1 카메라 및 제2 카메라에 의해 촬영된 영상을 획득하면, (b)에 도시된 바와 같이, 수신된 영상에 대한 DR 그래프의 특정 영역을 한정하여 (c)와 같이 그래프를 변환한다. 이때, (b)의 해당 영역 내의 DR 그래프를 선형 변환하여 (c)와 같은 형태가 되도록 한다. 따라서, 영상 처리 장치는 DR 그래프가 선형 변환된 한정된 영역 내에서 (d)와 같이 스테레오 매칭을 수행한다.
이 경우, 도 3의 (b) 및 (c)와 같이 한정된 영역에 대해서 스테레오 매칭을 수행하기 위해 로그 스케일(log scale)을 최소화함으로써 선형 변환이 용이하다.
도 4는 본 발명에 따른 스테레오 영상 처리 장치의 스테레오 매칭 동작을 설명하는데 참조되는 예시도이다.
도 4를 참조하면, (a)는 도 2의 (a)와 같이 다이나믹 레인지의 인식 범위가 어두운 영역을 강조하는 범위로 설정된 제1 카메라로부터 획득된 제1 영상을 나타낸 것이고, (b)는 도 2의 (b)와 같이 다이나믹 레인지의 인식 범위가 밝은 영역을 강조하는 범위로 설정된 제2 카메라로부터 획득된 제2 영상을 나타낸 것이다.
본 발명에 따른 영상 처리 장치는 (a)에 도시된 제1 영상의 에지 영역과 (b)에 도시된 제2 영상의 에지 영역을 기준으로 스테레오 매칭을 수행하여 매핑 영역을 결정한다. 이때, (a)의 P1 영역이 제1 영상의 매핑 영역으로 결정되고, (b)의 P2 영역이 제2 영상의 매핑 영역으로 결정된 경우, 영상 처리 장치는 (c)와 같이 제1 영상의 P1 영역 및 제2 영상의 P2 영역을 매핑하는 것으로서 제1 영상과 제2 영상을 매핑한다. 최종적으로는 (c)에 도시된 매핑 영상에서 P 영역이 매핑 영역이 된다.
도 4의 (c)와 같이 제1 영상 및 제2 영상이 매핑되면, 영상 처리 장치는 (d)와 같이 매핑 영상에 대해 트래킹을 실시한다. 이때, 영상 처리 장치는 제1 영상의 정보와 제2 영상의 정보를 결합하여 트래킹을 실시한다. 여기서, 영상 처리 장치는 제1 영상 및 제2 영상의 전송 상태에 따라 신뢰도를 평가하여 트래킹에 반영할 수 있다.
제1 영상 및 제2 영상의 전송 상태에 따른 신뢰도 레벨은 아래 [표 1]과 같다.
Figure 112013023640542-pat00001
영상 처리 장치는 [표 1]에서와 같이 제1 영상 및 제2 영상의 전송 상태에 따른 신뢰도 레벨을 확인하고, 확인된 신뢰도 레벨에 근거하여 트래킹을 수행할 범위를 결정한다. 이때, 영상 처리 장치는 결정된 범위 내에서 트래킹을 수행한다. 영상 처리 장치에서 트래킹을 수행하는 동작은 도 5를 참조하여 보다 상세히 설명하도록 한다.
도 5는 본 발명에 따른 스테레오 영상 처리 장치의 트래킹 동작을 설명하는데 참조되는 예시도이다.
도 5의 (a)에 도시된 바와 같이, 제1 영상 및 제2 영상의 매핑 영상에서 제1 영상 및 제2 영상의 전송 상태에 따른 신뢰도 레벨에 근거하여 제1 영상의 차선(L1) 및 제2 영상의 차선(L2)에 대한 트래킹 범위가 Q로 결정되었다면, (b)와 같이 Q 영역에 포함된 선분 정보에 근거하여 기준 선분을 결정하고, 이를 토대로 최종적인 스테레오 영상을 생성한다.
상기와 같이 구성되는 본 발명에 따른 스테레오 영상 처리 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 6은 본 발명에 따른 스테레오 영상 처리 방법에 대한 동작 흐름을 도시한 순서도이다. 도 6을 참조하면, 본 발명에 따른 영상 처리 장치는 스테레오 카메라의 각 카메라에 대해 서로 다른 인식 범위의 다이나믹 레인지를 설정하고(S100), 'S100' 과정에서 다이나믹 레인지가 설정된 각 카메라를 통해 촬영된 다중 영상을 획득한다(S110).
이후, 영상 처리 장치는 'S110' 과정에서 획득한 각 영상의 DR 그래프를 리니어 로그(linear-log)로 선형 변환하고(S120), 'S120' 과정에서 선형 변환된 각 영상의 스테레오 매칭을 수행한다(S130). 이때, 영상 처리 장치는 스테레오 매칭 수행 결과를 토대로 각 영상들의 매핑 영역을 결정하고(S140), 'S140' 과정에서 결정된 매핑 영역을 기준으로 각 영상들을 매핑한다(S150).
다만, 'S130' 과정은 일 실시예일뿐 실시 형태에 따라 생략될 수 있다. 예를 들어, 이미 각 영상들에 대해 로그스케일이 설정된 경우에는 별도의 스테레오 매칭을 수행할 필요가 없으므로, 'S130' 과정은 생략 가능하다.
여기서, 영상 처리 장치는 'S150' 과정으로부터 생성된 매핑 영상에 포함된 선형 성분에 대해 트래킹을 수행하여 각 영상에 포함된 선분들의 평균 기울기를 갖는 기준 선분으로 스테레오 영상을 생성하고(S170), 'S170' 과정에서 생성된 스테레오 영상을 HUD 및 내비게이션 등의 디스플레이 수단을 통해 출력하도록 한다(S180).
이상과 같이 본 발명에 의한 스테레오 영상 처리 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
10: 스테레오 카메라 11: 제1 카메라
12: 제2 카메라 100: 영상 처리 장치
110: 영상 획득부 120: 다이나믹 레인지 조절부
130: 매핑부 140: 트래킹부
150: 스테레오 영상 처리부

Claims (14)

  1. 각 카메라의 다이나믹 레인지(dynamic range)의 인식 범위가 서로 다르게 설정된 스테레오 카메라로부터 촬영된 영상들을 획득하는 영상 획득부;
    상기 영상들을 선처리 하여 상기 영상들로부터 추출된 특징들로부터 상기 각 영상들의 매핑 영역을 결정하고, 상기 결정된 각 영상들의 매핑 영역을 기준으로 상기 영상들을 매핑하는 매핑부;
    상기 매핑부에 의한 매핑 영상으로부터 선형 성분을 트래킹 하여 기준 선분을 결정하는 트래킹부; 및
    상기 매핑 영상에서 결정된 기준 선분에 근거하여 상기 영상들에 대한 스테레오 영상을 생성하는 스테레오 영상 처리부를 포함하되,
    상기 매핑부는,
    상기 영상들 각각에 대한 다이나믹 레인지(Dynamic Range) 그래프의 특정 영역을 선형 변환하여 각 영상들에 대한 매칭을 수행하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  2. 청구항 1에 있어서,
    상기 매핑부는,
    상기 영상들의 에지 영역을 기준으로 스테레오 매칭을 수행하거나 기 설정된 로그스케일을 계산하여, 그 결과에 따라 상기 각 영상들의 매핑 영역을 결정하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  3. 청구항 1에 있어서,
    상기 스테레오 카메라에 구비된 각 카메라에 대해 다이나믹 레인지의 인식 범위를 조절하는 다이나믹 레인지 조절부를 더 포함하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  4. 청구항 1에 있어서,
    상기 스테레오 카메라는,
    다이나믹 레인지의 인식 범위가 어두운 영역을 강조하는 범위로 설정된 제1 카메라 및 다이나믹 레인지의 인식 범위가 밝은 영역을 강조하는 범위로 설정된 제2 카메라를 포함하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  5. 청구항 4에 있어서,
    상기 제1 카메라 및 상기 제2 카메라는,
    다이나믹 레인지의 인식 범위가 가변적으로 설정 가능한 것을 특징으로 하는 스테레오 영상 처리 장치.
  6. 삭제
  7. 청구항 1에 있어서,
    상기 매핑부는,
    상기 영상들 각각에 대한 다이나믹 레인지 그래프의 공통되는 선형 구간을 매핑 영역으로 결정하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  8. 청구항 1에 있어서,
    상기 트래킹부는,
    상기 각 영상들에서 검출된 선분들의 평균 기울기를 산출하여 상기 기준 선분의 기울기로 결정하는 것을 특징으로 하는 스테레오 영상 처리 장치.
  9. 각 카메라의 다이나믹 레인지(dynamic range)의 인식 범위가 서로 다르게 설정된 스테레오 카메라로부터 촬영된 영상들을 획득하는 단계;
    상기 영상들을 선처리 하여 상기 영상들로부터 추출된 특징들로부터 상기 각 영상들의 매핑 영역을 결정하는 단계;
    상기 결정된 각 영상들의 매핑 영역을 기준으로 상기 영상들을 매핑하는 단계;
    상기 매핑하는 단계의 매핑 영상으로부터 선형 성분을 트래킹 하여 기준 선분을 결정하는 단계; 및
    상기 매핑 영상에서 결정된 기준 선분에 근거하여 상기 영상들에 대한 스테레오 영상을 생성하는 단계를 포함하되,
    상기 영상들을 매핑하는 단계는,
    상기 영상들 각각에 대한 다이나믹 레인지(Dynamic Range) 그래프의 특정 영역을 선형 변환하여 각 영상들을 매핑하는 것을 특징으로 하는 스테레오 영상 처리 방법.
  10. 청구항 9에 있어서,
    상기 촬영된 영상들을 획득하는 단계 이전에, 상기 스테레오 카메라에 구비된 각 카메라에 대해 다이나믹 레인지의 인식 범위를 조절하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 영상 처리 방법.
  11. 청구항 9에 있어서,
    상기 매핑 영역을 결정하는 단계는,
    상기 영상들의 에지 영역을 기준으로 스테레오 매칭을 수행하거나 기 설정된 로그스케일을 계산하여, 그 결과에 따라 상기 각 영상들의 매핑 영역을 결정하는 것을 특징으로 하는 스테레오 영상 처리 방법.
  12. 삭제
  13. 청구항 9에 있어서,
    상기 영상들을 매핑하는 단계는,
    상기 영상들 각각에 대한 다이나믹 레인지 그래프의 공통되는 선형 구간을 매핑 영역으로 결정하는 것을 특징으로 하는 스테레오 영상 처리 방법.
  14. 청구항 9에 있어서,
    상기 기준 선분을 결정하는 단계는,
    상기 각 영상들에서 검출된 선분들의 평균 기울기를 산출하여 상기 기준 선분의 기울기로 결정하는 것을 특징으로 하는 스테레오 영상 처리 방법.
KR1020130029181A 2013-03-19 2013-03-19 스테레오 영상 처리 장치 및 방법 KR101439013B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130029181A KR101439013B1 (ko) 2013-03-19 2013-03-19 스테레오 영상 처리 장치 및 방법
DE102013214497.0A DE102013214497A1 (de) 2013-03-19 2013-07-24 Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben
US13/954,688 US9635340B2 (en) 2013-03-19 2013-07-30 Stereo image processing apparatus and method thereof
CN201310352721.4A CN104065940B (zh) 2013-03-19 2013-08-14 立体图像处理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130029181A KR101439013B1 (ko) 2013-03-19 2013-03-19 스테레오 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101439013B1 true KR101439013B1 (ko) 2014-09-05

Family

ID=51484756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130029181A KR101439013B1 (ko) 2013-03-19 2013-03-19 스테레오 영상 처리 장치 및 방법

Country Status (4)

Country Link
US (1) US9635340B2 (ko)
KR (1) KR101439013B1 (ko)
CN (1) CN104065940B (ko)
DE (1) DE102013214497A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931934B2 (en) * 2014-09-02 2021-02-23 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
US20170113611A1 (en) * 2015-10-27 2017-04-27 Dura Operating, Llc Method for stereo map generation with novel optical resolutions
KR20190051395A (ko) 2017-11-06 2019-05-15 삼성전자주식회사 피검사 장치의 검사 시스템 및 방법
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US20190208136A1 (en) * 2017-12-29 2019-07-04 Waymo Llc High-speed image readout and processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096488A (ja) 2002-08-30 2004-03-25 Fujitsu Ltd 物体検知装置、物体検知方法および物体検知プログラム
KR20100134288A (ko) * 2009-06-15 2010-12-23 이상화 입체 영상 시스템 및 입체 영상 처리 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977776B2 (ja) * 2003-03-13 2007-09-19 株式会社東芝 ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP4260707B2 (ja) * 2004-08-05 2009-04-30 三菱電機株式会社 撮像装置
KR100672856B1 (ko) 2005-04-14 2007-01-22 한국과학기술연구원 넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
KR100987031B1 (ko) 2009-01-21 2010-10-11 포항공과대학교 산학협력단 공간 해상도와 다이내믹 레인지가 향상된 영상 생성 방법과그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP2010193180A (ja) 2009-02-18 2010-09-02 Olympus Corp 画像処理装置及び画像処理プログラム
KR101241803B1 (ko) 2010-06-25 2013-03-14 엠텍비젼 주식회사 멀티 카메라 시스템을 이용한 차량용 영상 녹화 장치 및 방법
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
CN102413342A (zh) * 2011-09-05 2012-04-11 清华大学 双目立体视频的几何校正方法及系统
CN102881014B (zh) * 2012-09-07 2015-02-11 航天恒星科技有限公司 一种基于图割的快速立体匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096488A (ja) 2002-08-30 2004-03-25 Fujitsu Ltd 物体検知装置、物体検知方法および物体検知プログラム
KR20100134288A (ko) * 2009-06-15 2010-12-23 이상화 입체 영상 시스템 및 입체 영상 처리 방법

Also Published As

Publication number Publication date
DE102013214497A1 (de) 2014-09-25
US9635340B2 (en) 2017-04-25
CN104065940B (zh) 2018-03-27
CN104065940A (zh) 2014-09-24
US20140285620A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
US8885922B2 (en) Image processing apparatus, image processing method, and program
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
EP2988488B1 (en) Image processing apparatus, image processing apparatus control method, image pickup apparatus, and image pickup apparatus control method
KR101439013B1 (ko) 스테레오 영상 처리 장치 및 방법
EP2849431B1 (en) Method and apparatus for detecting backlight
US8718356B2 (en) Method and apparatus for 2D to 3D conversion using scene classification and face detection
US10762649B2 (en) Methods and systems for providing selective disparity refinement
KR101426298B1 (ko) 안개 제거율을 높인 영상보정장치 및 방법
WO2012172922A1 (ja) 車載カメラ装置
CN102422321B (zh) 摄像装置以及图像复原方法
JP2016070688A (ja) 撮像装置
CN110891146B (zh) 一种强光抑制方法及装置
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
KR100938194B1 (ko) 객체 검출 방법 및 객체 검출 장치
US11227371B2 (en) Image processing device, image processing method, and image processing program
CN104038669A (zh) 摄像装置、摄像系统以及摄像方法
JP2008042227A (ja) 撮像装置
KR101737260B1 (ko) 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법
JP2016119542A (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
KR102061087B1 (ko) 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램
JP6595858B2 (ja) 画像処理装置及び画像処理方法
JP2008158946A (ja) 画像処理システム
KR102057261B1 (ko) 이미지 처리 방법 및 장치
JP2019129469A (ja) 画像処理装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180829

Year of fee payment: 5