KR101558805B1

KR101558805B1 - 스테레오 매칭용 보간 계수 보정 장치

Info

Publication number: KR101558805B1
Application number: KR1020140117087A
Authority: KR
Inventors: 최진하
Original assignee: 현대자동차주식회사
Priority date: 2014-09-03
Filing date: 2014-09-03
Publication date: 2015-10-07
Also published as: CN105389790B; US20160063759A1; DE102014225848A1; CN105389790A; US9465102B2

Abstract

본 발명은 스테레오 매칭용 보간 계수 보정 장치에 관한 것으로, 쿼드 트리(Quad-tree) 기반 스테레오 매칭 알고리즘에서 트리의 깊이를 결정하는 보간 계수를 영상 내 객체의 위치에 따라 적응적으로 보정함으로써, 스테레오 영상을 이용하여 객체와의 거리 산출시 정확도를 높일 수 있는 스테레오 매칭용 보간 계수 보정 장치를 제공하고자 한다.
이를 위하여, 본 발명은 스테레오 매칭용 보간 계수 보정 장치에 있어서, 보간 계수(λ)를 생성하는 보간 계수 생성부; 영상 내 객체의 위치에 따라 파라미터 및 가중치를 산출하는 보정값 산출부; 및 상기 보정값 산출부에 의해 산출된 파라미터 및 가중치를 상기 보간 계수 생성부에 의해 생성된 보간 계수에 곱하여 상기 보간 계수를 보정하는 보간 계수 보정부를 포함한다.

Description

스테레오 매칭용 보간 계수 보정 장치{INTERPOLATION FACTORS CORRECTION APPARATUS FOR STEREO MATCHING}

본 발명은 스테레오 매칭용 보간 계수 보정 장치에 관한 것으로, 더욱 상세하게는 쿼드 트리(Quad-tree) 기반 스테레오 매칭 알고리즘에서 트리의 깊이를 결정하는 보간 계수를 보정하는 기술에 관한 것이다.

일반적으로, 쿼드 트리 기반 스테레오 매칭 알고리즘은 스테레오 영상 매칭시, 매칭 결정 비용함수(matching detection cost function)를 통해 보간 계수(λ)를 산출한 후 이를 기반으로 트리의 깊이(구조)를 결정한다.

즉, 쿼드 트리 기반 스테레오 매칭 알고리즘은 영상 내 객체(장애물)의 위치와 무관하게 산출된 보간 계수를 이용하여 트리의 깊이를 결정하기 때문에 매칭 정확도가 떨어진다.

특히, 쿼드 트리 기반 스테레오 매칭 알고리즘이 스테레오 영상을 이용하여 객체와의 거리를 산출하는데 적용되는 경우에는 더욱더 그러하다.

따라서, 영상 내 객체의 위치에 따라 보간 계수를 보정할 수 있는 방안이 요구된다.

상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 쿼드 트리(Quad-tree) 기반 스테레오 매칭 알고리즘에서 트리의 깊이를 결정하는 보간 계수를 영상 내 객체의 위치에 따라 적응적으로 보정함으로써, 스테레오 영상을 이용하여 객체와의 거리 산출시 정확도를 높일 수 있는 스테레오 매칭용 보간 계수 보정 장치를 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 장치는, 스테레오 매칭용 보간 계수 보정 장치에 있어서, 보간 계수(λ)를 생성하는 보간 계수 생성부; 영상 내 객체의 위치에 따라 파라미터 및 가중치를 산출하는 보정값 산출부; 및 상기 보정값 산출부에 의해 산출된 파라미터 및 가중치를 상기 보간 계수 생성부에 의해 생성된 보간 계수에 곱하여 상기 보간 계수를 보정하는 보간 계수 보정부를 포함한다.

상기와 같은 본 발명은, 쿼드 트리(Quad-tree) 기반 스테레오 매칭 알고리즘에서 트리의 깊이를 결정하는 보간 계수를 영상 내 객체의 위치에 따라 적응적으로 보정함으로써, 스테레오 영상을 이용하여 객체와의 거리 산출시 정확도를 높일 수 있는 효과가 있다.

도 1 은 본 발명에 따른 스테레오 매칭용 보간 계수 보정 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 스테레오 영상 기반의 거리 산출 과정에 대한 일예시도이다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.

도 1 은 본 발명에 따른 스테레오 매칭용 보간 계수 보정 장치의 일실시예 구성도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 스테레오 매칭용 보간 계수 보정 장치는, 보간 계수 생성부(10), 제 1 파라미터 산출부(20), 제 2 파라미터 산출부(30), 차선 검출부(40), 에지 검출부(50), 및 보간 계수 보정부(60)를 포함한다.

상기 각 구성요소들에 대해 살펴보면, 먼저 보간 계수 생성부(10)는 쿼드 트리(Quad-tree) 기반 스테레오 매칭 알고리즘에서 트리의 깊이를 결정하는 보간 계수(λ)를 생성한다. 이러한 보간 계수 생성부(10)가 보간 계수를 생성하는 기술은 주지 관용의 기술로서 구체적인 과정은 생략한다.

다음으로, 제 1 파라미터 산출부(20)는 스테레오 비전 시스템을 기반으로 스테레오 카메라와 객체(장애물) 사이의 거리(d)를 산출한 후, 하기의 [수학식 1]를 기반으로 제 1 파라미터(α)를 산출한다.

[수학식 1]

α = 2^d

이하, 도 2를 참조하여 제 1 파라미터 산출부(20)가 거리(d)를 산출하는 과정에 대해 살펴보기로 한다.

먼저, 스테레오 카메라(220)로부터 촬영된 영상을 이용하여 대응점을 찾아 깊이 맵(depth map)을 생성한다. 그리고, 상기 깊이 맵과 좌우 영상을 이용하여 이동 객체를 검출하고, 상기 검출된 이동 객체 내의 시차(disparity) 평균을 구한다. 스테레오 비전 시스템에서는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다.

도 2에서 b(base line)는 스테레오 카메라의 중심 사이의 거리, f는 스테레오 카메라의 초점거리(렌즈와 촬상 장치(예를 들어, CCD, CMOS 등) 사이의 거리), x_l은 좌측 카메라에 맺힌 객체가 좌측 카메라의 중심으로부터 벗어난 거리, x_r은 우측 카메라에 맺힌 객체가 우측 카메라의 중심으로부터 벗어난 거리, d는 객체와 스테레오 카메라 사이의 수직 거리를 각각 의미한다.

따라서, d는 하기의 [수학식 2]와 같이 나타낼 수 있다.

[수학식 2]

여기서, P_d는 영상의 픽셀(pixel)간의 거리, k는 픽셀의 개수를 의미한다.

즉, d는 스테레오 카메라의 중심 사이의 거리(b)와 스테레오 카메라의 초점거리(f)를 곱한 값을 시차(x_l-x_r)로 나누어 구할 수 있다. 상기 시차(x_l-x_r)는 픽셀 간의 거리(P_d)와 픽셀의 개수(k)의 곱으로 근사할 수 있다.

다음으로, 제 2 파라미터 산출부(30)는 차선 추정 알고리즘을 통해 추정된 영상 내 소실점(vanishing point)까지의 픽셀 수와 픽셀에 상응하는 거리를 기반으로 객체까지의 거리(β)를 산출한다.

예를 들어, 소실점까지의 픽셀 수가 100개이고, 1개의 픽셀이 실제 1m를 나타냄을 알고 있는 상태에서(초기 스테레오 카메라 셋팅 과정에서 알 수 있음), 영상의 아래쪽 끝에서 객체까지의 픽셀 수가 10개라면 스테레오 카메라로부터 객체와의 거리는 10m가 된다.

다음으로, 차선 검출부(40)는 객체가 자차와 동일 차선에 위치하면 가중치(γ)로서 제 1 가중치(일례로, γ>1)를 부여하고, 동일 차선에 위치하지 않으면 제 2 가중치(γ=1)를 부여한다.

다음으로, 에지 검출부(50)는 에지 추정 알고리즘을 통해 객체 검출시 에지를 통해 객체를 검출한 경우, 가중치(δ)로서 제 3 가중치(일례로, δ>1)를 부여하고, 에지를 통해 객체를 검출하지 않았으면 제 4 임계치(δ=1)를 부여한다. 여기서, 에지는 영상에서 영역 간 변화가 큰 부분(픽셀)을 의미한다.

다음으로, 보간 계수 보정부(60)는 제 1 파라미터 산출부(20)에 의해 산출된 제 1 파라미터(α), 제 2 파리미터 산출부(30)에 의해 산출된 제 2 파라미터(β), 차선 검출부(40)에 의해 부여된 가중치(γ), 및 에지 검출부(50)에 의해 부여된 가중치(δ) 중에서 적어도 하나 이상을 이용하여 보간 계수 생성부(10)에 의해 생성된 보간 계수를 보정한다.

즉, 보간 계수 보정부(60)는 하기의 [수학식 3]을 통해 보간 계수를 보정할 수 있다.

[수학식 3]

λ' = λ×α×β×γ×δ

상기 [수학식 3]에서는 α,β,γ,δ를 모두 적용하는 경우에 대해서 나타냈지만, 어느 하나만을 적용할 수도 있고, 하나 이상을 적용할 수도 있다. 따라서, 총 15가지의 경우의 수가 발생한다.

한편, 본 발명에서 제 1 파라미터 산출부(20), 제 2 파라미터 산출부(30), 차선 검출부(40), 및 에지 검출부(50)를 모두 포함하는 개념으로 보정값 산출부라 칭한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

10 : 보간 계수 생성부
20 : 제 1 파라미터 산출부
30 : 제 2 파리미터 산출부
40 : 차선 검출부
50 : 에지 검출부
60 : 보간 계수 보정부

Claims

보간 계수(λ)를 생성하는 보간 계수 생성부;
영상 내 객체의 위치에 따라 파라미터 및 가중치를 산출하는 보정값 산출부; 및
상기 보정값 산출부에 의해 산출된 파라미터 및 가중치를 상기 보간 계수 생성부에 의해 생성된 보간 계수에 곱하여 상기 보간 계수를 보정하는 보간 계수 보정부
를 포함하는 스테레오 매칭용 보간 계수 보정 장치.
제 1 항에 있어서,
상기 보정값 산출부는,
하기의 [수학식 A]를 이용하여 제 1 파라미터(α)를 산출하는 제 1 파라미터 산출부를 포함하는 스테레오 매칭용 보간 계수 보정 장치.
[수학식 A]
α = 2^d
여기서, d는 스테레오 카메라와 객체 사이의 거리를 의미한다.
제 1 항에 있어서,
상기 보정값 산출부는,
영상 내 소실점(vanishing point)까지의 픽셀 수와 픽셀에 상응하는 거리를 기반으로 객체까지의 거리(β)를 산출하는 제 2 파라미터 산출부를 포함하는 스테레오 매칭용 보간 계수 보정 장치.
제 1 항에 있어서,
상기 보정값 산출부는,
상기 객체가 자차와 동일 차선에 위치하는 경우, 가중치(γ)를 부여하는 차선 검출부를 포함하는 스테레오 매칭용 보간 계수 보정 장치.
제 1 항에 있어서,
상기 보정값 산출부는,
상기 객체의 에지가 검출된 경우, 가중치(δ)를 부여하는 에지 검출부를 포함하는 스테레오 매칭용 보간 계수 보정 장치.
제 1 항에 있어서,
상기 보정값 산출부는,
α = 2^d(d는 스테레오 카메라와 객체 사이의 거리)를 기반으로 제 1 파라미터(α)를 산출하는 제 1 파라미터 산출부;
영상 내 소실점(vanishing point)까지의 픽셀 수와 픽셀에 상응하는 거리를 기반으로 객체까지의 거리(β)를 산출하는 제 2 파라미터 산출부;
상기 객체가 자차와 동일 차선에 위치하는 경우, 가중치(γ)를 부여하는 차선 검출부; 및
상기 객체의 에지가 검출된 경우, 가중치(δ)를 부여하는 에지 검출부
를 포함하는 스테레오 매칭용 보간 계수 보정 장치.
제 6 항에 있어서,
상기 보간 계수 보정부는,
하기의 [수학식 B]를 이용하여 상기 보간 계수(λ)를 보정하는 것을 특징으로 하는 스테레오 매칭용 보간 계수 보정 장치.
[수학식 B]
λ' = λ×α×β×γ×δ