KR100926287B1 - 시차와 원근법을 이용한 거리 추정 장치 및 추정 방법 - Google Patents

Abstract

본 발명은 거리 추정 장치 및 거리 추정 방법에 관한 것이다. 본 발명은 스테레오 비전 영상의 시차 정보와 원근 정보를 이용하여 픽셀의 양자화로 인한 오차를 최소화할 수 있는 수단을 제공함으로써, 시차의 오차를 줄이고, 객체의 정확한 위치, 거리, 속도 등을 추정할 수 있는 효과가 있다. 또한, 제안된 추정 방법을 이용하면 추가로 다른 센서를 사용하지 않아도 객체의 위치, 거리 추정의 정밀도와 신뢰도를 높일 수 있는 효과가 있다. 상기와 같은 추정 방법은 다양한 분야에 응용하여 정확한 위치, 거리를 추정할 수 있는 효과가 있다. 예를 들어, 로봇이나 자동차 등에 적용하는 경우 자동차의 추돌 방지, 주행 등의 운전 시스템이나 안전 운행 시스템 등에 적용하여 사용할 수 있다.

스테레오 비전, 거리 추정

Description

시차와 원근법을 이용한 거리 추정 장치 및 추정 방법{Method for distance estimation and apparatus for the same using a disparity and a perspective}

본 발명은 거리 추정 장치 및 거리 추정 방법에 관한 것으로서, 더욱 자세하게는 촬영된 영상을 이용하여 영상에 포함된 객체의 거리를 추정하는 장치 및 거리를 추정하는 방법에 관한 것이다.

관찰 측으로부터 떨어져 있는 객체의 거리를 측정하는 방법에는 여러 가지가 있다. 그 가운데 상기 객체에 대해 영상을 촬영하고, 상기 촬영된 영상을 이용하여 영상에 포함된 객체까지의 거리를 측정할 수 있는 방법이 있다.

촬영된 영상을 이용하여 영상에 포함된 목표 객체까지의 거리를 측정하는 기술의 하나의 예로 스테레오 비전(stereo vision) 기술을 들 수 있다. 상기 스테레오 비전 기술은 두 대의 영상 촬영 장치, 예를 들어, 카메라 등으로부터 각각 획득한 좌측 영상과 우측 영상을 이용하여 영상에 포함된 객체의 위치, 거리, 속도 등을 측정할 수 있다.

종래의 스테레오 비전 기술을 이용한 거리 측정 방법에서는 두 대의 카메라로부터 획득한 좌우 영상으로부터 객체에 대한 대응점(corresponding point)을 찾 아서, 그 대응점에 대한 시차(disparity)를 이용하여 객체의 거리를 측정하였다. 그러나 이러한 방법의 경우에 픽셀(pixel)간의 거리 차를 이용하기 때문에 픽셀의 양자화로 인한 양자화 오차가 발생하고, 상기 양자화 오차는 시차가 커질수록 즉, 객체가 멀어질수록 오차율이 더 커지게 되는 문제가 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 객체의 정확한 위치, 거리를 추정할 수 있는 거리 추정 장치 및 거리 추정 방법을 제공하는 것이다.

본 발명에 따른 거리 추정 방법은, 촬영된 영상에서 추출된 객체의 시차를 이용하여 상기 객체의 거리를 추정하고, 추정된 거리 값을 필터링하여 제1 확률 밀도를 구하는 단계, 상기 제1 확률 밀도가 최대가 되는 거리 값과 제1 확률 밀도의 공분산 값이 각각 임계값보다 작은 경우, 상기 제1 확률 밀도가 최대가 되는 거리 값을 이용하여 상기 객체의 높이를 구하는 단계, 상기 객체의 높이를 이용하여 상기 객체의 거리를 추정하고, 추정된 거리 값을 필터링하여 제2 확률 밀도를 구하는 단계, 및 상기 제1 확률 밀도와 제2 확률 밀도에 따른 확률 밀도가 최대인 거리를 객체의 거리로 추정하는 단계를 포함한다.

다른 관점에서 본 발명에 따른 거리 추정 장치는, 촬영된 영상에서 추출된 객체의 시차를 이용하여 상기 객체의 거리를 추정하는 제1 거리 추정부, 상기 제1 거리 추정부에서 추정된 거리 값을 필터링하여 제1 확률 밀도를 구하는 제1 필터부, 상기 제1 확률 밀도가 최대가 되는 거리 값을 이용하여 상기 객체의 높이를 추정하고, 상기 객체의 높이를 이용하여 객체의 거리를 추정하는 제2 거리 추정부, 상기 제2 거리 추정부에서 추정된 거리 값을 필터링하여 제2 확률 밀도를 구하는 제2 필터부, 및 상기 제1 확률 밀도와 제2 확률 밀도를 이용하여 확률 밀도가 최대가 되는 거리를 객체의 거리로 추정하는 제3 거리 추정부를 포함한다.

본 발명의 거리 추정 장치 및 거리 추정 방법에 따르면, 거리 추정 오차를 줄이고 목표 객체의 정확한 위치, 거리, 속도 등을 추정할 수 있는 효과가 있다. 또한, 제안된 추정 방법을 이용하면 추가로 다른 센서를 사용하지 않아도 객체의 위치, 거리 추정의 정밀도와 신뢰도를 높일 수 있는 효과가 있다.

상기와 같은 추정 방법은 다양한 분야에 응용하여 정확한 위치, 거리를 추정할 수 있는 효과가 있다. 예를 들어, 로봇이나 자동차 등에 적용하는 경우 자동차의 추돌 방지, 주행 등의 운전 시스템이나 안전 운행 시스템 등에 적용하여 사용할 수 있다.

이하 본 발명의 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다. 아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀 두고자 한다.

이와 같이 구성된 본 발명에 따른 거리 추정 장치 및 거리 추정 방법의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 본 발명에 따른 일 실시예로서, 시간에 따른 좌우 영상을 개략적으로 나타낸 도면이다. 상기 도 1에서 좌측 열은 좌측 영상 촬영 장치로 촬영된 좌측 영상을, 우측 열은 우측 영상 촬영 장치로 촬영된 우측 영상을 나타낸다. 그리고 윗 행은 시간 't=m'에서 촬영된 영상을 나타내며, 아래 행은 시간 't=n'에서 촬영된 영상을 나타낸다. 상기 도 1의 't=m' 시간에서 촬영한 객체(자동차)와 't=n' 시간에서 촬영한 객체를 비교하면, 상기 't=n' 시간에서 객체와의 거리가 더 멀어졌음을 알 수 있다.

상기 도 1에서 x_l ^m은 't=m' 시간에 좌측 촬영 장치에 맺힌 객체가 영상의 중심으로부터 벗어난 거리, x_r ^m은 't=m' 시간에 우측 촬영 장치에 맺힌 객체가 영상의 중심으로부터 벗어난 거리를 말하며, h_l ^m은 't=m' 시간에 좌측 촬영 장치에 맺힌 객체의 높이, h_r ^m은 't=m' 시간에 우측 촬영 장치에 맺힌 객체의 높이를 말한다. 마찬가지로, x_l ⁿ은, x_r ⁿ은, h_l ⁿ은, h_r ⁿ은 't=n' 시간에 상기에서 설명한 각 값에 대응되는 값이다.

도 2는 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 거리를 추정방식을 개략적으로 나타낸 도면이다.

스테레오 비전 시스템을 이용하여 거리를 추정하는 방식의 경우, 좌우 영상 촬영 장치로부터 촬영된 영상을 이용하여 대응점을 찾아 깊이 맵(depth map)을 생성한다. 그리고, 상기 깊이 맵과 좌우 영상을 이용하여 이동 객체를 검출하고, 상기 검출된 이동 객체 내의 시차 평균을 구한다. 스테레오 비전 시스템에서는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다. 상기 시차와 목표 객체의 거리는 하기의 수학식 1 내지 수학식 3과 상기 도 2의 각종 파라미터를 이용하여 자세히 설명하도록 한다. 상기 도 2에서 D^disp는 목표 객체(object)와의 거리, B는 좌, 우측 영상 촬영 장치의 중심 사이의 거리, F는 영상 촬영 장치의 초점거리(렌즈와 촬상 장치(예를 들어, CCD) 사이의 거리), x_l은 좌측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리, x_r은 우측 촬영 장치에 맺힌 영상의 중심으로부터 벗어난 거리, Z_d는 객체와 영상 촬영 장치의 수직 거리, X_d는 좌측 영상 촬영 장치와 우측 영상 촬영 장치의 중간 지점에서 Z_d라인과 영상 촬영 장치의 수평면이 만나는 지점까지의 거리를 말한다.

목표 객체까지의 거리 D^disp와 Xd, Zd는 삼각형을 이루므로, 수학식 3과 같이 삼각 공식에 의해 객체까지의 거리 D^disp를 구할 수 있다. 상기 Z_d는 좌, 우측 영상 촬영 장치의 중심 사이의 거리(B)와 영상 촬영 장치의 초점거리(F)를 곱한 값을 시차(x_r-x_l) 값으로 나눈 값으로 구할 수 있다(수학식 1). 그리고 X_d는 x_l의 절대값과 x_r의 절대값 가운데 큰 값과 상기 수학식 1에서 구한 Z_d 값을 곱한 값을 F로 나눈 값에서 B를 2로 나눈 값을 뺀 값으로 구할 수 있다(수학식 2).

도 3은 본 발명에 따른 일 실시예로서, 원근법을 이용하여 거리를 추정방식을 개략적으로 나타낸 도면이다. 상기 도 3은 't=m' 시간과 't=n' 시간에서 영상에서의 객체의 높이를 나타내고 있다. 상기 객체의 높이는 객체의 특징이 되는 위치를 Y축으로 투영함으로써 구할 수 있다. 't=m' 시간에서 상기 Y축으로 투영된 객체의 높이는 h^m이며, 't=n' 시간에서 상기 Y축으로 투영된 객체의 높이는 hⁿ이다. 이 때, 좌측 영상만을 이용하여 객체의 높이를 추출하거나, 우측 영상만을 이용하여 객체의 높이를 추출하여 거리 추정에 사용할 수도 있고, 좌측 영상의 객체의 높이와 우측 영상의 객체의 높이를 평균한 값을 거리 추정에 사용할 수도 있다. 이하에서는 좌측 영상의 객체의 높이와 우측 영상의 객체의 높이를 평균한 값을 거리 추정에 사용하는 경우를 가정하여 설명하기로 한다.

상기 원근법을 이용하여 구한 목표 객체의 크기와 거리는 하기의 수학식 4, 수학식 5와 도 2, 도 3의 파라미터를 이용하여 자세히 설명하도록 한다.

상기 수학식 4에서 나타낸 바와 같이, 't=m' 시간에서 목표 객체의 높이(H)는 h_l ^m값과 h_r ^m값을 더하고 't=m' 시간에 추정된 거리 D^{disp ,m}를 곱한 값을 2F값으로 나눈 값으로 나타낼 수 있다. 그리고, 't=m' 시간에서 원근법을 이용한 객체의 거리 D^{per ,m}은 2HF 값을 h_l ^m값과 h_r ^m값을 더한 값으로 나눈 값으로 나타낼 수 있다.

그러나, 상기 스테레오 비전 방식의 경우, 좌우 영상 촬영 장치에서의 픽셀 간의 거리차를 이용하기 때문에, 양자화 오차가 발생하게 되고, 이러한 양자화 오차는 시점 차가 커질수록, 즉 목표 객체와의 거리가 멀어질수록 오차율이 커지게 된다. 따라서, 상기 오차를 최소화하여 객체의 정확한 위치, 거리를 추정하는 방안을 설명하기로 한다. 상기 시차와 원근법을 이용하여 정확한 위치, 거리를 추정하기 위해 우선 시차를 이용하여 거리를 추정한다. 상기 시차를 이용하여 거리를 추정하는 방법에는 여러 가지 거리 추정 및 보간 방식이 사용될 수 있다.

이하에서는 상기 거리 추정 및 보간 방식의 일 예로서, 포물선을 이용한 2차 보간 방식을 이용하여 거리를 추정하는 방식에 대해 설명하기로 한다.

상기 스테레오 비전 시스템에서는 생성된 깊이 맵(depth map)과 촬영된 좌우 영상을 이용하여 객체를 추출할 수 있다. 그리고 상기 깊이 맵을 이용하여 상기 객체의 중심을 구한다. 예를 들어, 상기 객체는 같은 시차(disparity)를 갖는 픽셀들의 영역을 객체로 추출할 수 있고, 상기 추출된 영역의 중심을 객체의 중심으로 사용할 수 있다.

상기 객체의 중심이 정해지면, 상기 기준 영상에서 객체의 중심을 중심 픽셀로 하는 윈도우를 설정한다. 상기 기준 영상은 좌측 영상 또는 우측 영상을 가운데 하나를 기준 영상으로 할 수 있으며, 구현 예에 따라 달라질 수 있다. 이하에서는 설명의 편의를 위해 좌측 영상을 기준 영상으로 한 경우에 대해 설명하도록 한다.

상기 윈도우는 픽셀단위로 홀수 크기를 가질 수 있다. 예를 들어, 디폴트(default)로 설정되는 윈도우로 3×3 크기를 갖는 윈도우를 설정할 수 있다. 상기 윈도우의 크기는 원 영상의 휘도값의 분산에 따라 조정한다. 예를 들어, 상기 설정된 윈도우 안의 영상에 대해 휘도값 분산이 설정된 임계치(TH)보다 커질때까지 상기 윈도우의 크기를 확대한다(5×5, 7×7, …). 상기 휘도의 변화가 적으면 좌우 영상의 정확한 대응점을 찾기 어려우므로, 상기 임계치는 좌우 영상의 정확한 대응점을 찾기에 충분할 정도로 설정될 수 있으며, 이는 구현 예에 따라 달라질 수 있다. 다만, 상기 추정된 객체의 경계선 영역에서는 교합(occlusion)이 발생할 수 있으므로, 상기 윈도우의 크기는 추정된 객체의 경계선을 넘지 않도록 한다.

이하에서는 설명의 편의를 위해 상기 윈도우의 크기가 3×3로 설정된 경우를 가정하여 설명하기로 한다. 상기 좌측 영상에 대해 객체의 중심을 중심 픽셀로 하는 윈도우가 설정되면, 깊이 맵을 이용하여 좌측 영상 윈도우 내 픽셀의 시차의 평균값을 구한다. 그리고 상기 평균값을 반올림하여 정수값을 얻는다. 상기 반올림된 정수값에 해당하는 시차 값을 갖는 픽셀(대응 픽셀)을 상기 우측 영상의 객체 영역에서 찾아 상기 픽셀을 중심 픽셀로 하는 같은 크기(3×3)의 윈도우를 우측 영상에 설정한다.

우측 영상에 상기 윈도우가 설정되면, 상기 우측 영상의 윈도우를 한 픽셀씩 이동하면서 좌측 영상과 우측 영상의 윈도우 내 픽셀의 정규 유사도(Normalized Cross Correlation : 이하 NCC)를 구한다. 상기 정규 유사도는 윈도우 내 픽셀의 유사도 정도를 정규화한 값을 나타낸다.

예를 들어, 상기 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우측 영상에서 상기 대응 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC₀이라고 하고, 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우측 영상의 상기 대응 픽셀에서 우측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC₁이라고 하고, 좌측 영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우측 영상의 상기 대응 픽셀에서 좌측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 구한 값을 NCC_-1이라고 한다. 이하 수학식 6, 7은 상기 NCC를 구하는 수식을 나타낸다.

상기 수학식 6과 수학식 7에서 W(x,y)는 윈도우 안의 x,y 좌표에서의 휘도값, Wm(x,y)는 윈도우 안의 전체 픽셀에 대한 휘도의 평균값, W'(x,y)는 상기 x,y 좌표에서의 휘도값을 전체 픽셀에 대한 휘도의 평균값을 뺀 값을 놈(norm) 값으로 나눈 값을 나타낸다. 상기 수학식 7에서 연산자 ⓧ는 좌측 영상의 윈도우 안에 있는 각 픽셀의 W_L'(x,y) 값과 우측 영상의 윈도우 안에 있는 각 픽셀의 W_R'(x,y) 값을 크로스 코릴레이션(cross correlation)하는 연산을 나타낸다. 상기 d₀는 상기 좌 측 영상의 윈도우에서 구한 윈도우 내 픽셀의 시차 평균값을 반올림한 값이다. k는 윈도우의 위치를 이동하여 NCC 값을 구하는 경우에 윈도우의 중심 픽셀이 이동한 양을 나타낸다.

상기 예에서는 좌측 영상을 기준 영상으로 하여 우측 영상의 윈도우를 이동하는 경우를 예로 하였으나, 상기에서 언급한 바와 같이 구현 예에 따라 우측 영상을 기준 영상으로 한 경우에는, 좌측 영상의 윈도우를 이동하는 경우로 구현할 수도 있다.

본 실시예에서는 NCC 값을 구하는 방식을 사용하였으나, 구현 예에 따라 윈도우 내 픽셀의 휘도 값에 대한 SSD(Sum of Squared Difference) 값, SAD(Sum of Absolute Difference) 값을 상기 NCC 값을 대신하여 사용할 수도 있다.

상기 구하여진 3개의 NCC 값(NCC_-1, NCC₀, NCC₁)을 이용하여 정규 유사도가 최대가 되는 정밀 시차를 추정할 수 있다. 예를 들어, 상기 3개의 NCC 값이 2차 포물선을 형성한다고 가정한다.

도 4는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 2차 포물선을 형성하는 경우의 예를 나타낸 도면이고, 도 5는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 좌우 비대칭형의 포물선을 형성하는 경우의 예를 나타낸 도면이다.

상기 도 4는 상기 3개의 NCC 값이 좌우 대칭형의 2차 포물선을 형성하는 경우를 가정한 경우이다. 좌측 영상 윈도우의 중심 픽셀과 우측 영상 윈도우의 중심 픽셀 차이가 d₀인 경우 NCC₀ 값이, 중심 픽셀 차이가 d₀+1인 경우 NCC₁ 값이, 중심 픽셀 차이가 d₀-1인 경우 NCC_-1 값이 2차 포물선 좌표에 나타난 것을 볼 수 있다. 상기 도 4에서 정규 유사도가 최대가 되는 지점의 시차(d_d)와 좌우 윈도우 중심 픽셀의 시차(d₀)와 τ₁만큼 차이가 남을 알 수 있다. 이는 상기에서 설명한 바와 같이 픽셀을 기초로 한 스테레오 비전 시스템에 있어서 픽셀간 양자화 오차에 기인한다. 상기 도 4에서는 중심 픽셀 차이가 d₀인 경우와 d₀-1인 경우의 사이에서 정규 유사도가 최대로 나타난다.

다만, 상기 NCC 값이 완전한 좌우 대칭형의 2차 포물선을 형성하는 경우는 드물다. 따라서, 상기 도 5의 좌우 비대칭 포물선과 같이 d₀-τ₂ 를 기준으로 좌측은 내부의 2차 포물선(y₁=a₁x²+b₁x+c₁) 형태를 가지며, 우측은 외부의 2차 포물선(y₂=a₂x²+b₂x+c₂) 형태를 가지는 경우를 가정한다. 상기 도 5에서는 좌측 영상 윈도우의 중심 픽셀과 우측 영상 윈도우의 중심 픽셀 차이가 d₀인 경우의 NCC₀ 값, 중심 픽셀 차이가 d₀+1인 경우의 NCC₁ 값은 외부의 2차 포물선(y₂=a₂x²+b₂x+c₂) 위에 위치하며, 중심 픽셀 차이가 d₀-1인 경우의 NCC_-1 값은 내부의 2차 포물선(y₁=a₁x²+b₁x+c₁) 위에 나타난 것을 볼 수 있다. 따라서, 상기 두 개의 정규 유사도 2차 포물선의 합이 최대가 되는 지점의 시차를 정밀 시차로 추정하여 객체의 정 확한 거리를 추정한다. 상기 도 5에서는 정밀 시차로 추정되는 위치와 좌우 윈도우 중심 픽셀의 시차(d₀)가 τ₂만큼 차이가 남을 알 수 있다.

상기 정밀 시차로 추정되는 지점의 시차(d₀-τ₂)를 추정하기 위해서는 상기 두 개의 포물선의 계수(a₁, a₂, b₁, b₂, c₁, c₂)를 알아야 한다. 도 6은 본 발명에 따른 일 실시예로서, 정규 유사도 포물선의 계수를 구하는 순서를 개략적으로 나타낸 도면이다.

우선 상기 도 4에서와 같이 상기 NCC 값이 좌우 대칭형의 1개의 포물선을 형성한다고 가정하여 상기 포물선에서 정규 유사도 값이 최대(coarse extremum)가 되는 지점(d₀-τ₁)을 찾을 수 있다(S600). 상기 값은 포물선 피팅(parabola fitting) 방법 등을 사용해서 찾을 수 있다. 상기 포물선 상의 3개의 위치에 대한 값(NCC_-1, NCC₀, NCC₁)을 알고 있으므로, 상기 포물선의 수학식을 이용하여 상기 최대가 되는 지점을 찾을 수 있다.

상기 S600 단계에서 정규 유사도 값이 최대가 되는 지점을 찾은 경우, 상기 최대 값을 중심으로 좌우 2개의 정규 유사도 포물선을 가정한다. 상기 가정된 포물선은 각각 y₁=a₁x²+b₁x+c₁의 수학식과 y₂=a₂x²+b₂x+c₂의 수학식으로 나타낼 수 있다.

상기 2개의 포물선을 구하기 위해, 기준 영상으로 설정된 좌측 영상을 이용하여 상기 포물선의 a₁과 a₂ 계수를 구한다(S610). 기준 영상인 상기 좌측 영상에서 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와, 상기 좌측 영상의 객체의 중심에서 한 픽셀 좌측에 있는 픽셀을 중심 픽셀로 하여 설정된 윈도우에 대해 NCC(

) 값을 구한다. 그리고 상기 좌측 영상에서 객체의 중심을 중심 픽셀로 하여 설전된 윈도우와, 상기 좌측 영상의 객체의 중심에서 한 픽셀 우측에 있는 픽셀을 중심 픽셀로 하여 설정된 윈도우에 대해 NCC(

) 값을 구한다. 상기 I_L(x) 값은 x 위치 픽셀에서의 휘도 값을 사용할 수 있다. 상기 2개의 포물선의 a₁과 a₂ 계수는

와

를 이용하여 얻을 수 있다.

상기 S610 단계에서 a₁과 a₂ 계수가 얻고, 나머지 b₁, b₂, c₁ 및 c₂를 구하여 최대 값(coarse extremum)을 중심으로 좌우 2개의 포물선의 모든 계수를 구한다(S620). 그리고 상기 가정한 2개의 규정 유사도 포물선의 합이 최대가 되는 위치를 구한다(S630). 상기 포물선의 나머지 계수는 상기 3개의 NCC값(NCC_-1, NCC₀, NCC₁)과 상기 좌측 영상에 설정된 윈도우 자신의 NCC값을 이용하여 구할 수 있다. 예를 들어, 상기 좌측 영상에 설정된 윈도우 자신의 NCC값과 상기 NCC_-1을 이용하여 b₁과 c₁값을 구할 수 있고, 상기 좌측 영상에 설정된 윈도우 자신의 NCC값과 상기 NCC₁값을 이용하여 b₂와 c₂값을 구할 수 있다.

상기와 같은 방식에 따라 얻어진 2개의 포물선의 합이 최대가 되는 위치를 양자화 오차를 보간한 정밀 시차로 추정할 수 있으며, 상기 정밀 시차는

,

로 나타낼 수 있다. 상기 d_d는 시차 'x_r-x_l'를 나타내며, k는 상수, d_p는 픽셀간 거리 값을 나타낸다. 상기 얻어진 정밀 시차 값(d_d ≒ x_r-x_l)을 상기 수학식 1에 대입하여 목표 객체의 정확한 거리와 위치를 추정할 수 있다.

상기에서 언급한 바와 같이 상기 거리추정 및 보간 방식은 일 예이며, 구현 예에 따라 다른 방식으로 정밀 거리가 추정될 수도 있다.

상기와 같이 목표 객체의 거리, 위치가 추정되면 필터를 이용하여 상기 추정된 값을 필터링(filtering)한다. 상기 필터의 예로 칼만 필터(Kalman filter) 등을 사용할 수 있다. 상기 칼만 필터의 경우 가우시안(guassian) 함수를 기초로 하는 확률 모델에 따라 입력된 값을 필터링한다. 상기 필터는 시간에 따라 입력되는 거리, 위치 값들을 확률 모델에 따라 필터링하여, 확률 밀도 함수와 입력되는 값들의 평균(mean), 분산(variance), 확률 밀도가 최대가 되는 거리(D^disp), 확률 밀도 함수 의 공분산(covariance) 값(P^disp) 등을 얻을 수 있다. 그리고, 상기 필터는 상기 확률 밀도 함수를 통해 확률 밀도가 가장 높은 거리(D^disp)를 시차 방식을 통해 추정된 객체의 거리, 위치로 추정할 수 있다.

상기 시차 방식을 통해 추정된 거리(D^disp)가 설정된 임계값(D_th)보다 작고, 확률 밀도 함수의 공분산(covariance) 값(P^disp)이 설정된 임계값(P_th)보다 작을 때, 즉, 객체와의 거리가 일정 거리보다 가깝고 공분산이 일정 값보다 작을 때 상기 필터링을 통해 추정된 거리의 신뢰도가 높다. 상기 임계값들은 요구되는 신뢰도에 따라 구현 예마다 달라질 수 있다.

상기 시차 방식을 통해 추정된 거리와 공분산 값이 해당 임계값보다 작은 경우에는 상기 추정된 거리 값과 상기 수학식 4를 이용하여 객체의 실제 높이(H)를 추정할 수 있다. 상기 실제 높이가 구해지면 상기 높이 값과 수학식 5를 이용하여 원근법에 의한 객체의 거리, 위치를 추정할 수 있다. 상기 원근법에 의한 객체의 거리, 위치가 추정되면, 상기에서 설명한 필터링을 통하여 확률 밀도가 최대가 되는 거리(D^per)와 공분산(P^per)를 추정할 수 있다. 상기 확률 밀도가 최대가 되는 거리(D^per)를 원근법 방식을 통해 추정된 객체의 거리, 위치로 추정할 수 있다. 원근법을 통해 추정된 거리의 확률 밀도가 최대가 되는 값을 구하는 방법은 상기 시차 방식에서 설명한 바와 같다.

도 7은 본 발명에 따른 일 실시예로서, 확률 밀도 함수를 개략적으로 나타낸 도면이다. 상기 도 7은 시차 방식에 따라 추정된 거리(D^disp)와 확률 밀도 함수, 원근법에 따라 추정된 거리(D^per)와 확률 밀도 함수를 나타내며, D는 확률 밀도 함수를 보간하여 추정된 거리를 나타낸다.

상기 시차 방식에 따라 추정된 거리, 확률 밀도 함수와 상기 원근법을 이용하여 추정된 거리, 확률 밀도 함수를 보간하여 더 정확한 거리를 추정할 수 있다. 예를 들어, 상기 시차 방식에 따른 확률 밀도와 원근법에 따른 확률 밀도를 더하여 가장 높은 확률 밀도를 갖는 위치를 객체의 거리로 추정하여 정확한 거리를 추정할 수 있다. 상기 도 7에서는 D를 축으로 하는 확률 밀도 함수가 시차 방식에 따른 확률 밀도와 원근법에 따른 확률 밀도를 더한 예이다. 상기 가장 높은 확률 밀도를 갖는 위치는 상기 시차 방식에 따른 확률 밀도 함수와 원근법에 따른 확률 밀도 함수를 더한 후, 미분한 값이 0인 지점을 최대 값을 갖는 위치로 구할 수 있다.

도 8은 본 발명에 따른 일 실시예로서, 거리 추정 장치의 구성을 개략적으로 나타낸 블록도이다. 상기 거리 추정 장치는 좌측 영상 촬영장치(800), 우측 영상 촬영장치(802), 스테레오 매칭부(810), 객체 검출부(820), 제1 거리 추정부(830), 제1 필터부(840), 높이 추정부(850), 영상 높이 추정부(860), 객체 거리 추정부(870), 제2 필터부(880) 및 제3 거리 추정부(890)를 포함한다.

좌측 영상 촬영 장치(800)와 우측 영상 촬영 장치(802)는 스테레오 비전 시스템에서 거리, 속도 등의 추정에 필요한 좌측 영상과 우측 영상을 촬영한다. 상기 영상 촬영 장치는 예를 들어, 카메라 등이 사용될 수 있다. 상기 좌측 영상 촬영 장치(800)와 우측 영상 촬영 장치(802)에서 각각 얻어진 좌측 영상과 우측 영상은 스테레오 매칭부(810)로 입력된다. 상기 스테레오 매칭부(810)에서는 입력된 좌측 영상과 우측 영상을 매칭(matching)하여 촬영된 영상의 깊이 맵(depth map)을 얻을 수 있다.

객체 검출부(820)는 상기 깊이 맵 정보를 이용하여 거리나 속도 등을 추정하고자 하는 객체를 추출할 수 있다. 예를 들어, 상기에서 설명한 바와 같이 시차 값이 동일한 영역 등을 이용하여 상기 객체를 추출할 수 있다. 제1 거리 추정부(830)는 상기 객체 검출부(820)에서 추출된 객체 정보를 이용하여 추출된 객체의 거리를 추정한다. 상기 제1 거리 추정부(830)의 거리 추정 방식으로 다양한 방식의 거리 추정 방법과 보간 방법 등이 적용될 수 있다. 일 예로, 상기 제1 거리 추정부(830)는 상기에서 설명한 시차를 이용한 거리 추정 방식을 이용하여 객체의 거리를 추정할 수 있다. 제1 필터부(840)는 상기 제1 거리 추정부(830)에서 추정된 거리 정보를 필터링하여 확률 밀도가 최대가 되는 거리(D^disp)와 확률 밀도 함수의 공분산(P^disp)을 산출한다. 상기 제1 필터부의 예로 칼만 필터 등을 사용할 수 있다.

상기 도 8에서 높이 추정부(850), 영상 높이 추정부(860) 및 객체 거리 추정부(870)는 상기 확률 밀도가 최대가 되는 거리(D^disp) 정보를 이용하여 객체의 거리를 추정하는 제2 거리 추정부로 볼 수 있다.

상기 높이 추정부(850)는 상기 제1 필터부(840)에서 산출된 거리 정보(D^disp)를 이용하여 객체의 실제 높이(H)를 추정한다. 상기 높이 추정 방식은 상기에서 설명한 바와 같다. 영상 높이 추정부(860)는 촬영된 영상에서의 객체의 높이를 추정한다. 상기 영상에서의 객체의 높이는, 상기에서 설명한 바와 같이 좌측 영상에서의 높이만을 이용하거나, 우측 영상에서의 높이만을 이용하거나, 또는 좌측 영상에서의 높이와 우측 영상에서의 높이를 평균하여 사용할 수 있다.

객체 거리 추정부(870)는 상기 높이 추정부(850)에서 추정된 객체의 실제 높이(H) 정보와 영상 높이 추정부(860)에서 추정된 영상의 높이 정보를 이용하여 객체의 거리를 추정할 수 있다. 일 예로, 상기 객체 거리 추정부(870)는 원근법에 따른 거리 추정 방법을 사용하여 객체의 거리를 추정할 수 있다. 제2 필터부(880)는 상기 객체 거리 추정부(870)에서 추정된 거리 정보를 필터링하여 확률 밀도가 최대가 되는 거리(D^per)와 확률 밀도 함수의 공분산(P^per)을 산출한다. 상기 제2 필터부의 예로 칼만 필터 등을 사용할 수 있다.

제3 거리 추정부(890)는 상기 제1 필터부(840)에서 산출된 거리 정보(D^disp)와 확률 밀도 함수의 공분산(P^disp), 상기 제2 필터부(880)에서 산출된 거리 정보(D^per)와 확률 밀도 함수의 공분산(P^per)을 이용하여 객체의 거리를 추정할 수 있다. 예를 들어, 상기 제3 거리 추정부(890)는 확률 모델과 상기 제1 필터부(840)에 서 산출된 거리 정보(D^disp), 확률 밀도 함수의 공분산(P^disp) 등을 이용하여 제1 거리 추정부(830)에서 추정된 거리의 확률 밀도 함수를 구할 수 있고, 확률 모델과 상기 제2 필터부(880)에서 산출된 거리 정보(D^per), 확률 밀도 함수의 공분산(P^per) 등을 이용하여 객체 거리 추정부(870)에서 추정된 거리의 확률 밀도 함수를 구할 수 있다. 상기 제3 거리 추정부(890)는 상기에서 얻어진 각 확률 밀도의 합이 최대가 되는 위치를 객체의 거리(D)로 추정할 수 있다.

도 9는 본 발명에 따른 일 실시예로서, 거리 추정 방법을 개략적으로 나타낸 순서도이다.

스테레오 비전 시스템의 좌우 영상 촬영 장치를 이용하여 영상을 촬영하고, 상기 촬영된 영상의 목표 객체를 검출한다(S900). 상기 스테레오 비전 시스템의 메모리에 저장된 객체의 높이 값(H)을 초기화하고(S902), 상기 검출된 객체에 대한 시차를 산출한다(S904). 상기 S904 단계에서 객체의 시차가 산출되면, 상기 시차를 이용하여 목표 객체의 거리를 추정한다(S906). 상기 시차를 이용한 객체 거리 추정 방식은 상기에서 설명한 바와 같다.

상기 S906 단계에서 객체의 거리가 추정되면 상기 추정된 거리 정보를 필터링하여 확률 밀도가 최대인 거리(D^disp)와 상기 확률 밀도의 공분산(P^disp) 등을 산출한다(S908). 상기 필터링 방식의 예로 칼만 필터링 방식 등을 사용할 수 있다. 상기 S908 단계에서 산출된 확률 밀도가 최대인 거리(D^disp)가 임계값(D_th)보다 작지 않 고, 공분산(P^disp)이 임계값(P_th)보다 작지 않은 경우(S910), 상기 객체의 거리(D)를 상기 S908 단계에서 산출된 확률 밀도가 최대인 거리(D^disp)로 추정한다(S912).

상기 S908 단계에서 산출된 확률 밀도가 최대인 거리(D^disp)가 임계값(D_th)보다 작고, 공분산(P^disp)이 임계값(P_th)보다 작은 경우(S910), 상기 확률 밀도가 최대인 거리(D^disp) 정보를 이용하여 목표 객체의 실제 높이(H)를 산출한다(S914). D^disp나 P^disp가 임계값보다 클 경우에는 산출된 객체의 높이가 정확하지 않을 확률이 높기 때문에, 산출된 객체 거리(D)를 상기 S908 단계에서 산출된 확률 밀도가 최대인 거리(D^disp)로 추정한다(S912).

상기 S914 단계에서 목표 객체의 실제 높이(H)가 산출되고, 상기 객체 높이(H) 정보를 이용하여 상기 객체의 거리를 추정한다(S916). 상기 객체의 거리 추정 방식의 일 예로, 상기에서 설명한 바와 같이 원근법에 의한 방식을 사용할 수 있다. 상기 S916 단계에서 객체의 거리가 추정되면 상기 추정된 거리 정보를 필터링하여 확률 밀도가 최대인 거리(D^per)와 상기 확률 밀도의 공분산(P^per) 등을 산출한다(S918). 상기 필터링 방식의 예로 칼만 필터링 방식 등을 사용할 수 있다.

그리고, 상기 S908 단계와 상기 S918 단계에서 각각 산출된 확률 밀도가 최대인 거리, 확률 밀도의 공분산 등을 이용하여 객체의 정확한 거리를 추정할 수 있 다(S920). 예를 들어, 상기 S920 단계에서는 확률 모델과 상기 S908 단계에서 구한 추정 거리(D^disp), 공분산(P^disp)을 이용하여 추정된 거리의 확률 밀도 함수를 구할 수 있고, 확률 모델과 상기 S918 단계에서 구한 추정 거리(D^per), 공분산(P^per)을 이용하여 추정된 거리의 확률 밀도 함수를 구할 수 있다. 그리고 각각 산출된 확률 밀도의 합이 최대인 점을 객체의 정확한 거리로 추정할 수 있다.

본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.

도 1은 본 본 발명에 따른 일 실시예로서, 시간에 따른 좌우 영상을 개략적으로 나타낸 도면

도 2는 본 발명에 따른 일 실시예로서, 스테레오 비전 방식에 따라 거리를 추정방식을 개략적으로 나타낸 도면

도 3은 본 발명에 따른 일 실시예로서, 원근법을 이용하여 거리를 추정방식을 개략적으로 나타낸 도면

도 4는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 2차 포물선을 형성하는 경우의 예를 나타낸 도면

도 5는 본 발명에 따른 일 실시예로서, 정규 유사도 값이 좌우 비대칭형의 포물선을 형성하는 경우의 예를 나타낸 도면

도 6은 본 발명에 따른 일 실시예로서, 정규 유사도 포물선의 계수를 구하는 순서를 개략적으로 나타낸 도면

도 7은 본 발명에 따른 일 실시예로서, 확률 밀도 함수를 개략적으로 나타낸 도면

도 8은 본 발명에 따른 일 실시예로서, 거리 추정 장치의 구성을 개략적으로 나타낸 블록도

도 9는 본 발명에 따른 일 실시예로서, 거리 추정 방법을 개략적으로 나타낸 순서도

*도면의 주요 부분에 대한 부호의 설명

800 : 좌측 영상 촬영장치 802 : 우측 영상 촬영장치

810 : 스테레오 매칭부 820 : 객체 검출부

830 : 제1 거리 추정부 840 : 제1 필터부

850 : 높이 추정부 860 : 영상 높이 추정부

870 : 객체 거리 추정부 880 : 제2 필터부

890 : 제3 거리 추정부

Claims (18)

1. 거리 추정 방법에 있어서,

   촬영된 좌우 영상에서 추출된 객체의 시차를 이용하여 상기 객체의 거리를 추정하고, 칼만 필터링을 이용하여 추정된 거리 값을 필터링하여 제1 확률 밀도를 구하는 단계;

   상기 제1 확률 밀도가 최대가 되는 거리 값과 제1 확률 밀도의 공분산 값이 각각 임계값보다 작은 경우, 상기 제1 확률 밀도가 최대가 되는 거리 값을 이용하여 상기 객체의 높이를 구하는 단계;

   상기 객체의 높이를 이용하여 상기 객체의 거리를 추정하고, 칼만 필터링을 이용하여 추정된 거리 값을 필터링하여 제2 확률 밀도를 구하는 단계; 및

   상기 제1 확률 밀도와 제2 확률 밀도를 더한 확률 밀도가 최대인 거리를 객체의 거리로 추정하는 단계를 포함하는 스테레오 비전을 이용한 거리 추정 방법.
2. 삭제
3. 삭제
4. 제 1 항에 있어서,

   상기 제1 확률 밀도를 구하는 단계는,

   상기 제1 확률 밀도가 최대가 되는 거리 값과 상기 제1 확률 밀도의 공분산을 구하는 거리 추정 방법.
5. 제 1 항에 있어서,

   상기 객체의 높이를 이용하여 거리를 추정하는 단계는,

   원근법을 이용하여 상기 객체의 높이에 따른 상기 객체의 거리를 추정하는 거리 추정 방법.
6. 삭제
7. 삭제
8. 제 1 항에 있어서,

   상기 제2 확률 밀도를 구하는 단계는,

   상기 제2 확률 밀도가 최대가 되는 거리 값과 상기 제2 확률 밀도의 공분산을 구하는 거리 추정 방법.
9. 삭제
10. 삭제
11. 거리 추정 장치에 있어서,

    촬영된 좌우 영상에서 추출된 객체의 시차를 이용하여 상기 객체의 거리를 추정하는 제1 거리 추정부;

    칼만 필터를 사용하여 상기 제1 거리 추정부에서 추정된 거리 값을 필터링하여 제1 확률 밀도를 구하는 제1 필터부;

    상기 제1 확률 밀도가 최대가 되는 거리 값을 이용하여 상기 객체의 높이를 추정하고, 상기 객체의 높이를 이용하여 객체의 거리를 추정하는 제2 거리 추정부;

    칼만 필터를 사용하여 상기 제2 거리 추정부에서 추정된 거리 값을 필터링하여 제2 확률 밀도를 구하는 제2 필터부; 및

    상기 제1 확률 밀도와 제2 확률 밀도를 더한 확률 밀도가 최대가 되는 거리를 객체의 거리로 추정하는 제3 거리 추정부를 포함하는 스테레오 비전을 이용한 거리 추정 장치.
12. 삭제
13. 제 11 항에 있어서,

    상기 제1 필터부는,

    상기 제1 확률 밀도가 최대가 되는 거리 값, 제1 확률 밀도의 공분산을 산출하는 스테레오 비전을 이용한 거리 추정 장치.
14. 제 11 항에 있어서,

    상기 제2 거리 추정부는,

    상기 제1 확률 밀도가 최대가 되는 거리 값을 이용하여 객체의 실제 높이를 추정하는 높이 추정부;

    촬영된 영상에서의 객체의 높이를 추정하는 영상 높이 추정부; 및

    상기 추정된 객체의 실제 높이와 영상에서의 객체의 높이를 이용하여 객체의 거리를 추정하는 객체 거리 추정부를 포함하는 스테레오 비전을 이용한 거리 추정 장치.
15. 삭제
16. 제 11 항에 있어서,

    상기 제2 필터부는,

    상기 제2 확률 밀도가 최대가 되는 거리 값, 제2 확률 밀도의 공분산을 산출하는 스테레오 비전을 이용한 거리 추정 장치.
17. 삭제
18. 삭제

Images