KR20100066952A - 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법 - Google Patents

스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법 Download PDF

Info

Publication number
KR20100066952A
KR20100066952A KR1020080125480A KR20080125480A KR20100066952A KR 20100066952 A KR20100066952 A KR 20100066952A KR 1020080125480 A KR1020080125480 A KR 1020080125480A KR 20080125480 A KR20080125480 A KR 20080125480A KR 20100066952 A KR20100066952 A KR 20100066952A
Authority
KR
South Korea
Prior art keywords
frame
tracking
obstacle
value
stereo vision
Prior art date
Application number
KR1020080125480A
Other languages
English (en)
Other versions
KR101030317B1 (ko
Inventor
임영철
이충희
권순
이종훈
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020080125480A priority Critical patent/KR101030317B1/ko
Publication of KR20100066952A publication Critical patent/KR20100066952A/ko
Application granted granted Critical
Publication of KR101030317B1 publication Critical patent/KR101030317B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

본 발명은, 장애물의 실제 위치를 추정하고 경로를 예측한 후 후보군들을 검출하고 검출된 후보군에 대하여 상관도를 측정함으로써, 차량과 같은 환경에서 강건하게 장애 물체를 추적하고 경로를 예측하는 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법을 제공한다.
장애물 추적, 스테레오 영상

Description

스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법{APPARATUS FOR TRACKING OBSTACLE USING STEREO VISION AND METHOD THEREOF}
본 발명은 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법에 관한 것이다.
3차원 공간에서 장애물 위치 결정(Obstacle Localization)은 지능형 차량과 로봇 항법에서 중요한 문제 중 하나이다. 특히, 지능형 차량에서 필수 기능 중 하나인 자동 순항 제어(ACC: Adaptive Cruise Control)와 차선 유지 시스템(LKS: Lane Keeping System)의 구현에서 매우 중요하다. 장애물의 위치를 결정하기 위해서는 카메라, 소나(Sonar), 레이더, 광선 레이더(radar)와 같은 다양한 센서들을 이용한다. 최근에는 컴퓨터 성능과 통합 기술(Integration Technology)의 향상으로 데이터 처리 시간이 감소하여, 많은 연구자가 컴퓨터 비전(Computer Vision)을 이용하여 장애물 위치 결정을 수행하고 있다.
컴퓨터 비전은 데이터 처리 시간과 관련된 몇 가지 문제점들이 있지만, 하나의 센서로부터 많은 정보를 이용할 수 있는 사람의 시각과 유사한 많은 장점들이 있다. 최근 모노 비전(Mono Vision)의 많은 문제점을 극복할 수 있는 스테레오 비 전(Stereo Vision)이 연구되어 왔다.
특히, 종래에는 비디오 영상에서 이동물체를 추적하기 위해, 비디오 영상에서 물체의 이동에 따른 인접 프레임간의 이미지 차이에 의한 이미지 정보량의 변화에 의해 물체를 추적하는 방법과, 단순히 이동하는 물체의 템플레이트(대표 모형)를 비교하여 이동물체를 추적하는 방법, 그리고 단순히 이동물체를 추적할 수 있는 필터 등을 이용하여 이동물체를 추적한 방법 등이 이용되었다.
예를 들어 기존 영상을 이용한 객체 추적 기술은 도 1에서와 같이 영상 영역에서 움직임 변위를 추정하거나 칼만 필터와 같은 추적 기술을 이용하여, 다음 프레임((t+1) 프레임)에서 객체의 위치를 추정함으로써 연속적으로 객체를 추적하였다.
그러나, 차량용 비전과 같이 영상 내에 유사한 객체들이 많이 존재하고, 고속 이동으로 인해 프레임 간의 영상의 변화가 심한 경우에는 다른 객체를 추적하여, 객체의 경로를 추정할 때 오류가 발생하는 문제점이 있었다.
또한 기존의 추적 기술은 영상 평면상에서 추적함으로써 장애물의 실제 위치와 움직임을 추정하기 어렵기 때문에, 충돌 위험이 있는 장애물을 감지하지 못하는 문제점이 있었다.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 본 발명은 장애 물체의 실제 위치 정보와 영상에서의 장애 물체의 상관도를 이용하여, 강건하게 장애물을 추적할 수 있는 장치 및 방법을 제공한다.
본 발명은, 장애물의 실제 위치를 추정하고 경로를 예측한 후 후보군들을 검출하고 검출된 후보군에 대하여 상관도를 측정함으로써, 차량과 같은 환경에서 강건하게 장애 물체를 추적하고 경로를 예측하여, 사고 위험을 경감시킬 수 있는 장치 및 방법을 제공한다.
일측면에 따르면, 본 발명은 스테레오 비전을 이용하여 장애물을 추적하는 방법으로써, 스테레오 비전을 이용하여 좌우 영상으로부터 깊이맵을 생성하고, 깊이맵을 이용하여 현재 프레임(t 프레임)의 장애물의 위치를 측정하는 측정단계와; 현재 프레임(t 프레임)의 측정치(Zd)를 이용하여 다음 프레임(t+1 프레임)의 위치를 추정하는 추정단계와; 다음 프레임(t+1 프레임)에서는 과거 프레임(t 프레임)에서 예측된 위치를 중심으로 적절한 신뢰도를 갖는 후보 영역 내에 있는 후보군들을 선택하는 선택단계와; 상기 후보 영역 내에 있는 후보군들에 대하여 과거 영상(t 프레임)과 현재 영상(t+1 프레임)에서 객체에 대하여 각각의 상관도를 계산하고, 실제 위치에서 예측치와 측정치와의 거리에 대한 확률 분포와 상관도에 의하여 최종 적으로 후보군을 선택 하여 장애물을 추적하는 추적단계를 포함하는 스테레오 비전을 이용하여 장애물을 추적하는 방법을 제공한다.
또다른 측면에서, 본 발명은, 스테레오 비전을 이용하여 장애물을 추적하는 장치로써, 스테레오 비전을 이용하여 좌우 영상으로부터 깊이맵을 생성하고, 깊이맵을 이용하여 현재 프레임(t 프레임)의 장애물의 위치를 측정하는 측정수단과, 현재 프레임(t 프레임)의 측정치(Zd)를 이용하여 다음 프레임(t+1 프레임)의 위치를 추정하는 추정수단과, 다음 프레임(t+1 프레임)에서는 과거 프레임(t 프레임)에서 예측된 위치를 중심으로 적절한 신뢰도를 갖는 후보 영역 내에 있는 후보군들을 선택하는 선택수단과, 상기 후보 영역 내에 있는 후보군들에 대하여 과거 영상(t 프레임)과 현재 영상(t+1 프레임)에서 객체에 대하여 각각의 상관도를 계산하고, 실제 위치에서 예측치와 측정치와의 거리에 대한 확률 분포와 상관도에 의하여 최종적으로 후보군을 선택 하여 장애물을 추적하는 추적수단을 포함하는 스테레오 비전을 이용하여 장애물을 추적하는 장치를 제공한다.
본 발명은 장애 물체의 실제 위치 정보와 영상에서의 장애 물체의 상관도를 이용하여, 강건하게 장애물을 추적할 수 있는 효과가 있다.
본 발명은, 장애물의 실제 위치를 추정하고 경로를 예측한 후 후보군들을 검출하고 검출된 후보군에 대하여 상관도를 측정함으로써, 차량과 같은 환경에서 강건하게 장애 물체를 추적하고 경로를 예측하여, 사고 위험을 경감시킬 수 있는 효 과가 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서는 본 발명의 실시예를 설명하는 데 있어서, 영상 내의 임의의 대상이 차량인 것으로 가정한다. 다만, 이러한 가정은 설명의 편의를 위한 것일 뿐, 본 발명은 영상 내의 임의의 대상으로서 차량뿐만 아니라 도로, 인도, 책상, 실내, 운동장 등의 사물이거나 얼굴, 볼, 복부, 다리 등 사람의 신체 일부 등 다양한 형태의 물체일 수 있다.
도 2는 본 발명의 일실시예에 따른 스테레오 비전을 이용한 장애물의 추적방법의 흐름도이고, 도 3은 본 발명의 일실시예에 따른 스테레오 비전을 이용한 거리 측정 방법의 개념도이다.
도 2 및 도 3을 참조하면, 본 발명의 일실시예에 따른 스테레오 비전을 이용한 장애물의 추적방법(200)에 의하면, 먼저 적어도 두 개의 카메라, 예를 들어 좌(310), 우(320)로 세트를 이루는 스테레오 카메라에서 촬영된 복수개의 영상을 이용하여 스테레오 매칭에 의해 깊이맵을 생성한다(S202). 이후 이 깊이맵을 이용하여, 장애물들을 검출한다(S104). 좌우 영상 촬영 장치로부터 촬영된 영상을 이용하여 대응점을 찾아 깊이 맵(depth map)을 생성한다. 그리고, 상기 깊이 맵과 좌우 영상을 이용하여 이동 객체를 검출하고, 상기 검출된 이동 객체 내의 시차 평균을 구한다. 스테레오 비전 시스템에서는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다
이때, 도3에 도시한 바와 같이, 각각의 좌(310), 우(320)로 세트를 이루는 스테레오 카메라는, 동일한 베이스라인 축(330) 상에서 평행 카메라 모델을 이룬다.
이 평행 카메라 모델에서 스테레오 카메라로부터 측정하고자 하는 정합점(matching point), 즉 장애물까지의 거리(Zd)를 다음의 수학식 1에 따라 구한다.
Figure 112008085136173-PAT00001
이 식에서, Zd는 장애물과의 거리를, f는 영상 촬영 장치의 초점거리(focal length, 렌즈와 촬상 장치(예를 들어, CCD, CMOS 등) 사이의 거리)를, B는 좌, 우측 영상 촬영 장치의 중심 사이의 거리(baseline)를, x1-x2는 시차(disparity)를, Pd는 화소의 길이를 나타낸다.
이때 수학식 1에서 구한 거리는 화소의 양자화 오차로 인해 거리 오차가 발생한다.
다음으로, 현재 프레임(t 프레임)의 측정치(Zd)를 이용하여 다음 프레임(t+1 프레임)의 위치를 추정한다(S206).
구체적으로, 수학식 1에 화소의 양자화 오차로 인해 거리 오차를 최소화하기 위하여, 정규 유사도(Normalized Cross Correlation : 이하 NCC)나 부화소 보간법(Sub-pixel interpolation)을 이용하여 정밀 시차(
Figure 112008085136173-PAT00002
)를 추정하고, 추정된 정밀 시차(
Figure 112008085136173-PAT00003
)를 이용하여, 칼만 필터(Kalman Filter)와 같은 추적 필터를 이용하여 최적의 거리(
Figure 112008085136173-PAT00004
)를 추정한다.
예를 들어, 3개의 NCC 값(NCC(k1-1), NCC(k1), NCC(k1+1))을 이용하여 정규 유사도가 최대가 되는 정밀 시차를 추정할 수 있다. 예를 들어,도 4에 도시한 바와 같이 3개의 NCC 값이 2차 포물선을 형성한다고 가정한다.
우영상에 윈도우가 설정되면, 상기 우영상의 윈도우를 한 픽셀씩 이동하면서 좌영상과 우영상의 윈도우 내 픽셀의 정규 유사도(Normalized Cross Correlation : 이하 NCC)를 구한다. 상기 정규 유사도는 윈도우 내 픽셀의 유사도 정도를 정규화한 값을 나타낸다.
예를 들어, 좌영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 우영상에서 상기 대응 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC(k1)이라고 하고, 좌영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우영상의 상기 대응 픽셀에서 우측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 값을 NCC(k1-1)이라고 하고, 좌영상의 객체의 중심을 중심 픽셀로 하여 설정된 윈도우와 상기 우영상의 상기 대응 픽셀에서 좌측으로 한 픽셀 이동한 픽셀을 중심 픽셀로 하여 설정된 윈도우의 NCC 구한 값을 NCC(k1+1)이라고 한다. 이하 수학식 2, 3는 상기 NCC를 구하는 수식을 나타낸다.
Figure 112008085136173-PAT00005
Figure 112008085136173-PAT00006
상기 수학식 2와 수학식 3에서 W(x,y)는 윈도우 안의 x,y 좌표에서의 밝기값, Wm(x,y)는 윈도우 안의 전체 픽셀에 대한 휘도의 평균값, W'(x,y)는 상기 x,y 좌표에서의 휘도값을 전체 픽셀에 대한 휘도의 평균값을 뺀 값을 놈(norm) 값으로 나눈 값을 나타낸다. 상기 수학식 5에서 연산자 ⓧ는 좌측 영상의 윈도우 안에 있는 각 픽셀의 WL'(x,y) 값과 우측 영상의 윈도우 안에 있는 각 픽셀의 WR'(x,y) 값을 크로스 코릴레이션(cross correlation)하는 연산을 나타낸다. 상기 d0는 상기 좌측 영상의 윈도우에서 구한 윈도우 내 픽셀의 시차 평균값을 반올림한 값이다. k는 윈도우의 위치를 이동하여 NCC 값을 구하는 경우에 윈도우의 중심 픽셀이 이동한 양을 나타낸다.
도 4를 참조하면, 좌영상 윈도우의 중심 픽셀과 우영상 윈도우의 중심 픽셀 차이가 k1인 경우 NCC(k1) 값이, 중심 픽셀 차이가 k1+1인 경우 NCC(k1+1) 값이, 중심 픽셀 차이가 k1-1인 경우 NCC(k1-1) 값이 2차 포물선 좌표에 나타난 것을 볼 수 있다. 상기 도 4에서 정규 유사도가 최대가 되는 지점의 시차(k2=)와 좌우 윈도우 중심 픽셀의 시차(k1)와 차이가 남을 알 수 있다. 이는 픽셀을 기초로 한 스테레오 비전 시스템에 있어서 픽셀간 양자화 오차에 기인한다. 상기 정규 유사도가 최대가 되는 지점의 시차(k2)는 상기 2차 포물선(y=ax2+bx+c)과 3개의 NCC 값을 이용하여 구할 수 있다.
상기와 같이 산출된 거리값은 칼만 필터(Kalman filter)나 파티클 필터(particle filter) 등과 같은 동적 필터(dynamic filter)를 이용하여 필터링함으로써, 영상 프레임 단위로 객체와의 거리, 즉 최적의 거리(
Figure 112008085136173-PAT00007
)를 추적하여 정확도 를 향상시킬 수 있다.
이후 최적 거리를 이용하여 다음 수학식 4에 의해 Xd 위치를 구하고, 구해진 Xd 위치를 이용하여 추적 필터로 다음 프레임(t+1 프레임)에서 최적의 위치를 추정한다.
Figure 112008085136173-PAT00008
여기서, x1과 x2는 좌우측 카메라로부터 물체까지 동일한 베이스라인 축 상에서의 거리를, ω는 영상에서 가로 화소의 총 개수를, Pd는 화소의 길이를,
Figure 112008085136173-PAT00009
는 최적 거리를, f는 초점 거리(focal length)를 나타낸다.
이때 추적필터의 예로 칼만필터를 예를 들어 설명하였으나 다른 종류의 추적필터, 예를 들어 위너 필터, H-Infinite 필터, 파티클 필터 등을 사용하여도 무방하다.
도 5는 실제 위치와 후보영역 설정을 설명하기 위한 도면이다. 예측치는 칼만 필터에서 사전 예측치(χk -)를 나타내고, 추정치는 사후 추정치(χk +)을 나타내는데, 사전 예측치는 현재(t)의 값으로만 다음 단계(t+1)의 값을 계산하고, 사후 예측치는 예측치에다가 에측치와 측정치의 차이에 칼만 이득을 곱한 것의 합으로 나타낸다.
이와 같이 스테레오 비전을 이용하여 추정된 위치는, 도 5에 도시한 바와 같이, 직교 좌표계상에 매핑한다. 이때, 칼만 필터는 프레임이 변함에 따라 예측과 갱신을 반복적으로 수행하며, 현재 프레임(t 프레임)의 측정치(도 5의 붉은색 또는 진한색 사각형)에 의하여 현재의 위치를 갱신하고, 다음 프레임(t+1 프레임)의 위치를 예측한다. 이때 예측된 다음 프레임(t+1 프레임)의 위치는 도 5에서 점선 사각형으로 표시된다.
다음으로, 도2 및 도5에 도시한 바와 같이, 다음 프레임(t+1 프레임)에서는 과거 프레임(t 프레임)에서 예측된 위치를 중심으로 적절한 신뢰도를 갖는 후보 영역을 선택하고(S208), 이 후보 영역 내에 있는 후보군들을 선택한다(S210).
이때, 신뢰도(C)는 다음 수학식 5과 같이 칼만 필터에서 예측값과 측정값의 공분산과 적절한 가중치(
Figure 112008085136173-PAT00010
)에 의하여 결정될 수 있다.
Figure 112008085136173-PAT00011
여기서, 칼만 필터에서 사용되는 파라미터로써, Hk는 관측행렬, Pk는 실제값과 추정치의 공분산, Rk는 측정치의 공분산을 나타내고, Sk는 예측치와 측정치와의 차이의 공분산을 나타낸다.
이후, S210 단계에서 선택된 후보군들이 다수인지를 판단한다(S212). 선택된 후보군이 단수인 경우에는 그 단수의 후보군을 최종 후보군으로 선정한 다(S214).
선택된 후보군이 다수인 경우, 후보 영역 내에 있는 후보군들에 대하여 과거 영상(t 프레임)과 현재 영상(t+1 프레임)에서 객체에 대하여 각각의 상관도를 계산하고(S216), 실제 위치에서 예측치와 측정치와의 거리에 대한 확률 분포와 상관도에 의하여 최종적으로 후보군을 선택한다(S218).
일례로, 도 5에서와 같이 C1과 C2의 후보 영역 내에서는 각각 2개의 후보 객체가 선택되어지면, 도 6에서와 같이 선택된 후보 군에 대하여 과거 영상(t 프레임)과 현재 영상(t+1 프레임)에서 객체에 대하여 각각의 상관도를 계산한다. 이 때 상관도는 위에서 설명한 NCC(normalized cross correlation)를 이용하여 구할 수 있다.
이후 아래 수학식 6에서와 같이 실제 위치에서 예측치와 측정치와의 거리에 대한 확률 분포와 상관도에 의하여 최종적으로 후보군을 선택한다.
Figure 112008085136173-PAT00012
여기서,
Figure 112008085136173-PAT00013
는 0에서부터 1까지의 값을 갖는 가중치를, NCC(normalized cross correlation)는 윈도우 내 픽셀의 유사도 정도를 정규화한 값인 정규 유사도(Normalized Cross Correlation)를, Pi는 실제 위치에서 예측치와 측정치와의 거 리에 대한 확률 분포를, vk는 예측치와 측정치의 차이를, Sk는 예측치와 측정치 차이의 공분산을,
Figure 112008085136173-PAT00014
는 예측치를,
Figure 112008085136173-PAT00015
는 측정치를 나타낸다.
본 발명의 일실시예에 따른 장애물 추적 방법에 의하면 스테레오 비전을 이용하여 차량에서 위험 요소가 되는 장애물체를 추적할 수 있다.
차량용 비전은 비슷한 객체들이 프레임에 따라 고속으로 움직이기 때문에 기존의 추적 방법을 사용하면, 다른 객체를 추적하여 장애 물체의 경로를 예측할 때 오류가 발생할 수 있다. 본 발명의 일실시예에 따른 장애물 추적 방법은 장애 물체의 실제 위치를 추정하고, 경로를 예측한 후, 후보군들을 검출하고, 검출된 후보군에 대하여 상관도를 측정함으로써, 차량과 같은 환경에서 강건하게 장애 물체를 추적하고, 경로를 예측하여, 사고 위험을 경감시킬 수 있다.
도 7은 본 발명의 다른 실시예에 따른 스테레오 비전을 이용한 장애물의 추적장치의 구성도이다.
도7을 참조하면, 스테레오 비전을 이용하여 장애물을 추적하는 장치(600)는 측정수단(602)과 추정수단(604), 선택수단(608), 추적수단(610)을 포함한다.
측정수단(602)은 스테레오 비전을 이용하여 좌우 영상으로부터 깊이맵을 생성하고, 깊이맵을 이용하여 현재 프레임(t 프레임)의 장애물의 위치를 측정한다.
추정수단(604)은 현재 프레임(t 프레임)의 측정치(Zd)를 이용하여 다음 프레임(t+1 프레임)의 위치를 추정한다.
선택수단(608)은 다음 프레임(t+1 프레임)에서는 과거 프레임(t 프레임)에서 예측된 위치를 중심으로 적절한 신뢰도를 갖는 후보 영역 내에 있는 후보군들을 선택한다.
추적수단(610)은 후보 영역 내에 있는 후보군들에 대하여 과거 영상(t 프레임)과 현재 영상(t+1 프레임)에서 객체에 대하여 각각의 상관도를 계산하고, 실제 위치에서 예측치와 측정치와의 거리에 대한 확률 분포와 상관도에 의하여 최종적으로 후보군을 선택 하여 장애물을 추적한다.
본 발명의 다른 실시예에 따른 장애물을 추적하는 장치(600)는 도2 내지 도6을 참조하여 설명한 장애물을 추적하는 방법(200)을 구현한 장치로 각 구성요소들(602, 604, 608, 610)은 위에서 방법을 설명한 내용과 동일하므로 상세한 설명을 생략한다.
특히, 각 구성요소들(602, 604, 608, 610)은 소프트웨어적으로 구현될 수도 있고 하드웨어적으로 구현될 수도 있고 이들이 조합 또는 혼합되어 구현될 수도 있다.
아울러, 스테레오 비전을 이용하여 장애물을 추적하는 장치(600)는 컴퓨터 비전 시스템(Computer Vision System)이나 컴퓨터 비전 시스템 내의 영상 처리 장치로 구현될 수 있다. 이러한 컴퓨터 비전 시스템 또는 영상 처리 장치는 데이터 또는 명령어를 입력받는 키보드, 마우스 등과 같은 입력 장치, 데이터를 출력하는 모니터, 프린터, 액정 화면과 같은 출력 장치, 영상을 처리하기 위한 데이터 또는 프로그램을 저장하는 메모리, 입력되는 데이터 또는 명령어나 메모리에 저장된 데이터를 이용하여 메모리에 저장된 프로그램의 알고리즘에 따라 영상을 처리하는 마 이크로프로세서 등을 구비할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어 와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 기존 영상을 이용한 객체 추적 기술의 개념도이고,
도 2는 본 발명의 일실시예에 따른 스테레오 비전을 이용한 장애물의 추적방법의 흐름도이고,
도 3은 본 발명의 일실시예에 따른 스테레오 비전을 이용한 거리 측정 방법의 개념도이고,
도 4는 실제 위치와 후보영역 설정을 설명하기 위한 도면이고,
도 5는 후보군에 대한 상관도 비교를 설명하기 위한 도면이고,
도 6은 본 발명의 다른 실시예에 따른 스테레오 비전을 이용한 장애물의 추적장치의 구성도이다.
<도면의 주요 부분에 대한 부호의 설명>
200: 장애물 추적방법
600: 장애물 추적장치
602: 측정수단
604: 추정수단
608: 선택수단
610: 추적수단

Claims (9)

  1. 스테레오 비전을 이용하여 장애물을 추적하는 방법으로써,
    스테레오 비전을 이용하여 좌우 영상으로부터 깊이맵을 생성하고, 깊이맵을 이용하여 현재 프레임(t 프레임)의 장애물의 위치를 측정하는 측정단계와;
    현재 프레임(t 프레임)의 측정치(Zd)를 이용하여 다음 프레임(t+1 프레임)의 위치를 추정하는 추정단계와;
    다음 프레임(t+1 프레임)에서는 과거 프레임(t 프레임)에서 예측된 위치를 중심으로 적절한 신뢰도를 갖는 후보 영역 내에 있는 후보군들을 선택하는 선택단계와;
    상기 후보 영역 내에 있는 후보군들에 대하여 과거 영상(t 프레임)과 현재 영상(t+1 프레임)에서 객체에 대하여 각각의 상관도를 계산하고, 실제 위치에서 예측치와 측정치와의 거리에 대한 확률 분포와 상관도에 의하여 최종적으로 후보군을 선택 하여 장애물을 추적하는 추적단계를 포함하는 스테레오 비전을 이용하여 장애물을 추적하는 방법.
  2. 제1항에 있어서,
    상기 측정단계에서,
    현재 프레임(t 프레임)의 측정치(Zd)는 다음 식에 의해 구하는 것을 특징으로 하는 스테레오 비전을 이용하여 장애물을 추적하는 방법.
    Figure 112008085136173-PAT00016
    여기서, Zd는 장애물과의 거리를, f는 영상 촬영 장치의 초점거리(focal length, 렌즈와 촬상 장치(예를 들어, CCD, CMOS 등) 사이의 거리)를, B는 좌, 우측 영상 촬영 장치의 중심 사이의 거리(baseline)를, x1-x2는 시차(disparity)를, Pd는 화소의 길이를 나타낸다.
  3. 제2항에 있어서,
    상기 추적단계에서,
    부화소 보간법을 이용하여 정밀 시차를 추정하고, 추정된 정밀 시차(
    Figure 112008085136173-PAT00017
    )를 이용하고 추적 필터를 이용하여 최적의 거리(
    Figure 112008085136173-PAT00018
    )를 추정하고, 상기 최적의 거리를 이용하여 다음 식에 의해 Xd 위치를 구하고, 구해진 Xd 위치를 이용하여 추적 필터로 다음 프레임(t+1 프레임)에서 최적의 위치를 추정하는 것을 특징으로 하는 스테레오 비전을 이용하여 장애물을 추적하는 방법.
    Figure 112008085136173-PAT00019
    여기서, x1과 x2는 좌우측 카메라로부터 물체까지 동일한 베이스라인 축 상에 서의 거리를, ω는 영상에서 가로 화소의 총 개수를, Pd는 화소의 길이를,
    Figure 112008085136173-PAT00020
    는 최적 거리를, f는 초점 거리(focal length)를 나타낸다.
  4. 제2항 또는 제3항에 있어서,
    상기 선택단계에서,
    상기 신뢰도(C)는 다음 식과 같이 칼만 필터에서 예측값과 측정값의 공분산과 적절한 가중치(
    Figure 112008085136173-PAT00021
    )에 의하여 결정되는 것을 특징으로 하는 스테레오 비전을 이용하여 장애물을 추적하는 방법.
    Figure 112008085136173-PAT00022
    여기서, 칼만 필터에서 사용되는 파라미터로써, Hk는 관측행렬, Pk는 실제값과 추정치의 공분산, Rk는 측정치의 공분산을 나타내고, Sk는 예측치와 측정치와의 차이의 공분산을 나타낸다.
  5. 제4항에 있어서,
    상기 추적단계에서, 다음 식에 의하는 실제 위치에서 예측치와 측정치와의 거리에 대한 확률 분포와 상관도에 의하여 최종적으로 후보군을 선택하는 것은 특징으로 하는 스테레오 비전을 이용하여 장애물을 추적하는 방법.
    Figure 112008085136173-PAT00023
    여기서,
    Figure 112008085136173-PAT00024
    는 0에서부터 1까지의 값을 갖는 가중치를, NCC(normalized cross correlation)는 윈도우 내 픽셀의 유사도 정도를 정규화한 값인 정규 유사도(Normalized Cross Correlation)를, Pi는 실제 위치에서 예측치와 측정치와의 거리에 대한 확률 분포를, vk는 예측치와 측정치의 차이를, Sk는 예측치와 측정치 차이의 공분산을,
    Figure 112008085136173-PAT00025
    는 예측치를,
    Figure 112008085136173-PAT00026
    는 측정치를 나타낸다.
  6. 스테레오 비전을 이용하여 장애물을 추적하는 장치로써,
    스테레오 비전을 이용하여 좌우 영상으로부터 깊이맵을 생성하고, 깊이맵을 이용하여 현재 프레임(t 프레임)의 장애물의 위치를 측정하는 측정수단과;
    현재 프레임(t 프레임)의 측정치(Zd)를 이용하여 다음 프레임(t+1 프레임)의 위치를 추정하는 추정수단과;
    다음 프레임(t+1 프레임)에서는 과거 프레임(t 프레임)에서 예측된 위치를 중심으로 적절한 신뢰도를 갖는 후보 영역 내에 있는 후보군들을 선택하는 선택수단과;
    상기 후보 영역 내에 있는 후보군들에 대하여 과거 영상(t 프레임)과 현재 영상(t+1 프레임)에서 객체에 대하여 각각의 상관도를 계산하고, 실제 위치에서 예측치와 측정치와의 거리에 대한 확률 분포와 상관도에 의하여 최종적으로 후보군을 선택 하여 장애물을 추적하는 추적수단을 포함하는 스테레오 비전을 이용하여 장애물을 추적하는 장치.
  7. 제6항에 있어서,
    상기 측정수단에서,
    현재 프레임(t 프레임)의 측정치(Zd)는 다음 식에 의해 구하는 것을 특징으로 하는 스테레오 비전을 이용하여 장애물을 추적하는 장치.
    Figure 112008085136173-PAT00027
    여기서, Zd는 장애물과의 거리를, f는 영상 촬영 장치의 초점거리(focal length, 렌즈와 촬상 장치(예를 들어, CCD, CMOS 등) 사이의 거리)를, B는 좌, 우측 영상 촬영 장치의 중심 사이의 거리(baseline)를, x1-x2는 시차(disparity)를, Pd는 화소의 길이를 나타낸다.
  8. 제7항에 있어서,
    상기 추적수단에서,
    부화소 보간법을 이용하여 정밀 시차를 추정하고, 추정된 정밀 시차()를 이 용하고 추적 필터를 이용하여 최적의 거리(
    Figure 112008085136173-PAT00028
    )를 추정하고, 상기 최적의 거리를 이용하여 다음 식에 의해 Xd 위치를 구하고, 구해진 Xd 위치를 이용하여 추적 필터로 다음 프레임(t+1 프레임)에서 최적의 위치를 추정하는 것을 특징으로 하는 스테레오 비전을 이용하여 장애물을 추적하는 장치.
    Figure 112008085136173-PAT00029
    여기서, x1과 x2는 좌우측 카메라로부터 물체까지 동일한 베이스라인 축 상에서의 거리를, ω는 영상에서 가로 화소의 총 개수를, Pd는 화소의 길이를,
    Figure 112008085136173-PAT00030
    는 최적 거리를, f는 초점 거리(focal length)를 나타낸다.
  9. 제7항 또는 제8항에 있어서,
    상기 선택수단에서,
    상기 신뢰도(C)는 다음 식과 같이 칼만 필터에서 예측값과 측정값의 공분산과 적절한 가중치(
    Figure 112008085136173-PAT00031
    )에 의하여 결정되는 것을 특징으로 하는 스테레오 비전을 이용하여 장애물을 추적하는 장치.
    Figure 112008085136173-PAT00032
    여기서, 칼만 필터에서 사용되는 파라미터로써, Hk는 관측행렬, Pk는 실제값 과 추정치의 공분산, Rk는 측정치의 공분산을 나타내고, Sk는 예측치와 측정치와의 차이의 공분산을 나타낸다.
KR1020080125480A 2008-12-10 2008-12-10 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법 KR101030317B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080125480A KR101030317B1 (ko) 2008-12-10 2008-12-10 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080125480A KR101030317B1 (ko) 2008-12-10 2008-12-10 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100066952A true KR20100066952A (ko) 2010-06-18
KR101030317B1 KR101030317B1 (ko) 2011-04-19

Family

ID=42365774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080125480A KR101030317B1 (ko) 2008-12-10 2008-12-10 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101030317B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013087450A3 (en) * 2011-12-13 2013-11-07 Sony Corporation Estimation of global vertical shift for stereoscopic images
KR20140000315A (ko) * 2011-01-31 2014-01-02 마이크로소프트 코포레이션 깊이 맵을 이용하는 모바일 카메라 로컬라이제이션
KR20150136209A (ko) * 2014-05-26 2015-12-07 서울대학교산학협력단 다중 영상 기반 장애물 회피 시스템 및 방법
WO2017034062A1 (ko) * 2015-08-26 2017-03-02 한화테크윈 (주) 이동 대상을 이동 로봇이 추종하는 추종 시스템
CN109271944A (zh) * 2018-09-27 2019-01-25 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
KR20220148501A (ko) * 2021-04-29 2022-11-07 금오공과대학교 산학협력단 깊이 카메라를 이용한 가상 라이다 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339616B1 (ko) 2012-11-27 2013-12-10 재단법인대구경북과학기술원 객체 검출 및 추적 방법과 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100544677B1 (ko) 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140000315A (ko) * 2011-01-31 2014-01-02 마이크로소프트 코포레이션 깊이 맵을 이용하는 모바일 카메라 로컬라이제이션
WO2013087450A3 (en) * 2011-12-13 2013-11-07 Sony Corporation Estimation of global vertical shift for stereoscopic images
KR20150136209A (ko) * 2014-05-26 2015-12-07 서울대학교산학협력단 다중 영상 기반 장애물 회피 시스템 및 방법
WO2017034062A1 (ko) * 2015-08-26 2017-03-02 한화테크윈 (주) 이동 대상을 이동 로봇이 추종하는 추종 시스템
CN109271944A (zh) * 2018-09-27 2019-01-25 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
CN109271944B (zh) * 2018-09-27 2021-03-12 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
US11393219B2 (en) 2018-09-27 2022-07-19 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium
KR20220148501A (ko) * 2021-04-29 2022-11-07 금오공과대학교 산학협력단 깊이 카메라를 이용한 가상 라이다 장치

Also Published As

Publication number Publication date
KR101030317B1 (ko) 2011-04-19

Similar Documents

Publication Publication Date Title
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
CN108692719B (zh) 物体检测装置
EP2948927B1 (en) A method of detecting structural parts of a scene
US11620837B2 (en) Systems and methods for augmenting upright object detection
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
US20150036887A1 (en) Method of determining a ground plane on the basis of a depth image
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
Perrollaz et al. A visibility-based approach for occupancy grid computation in disparity space
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
Nienaber et al. A comparison of low-cost monocular vision techniques for pothole distance estimation
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
EP3803790B1 (en) Motion segmentation in video from non-stationary cameras
Konrad et al. Localization in digital maps for road course estimation using grid maps
KR101076406B1 (ko) 장애물체 위치 및 속도 추정 장치 및 방법
CN110992424B (zh) 基于双目视觉的定位方法和系统
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
Badino et al. Stereo-based free space computation in complex traffic scenarios
Ruland et al. Hand-eye autocalibration of camera positions on vehicles
CN110864670B (zh) 目标障碍物位置的获取方法和系统
US20130142388A1 (en) Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus
Huang et al. Rear obstacle warning for reverse driving using stereo vision techniques
CN115019167B (zh) 基于移动终端的融合定位方法、系统、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160401

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee