KR101339616B1 - 객체 검출 및 추적 방법과 장치 - Google Patents

객체 검출 및 추적 방법과 장치 Download PDF

Info

Publication number
KR101339616B1
KR101339616B1 KR1020120135386A KR20120135386A KR101339616B1 KR 101339616 B1 KR101339616 B1 KR 101339616B1 KR 1020120135386 A KR1020120135386 A KR 1020120135386A KR 20120135386 A KR20120135386 A KR 20120135386A KR 101339616 B1 KR101339616 B1 KR 101339616B1
Authority
KR
South Korea
Prior art keywords
detecting
parallax
tracking
distance
feature point
Prior art date
Application number
KR1020120135386A
Other languages
English (en)
Inventor
임영철
이충희
김종환
박지호
김남혁
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020120135386A priority Critical patent/KR101339616B1/ko
Application granted granted Critical
Publication of KR101339616B1 publication Critical patent/KR101339616B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 검출 및 추적 방법과 장치를 개시한다. 객체 검출 및 추적 방법은 스테레오 카메라로부터 입력된 좌영상의 외양 모델을 이용하여 객체를 검출하고, 객체의 거리 및 위치를 검출하는 단계; 상기 객체의 위치 및 상기 외양 모델의 유사도에 따라 상기 객체를 기존 추적과 연결하는 단계; 상기 객체 거리를 이용하여 상기 스테레오 카메라로부터 입력된 우영상 내에 후보 시차 구간을 설정하는 단계; 상기 후보 시차 구간에 포함된 상기 객체의 특징점을 추출하여, 기술자 유사도에 따라 상기 특징점을 정합하는 단계; 및 상기 정합된 특징점의 시차에 따른 부화소 시차를 추출하여 상기 객체와의 거리를 결정하는 단계를 포함한다.

Description

객체 검출 및 추적 방법과 장치{OBJECT DETECTION AND TRACKING METHOD AND DEVICE}
본 발명은 객체 검출 및 추적 방법과 장치에 관한 것이다. 보다 구체적으로 스테레오 카메라로부터 입력된 좌우 영상으로부터 검출된 객체의 위치를 추적하여 이에 따른 특징점을 추출하고, 추출된 특징점의 시차 및 부화소 시차를 통해 객체와의 거리를 결정하는 객체 검출 및 추적 방법과 장치에 관한 것이다.
최근에는 스테레오 카메라를 이용하여 객체를 검출하고 추적하는 연구가 활발하게 진행된다. 이러한 연구는 자동차, 로봇, 지능형 감시 시스템 등 다양한 분야에서 진행된다. 다시 말해, 스테레오 비전 기반 객체 검출 및 추적 기술은 스테레오 카메라로부터 입력된 좌우 영상을 정합하고, 정합된 좌우 영상으로부터 3차원 영상 정보로 복원함으로써 거리 정밀도 및 객체 추적 성능을 향상시킬 수 있다.
보다 구체적으로 스테레오 비전 기반 객체 검출 및 추적 기술은 좌우 영상을 정합하여 3차원 깊이 정보와 외양 모델에 따라 객체를 검출한다. 데이터 연관 기술은 추적되는 객체와 검출된 객체를 연결한다. 객체 추적 기술은 3차원 깊이 정보를 이용한 객체 거리와 이전의 객체 거리를 이용하여 현재의 객체 거리를 갱신하고, 이전 추적 상태(ROI 크기 및 위치)와 현재 검출된 객체 상태를 이용하여, 현재의 추적 상태도 갱신된다.
하지만, 객체 추적 기술은 고밀도 스테레오 영상 정합 과정으로 인하여 복잡도가 증가한다. 또한, 좌우 영상의 밝기 차이에 의하여 스테레오 정합 오류가 발생하여 추적 성능을 저하시킨다.
그러므로, 고밀도 스테레오 영상 정합을 수행하지 않고, 안정적으로 객체를 추출하는 방법이 요구된다.
본 발명은 검출된 객체의 위치를 추적하여, 이에 따른 특징점을 추출하고, 추출된 특징점의 시차 및 부화소 시차를 통해 객체와의 거리를 결정함으로써, 고밀도의 스테레오 영상 정합을 하지 않고, 정밀하게 객체와의 거리를 결정할 수 있는 객체 검출 및 추적 방법과 장치에 관한 것이다.
본 발명의 일실시예에 따른, 객체 검출 및 추적 방법은 스테레오 카메라로부터 입력된 좌영상의 외양 모델을 이용하여 객체를 검출하고, 객체의 거리 및 위치를 검출하는 단계; 상기 객체의 위치 및 상기 외양 모델의 유사도에 따라 상기 객체를 기존 추적과 연결하는 단계; 상기 객체 거리를 이용하여 상기 스테레오 카메라로부터 입력된 우영상 내에 후보 시차 구간을 설정하는 단계; 상기 후보 시차 구간에 포함된 상기 객체의 특징점을 추출하여, 기술자 유사도에 따라 상기 특징점을 정합하는 단계; 및 상기 정합된 특징점의 시차에 따른 부화소 시차를 추출하여 상기 객체와의 거리를 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른, 객체의 거리 및 위치를 검출하는 단계는 상기 객체의 ROI(Region of Interest) 위치 및 크기 상태를 검출할 수 있다.
본 발명의 일실시예에 따른, 객체를 기존 추적과 연결하는 단계는 상기 객체의 위치 및 색상, 에지 등의 히스토그램으로 표현되는 상기 외양 모델의 유사도가 높은 쌍을 선택하여 상기 객체를 연결할 수 있다.
본 발명의 일실시예에 따른, 특징점을 정합하는 단계는 상기 후보 시차 구간의 동일한 행에 위치한 특징점을 이용하여 유사도를 비교하는 기술자 유사도에 따라 특징점을 정합할 수 있다.
본 발명의 일실시예에 따른, 특징점을 정합하는 단계는 에피폴라 제한조건(epipolar constraint)을 이용하여, 2차원 정합 문제를 1차원 정합 문제로 변환할 수 있다.
본 발명의 일실시예에 따른, 객체와의 거리를 결정하는 단계는 2차원 회귀 곡선을 이용하여 상기 시차에 대응하는 정합된 특징점의 부화소 시차를 추출할 수 있다.
본 발명의 일실시예에 따르면, 객체 검출 및 추적 장치는 스테레오 카메라로부터 입력된 좌영상의 외양 모델을 이용하여 객체를 검출하고, 객체의 거리 및 위치를 검출하는 객체 검출부; 상기 객체의 위치 및 상기 외양 모델의 유사도에 따라 상기 객체를 기존 추적과 연결하는 데이터 연관부; 상기 객체 거리를 이용하여 상기 스테레오 카메라로부터 입력된 우영상 내에 후보 시차 구간을 설정하는 후보 영역 설정부; 상기 후보 시차 구간에 포함된 상기 객체의 특징점을 추출하여, 기술자 유사도에 따라 상기 특징점을 정합하는 특징점 정합부; 및 상기 정합된 특징점의 시차에 따른 부화소 시차를 추출하여 상기 객체와의 거리 및 위치를 결정하는 거리 결정부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 객체 검출부는 상기 객체의 ROI(Region of Interest) 위치 및 크기 상태를 검출할 수 있다.
본 발명의 일실시예에 따르면, 데이터 연관부는 상기 객체의 위치 및 색상, 에지 등의 히스토그램으로 표현되는 상기 외양 모델의 유사도가 높은 쌍을 선택하여 상기 객체를 연결할 수 있다.
본 발명의 일실시예에 따르면, 특징점 정합부는 상기 후보 시차 구간의 동일한 행에 위치한 특징점을 이용하여 유사도를 비교하는 기술자 유사도에 따라 특징점을 정합할 수 있다.
본 발명의 일실시예에 따르면, 특징점 정합부는 에피폴라 제한조건(epipolar constraint)를 이용하여, 2차원 정합 문제를 1차원 정합 문제로 변환할 수 있다.
본 발명의 일실시예에 따르면, 거리 결정부는 2차원 회귀 곡선을 이용하여 상기 시차에 대응하는 정합된 특징점의 부화소 시차를 추출할 수 있다.
본 발명의 일실시예에 따르면 객체 검출 방법 및 장치는 검출된 객체의 위치를 추적하여, 이에 따른 특징점을 추출하고, 추출된 특징점의 시차 및 부화소 시차를 통해 객체와의 거리를 결정함으로써, 고밀도의 스테레오 영상 정합을 하지 않고, 정밀하게 객체와의 거리를 결정할 수 있다.
도 1은 일실시예에 따른 객체 검출 및 추적 장치를 설명하기 위해 도시한 도면이다.
도 2는 일실시예에 따른 객체 검출 및 추적 장치를 실제로 구현한 도면이다.
도 3은 일실시예에 따른 에피폴라 제한조건을 이용한 특징점 정합을 설명하기 위해 도시한 도면이다.
도 4는 일실시예에 따른 2차 회귀 곡선을 이용한 부화소 시차 추출을 설명하기 위해 도시한 그래프이다.
도 5는 일실시예에 따른 객체 검출 및 추적 방법을 설명하기 위해 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 객체 검출 장치를 설명하기 위해 도시한 도면이다.
도1을 참고하면, 객체 검출 및 추적 장치(100)는 객체 검출 및 추적부(101), 데이터 연관부(103), 후보 시차 구간 설정부(104), 특징점 정합부(106), 거리 결정부(107)를 포함할 수 있다.
객체 검출부(101)는 스테레오 카메라로부터 좌영상(102)을 입력받을 수 있다. 객체 검출부(101)는 입력된 좌영상(102)의 외양 모델을 이용하여 객체를 검출할 수 있다. 이 때, 외양 모델은 좌영상(102)의 색상, 에지 등의 히스토그램으로 표현된 모델일 수 있다. 또한, 객체 검출부(101)는 Adaboost 또는 HOG 등의 객체 검출 알고리즘을 이용할 수 있다. 그리고, 객체 검출부(101)는 객체 검출 알고리즘을 이용하여 차량, 보행자 등의 객체를 검출할 수 있다. 객체 검출부(101)는 다중으로 객체를 검출할 수 있다.
그리고, 객체 검출부(101)는 추적중인 객체의 거리를 예측할 수 있다. 객체 검출부(101)는 객체의 거리를 예측함으로써, 추적된 객체의 현재 거리를 추정할 수 있다.
데이터 연관부(103)는 객체의 위치 및 외양 모델의 유사도에 따라 객체들을 연결할 수 있다. 다시 말해, 데이터 연관부(103)는 객체의 위치 및 색상, 에지 등의 히스토그램으로 표현되는 외양 모델의 유사도가 높은 쌍을 선택하여 객체를 연결할 수 있다. 이 때, 유사도가 높은 쌍은 검출된 다중의 객체와 현재 위치를 추적중인 객체와의 유사도의 순위를 의미할 수 있다. 따라서, 데이터 연관부(103)는 검출된 다중의 객체와 현재 객체의 위치를 추적하는 객체를 연결할 수 있다.
후보 영역 설정부(104)는 스테레오 카메라로부터 우영상(105)을 입력받을 수 있다. 후보 영역 설정부(104)는 우영상(105)의 후보 시차 구간을 설정할 수 있다. 다시 말해, 후보 영역 설정부(104)는 예측된 객체의 거리에 따른 후보 시차 구간을 설정할 수 있다.
특징점 정합부(106)는 후보 시차 구간에 포함된 객체의 특징점을 추출할 수 있다. 이 때, 특징점 정합부(106)는 특징점 검출 알고리즘을 이용하여 특징점을 추출할 수 있다. 특징점 정합부(106)는 기술자 유사도를 이용하여 특징점을 정합할 수 있다. 기술자 유사도는 후보 시차 구간의 동일한 행에 위치한 특징점을 이용하여 유사도를 비교하는 것 일 수 있다. 특징점 정합부(106)는 에피폴라 제한조건을 이용할 수 있다. 그리고, 특징점 정합부(106)는 에피폴라 제한조건을 이용하여 2차원 정합 문제를 1차원 정합 문제로 변환할 수 있다.
여기서, 특징점 정합부(106)는 동일한 행에 위치한 특징점을 이용하여 유사도를 비교함으로써 연산량과 정합 오류를 최소화할 수 있다.
거리 결정부(107)는 정합된 특징점의 시차에 따른 부화소 시차를 추출할 수 있다. 시차는 정합된 특징점의 x좌표의 차이일 수 있다. 여기서 x좌표는 스테레오 카메라로부터 입력된 좌영상(102)과 우영상(105)의 i번째 행에서 j번째 정합된 특징점들의 좌표일 수 있다. 이러한 x좌표의 차이는 정합된 특징점의 시차일 수 있다.
그리고, 거리 결정부(107)는 시차에 해당하는 특징점들을 이용하여 2차원 회귀 곡선을 수행할 수 있다. 거리 결정부(107)는 2차원 회귀 곡선을 수행함으로써 부화소 시차를 추출할 수 있다. 거리 결정부(107)는 부화소 시차를 이용하여 객체와의 거리를 결정할 수 있다.
객체 검출 및 추적 장치(100)는 검출된 객체의 위치를 추적하여, 이에 따른 특징점을 추출하고, 추출된 특징점의 시차 및 부화소 시차를 통해 객체와의 거리를 결정함으로써, 고밀도의 스테레오 영상 정합을 하지 않고, 정밀하게 객체와의 거리를 결정할 수 있다. 또한, 객체 검출 및 추적 장치(100)는 내부, 외부의 다양한 환경에서도 다중 객체를 검출하고, 용이하게 객체와의 거리를 결정할 수 있다.
도 2는 일실시예에 따른 객체 검출 및 추적 장치를 실제로 구현한 도면이다.
도 2를 참고하면, 객체 검출 장치는 좌영상(201), 우영상(202), 객체 검출부(203), 객체 추적부(204), 데이터 연관부(205), 후보 영역 설정부(206), 특징점 검출부(207), 특징점 검출부(208), 특징점 정합부(209), 정밀 시차 추정부(210), 다중 객체 추적부(211)를 포함할 수 있다.
객체 검출부(203)와 객체 추적부(204)는 도 1의 객체 검출부(101)에 대응될 수 있다.
객체 검출부(203)는 입력된 좌영상으로부터 객체를 검출할 수 있다. 이 때, 객체 검출부(203)는 색상, 에지 등의 히스토그램으로 표현되는 외양 모델을 이용하여 객체를 추출할 수 있다. 그리고, 객체 검출부(203)는 다중으로 객체를 검출할 수 있다. 일례로, 객체 검출부(203)는 좌영상으로부터 차량, 보행자 등의 다중 객체를 추출할 수 있다.
객체 추적부(204)는 검출된 객체를 이용하여 객체의 위치를 예측할 수 있다.
데이터 연관부(205)는 도 1의 데이터 연관부(103)에 대응될 수 있다.
데이터 연관부(205)는 객체의 위치 및 외양 모델의 유사도에 따라 객체를 연결할 수 있다. 이 때, 데이터 연관부는 검출된 다중의 객체와 현재 위치를 추적중인 객체와의 유사도가 높은 쌍을 선택하여 객체를 연결할 수 있다.
후보 영역 설정부(206)는 도 1의 후보 영역 설정부 (104)에 대응될 수 있다.
후보 영역 설정부(206)는 추적중인 다중 객체의 예측된 위치를 이용하여 입력된 우영상의 후보 시차 구간을 설정할 수 있다. 다시 말해, 후보 영역 설정부 (206)는 예측된 객체의 위치에 따른 후보 시차 구간을 설정할 수 있다. 후보 시차 구간은 추적된 객체의 위치일 수 있다.
특징점 검출부(207), 특징점 검출부(208) 및 특징점 정합부(209)는 도 1의 특징점 정합부(106)에 대응할 수 있다.
특징점 검출부(207)는 검출된 객체의 ROI 영역에서 특징점을 추출할 수 있다. 다시 말해, 특징점 검출부(207)는 검출된 객체의 특징점을 추출할 수 있다.
특징점 검출부(208)는 후보 시차 구간에 포함된 객체의 특징점을 추출할 수 있다. 이 때, 특징점 검출부(208)는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature), FAST(Features From Accelerated Segment Test) 등의 특징점 검출 알고리즘을 이용하여 객체의 특징점을 추출할 수 있다.
특징점 정합부(209)는 후보 시차 구간의 동일한 행에 위치한 특징점과 기술자 유사도를 비교하여 특징점을 정합할 수 있다. 이 때, 특징점 정합부(209)는 에피폴라 제한 조건을 이용하여 2차원 정합 문제를 1차원 정합 문제로 변환할 수 있다.
정밀 시차 추정부(210)와 다중 객체 추적부(211)는 도 1의 거리 결정부(106)에 대응할 수 있다.
시차는 동일한 행에 위치한 특징점에 따라 정합된 특징점의 x좌표 차이일 수 있다. 그리고, 정밀 시차 추정부(210)는 시차에 해당되는 특징점들을 이용하여 2차원 회귀 곡선을 수행함으로써, 부화소 시차를 추출할 수 있다. 도 4에서와 같이 정합된 특징점의 정수 시차와 이웃하는 시차를 이용하여 2차 회귀 곡선을 추정할 수 있다. 아래 식에서와 같이 추정된 2차 회귀 곡선의 극점의 위치를 추정함으로써 부화소 시차를 추정한다.
Figure 112012098185086-pat00001
식에서 f(x)는 유사도 함수를 나타내며, 는 정수 시차를, 는 부화소 시차를 나타낸다.
이 때, 정밀 시차 추정부는 SSD(Sum of Squared Difference), SAD(Sum of Absolute Difference), NCC(Normalized Cross Correlation) 등을 이용하여 부화소 시차를 추출할 수 있다. 정밀 시차 추정부(210)는 부화소 시차를 이용하여 객체와의 거리를 정밀하게 추정할 수 있다.
다중 객체 추적부(211)는 다중 객체를 검출하여, 추적할 수 있다.
도 3은 일실시예에 따른 에피폴라 제한조건을 이용한 특징점 정합을 설명하기 위해 도시한 도면이다.
도 3을 참고하면, 객체 검출 및 추적 장치는 입력된 좌영상(301)의 외양 모델을 이용하여 객체를 추출할 수 있다. 그리고, 객체 검출 및 추적 장치는 좌영상(301)을 통해 검출된 객체의 ROI 영역을 추출할 수 있다. 또한, 객체 검출 장치는 ROI 영역에 따른 위치 및 크기 상태를 검출할 수 있다.
객체 검출 및 추적 장치는 입력된 우영상(302)에 설정된 후보 시차 구간(305, 305’)에서 객체의 특징점을 추출할 수 있다. 그리고, 객체 검출 및 추적 장치는 에피폴라 제한조건을 이용할 수 있다. 에피폴라 제한조건은 2차원 정합 문제를 1차원 정합 문제로 변환할 수 있다.
따라서, 객체 검출 장치는 변환된 1차원 영상의 동일한 행(303)에 위치한 특징점을 이용하여 특징점 정합을 할 수 있다. 객체 검출 및 추적 장치는 동일한 행(303)에 위치한 특징점(304, 304')의 유사도를 비교할 수 있다. 유사도가 높은 경우, 객체 검출 장치는 동일한 행에 위치한 특징점(304, 304')을 정합할 수 있다.
객체 검출 및 추적 장치는 i번째 행(303)에 따른 유사한 특징점을 연결함으로써, 특징점을 정합할 수 있다. 그리고, 객체 검출 및 추적 장치는 동일한 행에 위치한 특징점(304, 304')을 연결함으로써, i번째 행에서 j번째 정합된 특징점에 대응하는 x좌표를 결정할 수 있다. x좌표의 차이는 정합된 특징점의 시차일 수 있다.
도 5는 일실시예에 따른 객체 검출 및 추적 방법을 설명하기 위해 도시한 도면이다.
단계(501)에서 객체 검출 및 추적 장치는 스테레오 카메라로부터 입력된 좌영상의 외양 모델을 이용하여 객체를 검출할 수 있다. 객체 검출 및 추적 장치는 Adaboost 또는 HOG 등의 객체 검출 알고리즘을 이용하여 차량, 보행자 등의 객체를 검출할 수 있다. 객체 검출 및 추적 장치는 다중 객체를 검출할 수 있다. 또한, 객체 검출 및 추적 장치는 검출된 객체의 ROI 영역을 추출할 수 있다. 일례로, 객체 검출 및 추적 장치는 ROI 영역에 따른 위치 및 크기 상태를 검출할 수 있다. 객체 검출 및 추적 장치는 검출된 객체를 이용하여 객체의 위치를 추정할 수 있다.
단계(502)에서 객체 검출 및 추적 장치는 객체의 위치 및 외양 모델의 유사도에 따라 객체들을 연결할 수 있다. 이 때, 객체 검출 및 추적 장치는 검출된 다중의 객체와 현재 위치를 추적중인 객체와의 유사도의 순위에 따라 객체를 연결할 수 있다. 다시 말해, 객체 검출 및 추적 장치는 검출된 다중의 객체와 현재 위치를 추적중인 객체간의 객체의 위치 및 색상, 에지 등의 히스토그램으로 표현되는 외양 모델에 따른 유사도가 높은 쌍을 선택하여 객체를 연결할 수 있다.
단계(503)에서 객체 검출 및 추적 장치는 검출된 다중 객체의 추적 결과를 기초하여 추적하고 있는 객체의 위치를 예측할 수 있다. 그리고, 객체 검출 및 추적 장치는 예측된 객체의 위치에 따른 우영상의 후보 시간 구간을 설정할 수 있다.
단계(504)에서 객체 검출 및 추적 장치는 후보 시차 구간에 포함된 객체를 특징점 검출 알고리즘을 이용하여 특징점을 추출할 수 있다. 또한, 객체 검출 및 추적 장치는 후보 시차 구간의 동일한 행에 위치한 특징점을 이용하여 유사도를 비교하는 기술자 유사도를 이용하여 특징점을 정합할 수 있다. 이 때, 객체 검출 및 추적 장치는 에피폴라 제한조건을 이용하여 2차원 정합 문제를 1차원 정합 문제로 변환할 수 있다.
단계(505)에서 객체 검출 및 추적 장치는 정합된 특징점의 시차에 따른 부화소 시차를 추출할 수 있다. 객체 검출 장치는 시차에 해당하는 특징점들을 이용하여 2차원 회귀 곡선을 수행할 수 있다. 시차는 정합된 특징점의 x좌표의 차이일 수 있다. 거리 결정부(107)는 2차원 회귀 곡선을 수행함으로써 부화소 시차를 추출할 수 있다. 거리 결정부(107)는 부화소 시차를 이용하여 객체와의 거리를 결정할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 객체 검출 및 추적 장치
101: 객체 검출부
102: 좌영상
103: 데이터 연관부
104: 후보 영역 설정부
105: 우영상
106: 특징점 정합부
107: 거리 결정부

Claims (12)

  1. 스테레오 카메라로부터 입력된 좌영상의 외양 모델을 이용하여 객체를 검출하고, 객체의 거리 및 위치를 검출하는 단계;
    상기 객체의 위치 및 상기 외양 모델의 유사도에 따라 상기 객체를 기존 추적과 연결하는 단계;
    상기 객체 거리를 이용하여 상기 스테레오 카메라로부터 입력된 우영상 내에 후보 시차 구간을 설정하는 단계;
    상기 후보 시차 구간에 포함된 상기 객체의 특징점을 추출하여, 기술자 유사도에 따라 상기 특징점을 정합하는 단계; 및
    상기 정합된 특징점의 시차에 따른 부화소 시차를 추출하여 상기 객체와의 거리를 결정하는 단계
    를 포함하는 객체 검출 및 추적 방법.
  2. 제1항에 있어서,
    상기 객체의 거리 및 위치를 검출하는 단계는,
    상기 객체의 ROI(Region of Interest) 위치 및 크기 상태를 검출하는 객체 검출 및 추적 방법.
  3. 제1항에 있어서,
    상기 객체를 기존 추적과 연결하는 단계는,
    상기 객체의 위치 및 색상, 에지 등의 히스토그램으로 표현되는 상기 외양 모델의 유사도가 높은 쌍을 선택하여 상기 객체를 연결하는 객체 검출 및 추적 방법.
  4. 제1항에 있어서,
    상기 특징점을 정합하는 단계는,
    상기 후보 시차 구간의 동일한 행에 위치한 특징점을 이용하여 유사도를 비교하는 기술자 유사도에 따라 특징점을 정합하는 객체 검출 및 추적 방법.
  5. 제1항에 있어서,
    상기 특징점을 정합하는 단계는,
    에피폴라 제한조건(epipolar constraint)을 이용하여, 2차원 정합 문제를 1차원 정합 문제로 변환하는 객체 검출 및 추적 방법.
  6. 제1항에 있어서,
    상기 객체와의 거리를 결정하는 단계는,
    2차원 회귀 곡선을 이용하여 상기 시차에 대응하는 정합된 특징점의 부화소 시차를 추출하는 객체 검출 및 추적 방법.
  7. 스테레오 카메라로부터 입력된 좌영상의 외양 모델을 이용하여 객체를 검출하고, 객체의 거리 및 위치를 검출하는 객체 검출부;
    상기 객체의 위치 및 상기 외양 모델의 유사도에 따라 상기 객체를 기존 추적과 연결하는 데이터 연관부;
    상기 객체 거리를 이용하여 상기 스테레오 카메라로부터 입력된 우영상 내에 후보 시차 구간을 설정하는 후보 영역 설정부;
    상기 후보 시차 구간에 포함된 상기 객체의 특징점을 추출하여, 기술자 유사도에 따라 상기 특징점을 정합하는 특징점 정합부; 및
    상기 정합된 특징점의 시차에 따른 부화소 시차를 추출하여 상기 객체와의 거리 및 위치를 결정하는 거리 결정부
    를 포함하는 객체 검출 및 추적 장치.
  8. 제7항에 있어서,
    상기 객체 검출부는,
    상기 객체의 ROI(Region of Interest) 위치 및 크기 상태를 검출하는 객체 검출 및 추적 장치.
  9. 제7항에 있어서,
    상기 데이터 연관부는,
    상기 객체의 위치 및 색상, 에지 등의 히스토그램으로 표현되는 상기 외양 모델의 유사도가 높은 쌍을 선택하여 상기 객체를 연결하는 객체 검출 및 추적 장치.
  10. 제7항에 있어서,
    상기 특징점 정합부는,
    상기 후보 시차 구간의 동일한 행에 위치한 특징점을 이용하여 유사도를 비교하는 기술자 유사도에 따라 특징점을 정합하는 객체 검출 및 추적 장치.
  11. 제7항에 있어서,
    상기 특징점 정합부는,
    에피폴라 제한조건(epipolar constraint)를 이용하여, 2차원 정합 문제를 1차원 정합 문제로 변환하는 객체 검출 및 추적 장치.
  12. 제7항에 있어서,
    상기 거리 결정부는,
    2차원 회귀 곡선을 이용하여 상기 시차에 대응하는 정합된 특징점의 부화소 시차를 추출하는 객체 검출 및 추적 장치.
KR1020120135386A 2012-11-27 2012-11-27 객체 검출 및 추적 방법과 장치 KR101339616B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120135386A KR101339616B1 (ko) 2012-11-27 2012-11-27 객체 검출 및 추적 방법과 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120135386A KR101339616B1 (ko) 2012-11-27 2012-11-27 객체 검출 및 추적 방법과 장치

Publications (1)

Publication Number Publication Date
KR101339616B1 true KR101339616B1 (ko) 2013-12-10

Family

ID=49987897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120135386A KR101339616B1 (ko) 2012-11-27 2012-11-27 객체 검출 및 추적 방법과 장치

Country Status (1)

Country Link
KR (1) KR101339616B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101614874B1 (ko) * 2014-08-08 2016-04-22 에쓰온(주) 지능형 3차원 씨씨티브이 카메라 영상 처리장치
KR101765276B1 (ko) 2016-12-30 2017-08-07 공간정보기술 주식회사 클러스터링과 스테레오 카메라를 이용한 공간 형상 데이터 분할 및 영상 추적 알고리즘 통한 추적 시스템
EP4332621A1 (en) * 2022-09-01 2024-03-06 Leica Geosystems AG Laser scanner with stereo camera vision for improved selective feature scanning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100113850A (ko) * 2009-04-14 2010-10-22 한국전자통신연구원 얼굴 검출 장치 및 이를 이용한 거리 측정 방법
KR101030317B1 (ko) 2008-12-10 2011-04-19 재단법인대구경북과학기술원 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
KR101076406B1 (ko) 2009-11-30 2011-10-25 재단법인대구경북과학기술원 장애물체 위치 및 속도 추정 장치 및 방법
KR20120092940A (ko) * 2011-02-14 2012-08-22 금오공과대학교 산학협력단 물체 인식 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101030317B1 (ko) 2008-12-10 2011-04-19 재단법인대구경북과학기술원 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
KR20100113850A (ko) * 2009-04-14 2010-10-22 한국전자통신연구원 얼굴 검출 장치 및 이를 이용한 거리 측정 방법
KR101076406B1 (ko) 2009-11-30 2011-10-25 재단법인대구경북과학기술원 장애물체 위치 및 속도 추정 장치 및 방법
KR20120092940A (ko) * 2011-02-14 2012-08-22 금오공과대학교 산학협력단 물체 인식 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101614874B1 (ko) * 2014-08-08 2016-04-22 에쓰온(주) 지능형 3차원 씨씨티브이 카메라 영상 처리장치
KR101765276B1 (ko) 2016-12-30 2017-08-07 공간정보기술 주식회사 클러스터링과 스테레오 카메라를 이용한 공간 형상 데이터 분할 및 영상 추적 알고리즘 통한 추적 시스템
EP4332621A1 (en) * 2022-09-01 2024-03-06 Leica Geosystems AG Laser scanner with stereo camera vision for improved selective feature scanning

Similar Documents

Publication Publication Date Title
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
Hu et al. Moving object detection and tracking from video captured by moving camera
Smith et al. Real-Time Monocular SLAM with Straight Lines.
US9165211B2 (en) Image processing apparatus and method
WO2017000466A1 (zh) 一种基于光流法的运动目标跟踪方法及系统
KR101733131B1 (ko) 3차원 제스처 처리 방법 및 장치
WO2015161816A1 (en) Three-dimensional facial recognition method and system
KR20180087947A (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US10853960B2 (en) Stereo matching method and apparatus
Zhou et al. Moving object detection and segmentation in urban environments from a moving platform
Evangelidis et al. Efficient subframe video alignment using short descriptors
KR101789071B1 (ko) 깊이 영상의 특징 추출 방법 및 장치
CN104599287A (zh) 对象跟踪方法和装置、对象识别方法和装置
Dai-Hong et al. Moving-object tracking algorithm based on PCA-SIFT and optimization for underground coal mines
Gedik et al. 3-D rigid body tracking using vision and depth sensors
US11423266B2 (en) Subject recognizing method and apparatus
Priya et al. Object recognition and 3D reconstruction of occluded objects using binocular stereo
JP2014235743A (ja) 深度画像に基づく手の位置確定方法と設備
Park et al. Hand detection and tracking using depth and color information
Isobe et al. Occlusion handling for a target-tracking robot with a stereo camera
KR101339616B1 (ko) 객체 검출 및 추적 방법과 장치
KR102494552B1 (ko) 실내 복원 방법
Chen et al. Fast vehicle detection using a disparity projection method
Pellicanò et al. Geometry-based multiple camera head detection in dense crowds
Park et al. Robust facial pose estimation using landmark selection method for binocular stereo vision

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170918

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180918

Year of fee payment: 6