KR102198810B1

KR102198810B1 - 오브젝트 추적 장치 및 방법

Info

Publication number: KR102198810B1
Application number: KR1020170000583A
Authority: KR
Inventors: 신성근; 이혁기
Original assignee: 한국자동차연구원
Priority date: 2017-01-03
Filing date: 2017-01-03
Publication date: 2021-01-05
Also published as: KR20180079880A

Abstract

본 발명은 예측값과 측정값 사이의 유효성 검증을 통해 선별된 데이터들을 기초로 오브젝트를 강인하게 추적하는 오브젝트 추적 장치 및 방법을 제안한다. 본 발명에 따른 장치는 이전 시간에 획득된 제1 센싱 데이터들을 기초로 오브젝트에 대한 정보를 예측하는 오브젝트 정보 예측부; 현재 시간에 획득된 제2 센싱 데이터들과 오브젝트에 대한 정보를 비교하여 제2 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단하는 유효 데이터 판단부; 및 유효 데이터들이 존재하는 것으로 판단되면 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적하는 오브젝트 추적부를 포함한다.

Description

오브젝트 추적 장치 및 방법 {Apparatus and method for tracking object}

본 발명은 오브젝트를 추적하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 차량에서 오브젝트를 추적하는 장치 및 방법에 관한 것이다.

오브젝트 추적(object tracking)은 센서로부터 계측된 데이터를 기반으로 오브젝트의 이동 경로를 추적하는 기법을 말한다. 이러한 오브젝트 추적은 차량에 적용되어 자동 긴급 제동 장치(AEBS; Auto Emergency Braking System) 등 능동 안전 시스템(Active safety system)에서 많이 활용되고 있다.

그런데 종래의 오브젝트 추적은 센서 자체의 결함이나 가려짐(occlusion)과 같은 환경적 요인으로 인해 오브젝트가 미인식(miss detection)되면 오브젝트의 추적 성능이 저하되는 문제점이 있다. 차량이 주행중에 이러한 문제점에 노출되면 교통 사고를 회피하지 못하는 문제점이 생길 수 있다.

한국공개특허 제10-2016-0071162호 (공개일 : 2016.06.21.)

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 예측값과 측정값 사이의 유효성 검증을 통해 선별된 데이터들을 기초로 오브젝트를 강인하게 추적하는 오브젝트 추적 장치 및 방법을 제안하는 것을 목적으로 한다.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 이전 시간에 획득된 제1 센싱 데이터들을 기초로 오브젝트에 대한 정보를 예측하는 오브젝트 정보 예측부; 현재 시간에 획득된 제2 센싱 데이터들과 상기 오브젝트에 대한 정보를 비교하여 상기 제2 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단하는 유효 데이터 판단부; 및 상기 유효 데이터들이 존재하는 것으로 판단되면 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적하는 오브젝트 추적부를 포함하는 것을 특징으로 하는 오브젝트 추적 장치를 제안한다.

바람직하게는, 상기 유효 데이터 판단부는 상기 제2 센싱 데이터들과 상기 오브젝트에 대한 정보 사이의 오차가 기준값 이하인지 여부를 기초로 상기 유효 데이터들이 존재하는지 여부를 판단한다.

바람직하게는, 상기 유효 데이터 판단부는 상기 유효 데이터들이 존재하는지 여부를 판단할 때 센서의 측정 오차, 상기 오브젝트의 주행 속도, 상기 오브젝트를 추적하는 차량의 주행 속도, 상기 오브젝트가 위치한 주변 환경에 대한 정보, 및 상기 차량이 위치한 주변 환경에 대한 정보 중 적어도 하나를 기초로 결정된 상기 기준값을 이용한다.

바람직하게는, 상기 오브젝트 정보 예측부는 상기 오브젝트와 상기 오브젝트를 추적하는 차량 사이의 거리 정보, 상기 오브젝트와 상기 차량 사이의 속도 정보 및 상태 천이 행렬(state transition matrix)을 연산하여 상기 오브젝트에 대한 정보를 예측한다.

바람직하게는, 상기 오브젝트 정보 예측부는 상기 오브젝트의 종류에 대한 정보를 더 포함하여 상기 오브젝트에 대한 정보를 예측한다.

바람직하게는, 상기 오브젝트 추적 장치는 상기 유효 데이터들이 존재하는지 여부와 관련된 제1 판단 결과를 기초로 상기 오브젝트의 미인식에 대응하기 위한 상기 오브젝트의 상태 정보를 생성하는 오브젝트 상태 생성부를 더 포함한다.

바람직하게는, 상기 오브젝트 상태 생성부는 상기 오브젝트의 상태 정보를 생성할 때 상기 제1 센싱 데이터들이 존재하는지 여부와 관련된 제2 판단 결과, 상기 제2 센싱 데이터들이 최초로 획득된 데이터들인지 여부와 관련된 제3 판단 결과, 상기 유효 데이터들이 존재하는지 여부가 최초 판단인지 여부와 관련된 제4 판단 결과, 연속적으로 상기 유효 데이터들이 존재하는 것으로 판단되는지 여부와 관련된 제5 판단 결과, 및 연속적으로 상기 유효 데이터들이 존재하는 것으로 판단된 지 미리 정해진 시간이 경과했는지 여부와 관련된 제6 판단 결과 중 적어도 하나의 판단 결과를 더 이용한다.

바람직하게는, 상기 오브젝트 상태 생성부는 상기 제2 판단 결과 내지 상기 제6 판단 결과를 모두 이용할 때 상기 제2 판단 결과, 상기 제3 판단 결과, 상기 제4 판단 결과, 상기 제5 판단 결과 및 상기 제6 판단 결과의 순서로 차례대로 이용한다.

바람직하게는, 상기 오브젝트 추적 장치는 상기 오브젝트의 상태 정보를 기초로 상기 오브젝트를 계속 추적할 것인지 여부를 판단하는 오브젝트 추적 판단부를 더 포함한다.

바람직하게는, 상기 오브젝트 상태 생성부는 카메라 센서, 레이더 센서 및 라이다 센서 중 어느 하나의 센서에 의해 상기 제1 센싱 데이터들이 획득되고 다른 두 센서들에 의해 제6 센싱 데이터들과 제7 센싱 데이터들이 획득되면 상기 제1 센싱 데이터들과 상기 제6 센싱 데이터들 및 상기 제7 센싱 데이터들 중에서 선택된 적어도 하나의 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성한다.

바람직하게는, 상기 오브젝트 상태 생성부는 상기 제1 센싱 데이터들이 상기 카메라 센서에 의해 획득된 센싱 데이터들이고 상기 제6 센싱 데이터들이 상기 레이더 센서에 의해 획득된 센싱 데이터들이며 상기 제7 센싱 데이터들이 상기 라이다 센서에 의해 획득된 센싱 데이터들이면, 먼저 상기 제7 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하고, 이후 상기 제1 센싱 데이터들과 상기 제6 센싱 데이터들 및 상기 제7 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하며, 이후 미리 정해진 조건에 부합할 때 상기 제1 센싱 데이터들 및 상기 제6 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하고, 이후 상기 제1 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하며, 이후 상기 제6 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성한다.

바람직하게는, 상기 오브젝트 추적 장치는 상기 오브젝트의 상태 정보를 기초로 상기 오브젝트를 추적하는 차량의 주행을 제어하는 주행 제어부를 더 포함한다.

바람직하게는, 상기 오브젝트 추적부는 상기 유효 데이터들과 상기 오브젝트에 대한 정보 사이의 오차를 기초로 선택된 상기 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적한다.

바람직하게는, 상기 유효 데이터 판단부는 관심 영역에 위치하는 오브젝트와 관련된 제2 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단한다.

바람직하게는, 상기 오브젝트 추적 장치는 상기 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보가 예측되면 상기 제1 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보 및 상기 제3 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제1 기준 범위를 결정하는 제1 범위 결정부를 더 포함하며, 상기 유효 데이터 판단부는 상기 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들 및 상기 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 상기 제1 기준 범위와 순차적으로 비교하여 상기 제4 센싱 데이터들 및 상기 제5 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단한다.

바람직하게는, 상기 오브젝트 추적 장치는 상기 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보가 예측되면 상기 제1 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제2 기준 범위를 결정하고, 상기 제3 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제3 기준 범위를 결정하는 제2 범위 결정부를 더 포함하며, 상기 유효 데이터 판단부는 상기 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들을 상기 제2 기준 범위와 비교하여 상기 제4 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단하고, 상기 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 상기 제3 기준 범위와 비교하여 상기 제5 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단한다.

바람직하게는, 상기 오브젝트 정보 예측부는 상기 제1 센싱 데이터들과 다른 센서에 의해 제3 센싱 데이터들이 획득되면 상기 제1 센싱 데이터들과 상기 제3 센싱 데이터들을 결합하여 얻은 데이터들을 기초로 상기 오브젝트에 대한 정보를 예측한다.

바람직하게는, 상기 오브젝트 정보 예측부는 상기 제1 센싱 데이터들과 다른 센서에 의해 제3 센싱 데이터들이 획득되면 상기 제1 센싱 데이터들과 상기 제3 센싱 데이터들 중에서 동일 아이템에 대하여 우선순위에 따라 선택된 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보를 예측한다.

바람직하게는, 상기 오브젝트 추적 장치는 상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있지 않으면 상기 유효 데이터들 중에 상기 오브젝트의 속도 정보가 포함되어 있는지 여부를 판단하는 오브젝트 속도 판단부; 및 상기 유효 데이터들 중에 상기 오브젝트의 속도 정보가 포함되어 있는 것으로 판단되면 상기 오브젝트의 속도 정보를 기초로 상기 오브젝트의 종류에 대한 정보를 추정하는 제1 오브젝트 종류 추정부를 더 포함한다.

바람직하게는, 상기 오브젝트 추적 장치는 상기 제1 센싱 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있으면 상기 오브젝트의 종류에 대한 정보가 보행자인지 여부를 판단하는 제1 오브젝트 종류 판단부; 상기 오브젝트의 종류에 대한 정보가 보행자인 것으로 판단되면 상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있는지 여부를 판단하는 제2 오브젝트 종류 판단부; 및 상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있지 않은 것으로 판단되면 상기 제1 센싱 데이터들에 포함되어 있는 상기 오브젝트의 종류에 대한 정보를 상기 유효 데이터들에 포함시키는 제2 오브젝트 종류 추정부를 더 포함한다.

또한 본 발명은 이전 시간에 획득된 제1 센싱 데이터들을 기초로 오브젝트에 대한 정보를 예측하는 오브젝트 정보 예측 단계; 현재 시간에 획득된 제2 센싱 데이터들과 상기 오브젝트에 대한 정보를 비교하여 상기 제2 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단하는 유효 데이터 판단 단계; 및 상기 유효 데이터들이 존재하는 것으로 판단되면 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적하는 오브젝트 추적 단계를 포함하는 것을 특징으로 하는 오브젝트 추적 방법을 제안한다.

바람직하게는, 상기 유효 데이터 판단 단계는 상기 제2 센싱 데이터들과 상기 오브젝트에 대한 정보 사이의 오차가 기준값 이하인지 여부를 기초로 상기 유효 데이터들이 존재하는지 여부를 판단한다.

바람직하게는, 상기 유효 데이터 판단 단계는 상기 유효 데이터들이 존재하는지 여부를 판단할 때 센서의 측정 오차, 상기 오브젝트의 주행 속도, 상기 오브젝트를 추적하는 차량의 주행 속도, 상기 오브젝트가 위치한 주변 환경에 대한 정보, 및 상기 차량이 위치한 주변 환경에 대한 정보 중 적어도 하나를 기초로 결정된 상기 기준값을 이용한다.

바람직하게는, 상기 오브젝트 정보 예측 단계는 상기 오브젝트와 상기 오브젝트를 추적하는 차량 사이의 거리 정보, 상기 오브젝트와 상기 차량 사이의 속도 정보 및 상태 천이 행렬(state transition matrix)을 연산하여 상기 오브젝트에 대한 정보를 예측한다.

바람직하게는, 상기 오브젝트 정보 예측 단계는 상기 오브젝트의 종류에 대한 정보를 더 포함하여 상기 오브젝트에 대한 정보를 예측한다.

바람직하게는, 상기 유효 데이터 판단 단계와 상기 오브젝트 추적 단계 사이에, 상기 유효 데이터들이 존재하는지 여부와 관련된 제1 판단 결과를 기초로 상기 오브젝트의 미인식에 대응하기 위한 상기 오브젝트의 상태 정보를 생성하는 오브젝트 상태 생성 단계를 더 포함한다.

바람직하게는, 상기 오브젝트 상태 생성 단계는 상기 오브젝트의 상태 정보를 생성할 때 상기 제1 센싱 데이터들이 존재하는지 여부와 관련된 제2 판단 결과, 상기 제2 센싱 데이터들이 최초로 획득된 데이터들인지 여부와 관련된 제3 판단 결과, 상기 유효 데이터들이 존재하는지 여부가 최초 판단인지 여부와 관련된 제4 판단 결과, 연속적으로 상기 유효 데이터들이 존재하는 것으로 판단되는지 여부와 관련된 제5 판단 결과, 및 연속적으로 상기 유효 데이터들이 존재하는 것으로 판단된 지 미리 정해진 시간이 경과했는지 여부와 관련된 제6 판단 결과 중 적어도 하나의 판단 결과를 더 이용한다.

바람직하게는, 상기 오브젝트 상태 생성 단계는 상기 제2 판단 결과 내지 상기 제6 판단 결과를 모두 이용할 때 상기 제2 판단 결과, 상기 제3 판단 결과, 상기 제4 판단 결과, 상기 제5 판단 결과 및 상기 제6 판단 결과의 순서로 차례대로 이용한다.

바람직하게는, 상기 오브젝트 상태 생성 단계와 상기 오브젝트 추적 단계 사이에, 상기 오브젝트의 상태 정보를 기초로 상기 오브젝트를 계속 추적할 것인지 여부를 판단하는 오브젝트 추적 판단 단계를 더 포함한다.

바람직하게는, 상기 오브젝트 상태 생성 단계는 카메라 센서, 레이더 센서 및 라이다 센서 중 어느 하나의 센서에 의해 상기 제1 센싱 데이터들이 획득되고 다른 두 센서들에 의해 제6 센싱 데이터들과 제7 센싱 데이터들이 획득되면 상기 제1 센싱 데이터들과 상기 제6 센싱 데이터들 및 상기 제7 센싱 데이터들 중에서 선택된 적어도 하나의 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성한다.

바람직하게는, 상기 오브젝트 상태 생성 단계는 상기 제1 센싱 데이터들이 상기 카메라 센서에 의해 획득된 센싱 데이터들이고 상기 제6 센싱 데이터들이 상기 레이더 센서에 의해 획득된 센싱 데이터들이며 상기 제7 센싱 데이터들이 상기 라이다 센서에 의해 획득된 센싱 데이터들이면, 먼저 상기 제7 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하고, 이후 상기 제1 센싱 데이터들과 상기 제6 센싱 데이터들 및 상기 제7 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하며, 이후 미리 정해진 조건에 부합할 때 상기 제1 센싱 데이터들 및 상기 제6 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하고, 이후 상기 제1 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하며, 이후 상기 제6 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성한다.

바람직하게는, 오브젝트 상태 생성 단계와 오브젝트 추적 단계 사이에, 상기 오브젝트의 상태 정보를 기초로 상기 오브젝트를 추적하는 차량의 주행을 제어하는 주행 제어 단계를 더 포함한다.

바람직하게는, 상기 오브젝트 추적 단계는 상기 유효 데이터들과 상기 오브젝트에 대한 정보 사이의 오차를 기초로 선택된 상기 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적한다.

바람직하게는, 상기 유효 데이터 판단 단계는 관심 영역에 위치하는 오브젝트와 관련된 제2 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단한다.

바람직하게는, 상기 오브젝트 정보 예측 단계와 상기 유효 데이터 판단 단계 사이에, 상기 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보가 예측되면 상기 제1 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보 및 상기 제3 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제1 기준 범위를 결정하는 제1 범위 결정 단계를 더 포함하며, 상기 유효 데이터 판단 단계는 상기 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들 및 상기 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 상기 제1 기준 범위와 순차적으로 비교하여 상기 제4 센싱 데이터들 및 상기 제5 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단한다.

바람직하게는, 상기 오브젝트 정보 예측 단계와 상기 유효 데이터 판단 단계 사이에, 상기 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보가 예측되면 상기 제1 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제2 기준 범위를 결정하고, 상기 제3 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제3 기준 범위를 결정하는 제2 범위 결정 단계를 더 포함하며, 상기 유효 데이터 판단 단계는 상기 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들을 상기 제2 기준 범위와 비교하여 상기 제4 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단하고, 상기 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 상기 제3 기준 범위와 비교하여 상기 제5 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단한다.

바람직하게는, 상기 오브젝트 정보 예측 단계는 상기 제1 센싱 데이터들과 다른 센서에 의해 제3 센싱 데이터들이 획득되면 상기 제1 센싱 데이터들과 상기 제3 센싱 데이터들을 결합하여 얻은 데이터들을 기초로 상기 오브젝트에 대한 정보를 예측한다.

바람직하게는, 상기 오브젝트 정보 예측 단계는 상기 제1 센싱 데이터들과 다른 센서에 의해 제3 센싱 데이터들이 획득되면 상기 제1 센싱 데이터들과 상기 제3 센싱 데이터들 중에서 동일 아이템에 대하여 우선순위에 따라 선택된 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보를 예측한다.

바람직하게는, 상기 유효 데이터 판단 단계와 상기 오브젝트 추적 단계 사이에, 상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있지 않으면 상기 유효 데이터들 중에 상기 오브젝트의 속도 정보가 포함되어 있는지 여부를 판단하는 오브젝트 속도 판단 단계; 및 상기 유효 데이터들 중에 상기 오브젝트의 속도 정보가 포함되어 있는 것으로 판단되면 상기 오브젝트의 속도 정보를 기초로 상기 오브젝트의 종류에 대한 정보를 추정하는 제1 오브젝트 종류 추정 단계를 더 포함한다.

바람직하게는, 상기 유효 데이터 판단 단계와 상기 오브젝트 추적 단계 사이에, 상기 제1 센싱 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있으면 상기 오브젝트의 종류에 대한 정보가 보행자인지 여부를 판단하는 제1 오브젝트 종류 판단 단계; 상기 오브젝트의 종류에 대한 정보가 보행자인 것으로 판단되면 상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있는지 여부를 판단하는 제2 오브젝트 종류 판단 단계; 및 상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있지 않은 것으로 판단되면 상기 제1 센싱 데이터들에 포함되어 있는 상기 오브젝트의 종류에 대한 정보를 상기 유효 데이터들에 포함시키는 제2 오브젝트 종류 추정 단계를 더 포함한다.

또한 본 발명은 컴퓨터에서 오브젝트 추적 방법을 실행시키기 위한 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램을 제안한다.

본 발명은 상기한 목적 달성을 위한 구성들을 통하여 다음 효과를 얻을 수 있다.

첫째, 오브젝트가 일시적으로 미인식되더라도 오브젝트를 강건하게 추적하는 것이 가능해진다.

둘째, 선별된 유효 데이터들을 이용하기 때문에 다중 센서 환경에서도 빠르고 정확하게 오브젝트를 추적하는 것이 가능해진다.

도 1은 본 발명의 일실시예에 따른 오브젝트 추적 관리 절차를 설명하기 위한 개념도이다.
도 2는 본 발명의 일실시예에 따른 오브젝트 추적 시스템의 작동 방법을 순차적으로 도시한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 유효성 검증을 설명하기 위한 참고도이다.
도 4는 본 발명의 일실시예에 따른 유효성 검증 방식을 설명하기 위한 참고도이다.
도 5 및 도 6은 본 발명의 일실시예에 따른 오브젝트 추적 시스템의 오브젝트 추적 결과를 설명하기 위한 참고도들이다.
도 7은 다중 센서 환경에서 본 발명의 제1 실시예에 따라 오브젝트를 추적하는 방법을 설명하기 위한 흐름도이다.
도 8은 다중 센서 환경에서 본 발명의 제2 실시예에 따라 오브젝트를 추적하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일실시예에 따른 제2 퓨전 전략을 설명하기 위한 개념도이다.
도 10은 본 발명의 바람직한 실시예에 따른 오브젝트 추적 장치의 내부 구성들을 개략적으로 도시한 블록도이다.
도 11은 도 10의 오브젝트 추적 장치에 추가될 수 있는 내부 구성들을 도시한 블록도이다.
도 12는 본 발명의 바람직한 실시예에 따른 오브젝트 추적 방법을 개략적으로 도시한 흐름도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

본 발명은 오브젝트를 일시적으로 인식하지 못하더라도 그 오브젝트를 강인하게 추적하는 기술에 관한 것이다. 본 발명에서는 오브젝트의 일시적인 미인식 상황에 대응하기 위해 포텐셜 트랙(potential track)을 이용하며, 포텐셜 트랙을 통해 오브젝트를 계속적으로 추적함으로써 오브젝트에 대한 추적 성능을 향상시키고자 한다.

포텐셜 트랙은 반복적인 추적 과정을 통해 충분히 검증된 오브젝트를 대상으로 정의한다. 이러한 포텐셜 트랙은 오직 충분히 검증된 트랙(confirmed track)에서 전환되며, 전환 이후 일정 시간동안 재차 검증되지 않으면 스스로 소멸된다. 트랙의 상태 결정을 위한 검증 방법은 예측값과 측정값의 유효성을 확인하는 게이팅(gating) 과정을 통해 수행된다.

이하 도면들을 참조하여 본 발명에 대해 자세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 오브젝트 추적 관리 절차를 설명하기 위한 개념도이다.

추적 대상 오브젝트의 상태를 정의하기 위한 라이프 사이클은 트랙 생성 단계, 트랙 상태 갱신 단계, 트랙 상태 유지 단계, 트랙 소멸 단계 등으로 구성된다. 라이프 사이클의 각 단계의 진행 상황에 따라 추적 대상 오브젝트의 상태는 도 1에 도시된 바와 같이 6가지 타입으로 정의된다.

엠프티 트랙(Empty track; 110)은 차량의 주행에 아무런 영향을 미치지 않는 오브젝트의 상태를 정의한 것이다. 오브젝트가 차량으로부터 미리 정해진 거리 이내에 위치하지 않는 경우, 오브젝트가 추적 대상에서 제외된 경우 등일 때 이 오브젝트의 상태는 엠프티 트랙(110)으로 정의된다.

제1 이니시에이터 트랙(Initiator 1 track; 120)은 차량 센서에 의해 최초로 인식된 오브젝트의 상태를 정의한 것이다. 오브젝트가 차량으로부터 미리 정해진 거리 이내에 진입하여 이 오브젝트가 차량 센서에 의해 감지되는 경우 이 오브젝트의 상태는 제1 이니시에이터 트랙(120)으로 정의된다.

제2 이니시에이터 트랙(Initiator 2 track; 130)은 차량 센서에 의해 인식된 뒤 첫번째 사이클에서 유효성이 검증된 오브젝트의 상태를 정의한 것이다. 본 발명에서는 유효성이 1회 검증되면 이 오브젝트의 상태를 제2 이니시에이터 트랙(130)으로 정의하는데, 제2 이니시에이터 트랙(130)으로 정의하기 위한 유효성 검증 횟수가 반드시 1회에 한정되는 것은 아니다. 차량 센서에 의해 인식된 뒤 첫번째 사이클에서 유효성이 검증되지 않으면 이 오브젝트의 상태는 이후 엠프티 트랙(110)으로 초기화된다.

한편 상기에서 사이클(cycle)은 센서의 측정 주기를 의미한다. 유효성 검증 방법에 대한 자세한 설명은 후술한다.

컨펌드 트랙(Confirmed track; 150)은 차량 센서에 의해 인식된 뒤 첫번째 사이클에 이어 두번째 사이클에서도 유효성이 검증된 오브젝트의 상태를 정의한 것이다. 본 발명에서는 유효성이 2회 연속 검증되면 이 오브젝트의 상태를 컨펌드 트랙(150)으로 정의하는데, 컨펌드 트랙(150)으로 정의하기 위한 유효성 연속 검증 횟수가 반드시 2회에 한정되는 것은 아니다. 오브젝트의 상태가 컨펌드 트랙(150)으로 정의되면, 차량은 이 오브젝트를 충돌 가능성이 있는 것으로 판단하고 이 오브젝트를 회피하여 주행할 수 있도록 제어하거나, 긴급 제동(EB; Emergency Braking) 기능을 수행한다.

제3 이니시에이터 트랙(Initiator 3 track; 140)은 이전 사이클에서 제2 이니시에이터 트랙(130)으로 정의된 오브젝트에 대하여 현재 사이클에서 유효성이 검증되지 않은 오브젝트의 상태를 정의한 것이다. 일례로, 제3 이니시에이터 트랙(140)은 차량 센서에 의해 인식된 뒤 첫번째 사이클에서는 유효성이 검증되었으나 두번째 사이클에서 유효성이 검증되지 않은 오브젝트의 상태를 정의한 것이다.

현재 사이클에서 제3 이니시에이터 트랙(140)으로 정의된 오브젝트가 다음 사이클에서 유효성이 검증되면 이 오브젝트의 상태는 이후 컨펌드 트랙(150)으로 정의된다. 반면 현재 사이클에서 제3 이니시에이터 트랙(140)으로 정의된 오브젝트가 다음 사이클에서 유효성이 검증되지 않으면 이 오브젝트의 상태는 이후 엠프티 트랙(110)으로 초기화된다.

포텐셜 트랙(Potential track; 160)은 컨펌드 트랙(150)으로 정의된 오브젝트에 대하여 유효성 검증과 관련된 조건에 부합하지 않는 오브젝트의 상태를 정의한 것이다. 일례로, 포텐셜 트랙(160)은 컨펌드 트랙(150)으로 정의된 오브젝트를 대상으로 N회(ex. 3회)의 사이클 동안 유효성이 연속적으로 검증되지 않은 오브젝트의 상태를 정의한 것이거나, 또는 컨펌드 트랙(150)으로 정의된 오브젝트를 대상으로 제1 시간동안 유효성이 검증되지 않은 오브젝트의 상태를 정의한 것이다.

현재 사이클에서 포텐셜 트랙(160)으로 정의된 오브젝트가 다음 사이클에서 유효성이 검증되면 이 오브젝트의 상태는 이후 컨펌드 트랙(150)으로 정의된다. 반면 현재 사이클에서 포텐셜 트랙(160)으로 정의된 오브젝트가 다음 사이클에서 유효성이 검증되지 않으면 이 오브젝트의 상태는 이후 엠프티 트랙(110)으로 정의된다. 현재 사이클에서 포텐셜 트랙(160)으로 정의된 오브젝트가 제2 시간(ex. 2초)동안 유효성이 검증되지 않을 경우 이 오브젝트의 상태를 이후 엠프티 트랙(110)으로 정의하는 것도 가능하다.

한편 본 발명에서는 센서의 FOV(Field Of View)를 기초로 오브젝트의 상태를 결정하는 것도 가능하다.

이전 사이클(K 시점)에서 오브젝트의 상태가 컨펌드 트랙(150)일 때 다음 사이클(K+1 시점)에서 오브젝트가 센서의 FOV를 벗어나면 센서에 의해 오브젝트에 대한 측정값이 계측되지 않는다. 따라서 이러한 경우에는 오브젝트의 상태를 컨펌드 트랙(150)에서 포텐셜 트랙(160)으로 변경한다. 또한 이전 사이클(K 시점)에서 오브젝트의 상태가 포텐셜 트랙(160)일 때 다음 사이클(K+1 시점)에서 오브젝트가 센서의 FOV를 벗어나면 정해진 룰을 따르지 않고 그 즉시 오브젝트의 상태를 포텐셜 트랙(160)에서 엠프티 트랙(110)으로 변경한다.

한편 오브젝트가 센서의 FOV 이내에 위치함에도 불구하고 오브젝트의 상태가 컨펌드 트랙(150)에서 포텐셜 트랙(160)으로 변경되었다면 센서에 의해 오브젝트가 인식되지 않았거나 센서가 고장난 것으로 판단할 수 있다. 따라서 이러한 경우에는 오브젝트의 상태가 컨펌드 트랙(150)으로 유지된 시간을 기초로 오브젝트의 상태를 결정할 수 있다.

일례로, K 시점에서 오브젝트의 상태가 컨펌드 트랙(150)에서 포텐셜 트랙(160)으로 변경된 경우, K 시점까지 오브젝트의 상태가 컨펌드 트랙(150)으로 유지된 시간이 기준 시간 이상인 것으로 판단되면, K+1 시점에서 오브젝트의 상태를 포텐셜 트랙(160)에서 모어 포텐셜 트랙(More potential track)으로 결정할 수 있다. 본 발명에서 모어 포텐셜 트랙은 컨펌드 트랙(150)으로 정의된 오브젝트를 대상으로 M회(단, M < N)의 사이클 동안 유효성이 연속적으로 검증되지 않은 오브젝트의 상태를 정의한 것이거나, 또는 컨펌드 트랙(150)으로 정의된 오브젝트를 대상으로 제3 시간(단, 제3 시간 < 제1 시간)동안 유효성이 검증되지 않은 오브젝트의 상태를 정의한 것이다.

다음으로 유효성 검증 방법에 대해서 설명한다.

유효성 검증 즉, 게이팅(Gating)은 이전 측정값과 관련된 예측값과 현재 측정값을 기초로 예측값과 현재 측정값 사이의 상관관계를 통해 유효한 현재 측정값을 추출하여 오브젝트의 상태를 판단하는 방법을 말한다. 상기에서 이전 측정값은 이전 시간에 센서에 의해 획득된 측정값을 의미하며, 현재 측정값은 현재 시간에 센서에 의해 획득된 측정값을 의미한다.

본 발명에서 오브젝트를 추적하는 시스템 즉, 오브젝트 추적 시스템은 도 2에 도시된 순서에 따라 오브젝트를 추적하고 그 추적 결과를 관리할 수 있다. 도 2는 본 발명의 일실시예에 따른 오브젝트 추적 시스템의 작동 방법을 순차적으로 도시한 흐름도이다.

먼저 오브젝트 추적 시스템은 차량에 장착된 각종 센서들을 이용하여 센싱 데이터들을 획득한다(S210). 일례로, 오브젝트 추적 시스템은 카메라 센서를 이용하여 영상 데이터를 획득할 수 있으며, 거리 센서를 이용하여 차량에서 각 오브젝트까지의 상대 거리(relative distance) 데이터를 획득할 수 있다. 또한 오브젝트 추적 시스템은 속도 센서를 이용하여 차량에 대한 각 오브젝트의 상대 속도(relative speed) 데이터를 획득하는 것도 가능하다.

이후 오브젝트 추적 시스템은 센싱 데이터들을 기초로 각 오브젝트에 대하여 유효성 검증(Gating)을 실행한다(S220). 본 발명에서 오브젝트 추적 시스템은 관심 영역(ROI; Region Of Interest)에 위치하는 오브젝트에 대하여 유효성 검증을 실행할 수 있다. 이 경우 오브젝트 추적 시스템은 유효성 검증을 실행하기 전에 관심 영역을 설정할 수 있다. 오브젝트 추적 시스템은 센서의 FOV(Field Of View)를 기초로 관심 영역을 설정할 수 있다.

각 오브젝트에 대한 유효성 검증(S220)은 다음 순서에 따라 수행될 수 있다.

도 3은 본 발명의 일실시예에 따른 유효성 검증을 설명하기 위한 참고도이다. 이하 설명은 도 2 및 도 3을 참조한다.

먼저 오브젝트 추적 시스템은 도 3의 (a)에 도시된 바와 같이 이전 측정값 x_k-1(310)을 획득한다(S221). 일례로 카메라 센서를 이용하는 경우, 오브젝트 추적 시스템은 이전 측정값 x_k-1(310)로 오브젝트의 클래스 정보(class), 오브젝트의 종방향/횡방향 거리 정보(px, py), 오브젝트의 종방향/횡방향 속도 정보(vx, vy), 오브젝트의 폭 정보(width or w), 시간 정보 등을 획득할 수 있다. 레이더 센서를 이용하는 경우, 오브젝트 추적 시스템은 이전 측정값 x_k-1(310)로 오브젝트의 종방향/횡방향 거리 정보, 오브젝트의 종방향/횡방향 속도 정보, 오브젝트의 폭 정보, 시간 정보 등을 획득할 수 있다.

이후 오브젝트 추적 시스템은 도 3의 (b)에 도시된 바와 같이 이전 측정값 x_k-1(310)을 기초로 현재 시간의 오브젝트와 관련된 예측값 x'_k(320)를 생성한다(S222). 오브젝트 추적 시스템이 예측값 x'_k(320)를 생성하는 방법에 대해서는 그 자세한 설명을 후술한다.

이후 현재 측정값 z_k(331, 332, 333)가 획득되면(S223), 오브젝트 추적 시스템은 도 3의 (c)에 도시된 바와 같이 예측값 x'_k(320)와 현재 측정값 z_k(331, 332, 333)를 비교하여 현재 측정값 z_k(331, 332, 333)가 유효한 데이터인지 여부를 판단한다(S224). 본 발명에서 오브젝트 추적 시스템은 칼만 필터(kalman filter)를 이용하여 현재 측정값 z_k(331, 332, 333)가 유효한 데이터인지 여부를 판단할 수 있다. 일례로, 오브젝트 추적 시스템은 예측값 x'_k(320)를 기준으로 미리 정해진 범위(340) 이내에 현재 측정값 z_k(331, 332, 333)가 위치하는지 여부를 기초로 현재 측정값 z_k(331, 332, 333)가 유효한 데이터인지 여부를 판단할 수 있다.

이후 오브젝트 추적 시스템은 도 3의 (d)에 도시된 바와 같이 현재 측정값 z_k(331, 332, 333) 중에서 예측값 x'_k(320)를 기준으로 지정된 범위(340) 이내에 위치하는 제1 측정값 x_k(331)을 유효한 데이터로 판단한다(S225).

반면 오브젝트 추적 시스템은 현재 측정값 z_k(331, 332, 333) 중에서 예측값 x'_k(320)를 기준으로 지정된 범위(340) 이내에 위치하지 않는 제2 측정값(332)과 제3 측정값(333)을 유효하지 않은 데이터로 판단한다(S226).

이후 오브젝트 추적 시스템은 유효성 검증(S220)을 통해 유효한 데이터로 판단된 센싱 데이터들(ex. x_k(331))을 기초로 각 오브젝트를 추적한다(S230).

또한 오브젝트 추적 시스템은 현재 측정값 z_k(331, 332, 333)가 유효한 데이터인지 여부를 판단하여 얻은 결과를 기초로 오브젝트의 상태 정보를 생성한다(S240). 오브젝트의 상태 정보에 대해서는 도 1을 참조하여 전술하였는 바, 여기서는 그 자세한 설명을 생략한다.

이후 오브젝트 추적 시스템은 유효한 데이터로 판단된 센싱 데이터들 및 오브젝트의 상태 정보를 묶어서 오브젝트의 추적 정보로 저장 및 관리함으로써(S250) 이후 오브젝트를 다시 추적할 때에 이전 측정값으로 활용한다.

본 발명에서는 유효성 검증 방식으로 게이팅(Gating)을 이용할 수 있다. 도 4는 본 발명의 일실시예에 따른 유효성 검증 방식을 설명하기 위한 참고도이다.

도 4에 따르면, 오브젝트 추적 시스템은 이전 측정값을 기초로 생성된 예측값(320)을 기준으로 원형 게이트(gate; 350)를 생성한다.

이후 오브젝트 추적 시스템은 현재 측정값이 게이트(350) 내에 위치하는지 여부를 기초로 추적에 대한 유효성을 검증한다.

게이트(350) 내에 2개 이상의 현재 측정값(o₁(361), o₂(362), o₃(363), o₄(364))이 위치하는 경우, 오브젝트 추적 시스템은 GNN(Global Nearest Neighbor) 방식을 이용하여 가장 인접한 현재 측정값(o₄(364))을 선택한다.

이후 오브젝트 추적 시스템은 예측값(320)과 가장 인접한 현재 측정값 o₄(364)을 융합하여 추정값을 생성한다.

다시 도 2 및 도 3을 참조하여 설명한다.

본 발명에서는 기준 범위(또는 기준값)로 유효성 검증을 위한 게이트 사이즈(gate size)를 이용할 수 있다. 게이트 사이즈는 센서의 오차, 주행 속도, 주행 환경 등 센서의 정확도에 영향을 미칠 수 있는 팩터(factor)를 반영하여 설계하는 값으로서, 예컨대 2m가 이에 해당할 수 있다. 게이트 사이즈를 2m로 정의하는 경우, 도 3의 (c)에 도시된 바와 같이 예측값(320)의 2m(350) 이내에 현재 측정값(341)이 있으면 예측값(320)을 유효성이 있는 것으로 판단하며, 예측값(320)의 2m(350) 이내에 현재 측정값(342, 343)이 없으면 예측값(320)을 유효성이 없는 것으로 판단한다.

S243 단계 이후, 오브젝트 추적 시스템은 유효성 검증 결과를 기초로 추적 대상에 해당하는 오브젝트들을 관리한다(S244). 오브젝트 추적 시스템은 추적 리스트(track list)에 오브젝트의 상태, 오브젝트의 종류(type), 종방향 상대 거리(longitudinal relative distance), 횡방향 상대 거리(lateral relative distance) 등 차량에서 오브젝트까지의 상대 거리 정보, 종방향 상대 속도(longitudinal relative velocity), 횡방향 상대 속도(lateral relative velocity) 등 차량에 대한 오브젝트의 상대 속도 정보 등을 기록하여 추적 대상에 해당하는 오브젝트들을 관리할 수 있다.

한편 오브젝트 추적 시스템은 추적 대상에 해당하는 오브젝트들을 관리할 때 추적 대상과 추적 비대상을 구분하여 관리할 수 있다.

오브젝트의 상태가 엠프티 트랙(110)이면, 오브젝트 추적 시스템은 이 오브젝트를 추적 비대상으로 결정하고, 이후부터는 관리 대상에서 제외시킨다. 반면 오브젝트의 상태가 엠프티 트랙(110)이 아니면 즉, 오브젝트의 상태가 제1 이니시에이터 트랙(120), 제2 이니시에이터 트랙(130), 제3 이니시에이터 트랙(140), 컨펌드 트랙(150), 포텐셜 트랙(160) 등이면, 오브젝트 추적 시스템은 이 오브젝트를 추적 대상으로 결정하고, 계속적으로 관리 대상에 포함시킨다.

다음으로 오브젝트 추적 시스템이 예측값(320)을 생성하는 방법에 대하여 설명한다.

먼저 오브젝트 추적 시스템이 카메라 센서에 의해 획득된 정보를 기초로 예측값(320)을 생성하는 방법에 대하여 설명한다. 이하 카메라 센서에 의해 획득된 정보를 기초로 생성되는 예측값(320)을 제1 예측값으로 정의한다.

오브젝트 추적 시스템은 이전 상태를 기반으로 운동학적 예측 모델(dynamics model)을 통해 제1 예측값을 산출한다. 오브젝트 추적 시스템이 제1 예측값을 산출할 때 적용하는 예측 모델은 CV(Constant Velocity) 모델이다. 오브젝트 추적 시스템은 다음 수학식 1을 이용하여 이전 시점(k-1)에 다음 시점(k)에 대한 제1 예측값을 산출할 수 있다.

상기에서 x^c _k|k-1은 현재 시점이 k-1일 때 다음 시점 k(time step k)에서의 추적 대상 오브젝트(object tracker)의 예측 위치(predicted state)를 의미하며, Class_k|k-1은 다음 시점 k에서의 추적 대상 오브젝트의 종류를 의미한다. px_k|k-1은 다음 시점 k에서의 추적 대상 오브젝트의 종방향 상대 거리를 의미하며, py_k|k-1은 다음 시점 k에서의 추적 대상 오브젝트의 횡방향 상대 거리를 의미한다. vx_k|k-1은 다음 시점 k에서의 추적 대상 오브젝트의 종방향 상대 속도를 의미하며, vy_k|k-1은 다음 시점 k에서의 추적 대상 오브젝트의 횡방향 상대 속도를 의미한다.

한편 수학식 1에서 후자의 행렬식을 얻기 위해 전자의 행렬식과 연산하는 데에 이용되는 상태 천이 행렬(state transition matrix)은 다음 수학식 2와 같다.

다음으로 오브젝트 추적 시스템이 레이더 센서에 의해 획득된 정보를 기초로 예측값(320)을 생성하는 방법에 대하여 설명한다. 이하 레이더 센서에 의해 획득된 정보를 기초로 생성되는 예측값(320)을 제2 예측값으로 정의한다.

제1 예측값을 산출할 때와 마찬가지로, 오브젝트 추적 시스템은 제2 예측값을 산출할 때에도 예측 모델로 CV 모델을 적용한다. 그런데 카메라 센서에 의해 획득되는 정보에는 오브젝트의 클래스 정보도 포함되어 있으나, 레이더 센서에 의해 획득되는 정보에는 오브젝트의 클래스 정보가 포함되어 있지 않다. 그래서 제2 예측값을 산출할 때에는 제1 예측값을 산출할 때와 달리 오브젝트의 클래스 정보를 제외시킨다.

오브젝트 추적 시스템은 다음 수학식 3을 이용하여 이전 시점(k-1)에 다음 시점(k)에 대한 제2 예측값을 산출할 수 있다.

상기에서 x^r _k|k-1은 현재 시점이 k-1일 때 다음 시점 k에서의 추적 대상 오브젝트의 예측 위치를 의미한다.

한편 수학식 3에서 후자의 행렬식을 얻기 위해 전자의 행렬식과 연산하는 데에 이용되는 상태 천이 행렬(state transition matrix)은 다음 수학식 2와 같다.

다음으로 오브젝트 추적 시스템이 라이다 센서에 의해 획득된 정보를 기초로 예측값(320)을 생성하는 방법에 대하여 설명한다. 이하 설명에서는 라이다 센서에 의해 획득된 정보를 기초로 생성되는 예측값(320)을 제3 예측값으로 정의한다.

제2 예측값을 산출할 때와 마찬가지로, 오브젝트 추적 시스템은 제3 예측값을 산출할 때에도 예측 모델로 CV 모델을 적용한다. 오브젝트 추적 시스템은 수학식 3을 이용하여 이전 시점(k-1)에 다음 시점(k)에 대한 제3 예측값을 산출할 수 있다. 이때 오브젝트 추적 시스템은 x^r _k|k-1 대신 x^l _k|k-1을 수학식 3에 적용한다. x^l _k|k-1은 현재 시점이 k-1일 때 다음 시점 k에서의 추적 대상 오브젝트의 예측 위치를 의미한다.

도 5 및 도 6은 본 발명의 일실시예에 따른 오브젝트 추적 시스템의 오브젝트 추적 결과를 설명하기 위한 참고도들이다.

도 5에 따르면, 자차량(410)에 장착된 오브젝트 추적 시스템(미도시)은 카메라 센서를 이용하여 미리 정해진 시간마다 타차량(420)과 보행자(430)를 인식한다.

이후 오브젝트 추적 시스템은 유효성 검증 방법을 이용하여 타차량(420)의 상태와 보행자(430)의 상태를 도 1에서 제안된 트랙들(110 ~ 160) 중 어느 하나로 결정한다.

도 6의 (a)는 카메라 센서를 이용하여 얻은 정보를 기초로 미리 정해진 시간마다 타차량(420)의 상태와 보행자(430)의 상태를 결정하는 과정을 보여준다. 도 6의 (a)에서 상태값(state value)이 0이라는 것은 오브젝트의 상태가 엠프티 트랙(110)임을 의미하며, 상태값이 1이라는 것은 오브젝트의 상태가 제1 이니시에이터 트랙(120)임을 의미한다. 또한 상태값이 2라는 것은 오브젝트의 상태가 제2 이니시에이터 트랙(130)임을 의미하며, 상태값이 3이라는 것은 오브젝트의 상태가 제3 이니시에이터 트랙(140)임을 의미한다. 또한 상태값이 4라는 것은 오브젝트의 상태가 포텐셜 트랙(160)임을 의미하며, 상태값이 6이라는 것은 오브젝트의 상태가 컨펌드 트랙(150)임을 의미한다.

도 6의 (b)는 자차량(410)으로부터 오브젝트(420, 430)까지의 종방향 상대 거리를 시간별로 구분하여 표시한 것이며, 도 6의 (c)는 자차량(410)으로부터 오브젝트(420, 430)까지의 횡방향 상대 거리를 시간별로 구분하여 표시한 것이다. 종래에는 타차량(420)에 의해 보행자(430)가 은폐되면 더이상 보행자(430)를 추적하지 못하는 문제점이 있었다. 본 발명에서는 도 1에서 제안한 바와 같이 오브젝트의 상태를 구분하여 표시함으로써 오브젝트가 일시적으로 은폐되더라도 오브젝트를 강건하게 추적할 수 있다.

이상 도 1 내지 도 6을 참조하여 설명한 본 발명은 단일 센서 환경에서 유효성 검증을 통해 오브젝트를 추적하는 방법에 관한 것이다. 그러나 다중 센서 환경에서 유효성 검증을 통해 오브젝트를 추적하는 것도 가능하다. 이하에서는 이에 대해 설명한다.

다중 센서 환경에서는 센서 자체의 오차 등 다양한 이유로 각 센서에 의한 오브젝트 추적 결과가 서로 상이해질 수 있다. 본 발명에서는 이러한 문제점을 해결하기 위해 센서 퓨전(sensor fusion) 전략을 제안한다. 본 발명에서 제안하는 센서 퓨전 전략에는 센싱 데이터들을 융합하여 오브젝트의 상태를 판단하는 방법, 각 센싱 데이터에 의한 유효성 검증 결과를 융합하여 오브젝트의 상태를 판단하는 방법 등이 있다. 이하에서는 전자의 방법을 제1 퓨전 전략으로 정의하고, 후자의 방법을 제2 퓨전 전략으로 정의한다.

먼저 제1 퓨전 전략에 대하여 설명한다. 본 발명에서 제1 퓨전 전략은 집중적 센서 퓨전(centralized sensor fusion) 구조를 가질 수 있다. 이하에서 설명할 제1 퓨전 전략은 2개의 센서들을 이용하는 환경을 일례로 들어 설명할 것이나, 본 발명에서 제1 퓨전 전략은 3개 이상의 센서들을 이용하는 것도 가능하다. 도 7은 다중 센서 환경에서 본 발명의 제1 실시예에 따라 오브젝트를 추적하는 방법을 설명하기 위한 흐름도이다.

먼저 오브젝트 추적 시스템은 이전 사이클에 제1 센서에 의해 획득된 제1 센싱 데이터와 제2 센서에 의해 획득된 제2 센싱 데이터를 수집한다(S510). 상기에서 제1 센싱 데이터는 이전 사이클에 제1 센서에 의해 획득된 오브젝트의 위치에 대한 정보(Detection from 1^st sensor object only), 이전 사이클까지 제1 센서에 의해 획득된 오브젝트의 추적에 대한 정보(Detection from track only) 등을 포함할 수 있다. 제2 센싱 데이터도 제1 센싱 데이터와 마찬가지로 이전 사이클에 제2 센서에 의해 획득된 오브젝트의 위치에 대한 정보, 이전 사이클까지 제1 센서에 의해 획득된 오브젝트의 추적에 대한 정보 등을 포함할 수 있다.

이후 오브젝트 추적 시스템은 제1 센싱 데이터를 기초로 다음 사이클에 대한 제1 예측값을 생성하며, 제2 센싱 데이터를 기초로 다음 사이클에 대한 제2 예측값을 생성한다(S520).

이후 오브젝트 추적 시스템은 제1 예측값 및 제2 예측값과 관련하여 제1 기준 범위를 설정한다(S530). 이때 오브젝트 추적 시스템은 제1 예측값과 관련된 제1 범위와 제2 예측값과 관련된 제2 범위 사이의 교집합(cap)을 제1 기준 범위로 설정할 수 있으며, 제1 범위와 제2 범위 사이의 합집합(cup)을 제1 기준 범위로 설정하는 것도 가능하다.

이후 오브젝트 추적 시스템은 현재 사이클에 제1 센서에 의해 획득된 제3 센싱 데이터와 제2 센서에 의해 획득된 제4 센싱 데이터를 수집한다(S540). 상기에서 제3 센싱 데이터는 현재 사이클에 제1 센서에 의해 획득된 오브젝트의 위치에 대한 정보, 현재 사이클까지 제1 센서에 의해 획득된 오브젝트의 추적에 대한 정보 등을 포함할 수 있다. 제4 센싱 데이터도 제3 센싱 데이터와 마찬가지로 현재 사이클에 제2 센서에 의해 획득된 오브젝트의 위치에 대한 정보, 현재 사이클까지 제2 센서에 의해 획득된 오브젝트의 추적에 대한 정보 등을 포함할 수 있다.

이후 오브젝트 추적 시스템은 제3 센싱 데이터와 제4 센싱 데이터가 제1 기준 범위 이내인지 여부를 판단한다(S550).

제3 센싱 데이터와 제4 센싱 데이터가 제1 기준 범위 이내인 것으로 판단되면, 오브젝트 추적 시스템은 오브젝트 추적에 대한 유효성이 검증된 것으로 판단한다(S560). 반면 제3 센싱 데이터와 제4 센싱 데이터 중 적어도 하나의 센싱 데이터가 제1 기준 범위 이내이지 않은 것으로 판단되면, 오브젝트 추적 시스템은 오브젝트 추적에 대한 유효성이 검증되지 않은 것으로 판단한다(S570).

한편 본 발명에서는 제3 센싱 데이터와 제4 센싱 데이터 중 적어도 하나의 센싱 데이터가 제1 기준 범위 이내인 것으로 판단되면, 오브젝트 추적 시스템이 오브젝트 추적에 대한 유효성이 검증된 것으로 판단하는 것도 가능하다.

한편 본 발명에서는 S510 단계에서 제1 센싱 데이터와 제2 센싱 데이터가 수집되면 이 센싱 데이터들을 결합하여 결합 데이터를 생성하고, S520 단계에서 결합 데이터를 기초로 다음 사이클에 대한 하나의 예측값을 생성하는 것도 가능하다.

일례로, 제1 센싱 데이터가 카메라 센서에 의해 획득되는 정보들이며 제2 센싱 데이터가 레이더 센서에 의해 획득되는 정보들인 경우, 오브젝트의 클래스 정보, 오브젝트의 종방향/횡방향 거리 정보, 오브젝트의 종방향/횡방향 속도 정보, 오브젝트의 폭 정보, 시간 정보 등을 결합 데이터로 생성할 수 있다. 이 경우 결합 데이터는 카메라 센서에 의해 획득되는 정보들과 동일하므로, 카메라 센서에 의해 획득되는 정보들을 기초로 예측값을 생성하는 방법을 결합 데이터를 기초로 예측값을 생성하는 방법에 적용할 수 있다.

한편 본 발명에서는 오브젝트 추적 시스템이 제1 센서와 제2 센서를 함께 이용하여 하나의 제5 센싱 데이터가 획득되면 이 제5 센싱 데이터를 수집하는 것도 가능하다. 이 경우 제5 센싱 데이터는 특정 사이클에 제1 센서와 제2 센서에 의해 획득된 오브젝트의 위치에 대한 정보(Detection from 1^st sensor and 2^nd sensor object), 특정 사이클까지 제1 센서에 의해 획득된 오브젝트의 추적에 대한 정보(Detection of associated track (1^st sensor)), 특정 사이클까지 제2 센서에 의해 획득된 오브젝트의 추적에 대한 정보(Detection of associated track (2^nd sensor)), 특정 사이클까지 제1 센서와 제2 센서에 의해 획득된 오브젝트의 추적에 대한 정보(Detection of associated track (1^st sensor and 2^nd sensor)) 등을 포함할 수 있다.

한편 본 발명에서는 오브젝트 추적 시스템이 제1 센서와 제2 센서를 함께 이용하여 제5 센싱 데이터를 수집하는 경우, 동일 내용 정보(ex. 차량에 대한 오브젝트의 종방향 상대 속도, 차량에 대한 오브젝트의 횡방향 상대 속도 등)에 대해 우선순위를 적용하여 제1 센서에 의해 획득된 정보와 제2 센서에 의해 획득된 정보 중 어느 하나의 정보를 제5 센싱 데이터로 수집하는 것도 가능하다.

다음으로 제2 퓨전 전략에 대하여 설명한다. 본 발명에서 제2 퓨전 전략은 분산적 센서 퓨전(decentralized sensor fusion) 구조를 가질 수 있다. 제2 퓨전 전략도 제1 퓨전 전략과 마찬가지로 2개의 센서가 적용된 환경을 일례로 들어 설명할 것이나, 본 발명에서 제2 퓨전 전략이 이에 한정되는 것은 아니다. 도 8은 다중 센서 환경에서 본 발명의 제2 실시예에 따라 오브젝트를 추적하는 방법을 설명하기 위한 흐름도이다.

먼저 오브젝트 추적 시스템은 이전 사이클에 제1 센서에 의해 획득된 제1 센싱 데이터와 제2 센서에 의해 획득된 제2 센싱 데이터를 수집한다(S610).

이후 오브젝트 추적 시스템은 제1 센싱 데이터를 기초로 다음 사이클에 대한 제1 예측값을 생성하며, 제2 센싱 데이터를 기초로 다음 사이클에 대한 제2 예측값을 생성한다(S620).

이후 오브젝트 추적 시스템은 제1 예측값과 관련하여 제2 기준 범위를 설정하며, 제2 예측값과 관련하여 제3 기준 범위를 설정한다(S630).

이후 오브젝트 추적 시스템은 현재 사이클에 제1 센서에 의해 획득된 제3 센싱 데이터와 제2 센서에 의해 획득된 제4 센싱 데이터를 수집한다(S640).

이후 오브젝트 추적 시스템은 제3 센싱 데이터가 제2 기준 범위 이내인지 여부를 판단하며(S650), 제4 센싱 데이터가 제3 기준 범위 이내인지 여부를 판단한다(S660).

제3 센싱 데이터가 제2 기준 범위 이내인 것으로 판단되고 제4 센싱 데이터가 제3 기준 범위 이내인 것으로 판단되면, 오브젝트 추적 시스템은 오브젝트 추적에 대한 유효성이 검증된 것으로 판단한다(S670). 반면 제3 센싱 데이터가 제2 기준 범위 이내이지 않은 것으로 판단되거나 제4 센싱 데이터가 제3 기준 범위 이내이지 않은 것으로 판단되면, 오브젝트 추적 시스템은 오브젝트 추적에 대한 유효성이 검증되지 않은 것으로 판단한다(S680).

한편 본 발명에서는 제3 센싱 데이터가 제2 기준 범위 이내인 것으로 판단되거나 제4 센싱 데이터가 제3 기준 범위 이내인 것으로 판단되면, 오브젝트 추적 시스템이 오브젝트 추적에 대한 유효성이 검증된 것으로 판단하는 것도 가능하다.

제1 퓨전 전략은 집중적 센서 퓨전 구조를 가지는 것으로서, 오브젝트를 추적하기 전에 카메라 센서, 라이다 센서, 레이더 센서 등 각각의 센서에 의해 획득된 데이터들의 융합(data fusion)이 수행된다. 반면 제2 퓨전 전략은 분산적 센서 퓨전 구조를 가지는 것으로서, 카메라 센서, 라이다 센서, 레이더 센서 등 각각의 센서를 통해 오브젝트를 추적한 후에 이러한 센서들에 의해 획득된 데이터들의 융합이 수행된다. 본 발명에서는 후자의 데이터 융합을 트랙 투 트랙 데이터 퓨전(track to track data fusion)으로 정의한다.

도 9는 본 발명의 일실시예에 따른 제2 퓨전 전략을 설명하기 위한 개념도이다.

제2 퓨전 전략이 분산적 센서 퓨전 구조를 가질 경우 다음과 같은 특징들을 가질 수 있다.

첫째, 카메라 센서, 레이더 센서, 라이다 센서 등 각 센서의 트래커(tracker)에 의해 상위 레벨에서 데이터 퓨전이 수행된다. 본 발명에서는 이를 상위 레벨 데이터 퓨전(high level data fusion)으로 정의한다.

카메라 센서(camera sensor)는 보통 90msec의 업데이트율(update rate)을 가진다(S710a). 레이더 센서(radar sensor)는 보통 50msec의 업데이트율을 가지며(S710b), 라이다 센서(lidar sensor)는 보통 80msec의 업데이트율을 가진다(S710c). 여기서 업데이트율은 센싱 데이터를 신규 획득하는 데에 걸리는 시간을 의미한다.

이와 같이 카메라 센서, 레이더 센서, 라이다 센서 등의 업데이트율은 서로 다르지만, 카메라 센서에 의해 획득되는 센싱 데이터들과 레이더 센서에 의해 획득되는 센싱 데이터들은 대체로 유사한 유형을 가지기 때문에, 카메라 센서와 레이더 센서의 경우 오브젝트를 추적하고(tracking) 그 오브젝트에 대한 추적 결과를 관리하는(track management) 데에 걸리는 시간을 예컨대 10ms로 서로 일치시킬 수 있다(S720a, S720b).

하지만 라이다 센서의 경우 카메라 센서, 레이더 센서 등과 획득되는 센싱 데이터들의 유형이 서로 다르기 때문에, 카메라 센서, 레이더 센서 등보다 오브젝트를 추적하고 그 오브젝트에 대한 추적 결과를 관리하는 데에 걸리는 시간을 예컨대 1ms로 짧게 설정한다(S720c).

카메라 센서에 의한 추적 결과(track(C)), 레이더 센서에 의한 추적 결과(track(R)), 라이다 센서에 의한 추적 결과(track(L)) 등이 생성되면, 오브젝트 추적 시스템은 다중 센서 데이터 퓨전(multi-sensor data fusion) 절차를 수행한다(S730).

먼저 오브젝트 추적 시스템은 레이트 트랜지션(rate transition)을 통해 각 센서에 의한 추적 결과가 획득되는 시간을 동기화시킨다(S731). 오브젝트 추적 시스템은 예컨대 동기화 시간(synchronization time)을 10ms로 설정할 수 있다.

이후 오브젝트 추적 시스템은 상위 레벨 데이터 퓨전 절차(S732), 추적 결과 관리 절차(S733), 오브젝트 분류 절차(S734) 등을 차례대로 수행한다.

상위 레벨 데이터 퓨전 절차(S732)는 카메라 센서에 의한 추적 결과, 레이더 센서에 의한 추적 결과, 라이다 센서에 의한 추적 결과 등을 통합시키는 단계를 의미한다. 상위 레벨 데이터 퓨전 절차(S732)는 트랙 투 트랙 데이터 퓨전(track to track data fusion) 방식에 따라 센싱 데이터들을 융합시키는데, 보다 자세한 설명은 후술하기로 한다.

추적 결과 관리 절차(S733)는 카메라 센서에 의한 추적 결과, 레이더 센서에 의한 추적 결과, 라이다 센서에 의한 추적 결과 등을 저장 및 관리하는 단계를 의미한다.

오브젝트 추적 시스템은 추적 결과 관리 절차(S733)에서 각 센서에 의한 추적 결과를 저장 및 관리할 때 오브젝트의 존재 확률(existence probability 또는 existence level)을 계산하여 추적 결과로써 저장 및 관리할 수 있다. 여기서 오브젝트의 존재 확률은 게이팅 과정을 통해 오브젝트의 추적 이력을 모니터링하고, 유효성 검증에 따라 도 1에서 제안된 바와 같이 표현되는 오브젝트의 상태 정보를 의미한다.

오브젝트 분류 절차(object classification; S734)는 카메라 센서에 의해 획득된 정보들을 기초로 오브젝트를 종류별로 구분하는 단계를 의미한다. 본 발명에서는 카메라 센서가 정상적으로 작동하지 않을 경우, 레이더 센서, 라이다 센서 등에 의해 획득된 정보들(ex. 차량의 속도, 오브젝트의 속도 등)을 기초로 오브젝트를 종류별로 구분하는 것도 가능하다.

이후 오브젝트 추적 시스템은 다중 센서들에 의해 획득된 정보들을 융합하여 얻은 결과를 기초로 오브젝트를 추적한다(S735). 본 발명에서는 이를 멀티 센서 퓨전 트랙(multi-sensor fusion track)으로 정의한다.

둘째, 트랙 관리 절차(S720a, S720b, S720c)에서 각 센서의 트래커는 각 센서에 의해 획득된 정보, 오브젝트를 추적하여 얻은 결과 등을 저장 및 관리하며, 이외에 컨펌드 트랙(confirmed track), 포텐셜 트랙(potential track) 등 칼만 필터를 이용하여 얻은 오브젝트의 상태 정보 등도 함께 저장 및 관리한다.

셋째, 다중 센서들에 의한 오브젝트의 최종적인 상태 정보는 상위 레벨 데이터 퓨전 절차(S732)에서 결정된다.

다음으로 상위 레벨 데이터 퓨전 절차(S732)에 대하여 설명한다. 이하에서는 카메라 센서, 레이더 센서, 라이다 센서 등이 구비된 다중 센서 환경을 일례로 들어 설명할 것이나, 본 발명에서 다중 센서 환경이 이에 한정되는 것은 아니다.

① 라이다 기준 게이팅 및 어소시에이션(gating & association)

오브젝트 추적 시스템은 라이다 센서를 기준으로 게이팅을 수행하여 제1 트랙을 생성한다. 오브젝트 추적 시스템은 이를 통해 제1 단독 트랙, 제1 융합 트랙 등을 생성할 수 있다. 상기에서 제1 단독 트랙은 라이다 센서를 통해 얻은 센싱 데이터들만을 기초로 생성한 트랙을 의미하며, 제1 융합 트랙은 라이다 센서, 카메라 센서 및 레이더 센서를 통해 얻은 센싱 데이터들을 기초로 생성한 트랙을 의미한다.

② 카메라 기준 게이팅 및 어소시에이션

오브젝트 추적 시스템은 라이다 센서와 융합되지 않은 트랙 중 확신 트랙(confirmed track)에 대하여 카메라 센서 및 레이더 센서 간 융합을 수행하여 제2 트랙을 생성한다. 오브젝트 추적 시스템은 이를 통해 제2 융합 트랙을 생성할 수 있다. 상기에서 제2 융합 트랙은 카메라 센서 및 레이더 센서를 통해 얻은 센싱 데이터들을 기초로 생성한 트랙을 의미한다.

③ 단독 트랙

오브젝트 추적 시스템은 ① 및 ②를 통해 융합되지 않은 검증 트랙을 단독으로 구성하여 제3 트랙을 생성한다. 오브젝트 추적 시스템은 이를 통해 제2 단독 트랙, 제3 단독 트랙 등을 생성할 수 있다. 상기에서 제2 단독 트랙은 카메라 센서를 통해 얻은 센싱 데이터들만을 기초로 생성한 트랙을 의미하며, 제3 단독 트랙은 레이더 센서를 통해 얻은 센싱 데이터들만을 기초로 생성한 트랙을 의미한다.

④ 게이팅 과정을 통해 클러스터링 기반 센서의 우선순위 기반 데이터 융합 수행

다중 센서들에 의해 획득되는 센싱 데이터들을 융합할 때 각 센싱 데이터별 우선순위는 일례로 다음 표 1에 도시된 바와 같이 나타낼 수 있다.

우선순위	Class	Px	Py	Vx	Vy	Width
1	카메라	라이다	라이다	라이다	라이다	카메라
2	Estimation	레이더	카메라	레이더	카메라	Default value
3	Estimation	카메라	레이더	카메라	레이더	-

상기에서 Class는 오브젝트의 클래스 정보를 의미하며, Width는 오브젝트의 폭 정보를 의미한다. Px는 오브젝트의 종방향 거리 정보를 의미하며, Py는 오브젝트의 횡방향 거리 정보를 의미한다. Vx는 오브젝트의 종방향 속도 정보를 의미하며, Vy는 오브젝트의 횡방향 속도 정보를 의미한다.

오브젝트의 클래스 정보, 오브젝트의 폭 정보 등은 카메라 센서에 의해 획득되는 센싱 데이터들에만 포함되어 있다. 따라서 오브젝트의 클래스 정보의 경우, 데이터 융합시 카메라 센서에 의해 획득된 센싱 데이터들이 융합되지 않으면 오브젝트 분류 절차(S734)를 통해 오브젝트의 타입을 추정한다(Estimation). 반면 오브젝트의 폭 정보의 경우, 데이터 융합시 카메라 센서에 의해 획득된 센싱 데이터들이 융합되지 않으면 미리 정해진 디폴트 값(default value)을 적용한다. 본 발명에서는 디폴트 값을 예컨대 0.3m ~ 1.5m로 설정할 수 있다.

한편 다중 센서 환경에서 오브젝트의 이전 상태가 포텐셜 트랙(160)인 경우 오브젝트의 현재 상태를 판단하는 방법은 다음과 같이 수행될 수 있다.

포텐셜 트랙(160)은 오브젝트의 존재 확률이 높은 상태를 의미하므로, 복수개의 센서들이 하나의 오브젝트에 대해 포텐셜 트랙(160)의 결과를 보일 경우 오브젝트의 존재 확률이 높다고 판단할 수 있다.

일례로, 3개의 센서들로 구성된 환경에서 오브젝트의 현재 상태는 다음과 같은 방법으로 결정될 수 있다.

① 센서 1종 이상의 추적 결과가 컨펌드 트랙(150)일 경우 해당 트랙은 제어 대상 트랙(즉 컨펌드 트랙(150))으로 결정한다.

② 센서 2종 이상의 추적 결과가 포텐셜 트랙(160)일 경우 해당 트랙은 제어 대상 트랙(즉 컨펌드 트랙(150))으로 결정한다.

③ 오직 센서 1종의 추적 결과만이 포텐셜 트랙(160)일 경우 해당 트랙은 경고 대상 트랙(즉 포텐셜 트랙(160))으로 결정한다.

한편 이전 시간에서 오브젝트의 클래스 식별값이 보행자(pedestrian)로 산출된 뒤 현재 시간에서 카메라 센서에 의해 센싱 데이터가 획득되지 않거나 카메라 센서에 의해 획득된 센싱 데이터가 유효하지 않은 것으로 판단되면 현재 시간에서의 오브젝트의 클래스 식별값을 여전히 보행자로 유지하는 것도 가능하다.

오브젝트의 클래스 식별값은 보행자, 자전거 등 교통 약자(VRU; Vulnerable Road Users), 차량(vehicle) 등 오브젝트의 종류에 대한 정보를 의미한다. 오브젝트의 클래스 식별값은 유효성을 검증하는 대상이 동일 오브젝트인지 여부를 판단하기 위해 필요하다.

오브젝트 추적 시스템은 K 시점에 오브젝트의 클래스 정보(ex. 교통 약자, 차량 등), 오브젝트의 상태 정보(ex. 포텐셜 트랙, 컨펌드 트랙 등), 오브젝트의 위치 정보, 오브젝트의 속도 정보, 오브젝트의 폭 정보 등을 포함하여 융합 트랙(fusion tracker)을 생성한다.

이후 오브젝트 추적 시스템은 K+1 시점에 카메라 센서, 레이더 센서, 라이다 센서 등을 이용하여 측정값들을 획득하며, K 시점에 생성된 융합 트랙을 기초로 K+1 시점에서의 예측값도 생성한다.

이후 오브젝트 추적 시스템은 게이팅을 통해 측정값들 중에서 유효한 측정값을 식별한 후, 칼만 필터를 이용한 예측(estimation) 절차를 통해 유효한 측정값과 예측값을 융합시킨다.

그런데 K 시점에서 오브젝트의 클래스 정보가 보행자이고, K+1 시점에서 유효한 측정값이 레이더 센서에 의해 획득된 센싱 데이터들인 경우, 레이더 센서에 의해 획득된 센싱 데이터들에는 오브젝트의 클래스 정보가 포함되어 있지 않다.

관심 영역(ex. 차량의 주행 경로 상에 위치하는 적어도 하나의 지점) 내에 하나의 오브젝트가 위치한다면 오브젝트의 클래스 정보는 구비되지 않아도 무방하다. 그러나 관심 영역 내에 복수개의 오브젝트들이 위치한다면 유효성을 검증하는 대상이 동일한 오브젝트인지 여부를 판단하기 위해 오브젝트의 클래스 정보가 필요하다.

그래서 이러한 경우에는 오브젝트의 속도 정보를 기초로 오브젝트의 클래스 정보를 추정해야 하는데, 오브젝트의 클래스 정보를 추정한 결과가 언노운(unknown)이면, K+1 시점에서도 오브젝트의 클래스 정보를 보행자로 유지한다. 여기서 언노운은 오브젝트의 클래스 정보가 보행자, 자전거, 차량 등 중에서 어느 것인지 불분명할 때를 의미한다.

한편 앞서 설명한 바와 같이 카메라 센서의 경우와 달리 레이더 센서를 이용하는 경우 오브젝트의 클래스 정보를 획득할 수 없다. 따라서 본 발명에서는 이러한 경우에 오브젝트의 종방향/횡방향 속도 정보(ex. 종방향/횡방향 절대 속도), 속도비 등을 기초로 오브젝트를 분류함으로써 오브젝트의 클래스 정보를 획득할 수 있다.

이상 도 1 내지 도 9를 참조하여 본 발명의 일실시 형태에 대하여 설명하였다. 이하에서는 이러한 일실시 형태로부터 추론 가능한 본 발명의 바람직한 형태에 대하여 설명한다.

도 10은 본 발명의 바람직한 실시예에 따른 오브젝트 추적 장치의 내부 구성들을 개략적으로 도시한 블록도이다.

도 10을 참조하면, 오브젝트 추적 장치(800)는 오브젝트 정보 예측부(810), 유효 데이터 판단부(820), 오브젝트 추적부(830), 전원부(840) 및 주제어부(850)를 포함한다.

전원부(840)는 오브젝트 추적 장치(800)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다. 오브젝트 추적 장치(800)가 차량에 장착될 경우 오브젝트 추적 장치(800)는 차량용 배터리를 전원으로 이용할 수 있으므로, 이 경우 전원부(840)는 오브젝트 추적 장치(800)에 구비되지 않아도 무방하다.

주제어부(850)는 오브젝트 추적 장치(800)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다.

오브젝트 정보 예측부(810)는 이전 시간에 획득된 제1 센싱 데이터들을 기초로 오브젝트에 대한 정보를 예측하는 기능을 수행한다.

레이더 센서를 이용하는 경우, 오브젝트 정보 예측부(810)는 오브젝트와 이 오브젝트를 추적하는 차량 사이의 거리 정보, 오브젝트와 차량 사이의 속도 정보 및 상태 천이 행렬(state transition matrix)을 연산하여 오브젝트에 대한 정보를 예측할 수 있다. 자세하게는, 오브젝트 정보 예측부(810)는 상기 거리 정보로 종방향 거리 정보와 횡방향 거리 정보를 이용할 수 있으며, 상기 속도 정보로 종방향 속도 정보와 횡방향 속도 정보를 이용할 수 있다.

카메라 센서를 이용하는 경우, 오브젝트 정보 예측부(810)는 오브젝트와 이 오브젝트를 추적하는 차량 사이의 거리 정보, 오브젝트와 차량 사이의 속도 정보 및 상태 천이 행렬(state transition matrix)을 연산하여 오브젝트에 대한 정보를 예측할 수 있으며, 이에 더하여 오브젝트의 종류에 대한 정보를 더 포함하여 오브젝트에 대한 정보를 예측할 수 있다.

오브젝트 정보 예측부(810)는 제1 센싱 데이터들과 다른 센서에 의해 제3 센싱 데이터들이 획득되면 제1 센싱 데이터들과 제3 센싱 데이터들을 결합하여 얻은 데이터들을 기초로 오브젝트에 대한 정보를 예측할 수 있다.

오브젝트 정보 예측부(810)는 제1 센싱 데이터들과 다른 센서에 의해 제3 센싱 데이터들이 획득되면 제1 센싱 데이터들과 제3 센싱 데이터들 중에서 동일 아이템에 대하여 우선순위에 따라 선택된 센싱 데이터들을 기초로 오브젝트에 대한 정보를 예측할 수 있다.

유효 데이터 판단부(820)는 현재 시간에 획득된 제2 센싱 데이터들과 오브젝트 정보 예측부(810)에 의해 예측된 오브젝트에 대한 정보를 비교하여 제2 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단하는 기능을 수행한다.

유효 데이터 판단부(820)는 제2 센싱 데이터들과 오브젝트에 대한 정보 사이의 오차가 기준값 이하인지 여부를 기초로 유효 데이터들이 존재하는지 여부를 판단할 수 있다. 제2 센싱 데이터와 오브젝트에 대한 정보 사이의 오차가 기준값 이하인 것으로 판단되면, 유효 데이터 판단부(820)는 이 제2 센싱 데이터를 유효 데이터로 판단한다. 반면 제2 센싱 데이터와 오브젝트에 대한 정보 사이의 오차가 기준값 초과인 것으로 판단되면, 유효 데이터 판단부(820)는 이 제2 센싱 데이터를 비유효 데이터(유효하지 않은 데이터)로 판단한다.

유효 데이터 판단부(820)는 유효 데이터들이 존재하는지 여부를 판단할 때 센서의 측정 오차, 오브젝트의 주행 속도, 오브젝트를 추적하는 차량의 주행 속도, 오브젝트가 위치한 주변 환경에 대한 정보, 및 차량이 위치한 주변 환경에 대한 정보 중 적어도 하나를 기초로 결정된 기준값을 이용할 수 있다.

유효 데이터 판단부(820)는 관심 영역에 위치하는 오브젝트와 관련된 제2 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단할 수 있다. 이 경우 오브젝트 추적 장치(800)는 관심 영역을 설정하는 관심 영역 설정부(미도시)를 더 포함할 수 있다. 관심 영역 설정부는 센서의 FOV를 기초로 관심 영역을 설정할 수 있다.

오브젝트 추적부(830)는 유효 데이터 판단부(820)에 의해 유효 데이터들이 존재하는 것으로 판단되면 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적하는 기능을 수행한다.

오브젝트 추적부(830)는 유효 데이터들과 오브젝트에 대한 정보 사이의 오차를 기초로 선택된 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적할 수 있다. 본 발명에서 오브젝트 추적부(830)는 오브젝트에 대한 정보와의 오차가 가장 적은 유효 데이터를 오브젝트 추적에 이용할 수 있다.

도 11은 도 10의 오브젝트 추적 장치에 추가될 수 있는 내부 구성들을 도시한 블록도이다.

도 11을 참조하면, 오브젝트 추적 장치(800)는 오브젝트 상태 생성부(861)를 더 포함할 수 있다.

오브젝트 상태 생성부(861)는 유효 데이터들이 존재하는지 여부와 관련된 제1 판단 결과를 기초로 오브젝트의 미인식에 대응하기 위한 오브젝트의 상태 정보를 생성하는 기능을 수행한다. 오브젝트 추적 장치(800)는 이에 더하여 오브젝트의 상태 정보 및 유효 데이터들을 저장 및 관리하는 오브젝트 정보 관리부(미도시)를 더 포함할 수 있다.

오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 생성할 때 제1 센싱 데이터들이 존재하는지 여부와 관련된 제2 판단 결과, 제2 센싱 데이터들이 최초로 획득된 데이터들인지 여부와 관련된 제3 판단 결과, 유효 데이터들이 존재하는지 여부가 최초 판단인지 여부와 관련된 제4 판단 결과, 연속적으로 유효 데이터들이 존재하는 것으로 판단되는지 여부와 관련된 제5 판단 결과, 및 연속적으로 유효 데이터들이 존재하는 것으로 판단된 지 미리 정해진 시간이 경과했는지 여부와 관련된 제6 판단 결과 중 적어도 하나의 판단 결과를 더 이용할 수 있다.

오브젝트 상태 생성부(861)는 제2 판단 결과 내지 제6 판단 결과를 모두 이용할 때 제2 판단 결과, 제3 판단 결과, 제4 판단 결과, 제5 판단 결과 및 제6 판단 결과의 순서로 차례대로 이용할 수 있다. 그 일례는 다음과 같다.

먼저 오브젝트 상태 생성부(861)는 제2 판단 결과를 기초로 오브젝트의 상태 정보를 생성한다. 즉 제1 센싱 데이터들이 존재하지 않는 것으로 판단되면, 오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 엠프티 트랙(empty track)과 제1 이니시에이터 트랙(initiator 1 track) 중 어느 하나로 생성한다. 반면 제1 센싱 데이터들이 존재하는 것으로 판단되면, 오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 제2 이니시에이터 트랙(initiator 2 track), 제3 이니시에이터 트랙(initiator 3 track), 포텐셜 트랙(potential track) 및 컨펌드 트랙(confirmed track) 중 어느 하나로 생성한다.

다음으로 오브젝트 상태 생성부(861)는 제3 판단 결과를 기초로 오브젝트의 상태 정보를 생성한다. 즉 제2 센싱 데이터들이 최초로 획득된 데이터들이 아닌 것으로 판단되면, 오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 엠프티 트랙으로 생성한다. 반면 제2 센싱 데이터들이 최초로 획득된 데이터들인 것으로 판단되면, 오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 제1 이니시에이터 트랙으로 생성한다.

다음으로 오브젝트 상태 생성부(861)는 제4 판단 결과를 기초로 오브젝트의 상태 정보를 생성한다. 즉 유효 데이터들이 존재하는지 여부가 최초 판단인 것으로 판단되면, 오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 제2 이니시에이터 트랙으로 생성한다. 반면 유효 데이터들이 존재하는지 여부가 최초 판단이 아닌 것으로 판단되면, 오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 제3 이니시에이터 트랙, 포텐셜 트랙 및 컨펌드 트랙 중 어느 하나로 생성한다.

다음으로 오브젝트 상태 생성부(861)는 제5 판단 결과를 기초로 오브젝트의 상태 정보를 생성한다. 즉 연속적으로 유효 데이터들이 존재하지 않는 것으로 판단되면, 오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 제3 이니시에이터 트랙으로 생성한다. 반면 연속적으로 유효 데이터들이 존재하는 것으로 판단되면, 오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 포텐셜 트랙 및 컨펌드 트랙 중 어느 하나로 생성한다.

다음으로 오브젝트 상태 생성부(861)는 제6 판단 결과를 기초로 오브젝트의 상태 정보를 생성한다. 즉 연속적으로 유효 데이터들이 존재하는 것으로 판단된 지 미리 정해진 시간이 경과하지 않은 것으로 판단되면, 오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 컨펌드 트랙으로 생성한다. 반면 연속적으로 유효 데이터들이 존재하는 것으로 판단된 지 미리 정해진 시간이 경과한 것으로 판단되면, 오브젝트 상태 생성부(861)는 오브젝트의 상태 정보를 포텐셜 트랙으로 생성한다.

한편 오브젝트 상태 생성부(861)는 카메라 센서, 레이더 센서 및 라이다 센서 중 어느 하나의 센서에 의해 제1 센싱 데이터들이 획득되고 다른 두 센서들에 의해 제6 센싱 데이터들과 제7 센싱 데이터들이 획득되면 제1 센싱 데이터들과 제6 센싱 데이터들 및 제7 센싱 데이터들 중에서 선택된 적어도 하나의 센싱 데이터들을 기초로 오브젝트의 상태 정보를 생성할 수 있다.

제1 센싱 데이터들이 카메라 센서에 의해 획득된 센싱 데이터들이고 제6 센싱 데이터들이 레이더 센서에 의해 획득된 센싱 데이터들이며 제7 센싱 데이터들이 라이다 센서에 의해 획득된 센싱 데이터들이면, 오브젝트 상태 생성부(861)는 다음 순서에 따라 작동될 수 있다.

먼저 오브젝트 상태 생성부(861)는 제7 센싱 데이터들을 기초로 오브젝트의 상태 정보를 생성하며, 제1 센싱 데이터들과 제6 센싱 데이터들 및 제7 센싱 데이터들을 기초로 오브젝트의 상태 정보를 생성한다.

이후 오브젝트 상태 생성부(861)는 미리 정해진 조건에 부합할 때 제1 센싱 데이터들 및 제6 센싱 데이터들을 기초로 오브젝트의 상태 정보를 생성한다.

이후 오브젝트 상태 생성부(861)는 제1 센싱 데이터들을 기초로 오브젝트의 상태 정보를 생성하며, 제6 센싱 데이터들을 기초로 오브젝트의 상태 정보를 생성한다.

오브젝트 추적 장치(800)는 오브젝트 상태 생성부(861)와 더불어 오브젝트 추적 판단부(862)를 더 포함할 수 있다.

오브젝트 추적 판단부(862)는 오브젝트의 상태 정보를 기초로 오브젝트를 계속 추적할 것인지 여부를 판단하는 기능을 수행한다.

오브젝트 추적 장치(800)는 오브젝트 상태 생성부(861)와 더불어 주행 제어부(863)를 더 포함할 수 있다.

주행 제어부(863)는 오브젝트의 상태 정보를 기초로 오브젝트를 추적하는 차량의 주행을 제어하는 기능을 수행한다.

도 11을 참조하면, 오브젝트 추적 장치(800)는 제1 범위 결정부(871)를 더 포함할 수 있다.

제1 범위 결정부(871)는 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 오브젝트에 대한 정보가 예측되면 제1 센싱 데이터들을 기초로 예측된 오브젝트에 대한 정보 및 제3 센싱 데이터들을 기초로 예측된 오브젝트에 대한 정보를 기초로 제1 기준 범위를 결정하는 기능을 수행한다. 이 경우 유효 데이터 판단부(820)는 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들 및 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 제1 기준 범위와 순차적으로 비교하여 제4 센싱 데이터들 및 제5 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단할 수 있다.

오브젝트 추적 장치(800)는 제2 범위 결정부(872)를 더 포함하는 것도 가능하다.

제2 범위 결정부(872)는 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 오브젝트에 대한 정보가 예측되면 제1 센싱 데이터들을 기초로 예측된 오브젝트에 대한 정보를 기초로 제2 기준 범위를 결정하고, 제3 센싱 데이터들을 기초로 예측된 오브젝트에 대한 정보를 기초로 제3 기준 범위를 결정하는 기능을 수행한다. 이 경우 유효 데이터 판단부(820)는 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들을 제2 기준 범위와 비교하여 제4 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단하고, 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 제3 기준 범위와 비교하여 제5 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단할 수 있다.

도 11을 참조하면, 오브젝트 추적 장치(800)는 오브젝트 속도 판단부(881) 및 제1 오브젝트 종류 추정부(882)를 더 포함할 수 있다.

오브젝트 속도 판단부(881)는 유효 데이터들 중에 오브젝트의 종류에 대한 정보가 포함되어 있지 않으면 유효 데이터들 중에 오브젝트의 속도 정보가 포함되어 있는지 여부를 판단하는 기능을 수행한다.

제1 오브젝트 종류 추정부(882)는 오브젝트 속도 판단부(881)에 의해 유효 데이터들 중에 오브젝트의 속도 정보가 포함되어 있는 것으로 판단되면 오브젝트의 속도 정보를 기초로 오브젝트의 종류에 대한 정보를 추정하는 기능을 수행한다.

도 11을 참조하면, 오브젝트 추적 장치(800)는 제1 오브젝트 종류 판단부(891), 제2 오브젝트 종류 판단부(892) 및 제2 오브젝트 종류 추정부(893)를 더 포함할 수 있다.

제1 오브젝트 종류 판단부(891)는 제1 센싱 데이터들 중에 오브젝트의 종류에 대한 정보가 포함되어 있으면 오브젝트의 종류에 대한 정보가 보행자인지 여부를 판단하는 기능을 수행한다.

제2 오브젝트 종류 판단부(892)는 제1 오브젝트 종류 판단부(891)에 의해 오브젝트의 종류에 대한 정보가 보행자인 것으로 판단되면 유효 데이터들 중에 오브젝트의 종류에 대한 정보가 포함되어 있는지 여부를 판단하는 기능을 수행한다.

제2 오브젝트 종류 추정부(893)는 제2 오브젝트 종류 판단부(892)에 의해 유효 데이터들 중에 오브젝트의 종류에 대한 정보가 포함되어 있지 않은 것으로 판단되면 제1 센싱 데이터들에 포함되어 있는 오브젝트의 종류에 대한 정보를 유효 데이터들에 포함시키는 기능을 수행한다.

다음으로 오브젝트 추적 장치(800)의 작동 방법에 대하여 설명한다. 도 12는 본 발명의 바람직한 실시예에 따른 오브젝트 추적 방법을 개략적으로 도시한 흐름도이다.

먼저 오브젝트 정보 예측부(810)가 이전 시간에 획득된 제1 센싱 데이터들을 기초로 오브젝트에 대한 정보를 예측한다(S910).

이후 유효 데이터 판단부(820)가 현재 시간에 획득된 제2 센싱 데이터들과 오브젝트에 대한 정보를 비교하여 제2 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단한다(S920).

유효 데이터들이 존재하는 것으로 판단되면, 이후 오브젝트 추적부(830)가 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적한다(S930).

한편 S920 단계와 S930 단계 사이에, 오브젝트 상태 생성부(861)가 유효 데이터들이 존재하는지 여부와 관련된 제1 판단 결과를 기초로 오브젝트의 미인식에 대응하기 위한 오브젝트의 상태 정보를 생성할 수 있다(STEP A).

한편 STEP A와 S930 단계 사이에, 오브젝트 추적 판단부(862)가 오브젝트의 상태 정보를 기초로 오브젝트를 계속 추적할 것인지 여부를 판단할 수 있다.

한편 STEP A와 S930 단계 사이에, 주행 제어부(863)가 오브젝트의 상태 정보를 기초로 오브젝트를 추적하는 차량의 주행을 제어할 수 있다.

한편 S910 단계와 S920 단계 사이에, 제1 범위 결정부(871)가 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 오브젝트에 대한 정보가 예측되면 제1 센싱 데이터들을 기초로 예측된 오브젝트에 대한 정보 및 제3 센싱 데이터들을 기초로 예측된 오브젝트에 대한 정보를 기초로 제1 기준 범위를 결정할 수 있다. 이 경우 유효 데이터 판단부(820)는 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들 및 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 제1 기준 범위와 순차적으로 비교하여 제4 센싱 데이터들 및 제5 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단할 수 있다.

한편 S910 단계와 S920 단계 사이에, 제2 범위 결정부(872)가 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 오브젝트에 대한 정보가 예측되면 제1 센싱 데이터들을 기초로 예측된 오브젝트에 대한 정보를 기초로 제2 기준 범위를 결정하고, 제3 센싱 데이터들을 기초로 예측된 오브젝트에 대한 정보를 기초로 제3 기준 범위를 결정할 수 있다. 이 경우 유효 데이터 판단부(820)는 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들을 제2 기준 범위와 비교하여 제4 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단하고, 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 제3 기준 범위와 비교하여 제5 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단할 수 있다.

한편 S920 단계와 S930 단계 사이에, 오브젝트 속도 판단부(881)가 유효 데이터들 중에 오브젝트의 종류에 대한 정보가 포함되어 있지 않으면 유효 데이터들 중에 오브젝트의 속도 정보가 포함되어 있는지 여부를 판단할 수 있다. 유효 데이터들 중에 오브젝트의 속도 정보가 포함되어 있는 것으로 판단되면, 제1 오브젝트 종류 추정부(882)는 오브젝트의 속도 정보를 기초로 오브젝트의 종류에 대한 정보를 추정할 수 있다.

한편 S920 단계와 S930 단계 사이에, 제1 오브젝트 종류 판단부(891)가 제1 센싱 데이터들 중에 오브젝트의 종류에 대한 정보가 포함되어 있으면 오브젝트의 종류에 대한 정보가 보행자인지 여부를 판단할 수 있다. 오브젝트의 종류에 대한 정보가 보행자인 것으로 판단되면, 제2 오브젝트 종류 판단부(892)는 유효 데이터들 중에 오브젝트의 종류에 대한 정보가 포함되어 있는지 여부를 판단할 수 있다. 유효 데이터들 중에 오브젝트의 종류에 대한 정보가 포함되어 있지 않은 것으로 판단되면, 제2 오브젝트 종류 추정부(893)는 제1 센싱 데이터들에 포함되어 있는 오브젝트의 종류에 대한 정보를 유효 데이터들에 포함시킬 수 있다.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

이전 시간에 획득된 제1 센싱 데이터들을 기초로 오브젝트에 대한 정보를 예측하는 오브젝트 정보 예측부;
현재 시간에 획득된 제2 센싱 데이터들과 상기 오브젝트에 대한 정보를 비교하여 상기 제2 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단하는 유효 데이터 판단부;
상기 유효 데이터들이 존재하는 것으로 판단되면 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적하는 오브젝트 추적부; 및
상기 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보가 예측되면 상기 제1 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보 및 상기 제3 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제1 기준 범위를 결정하는 제1 범위 결정부
를 포함하며,
상기 유효 데이터 판단부는 상기 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들 및 상기 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 상기 제1 기준 범위와 순차적으로 비교하여 상기 제4 센싱 데이터들 및 상기 제5 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단하는 것을 특징으로 하는 오브젝트 추적 장치.
제 1 항에 있어서,
상기 유효 데이터 판단부는 상기 제2 센싱 데이터들과 상기 오브젝트에 대한 정보 사이의 오차가 기준값 이하인지 여부를 기초로 상기 유효 데이터들이 존재하는지 여부를 판단하는 것을 특징으로 하는 오브젝트 추적 장치.
제 2 항에 있어서,
상기 유효 데이터 판단부는 상기 유효 데이터들이 존재하는지 여부를 판단할 때 센서의 측정 오차, 상기 오브젝트의 주행 속도, 상기 오브젝트를 추적하는 차량의 주행 속도, 상기 오브젝트가 위치한 주변 환경에 대한 정보, 및 상기 차량이 위치한 주변 환경에 대한 정보 중 적어도 하나를 기초로 결정된 상기 기준값을 이용하는 것을 특징으로 하는 오브젝트 추적 장치.
제 1 항에 있어서,
상기 오브젝트 정보 예측부는 상기 오브젝트와 상기 오브젝트를 추적하는 차량 사이의 거리 정보, 상기 오브젝트와 상기 차량 사이의 속도 정보 및 상태 천이 행렬(state transition matrix)을 연산하여 상기 오브젝트에 대한 정보를 예측하는 것을 특징으로 하는 오브젝트 추적 장치.
제 4 항에 있어서,
상기 오브젝트 정보 예측부는 상기 오브젝트의 종류에 대한 정보를 더 포함하여 상기 오브젝트에 대한 정보를 예측하는 것을 특징으로 하는 오브젝트 추적 장치.
제 1 항에 있어서,
상기 유효 데이터들이 존재하는지 여부와 관련된 제1 판단 결과를 기초로 상기 오브젝트의 미인식에 대응하기 위한 상기 오브젝트의 상태 정보를 생성하는 오브젝트 상태 생성부
를 더 포함하는 것을 특징으로 하는 오브젝트 추적 장치.
제 6 항에 있어서,
상기 오브젝트 상태 생성부는 상기 오브젝트의 상태 정보를 생성할 때 상기 제1 센싱 데이터들이 존재하는지 여부와 관련된 제2 판단 결과, 상기 제2 센싱 데이터들이 최초로 획득된 데이터들인지 여부와 관련된 제3 판단 결과, 상기 유효 데이터들이 존재하는지 여부가 최초 판단인지 여부와 관련된 제4 판단 결과, 연속적으로 상기 유효 데이터들이 존재하는 것으로 판단되는지 여부와 관련된 제5 판단 결과, 및 연속적으로 상기 유효 데이터들이 존재하는 것으로 판단된 지 미리 정해진 시간이 경과했는지 여부와 관련된 제6 판단 결과 중 적어도 하나의 판단 결과를 더 이용하는 것을 특징으로 하는 오브젝트 추적 장치.
제 7 항에 있어서,
상기 오브젝트 상태 생성부는 상기 제2 판단 결과 내지 상기 제6 판단 결과를 모두 이용할 때 상기 제2 판단 결과, 상기 제3 판단 결과, 상기 제4 판단 결과, 상기 제5 판단 결과 및 상기 제6 판단 결과의 순서로 차례대로 이용하는 것을 특징으로 하는 오브젝트 추적 장치.
제 6 항에 있어서,
상기 오브젝트의 상태 정보를 기초로 상기 오브젝트를 계속 추적할 것인지 여부를 판단하는 오브젝트 추적 판단부
를 더 포함하는 것을 특징으로 하는 오브젝트 추적 장치.
제 6 항에 있어서,
상기 오브젝트 상태 생성부는 카메라 센서, 레이더 센서 및 라이다 센서 중 어느 하나의 센서에 의해 상기 제1 센싱 데이터들이 획득되고 다른 두 센서들에 의해 제6 센싱 데이터들과 제7 센싱 데이터들이 획득되면 상기 제1 센싱 데이터들과 상기 제6 센싱 데이터들 및 상기 제7 센싱 데이터들 중에서 선택된 적어도 하나의 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하는 것을 특징으로 하는 오브젝트 추적 장치.
제 10 항에 있어서,
상기 오브젝트 상태 생성부는 상기 제1 센싱 데이터들이 상기 카메라 센서에 의해 획득된 센싱 데이터들이고 상기 제6 센싱 데이터들이 상기 레이더 센서에 의해 획득된 센싱 데이터들이며 상기 제7 센싱 데이터들이 상기 라이다 센서에 의해 획득된 센싱 데이터들이면, 먼저 상기 제7 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하고, 이후 상기 제1 센싱 데이터들과 상기 제6 센싱 데이터들 및 상기 제7 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하며, 이후 미리 정해진 조건에 부합할 때 상기 제1 센싱 데이터들 및 상기 제6 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하고, 이후 상기 제1 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하며, 이후 상기 제6 센싱 데이터들을 기초로 상기 오브젝트의 상태 정보를 생성하는 것을 특징으로 하는 오브젝트 추적 장치.
제 6 항에 있어서,
상기 오브젝트의 상태 정보를 기초로 상기 오브젝트를 추적하는 차량의 주행을 제어하는 주행 제어부
를 더 포함하는 것을 특징으로 하는 오브젝트 추적 장치.
제 1 항에 있어서,
상기 오브젝트 추적부는 상기 유효 데이터들과 상기 오브젝트에 대한 정보 사이의 오차를 기초로 선택된 상기 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적하는 것을 특징으로 하는 오브젝트 추적 장치.
제 1 항에 있어서,
상기 유효 데이터 판단부는 관심 영역에 위치하는 오브젝트와 관련된 제2 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단하는 것을 특징으로 하는 오브젝트 추적 장치.
삭제
이전 시간에 획득된 제1 센싱 데이터들을 기초로 오브젝트에 대한 정보를 예측하는 오브젝트 정보 예측부;
현재 시간에 획득된 제2 센싱 데이터들과 상기 오브젝트에 대한 정보를 비교하여 상기 제2 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단하는 유효 데이터 판단부;
상기 유효 데이터들이 존재하는 것으로 판단되면 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적하는 오브젝트 추적부; 및
상기 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보가 예측되면 상기 제1 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제2 기준 범위를 결정하고, 상기 제3 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제3 기준 범위를 결정하는 제2 범위 결정부
를 포함하며,
상기 유효 데이터 판단부는 상기 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들을 상기 제2 기준 범위와 비교하여 상기 제4 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단하고, 상기 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 상기 제3 기준 범위와 비교하여 상기 제5 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단하는 것을 특징으로 하는 오브젝트 추적 장치.
제 1 항에 있어서,
상기 오브젝트 정보 예측부는 상기 제1 센싱 데이터들과 다른 센서에 의해 제3 센싱 데이터들이 획득되면 상기 제1 센싱 데이터들과 상기 제3 센싱 데이터들을 결합하여 얻은 데이터들을 기초로 상기 오브젝트에 대한 정보를 예측하는 것을 특징으로 하는 오브젝트 추적 장치.
제 1 항에 있어서,
상기 오브젝트 정보 예측부는 상기 제1 센싱 데이터들과 다른 센서에 의해 제3 센싱 데이터들이 획득되면 상기 제1 센싱 데이터들과 상기 제3 센싱 데이터들 중에서 동일 아이템에 대하여 우선순위에 따라 선택된 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보를 예측하는 것을 특징으로 하는 오브젝트 추적 장치.
제 1 항에 있어서,
상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있지 않으면 상기 유효 데이터들 중에 상기 오브젝트의 속도 정보가 포함되어 있는지 여부를 판단하는 오브젝트 속도 판단부; 및
상기 유효 데이터들 중에 상기 오브젝트의 속도 정보가 포함되어 있는 것으로 판단되면 상기 오브젝트의 속도 정보를 기초로 상기 오브젝트의 종류에 대한 정보를 추정하는 제1 오브젝트 종류 추정부
를 더 포함하는 것을 특징으로 하는 오브젝트 추적 장치.
제 1 항에 있어서,
상기 제1 센싱 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있으면 상기 오브젝트의 종류에 대한 정보가 보행자인지 여부를 판단하는 제1 오브젝트 종류 판단부;
상기 오브젝트의 종류에 대한 정보가 보행자인 것으로 판단되면 상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있는지 여부를 판단하는 제2 오브젝트 종류 판단부; 및
상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있지 않은 것으로 판단되면 상기 제1 센싱 데이터들에 포함되어 있는 상기 오브젝트의 종류에 대한 정보를 상기 유효 데이터들에 포함시키는 제2 오브젝트 종류 추정부
를 더 포함하는 것을 특징으로 하는 오브젝트 추적 장치.
이전 시간에 획득된 제1 센싱 데이터들을 기초로 오브젝트에 대한 정보를 예측하는 오브젝트 정보 예측 단계;
현재 시간에 획득된 제2 센싱 데이터들과 상기 오브젝트에 대한 정보를 비교하여 상기 제2 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단하는 유효 데이터 판단 단계;
상기 유효 데이터들이 존재하는 것으로 판단되면 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적하는 오브젝트 추적 단계; 및
상기 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보가 예측되면 상기 제1 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제2 기준 범위를 결정하고, 상기 제3 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제3 기준 범위를 결정하는 제2 범위 결정 단계;
를 포함하며,
상기 유효 데이터 판단 단계는 상기 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들을 상기 제2 기준 범위와 비교하여 상기 제4 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단하고, 상기 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 상기 제3 기준 범위와 비교하여 상기 제5 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단하는 것을 특징으로 하는 오브젝트 추적 방법.
제 21 항에 있어서,
상기 오브젝트 정보 예측 단계는 상기 오브젝트와 상기 오브젝트를 추적하는 차량 사이의 거리 정보, 상기 오브젝트와 상기 차량 사이의 속도 정보 및 상태 천이 행렬(state transition matrix)을 연산하여 상기 오브젝트에 대한 정보를 예측하는 것을 특징으로 하는 오브젝트 추적 방법.
제 21 항에 있어서,
상기 유효 데이터들이 존재하는지 여부와 관련된 제1 판단 결과를 기초로 상기 오브젝트의 미인식에 대응하기 위한 상기 오브젝트의 상태 정보를 생성하는 오브젝트 상태 생성 단계
를 더 포함하는 것을 특징으로 하는 오브젝트 추적 방법.
제 23 항에 있어서,
상기 오브젝트의 상태 정보를 기초로 상기 오브젝트를 계속 추적할 것인지 여부를 판단하는 오브젝트 추적 판단 단계
를 더 포함하는 것을 특징으로 하는 오브젝트 추적 방법.
제 23 항에 있어서,
상기 오브젝트의 상태 정보를 기초로 상기 오브젝트를 추적하는 차량의 주행을 제어하는 주행 제어 단계
를 더 포함하는 것을 특징으로 하는 오브젝트 추적 방법.
제 21 항에 있어서,
상기 오브젝트 추적 단계는 상기 유효 데이터들과 상기 오브젝트에 대한 정보 사이의 오차를 기초로 선택된 상기 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적하는 것을 특징으로 하는 오브젝트 추적 방법.
이전 시간에 획득된 제1 센싱 데이터들을 기초로 오브젝트에 대한 정보를 예측하는 오브젝트 정보 예측 단계;
현재 시간에 획득된 제2 센싱 데이터들과 상기 오브젝트에 대한 정보를 비교하여 상기 제2 센싱 데이터들 중에 유효 데이터들이 존재하는지 여부를 판단하는 유효 데이터 판단 단계;
상기 유효 데이터들이 존재하는 것으로 판단되면 적어도 하나의 유효 데이터를 기초로 오브젝트를 추적하는 오브젝트 추적 단계; 및
상기 제1 센싱 데이터들과 다른 센서에 의해 획득된 제3 센싱 데이터들을 기초로 상기 오브젝트에 대한 정보가 예측되면 상기 제1 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보 및 상기 제3 센싱 데이터들을 기초로 예측된 상기 오브젝트에 대한 정보를 기초로 제1 기준 범위를 결정하는 제1 범위 결정 단계
를 포함하며,
상기 유효 데이터 판단 단계는 상기 제1 센싱 데이터들과 동일 센서에 의해 획득된 제4 센싱 데이터들 및 상기 제3 센싱 데이터들과 동일 센서에 의해 획득된 제5 센싱 데이터들을 상기 제1 기준 범위와 순차적으로 비교하여 상기 제4 센싱 데이터들 및 상기 제5 센싱 데이터들 중에 상기 유효 데이터들이 존재하는지 여부를 판단하는 것을 특징으로 하는 오브젝트 추적 방법.
삭제
제 21 항에 있어서,
상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있지 않으면 상기 유효 데이터들 중에 상기 오브젝트의 속도 정보가 포함되어 있는지 여부를 판단하는 오브젝트 속도 판단 단계; 및
상기 유효 데이터들 중에 상기 오브젝트의 속도 정보가 포함되어 있는 것으로 판단되면 상기 오브젝트의 속도 정보를 기초로 상기 오브젝트의 종류에 대한 정보를 추정하는 제1 오브젝트 종류 추정 단계
를 더 포함하는 것을 특징으로 하는 오브젝트 추적 방법.
제 21 항에 있어서,
상기 제1 센싱 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있으면 상기 오브젝트의 종류에 대한 정보가 보행자인지 여부를 판단하는 제1 오브젝트 종류 판단 단계;
상기 오브젝트의 종류에 대한 정보가 보행자인 것으로 판단되면 상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있는지 여부를 판단하는 제2 오브젝트 종류 판단 단계; 및
상기 유효 데이터들 중에 상기 오브젝트의 종류에 대한 정보가 포함되어 있지 않은 것으로 판단되면 상기 제1 센싱 데이터들에 포함되어 있는 상기 오브젝트의 종류에 대한 정보를 상기 유효 데이터들에 포함시키는 제2 오브젝트 종류 추정 단계
를 더 포함하는 것을 특징으로 하는 오브젝트 추적 방법.
컴퓨터에서 제 21 항 내지 제27항 및 제29항 내지 제 30 항 중 어느 한 항에 따른 오브젝트 추적 방법을 실행시키기 위한 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램.