KR102198809B1

KR102198809B1 - 객체 추적 시스템 및 방법

Info

Publication number: KR102198809B1
Application number: KR1020170180103A
Authority: KR
Inventors: 신성근; 이혁기
Original assignee: 한국자동차연구원
Priority date: 2017-12-26
Filing date: 2017-12-26
Publication date: 2021-01-05
Also published as: KR20190078270A

Abstract

본 발명에 따른 객체 추적 방법은 제 1 객체의 정보에 기초하여 상기 제 1 객체에 의해 가려지는 오클루젼 영역을 추정하는 단계; 상기 오클루젼 영역이 포함된 오클루젼 맵을 생성하는 단계; 및 추적 중인 제 2 객체의 정보 및 상기 오클루젼 맵에 기초하여 상기 제 2 객체의 상기 제 1 객체로 인한 오클루젼 여부를 판단하는 단계를 포함한다.

Description

객체 추적 시스템 및 방법{SYSTEM AND METHOD FOR TRACKING OBJECT}

본 발명은 객체 추적 시스템 및 방법에 관한 것이다.

객체 추적은 센서로부터 측정된 오브젝트 정보를 기반으로 오브젝트의 이동이나 경로를 추적하는 기술이다. 이러한 객체 추적 기술에 있어서 차량 전방에 존재하는 객체와의 충돌을 예방하거나 방지하는 것을 목적으로 하는 능동안전시스템 및 운전자지원시스템(ADAS)은 정확하고 강인한 객체의 추적이 매주 중요한 요소 기술에 해당한다.

하지만 현재 센서의 측정 성능의 한계 및 노이즈 와, 매우 복잡하게 변화하는 실도로 환경은 객체 추적 성능을 저하시킨다. 객체를 추적함에 있어 추적 성능 저하는 시스템 관점에서 매우 위험한 상황을 야기할 수 있다.

예를 들어, 주행시 스스로 위험을 판단하여 조치를 수행하는 능동안전시스템(Active Safety System) 관점에서는 잘못된 객체 추적으로 인하여 전방 장애물(객체)과의 충돌 위험을 판단하지 못하여 충돌을 회피할 수 없게 되거나, 전방 장애물이 없는 상황에서 잘못된 충돌 위험을 판단함으로써 의도치 않는 제동 또는 조향과 같은 동작이 수행되어 운전자의 주행을 방해하거나 안전을 위협하는 상황을 야기할 수 있다.

따라서, 이와 같은 문제를 해소하기 위해 복잡한 실도로 환경에서 객체의 추적 성능을 향상시킬 수 있는 강인한 객체 추적 기술이 필요한 실정이다.

이와 관련하여, 한국공개특허공보 제10-2010-0072779호(발명의 명칭: 차량의 보행자 회피 장치 및 방법)는 3차원 센서를 이용하여 보행자의 이동 방향을 감지하여 자동으로 회피하는 기술을 개시하고 있다.

본 발명의 실시예는 오클루젼 예측 과정 및 오클루젼을 고려한 트랙 관리 과정을 통해 강인한 객체 추적을 가능하게 하는 객체 추적 시스템 및 방법을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 객체 추적 방법은 제 1 객체의 정보에 기초하여 상기 제 1 객체에 의해 가려지는 오클루젼 영역을 추정하는 단계; 상기 오클루젼 영역이 포함된 오클루젼 맵을 생성하는 단계; 및 추적 중인 제 2 객체의 정보 및 상기 오클루젼 맵에 기초하여 상기 제 2 객체의 상기 제 1 객체로 인한 오클루젼 여부를 판단하는 단계를 포함한다.

제 1 객체의 정보에 기초하여 상기 제 1 객체에 의해 가려지는 오클루젼 영역을 추정하는 단계는, 상기 제 1 객체와 센서와의 상대 위치 및 방위각과, 상기 제 1 객체의 크기 및 위치에 기초하여 상기 오클루젼 영역을 추정할 수 있다.

상기 오클루젼 영역이 포함된 오클루젼 맵을 생성하는 단계는, 상기 제 1 객체 또는 상기 제 2 객체가 이동 중인 경우 상기 오클루젼 맵은 복수 개의 오클루젼 영역을 포함할 수 있다.

상기 제 2 객체의 상기 제 1 객체로 인한 오클루젼 여부를 판단하는 단계는, 상기 제 2 객체의 위치, 속도 및 크기 중 하나 이상의 정보에 기초하여, 현재 시점에서 다음 시점에서의 위치를 예측하여 상기 제 2 객체의 오클루젼 여부를 판단할 수 있다.

상기 제 2 객체의 상기 제 1 객체로 인한 오클루젼 여부를 판단하는 단계는, 상기 제 2 객체의 상기 오클루젼 영역으로의 진입 이전 시간을 측정하는 단계; 상기 제 2 객체의 정보에 기초하여 상기 오클루젼 영역의 진출까지의 예측 시간을 산출하는 단계; 및 상기 진입 이전 시간부터 상기 진출까지의 예측 시간 동안 상기 제 2 객체를 트래킹하는 단계를 포함할 수 있다.

본 발명에 따른 객체 추적 방법은 상기 제 2 객체를 추적하는 단계를 더 포함하되, 상기 제 2 객체의 추적 상태는 초기 상태, 불확실 상태, 확신 상태, 가려진 상태 및 잠재 상태를 포함할 수 있다.

상기 제 2 객체를 추적하는 단계는, 상기 초기 상태에서 상기 제 2 객체의 정보를 획득하는 경우 상기 불확실 상태로 전환하는 단계; 상기 불확실 상태에서 상기 제 2 객체의 정보를 획득하여 상기 제 2 객체가 확인되는 경우 상기 확신 상태로 전환하는 단계; 및 상기 확신 상태에서 상기 제 2 객체가 추적되지 않는 경우 상기 가려진 상태로 전환하는 단계를 포함할 수 있다.

상기 제 2 객체를 추적하는 단계는, 상기 가려진 상태에서 상기 오클루젼인 것으로 판단된 경우 상기 가려진 상태를 유지하는 단계를 더 포함할 수 있다.

상기 제 2 객체를 추적하는 단계는, 상기 가려진 상태에서 상기 오클루젼 상태가 아닌 것으로 판단된 경우 상기 가려진 상태에서 상기 잠재 상태로 전환하는 단계를 더 포함할 수 있다.

또한, 본 발명의 제 2 측면에 따른 객체 추적 시스템은 객체의 정보를 센싱하기 위한 센서부, 상기 센싱된 정보에 기초하여 객체를 추적하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 센서부에 의해 센싱된 제 1 객체의 정보에 기초하여 제 1 객체에 의해 가려지는 오클루젼 영역을 추정하여 오클루젼 맵을 생성하고, 상기 센서부에 의해 센싱된 제 2 객체의 정보 및 상기 오클루젼 맵에 기초하여 상기 제 2 객체의 상기 제 1 객체로 인한 오클루젼 여부를 판단한다.

상기 센서부는 상기 제 1 객체와의 상대 위치 및 방위각과, 상기 제 1 객체의 크기 및 위치를 센싱하고, 상기 프로세서는 이에 기초하여 상기 오클루젼 영역을 추정할 수 있다.

상기 센서부는 상기 제 2 객체의 위치, 속도 및 크기 중 하나 이상의 정보를 센싱하고, 상기 프로세서는 상기 센싱된 정보 및 현재 시점에서 다음 시점에서의 위치를 예측하여 상기 제 2 객체의 오클루젼 여부를 판단할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 오클루젼 예측을 통해 종래 객체 간의 오클루젼 및 중첩 상황으로 인한 센서의 오인식 및 미인식 문제를 해소할 수 있다.

도 1a 내지 도 1c는 객체 추정 기술을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 추적 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 객체 추적 방법의 순서도이다.
도 4는 오클루젼 맵을 설명하기 위한 도면이다.
도 5는 오클루젼 발생 여부를 판단하는 내용을 설명하기 위한 도면이다.
도 6은 오클루젼을 고려한 제 2 객체의 추적 상태를 설명하기 위한 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 테스트 결과를 설명하기 위한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1a 내지 도 1c는 객체 추정 기술을 설명하기 위한 도면이다.

객체 추적 과정은 과거 측정된 정보와 현재 측정된 정보의 상관성을 기반으로 실제 위치를 확률적으로 예측함으로써 측정 정확도를 향상하며, 객체의 유효성(존재 여부) 판단 및 동일한 객체 분류 등의 검증 과정을 통해 객체의 존재를 확신하거나 제거하는 등의 추적 상태를 관리하는 과정이다.

일반적으로 객체의 유효성을 검증하는 방법으로는 객체의 이전 상태(위치, 속도 등)를 바탕으로 예측한 상태와 현재 측정된 상태의 유사성을 판단하여 유효성을 검증하며, 몇번의 반복된 검증을 통해 객체의 존재를 확신하는 방법이 활용된다.

한편, 센서로부터 측정된 객체의 이전 상태(위치, 속도 및 형태 등)를 통해 다음 상태를 예측하는 것이 필요한데, 이때 칼만 필터 및 파티클 필터와 같은 예측 필터를 활용하여 새로운 측정값과 예측값을 통해 현재 상태를 추정할 수 있다.

이와 같은 일련의 과정을 반복하게 될 경우, 추적 중인 객체의 생성, 상태 갱신, 소멸 등의 객체 추적 상태를 관리하는 방법이 필요하게 된다.

기존 기술에서는 일반적으로 센서로부터 객체가 연속해서 몇회 동안 측정되지 않게 되면 해당 객체는 가려졌다고 판단하여, 추적 상태를 삭제하는 방법을 사용하였다.

구체적으로 도 1a를 참조하면, 기존 객체 추적 과정에서는 객체를 추적하기 위해 센서의 측정값과 운동학적인 모델을 기반으로 예측된 값을 비교하여 추적 대상임을 확인하는 게이팅(Gating) 과정을 통해 추적 대상의 유효성을 검증한다.

그리고 유효성이 검증된 객체에 대해 트랙 관리 절차(Track Management)에서는 도 1b와 같이 초기 상태(P1)에서 새로운 트랙을 생성(P2)하거나 기존 트랙을 유지 및 갱신하고(P3), 기존 트랙을 삭제하는 과정(P4)을 수행하여 객체를 추적하게 된다.

그러나 종래 기술의 경우에는 도 1c와 같이 다수의 객체가 존재하는 실도로 환경에서, 이동하는 객체 간의 오클루젼(Occlusion) 상황에서 센서는 객체 감지 성능이 저하되며, 이로 인해 객체가 감지되지 않게 되어 결국 개체의 추적이 지속되지 않는다는 문제가 있다.

이러한 문제점은 긴급제동을 수행하여 충돌 회피를 목적으로 하는 AEB와 같은 능동 안전 시스템에서 더욱 크게 작용하게 될 수 있다.

이와 같이 객체의 추적 성능 저하는 시스템에 있어 결과적으로 충돌을 회피할 수 없거나 잘못된 긴급제동이 수행되게끔 하는 문제로 작용하게 되므로, 이를 해결하기 위한 방안이 필요한바, 이하 본 발명의 일 실시예에 따른 객체 추적 시스템(100) 및 방법에 대해 구체적으로 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 객체 추적 시스템(100)의 블록도이다.

본 발명의 일 실시예에 따른 객체 추적 시스템(100)은 센서부(110), 메모리(120) 및 프로세서(130)를 포함한다.

센서부(110)는 객체의 정보를 센싱하기 위한 것으로, 카메라 또는 라이더 센서로 구성될 수 있으며, 이들 각각 또는 모두를 포함하여 구성될 수 있다.

메모리(120)에는 센서부(110)에 의해 센싱된 정보에 기초하여 객체를 추적하기 위한 프로그램이 저장된다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.

예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.

프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킴에 따라, 제 1 객체에 의한 제 2 객체의 오클루젼 여부를 판단할 수 있다.

참고로, 본 발명의 실시예에 따른 도 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

이하에서는 도 3 내지 8을 참조하여 본 발명의 일 실시예에 따른 객체 추적 시스템(100)에서의 객체 추적 방법에 대해 구체적으로 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 객체 추적 방법의 순서도이다.

본 발명의 일 실시예에 따른 객체 추적 방법은 먼저 센서부(110)에 의해 센싱된 제 1 객체의 정보에 기초하여 제 1 객체에 의해 가려지는 오클루젼 영역을 추정한다(S110). 다음으로, 오클루젼 영역이 포함된 오클루젼 맵을 생성한다(S120.)

도 4는 오클루젼 맵을 설명하기 위한 도면이다.

본 발명의 일 실시예에서 오클루젼 영역을 추정하는 단계는, 제 1 객체(A)와 센서부(110)와의 상대 위치 및 방위각과, 제 1 객체(A)의 크기 및 위치에 기초하여 오클루젼 영역이 추정될 수 있다. 뿐만 아니라, 오클루젼 영역은 제 1 객체(A)의 모양, 형태에 영향을 받게 된다.

이러한 오클루젼 영역은 도 4와 같이 센서부(110)가 객체를 감지할 수 없는 가려진 영역을 의미한다. 이러한 오클루젼 영역을 포함하는 오클루젼 맵은 제 1 객체(A)가 이동 중인 객체일 경우 복수 개의 오클루젼 영역을 포함할 수도 있다.

한편, 오클루젼 맵을 생성하는 과정을 수학식을 통해 설명하면 다음과 같다.

예를 들어, 타임 스텝 k에서 객체 추적 알고리즘을 통해 카메라 센서와 라이더 센서와 같은 센서부(110)로부터 센싱된 객체의 측정값을 기반으로 생성된 트랙(

)과 트랙의 상태 벡터(class, px, py, vx, vy, w, l)는 다음 수학식 1과 같이 표현할 수 있다.

[수학식 1]

여기에서 class는 객체의 유형을 의미하고, px 및 py는 센서부(110)로부터의 세로 및 가로의 상대거리를 의미하며, vx 및 vy는 세로 및 가로의 상대 속도를 의미한다. 또한, w와 l은 너비와 길이를 의미하고, k는 시점을 의미한다.

이에 따라 결정되는 오클루젼 맵은 수학식 2와 같이 표현될 수 있다.

[수학식 2]

여기에서 px는 센서부(110)와 물체 사이의 종 방향 상대거리를 의미하고, θc, θl 및 θr은 센서부(110)로부터 바닥 중앙, 객체의 왼쪽 및 오른쪽 코너 부분과의 방위각을 의미한다. I는 기존 트랙의 인덱스를 의미하고, k+1은 이전상태 k로부터 예측되는 다음 시점을 의미한다.

오클루젼 맵의 상태 벡터, px, θc, θl 및 θr은 다음 수학식 3을 이용하여 기존 객체의 상태 벡터로부터 산출될 수 있다.

[수학식 3]

위 수학식 3은 객체의 위치가 센서부(110)의 오른쪽에 있음을 보여주는 것이나, 움직이는 객체의 경우 센서부(110)의 왼쪽, 오른쪽 및 가운데에 배치될 수 있음은 물론이다. 따라서, θc, θl 및 θr은 오클루젼 맵 생성시 객체의 위치에 따라 달라질 수 있다.

다시 도 3을 참조하면, 센서부(110)를 통해 추적중인 제 2 객체의 정보 및 상기 생성된 오클루젼 맵에 기초하여 제 2 객체의 제 1 객체로 인한 오클루젼 여부를 판단한다(S130).

즉, 생성된 오클루젼 맵을 기반으로 제 1 객체와 다른 객체인 제 2 객체가 해당 오클루젼 영역에 진입하는지 여부를 통해 오클루젼 여부를 판단하게 된다.

예를 들어, 오클루젼 여부의 판단은 상기 수학식 1을 통해 생성된 오클루젼 영역을 개별 센서(예를 들어 라이더 센서)에 의해 생성된 트랙(

)의 상태 벡터를 통한 예측된 다음 상태와 비교함으로써 수행될 수 있다. 라이더 센서로부터 생성된 추적 중인 트랙과 트랙의 상태 벡터는 수학식 4와 같이 표현할 수 있다.

[수학식 4]

라이더 센서에 의해 생성된 트랙의 현재 상태를 기반으로 미래 상태를 예측하는 방식을 통해 오클루젼 영역과의 비교가 이루어질 수 있다. 본 예시에서는 상기 예측을 위해 일정 속도(constant velocity, CV) 모델을 사용하였다.

[수학식 5]

상기 모델에 의해 예측된 라이더 센서의 추적 위치는 오클루젼 맵과의 비교를 위해 수학식 6과 같이 방위각으로 변환될 수 있다.

[수학식 6]

그리고 오클루젼 여부의 예측을 위해, 오클루젼 맵과 최종적으로 비교될 트랙의 예측 상태는 다음 수학식 7에 의해 정의될 수 있다.

[수학식 7]

도 5는 오클루젼 발생 여부를 판단하는 내용을 설명하기 위한 도면이다.

제 2 객체(B)의 제 1 객체(A)로 인한 오클루젼 여부의 판단은, 제 2 객체(B)의 위치, 속도 및 크기 중 하나 이상의 정보에 기초하여, 현재 시점에서 다음 시점에서의 위치를 예측하여 판단될 수 있다.

한편, 오클루젼은 도 5와 같이 제 2 객체(B)의 일부만이 가려진 상태와 전체가 가려진 상태로 구분될 수 있다.

도 5에서 초기상태 (a)에서는 제 2 객체(B)가 제 1 객체(A)에 의해 가려지지 않으므로 센서부(110)는 제 2 객체(B)를 측정할 수 있다.

다음으로, (b), (c), (d) 상태에서는 제 2 객체(B)의 이동에 따라 오클루젼 영역으로 진입하게 되고, (e) 상태에서는 오클루젼 영역을 벗어나게 된다.

본 발명의 일 실시예는 이전 절차에서 산출된 오클루젼 영역(맵)과 이동 중인 제 2 객체(B)의 예측된 상태를 기반으로 제 2 객체(B)의 오클루젼 여부를 아래 수학식 8 내지 수학식 11과 같이 감지할 수 있다.

[수학식 8] 내지 [수학식 11]

상기 수학식 8 내지 11은 (b) 내지 (d)의 상태를 예측하기 위한 것으로, i는 라이더 센서의 트랙 인덱스를 나타내고, j는 오클루젼 맵의 인덱스를 의미한다.

마지막으로 제 2 객체(B)에 대한 오클루젼을 검출하는 수학식은 다음과 같이 정리할 수 있다.

[수학식 12]

한편, 오클루젼 여부에 대한 결정은 제 2 객체의 상대적 위치에 따라 결정되는바, 상기 수학식 8 내지 11과 달리 제 2 객체(B)가 센서부(110)의 왼쪽 또는 중앙에 위치할 경우 위 수학식에서의 부호의 위치 관계는 달라질 수 있다.

본 발명의 일 실시예는 상술한 과정을 통해 오클루젼을 예측하고 나면, 제 2 객체는 제 1 객체에 의한 오클루젼으로 인하여 센서부(110)로부터 임의의 시간동안 센싱되지 않을 것을 예측할 수 있다. 그리고 이를 고려하여 제 2 객체의 추적 상태를 관리할 수 있다.

즉, 본 발명의 일 실시예는 오클루젼 영역에 진입하기 전의 제 2 객체의 크기와 이동 정보를 바탕으로, 어느 정도 시간이 경과한 후 다시 측정이 가능하게 될 것임을 판단할 수 있기 때문에, 제 2 객체의 오클루젼 영역으로의 진입 이전 시간을 측정하고, 제 2 객체의 정보에 기초하여 오클루젼 영역의 진출까지의 예측 시간을 산출한 다음, 진입 이전 시간부터 진출까지의 예측 시간 동안 제 2 객체를 추적할 수 있다.

이때, 제 2 객체의 추적 상태는 초기 상태(Empty), 불확실 상태(Initiator-1, Initiator-2), 확신 상태(Comfirmed) 가려진 상태(Obscured) 및 잠재 상태(Potential)를 포함할 수 있다.

도 6은 오클루젼을 고려한 제 2 객체의 추적 상태를 설명하기 위한 도면이다.

추적 상태 관리는 객체 추적 과정 중 발생할 수 있는 누락되거나 잘못된 탐지를 처리하기 위한 과정으로서, 센서부(110)에 의해 측정된 객체는 실제 존재하는 것인지 검증되며, 허구의 객체나 잘못된 객체로 판단된 경우 해당 객체는 추적 대상에서 삭제될 수 있다.

구체적으로 도 6의 (a)에서 초기 상태는 추적 대상 즉, 트랙이 생성되지 않았거나 삭제된 상태를 의미한다.

이 상태에서 센서부(110)가 객체를 측정하게 되면(Measurement) 트랙은 시작상태 1로 이동되며, 해당 상태에서 관련성이 있는 제 2 객체에 대한 정보를 반복적으로 획득되는 경우 시작상태 2로 이동된다. 이때, 시작상태 2의 경우 아직 제 2 객체가 최종적으로 확인되기 이전인 불확실한 트랙 상태를 의미한다. 그리고 시작상태 2에서 트랙과 관련이 없는 측정 데이터가 획득되는 경우 해당 트랙은 삭제되어 다시 초기 상태로 전환된다.

최종적으로 제 2 객체가 확인되는 경우 확신 상태로 전환되며, 확신 상태에서의 트랙을 반복 수행할때마다 Age를 1씩 증가시켜 상태 관리를 하게 된다.

반면, 확신 상태에서 제 2 객체가 추적되지 않는 경우 가려진 상태로 전환되게 되며, 가려진 상태에서 오클루젼인 것으로 판단된 경우 오클루젼 상태를 유지할 수 있다.

또한, 가려진 상태에서 오클루젼 상태가 아닌 것으로 판단되면 잠재 상태로 전환되며 Age를 감소시켜 상태 관리를 하게 된다. 또한, 확신 상태에서 제 2 객체에 대한 정보와 관련이 없는 측정 데이터가 획득되는 경우에도 잠재 상태로 전환될 수 있으며, 다시 관련 있는 측정 데이터가 획득되는 경우 확신 상태로 전환될 수도 있다.

잠재 상태에서는 현재 Age가 기 설정된 Age 미만인 경우에는 다시 초기 상태로 상태를 전환시키게 된다.

이와 같이 본 발명의 일 실시예는 도 6의 (b)와 같이 추적 대상임을 확인하는 Gating 과정과 측정 데이터의 관련성을 판단하는 Data Association 과정을 반복하면서 트랙을 생성 및 유지하고, 확인 및 삭제하게 되며, 도 6의 (a)에서 설명한 오클루젼 트랙에 대해서는 가려진 상태를 적용하여 오클루젼 상태에서 트랙 삭제를 방지할 수 있다.

상술한 설명에서, 단계 S110 내지 S130는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 2에서의 객체 추적 시스템(100)에 관하여 이미 기술된 내용은 도 3 내지 도 6의 객체 추적 방법에도 적용된다.

도 7 내지 도 9는 본 발명의 일 실시예에 따른 테스트 결과를 설명하기 위한 도면이다.

도 7은 라이더 센서의 측정 및 오클루전 예측 결과를 설명하기 위한 도면이다.

도 7의 (a)는 라이더 센서에서 측정한 보행자의 상대적인 측면 거리를 나타낸 것으로, 보행자(Child)가 성인(Adult)에 의해 가려지는 상황에서 센서는 (b)와 같이 특정 시간(약 13.5 내지 14.3초) 동안 보행자를 측정할 수 없다.

본 발명의 테스트에서는 이와 같은 상황에서 오클루젼 맵을 이용하여 해당 시간동안 아동 보행자가 성인 보행자에 의해 가려지는 상황을 예측하였으며, 예측 결과로부터 관리되는 아동 보행자에 대한 트랙 상태는 도 8 및 표 1과 같다.

Index	0	1	2
State	Empty	Initiator-1	Initiator-2
Index	4	5	6
State	Potential	Obscured	Confurmed

오클루젼이 발생하기 이전에, 아동 보행자에 대한 측정이 지속되기 때문에 추적 상태는 확신 상태가 된다. 그리고 확신 상태에서 잠재 상태로 일시적으로 전환되는데, 이는 센서의 측정에 있어 지연이 발생하였기 때문이다.

오클루젼 예측 시간인 13.5~14.3초에서 상태는 가려진 상태로 전환되었으며, 아동 보행자는 센싱되지 않았으나 Age는 유지되었음을 확인할 수 있다.

오클루젼 영역을 통과하게 되면, 상태는 다시 센서의 측정된 값과 다시 연관되게 되므로 가려진 상태에서 확신 상태로 전환된다.

그 후 아동 보행자는 센서의 FOV 영역 밖으로 나오기 때문에 측정할 수 없어, 트랙의 Age는 점차 감소되어 삭제된다.

도 9의 (a) 및 (b)는 라이더 센서에 의해 측정된 보행자의 상대 거리와 본 발명에 따른 추적 결과를 도시한 도면이다.

이와 같이 본 발명의 일 실시예는 오클루젼 예측 및 오클루젼을 고려한 트랙 관리를 통해 아동 보행자를 탐지할 수 없는 상황에서도 기존 추적 기록을 유지하면서 아동 보행자를 추적할 수 있는 것을 확인할 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 객체 추적 시스템
110: 센서부
120: 메모리
130: 프로세서

Claims

객체 추적 시스템에서의 객체 추적 방법에 있어서,
제 1 객체의 정보에 기초하여 상기 제 1 객체에 의해 가려지는 오클루젼 영역을 추정하는 단계;
상기 오클루젼 영역이 포함된 오클루젼 맵을 생성하는 단계; 및
추적 중인 제 2 객체의 정보 및 상기 오클루젼 맵에 기초하여 상기 제 2 객체의 상기 제 1 객체로 인한 오클루젼 여부를 판단하는 단계를 포함하되,
상기 오클루젼 영역이 포함된 오클루젼 맵을 생성하는 단계는,
센서부의 타임 스텝 k에서 센싱된 제 1 객체의 유형 및 상기 센서부로부터의 제 1 객체에 대한 세로 및 가로의 상대 거리와 상대 속도 정보, 너비와 길이 정보에 대한 상태 벡터로 구성되는 상기 제 1 객체에 상응하는 트랙을 생성하고,
상기 생성된 트랙에 기초하여 상기 센서부와 상기 제 1 객체 사이의 종 방향 상대거리, 상기 센서부로부터 상기 제 1 객체에 대한 바닥 중앙, 제 1 객체의 왼쪽 및 오른쪽 코너 부분과의 방위각 정보를 포함하는 상기 타임 스탭 k로부터 예측되는 다음 타임 스탭 k+1에 대한 오클루전 맵을 생성하는 것인 객체 추적 방법.
제 1 항에 있어서,
제 1 객체의 정보에 기초하여 상기 제 1 객체에 의해 가려지는 오클루젼 영역을 추정하는 단계는,
상기 제 1 객체와 센서와의 상대 위치 및 방위각과, 상기 제 1 객체의 크기 및 위치에 기초하여 상기 오클루젼 영역을 추정하는 것인 객체 추적 방법.
제 1 항에 있어서,
상기 오클루젼 영역이 포함된 오클루젼 맵을 생성하는 단계는,
상기 제 1 객체 또는 상기 제 2 객체가 이동 중인 경우 상기 오클루젼 맵은 복수 개의 오클루젼 영역을 포함하는 것인 객체 추적 방법.
제 1 항에 있어서,
상기 제 2 객체의 상기 제 1 객체로 인한 오클루젼 여부를 판단하는 단계는,
상기 제 2 객체의 위치, 속도 및 크기 중 하나 이상의 정보에 기초하여, 현재 시점에서 다음 시점에서의 위치를 예측하여 상기 제 2 객체의 오클루젼 여부를 판단하는 것인 객체 추적 방법.
제 4 항에 있어서,
상기 제 2 객체의 상기 제 1 객체로 인한 오클루젼 여부를 판단하는 단계는,
상기 제 2 객체의 상기 오클루젼 영역으로의 진입 이전 시간을 측정하는 단계;
상기 제 2 객체의 정보에 기초하여 상기 오클루젼 영역의 진출까지의 예측 시간을 산출하는 단계; 및
상기 진입 이전 시간부터 상기 진출까지의 예측 시간 동안 상기 제 2 객체를 트래킹하는 단계를 포함하는 것인 객체 추적 방법.
제 1 항에 있어서,
상기 제 2 객체를 추적하는 단계를 더 포함하되,
상기 제 2 객체의 추적 상태는 초기 상태, 불확실 상태, 확신 상태, 가려진 상태 및 잠재 상태를 포함하는 것인 객체 추적 방법.
제 6 항에 있어서,
상기 제 2 객체를 추적하는 단계는,
상기 초기 상태에서 상기 제 2 객체의 정보를 획득하는 경우 상기 불확실 상태로 전환하는 단계;
상기 불확실 상태에서 상기 제 2 객체의 정보를 획득하여 상기 제 2 객체가 확인되는 경우 상기 확신 상태로 전환하는 단계; 및
상기 확신 상태에서 상기 제 2 객체가 추적되지 않는 경우 상기 가려진 상태로 전환하는 단계를 포함하는 객체 추적 방법.
제 7 항에 있어서,
상기 제 2 객체를 추적하는 단계는,
상기 가려진 상태에서 상기 오클루젼인 것으로 판단된 경우 상기 가려진 상태를 유지하는 단계를 더 포함하는 객체 추적 방법.
제 7 항에 있어서,
상기 제 2 객체를 추적하는 단계는,
상기 가려진 상태에서 상기 오클루젼 상태가 아닌 것으로 판단된 경우 상기 가려진 상태에서 상기 잠재 상태로 전환하는 단계를 더 포함하는 객체 추적 방법.
객체 추적 시스템에 있어서,
객체의 정보를 센싱하기 위한 센서부,
상기 센싱된 정보에 기초하여 객체를 추적하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 센서부에 의해 센싱된 제 1 객체의 정보에 기초하여 제 1 객체에 의해 가려지는 오클루젼 영역을 추정하여 오클루젼 맵을 생성하고, 상기 센서부에 의해 센싱된 제 2 객체의 정보 및 상기 오클루젼 맵에 기초하여 상기 제 2 객체의 상기 제 1 객체로 인한 오클루젼 여부를 판단하며,
상기 프로세서는 상기 센서부의 타임 스텝 k에서 센싱된 제 1 객체의 유형 및 상기 센서부로부터의 제 1 객체에 대한 세로 및 가로의 상대 거리와 상대 속도 정보, 너비와 길이 정보에 대한 상태 벡터로 구성되는 상기 제 1 객체에 상응하는 트랙을 생성하고,
상기 생성된 트랙에 기초하여 상기 센서부와 상기 제 1 객체 사이의 종 방향 상대거리, 상기 센서부로부터 상기 제 1 객체에 대한 바닥 중앙, 제 1 객체의 왼쪽 및 오른쪽 코너 부분과의 방위각 정보를 포함하는 상기 타임 스탭 k로부터 예측되는 다음 타임 스탭 k+1에 대한 오클루전 맵을 생성하는 것인 객체 추적 시스템.
제 10 항에 있어서,
상기 센서부는 상기 제 1 객체와의 상대 위치 및 방위각과, 상기 제 1 객체의 크기 및 위치를 센싱하고, 상기 프로세서는 이에 기초하여 상기 오클루젼 영역을 추정하는 것인 객체 추적 시스템.
제 10 항에 있어서,
상기 센서부는 상기 제 2 객체의 위치, 속도 및 크기 중 하나 이상의 정보를 센싱하고, 상기 프로세서는 상기 센싱된 정보 및 현재 시점에서 다음 시점에서의 위치를 예측하여 상기 제 2 객체의 오클루젼 여부를 판단하는 것인 객체 추적 시스템.