KR101619672B1 - 이진화 기반 보행자 추적 방법 및 그 장치 - Google Patents

Abstract

본 발명의 일 실시 예에 따른 객체 추적(object tracking)을 제공하는 차량용 전자 장치는, 객체가 포함된 영상을 획득하는 영상 획득 모듈, 및 상기 획득된 영상을 입력으로 하여, 상기 객체를 추적하는 제어 모듈을 포함할 수 있다. 상기 제어 모듈은, 제1 시점 영상에 기초하여 제2 시점 영상에서의 객체를 예측하고, 상기 예측된 객체와 상기 제2 시점 영상의 객체에 대한 측정값에 기초하여 객체 추적을 수행하되, 상기 제2 시점 영상에서 상기 객체에 대한 측정값이 없는 경우, 상기 측정값을 이진화 기반으로 추정된 상기 객체의 위치 및 크기를 이용하여 대체할 수 있다.

Description

이진화 기반 보행자 추적 방법 및 그 장치{Method for Tracking Pedestrians based on Binarization and Apparatus thereof}

본 발명은 영상 이진화를 이용한 영상 처리 기법을 통해 이동 중인 차량에서 보행자를 추적하는 기술과 관련된다.

원적외선 센서 기반 나이트 비전(night vision) 시스템에서는 효과적인 경고를 위해 보행자를 추적하는 알고리즘이 포함될 수 있다. 영상 도메인(domain)에서 피사체의 움직임은 카메라의 움직임과 피사체의 이동 모두의 영향을 받으며, 이 두 가지 영향은 서로 반대 방향으로 작용하게 된다.

일반적으로, 노이즈가 포함되어 있는 선형 역학계의 상태를 추적하는 방법으로는 칼만 필터(Kalman filter)가 주로 사용되었다. 칼만 필터에 의한 알고리즘은 시간에 따라 진행한 측정을 기반으로 하여, 해당 순간에 측정된 결과만 사용하는 것보다는 상대적으로 정확한 결과를 기대할 수 있다. 칼만 필터는 추적하고자 하는 물체의 특정 시점에서의 상태가 이전 시점의 상태와 선형적인 관계를 가지고 있는 경우에 적용 가능하다. 칼만 필터는 재귀적으로 동작하며, 이전 시간에 추정한 값을 토대로 현재의 값을 추정하고, 바로 이전 시간 외의 측정값이나 추정값은 사용되지 않는다.

칼만 필터를 이용한 추적에서는, 동적으로 변화하는 가중치(Kalman Gain)를 이용하여 측정치와 예측치를 합산하고, 이를 기반으로 오차 정보를 업데이트 하여 다음 시점의 목표 객체 정보를 예측한다. 시스템 모델과 측정값의 오차가 정규 분포를 따르는 경우 최적의 결과를 산출하는 과정이 수학적으로 유도될 수 있다. 만약 이 과정에서 트랙에 할당된 측정값이 없는 경우, 이전에 예측된 값을 측정치로 사용하게 되고, 시스템 모델이 정확한 경우 전체적인 과정이 정상적으로 동작할 수 있다.

그러나 칼만 필터와 같은 기존의 예측 모델은, 피사체의 이동과 카메라의 움직임을 동시에 모델링 할 수 없다. 또한 추적 필터의 측정값이 없고 예측 모델에서 벗어나는 경우, 그 결과가 비정상적으로 동작할 수 있다. 구체적으로, 영상 도메인의 값을 상태 벡터로 사용하면, 시스템 모델에는 (차량에 탑재된) 카메라의 움직임에 의한 정보와 객체(보행자)의 이동에 모델이 동시에 적용되어야 하는데, 카메라의 움직임에 따른 변화는 거리에 비례하여 증가하고, 객체의 이동에 따른 변화는 거리에 반비례하여 증가하므로, 이 두 가지 상황을 모두 포함하는 영상 도메인의 모델 설정은 모순이 발생할 수 있다. 결과적으로, 예측된 값을 측정값으로 대체하여 사용하는 기존의 방법은 시스템의 비정상적인 동작을 초래할 수 있다. 그에 따라 본 발명에서는 칼만 필터와 같은 기존의 추적 방법에서 측정값이 없는 경우에도 예측 모델을 대신할 수 있는 영상 처리 기법을 제안하고자 한다.

상기와 같은 과제를 해결하기 위해, 본 발명의 일 실시 예에 따른 객체 추적(object tracking)을 제공하는 차량용 전자 장치는, 객체가 포함된 영상을 획득하는 영상 획득 모듈, 및 상기 획득된 영상을 입력으로 하여, 상기 객체를 추적하는 제어 모듈을 포함할 수 있다. 상기 제어 모듈은, 제1 시점 영상에 기초하여 제2 시점 영상에서의 객체를 예측하고, 상기 예측된 객체와 상기 제2 시점 영상의 객체에 대한 측정값에 기초하여 객체 추적을 수행하되, 상기 제2 시점 영상에서 상기 객체에 대한 측정값이 없는 경우, 상기 측정값을 이진화 기반으로 추정된 상기 객체의 위치 및 크기를 이용하여 대체할 수 있다. 여기서 상기 제1 시점 영상은 상기 제2 시점 바로 직전의 영상에 해당할 수 있다.

또한, 본 발명의 일 실시 예에 따른 객체 추적 방법은, 객체가 포함된 영상을 획득하는 동작, 상기 영상으로부터 상기 객체에 대한 측정치를 획득하는 동작, 및 임의의 시점에서 상기 측정치의 유무에 따라 이진화 기반으로 추정된 상기 객체의 위치 및 크기를 이용하여 상기 객체를 추적하는 동작을 포함할 수 있다.

본 발명의 일 실시 예에 따른 객체 추적 방법을 구현하기 위한 컴퓨터 판독 가능한 명령어를 저장하고 있는 기록 매체는, 전자 장치의 제어 모듈에 의해 실행될 때, 객체가 포함된 영상을 획득하는 동작, 상기 영상으로부터 상기 객체에 대한 측정치를 획득하는 동작, 및 임의의 시점에서 상기 측정치의 유무에 따라 이진화 기반으로 추정된 상기 객체의 위치 및 크기를 이용하여 상기 객체를 추적하는 동작을 수행하도록 하는 명령어를 저장하고 있을 수 있다.

본 발명에 따르면, 추적을 위한 필터(예: 칼만 필터)의 측정값이 없는 경우에도, 객체에 대한 추적을 유지할 수 있다. 또한 객체 추적을 위해 영상 이외의 별도 입력이 요구되지 않으며, 레이블링 연산 없이 객체의 위치 및 크기를 추정할 수 있다.

도 1은 본 발명의 일 실시 예에 따른, 전자 장치의 예시적인 구성을 나타낸다.
도 2는 본 발명의 일 실시 예에 따른, 객체 추적 방법의 흐름도를 나타낸다.
도 3은 본 발명의 일 실시 예에 따른, 이진화 기반 위치 추적 값을 획득하는 방법의 흐름도를 나타낸다.
도 4는 본 발명의 일 실시 예에 따른, 이진화 기반 위치 추적 값을 획득하는 방법을 개념적으로 나타낸 도면이다.
도 5는 종래의 방법 및 본 발명의 일 실시 예에 따른 보행자 추적 결과를 나타낸다.

이하, 첨부된 도면들을 참조하여 본 발명의 다양한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 즉, 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

이하의 설명에서 본 발명의 전자 장치는 본 발명의 다양한 실시 예에서 설명하는 기능을 지원하는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기와 같이 AP(Application Processor), GPU(Graphic Processing Unit), CPU(Central Processing Unit)를 사용하는 모든 디바이스를 포함할 수 있다. 예를 들어, 상기 전자 장치는 다양한 통신 시스템에 대응되는 각 통신 프로토콜들(communication protocols)에 의거하여 동작하는 이동통신 단말기를 비롯하여, 태블릿(tablet) PC(Personal Computer), 스마트 폰(Smart Phone), 디지털 카메라, PMP(Portable Multimedia Player), 텔레매틱스(Telematics), 네비게이션 디바이스(Navigation Device), 기타 차량 탑재 시스템(In-Vehicle System)을 포함할 수 있다.

도 1은 본 발명의 일 실시 예에 따른, 전자 장치의 예시적인 구성을 나타낸다.

도 1을 참조하면, 전자 장치 100은 영상 획득 모듈 110, 제어 모듈 120, 디스플레이 130, 통신 모듈 140, 및 메모리 150을 포함할 수 있다. 전자 장치 100은 차량용 전자 장치일 수 있으며, 본 발명에 따른 보행자 추적 필터링 방법이 구현 가능한 범위에서 전술한 구성 요소 중 일부가 생략되거나 또는 임의의 구성요소가 당업자 수준에서 추가될 수 있다. 예를 들어, 전자 장치 100은 차량의 텔레매틱스(telematics)와 관련된 기능이나, 진단/제어 등의 기능을 위한 다양한 ECU(electronic control unit)와 같은 구성요소를 추가적으로 포함할 수 있다.

영상 획득 모듈 110은 차량의 전방 또는 적절한 위치에 탑재되어 차량의 이동에 따라 주위의 영상을 획득할 수 있다. 영상 획득 모듈 110은 일반적인 카메라가 될 수도 있고, 나이트 비전(night vision)을 위해 원적외선 기반 카메라 또는 센서 등이 될 수 있다. 이 외에, 다양한 종류의 촬영 장치들이 영상 획득 모듈 110에 대응될 수 있다.

제어 모듈 120은 전자 장치 100의 전반적인 기능을 제어할 수 있다. 예를 들어, 제어 모듈 120은 CPU와 같은 프로세서 또는 프로세서 코어(core)를 탑재할 수 있다. 제어 모듈 120은 다양한 종류의 영상 처리를 지원할 수 있다. 예를 들어, 제어 모듈 120은 이진화(binarization) 모듈 121, 위치 계산 모듈 123, 크기 계산 모듈 125를 포함하거나, 또는 각각의 모듈에 대응하는 기능을 수행하도록 설정될 수 있다. 상기 이진화 모듈 121, 위치 계산 모듈 123, 크기 계산 모듈 125와 관련된 자세한 설명이 도 3 및 도 4를 참조하여 후술된다.

일부 실시 예에서, 제어 모듈 120은 전자 장치 100의 전반적인 기능을 제어하기 위한 프로세서 외에, 영상 처리를 위한 별도의 하드웨어를 구비할 수 있다. 예를 들어, GPU 또는 별도의 이미지 처리 장치(ISP, image signal processor)가 제어 모듈 120에 포함될 수 있다.

디스플레이 130은 영상 획득 모듈 110에 의해 획득되는 영상 또는 제어 모듈 120에 의해 처리되는 영상을 출력할 수 있다. 디스플레이 130은 HUD(head unit display) 또는 기타 차량용 디스플레이 장치에 해당될 수 있다.

통신 모듈 140은 차량 내 ECU 등과 통신하기 위한 CAN(controller area network)을 지원하기 위한 모듈, 셀룰러 통신을 지원하기 위한 모듈, GPS, Bluetooth, 차량 내 Wi-Fi 등을 지원하기 위한 모듈 등을 포함할 수 있다. 예를 들어, 통신 모듈 140은 차량의 보행자 추적 시스템과 사용자 단말(예: 스마트폰, 태블릿 등)을 연결(예: 페어링(pairing) 등)하기 위한 통신 인터페이스를 구비할 수 있다.

메모리 150은 휘발성 또는 비휘발성 메모리(예: HDD, SDD 등)를 포함할 수 있다. 메모리 150에는 영상 획득 모듈 110에 의해 획득된 영상(예: 나이트 비전 영상) 또는 제어 모듈 120에 의해 처리된 영상이 일시적으로 또는 영구적으로 저장될 수 있다. 메모리 150에 저장된 영상은, 메모리 150의 가용 저장 용량에 따라, 이전에 저장된 영상부터 순차적으로 삭제될 수 있다.

도 2는 본 발명의 일 실시 예에 따른, 객체 추적 방법의 흐름도를 나타낸다.

동작 210에서, 제어 모듈 120은 영상 획득 모듈 110에 의해 획득된 영상을 입력으로 사용할 수 있다. 다양한 실시 예에서, 영상 획득 모듈 110에 의해 획득된 영상의 로우 데이터(raw data)가 입력으로 사용되거나, 획득된 영상에 대하여 영상 처리(예: 인코딩(encoding) 또는 컨버팅(converting))된 영상이 입력으로 활용될 수 있다. 또한 획득/처리된 영상 중 키 프레임(예: I frame)과 같은 일부 영상이 상기 입력으로 사용될 수 있다.

동작 220에서, 제어 모듈 120은 객체에 대한 측정치를 계산할 수 있다. 예를 들어, 제어 모듈 120은 영상 도메인에서 보행자로 인식되는 객체에 대하여 좌표 또는 크기를 측정할 수 있다. 제어 모듈 120은 보행자로 인식되는 객체의 중심 좌표(예: 무게 중심 좌표) 및 객체의 가로/세로 길이를 판단할 수 있다.

동작 230에서, 제어 모듈 120은 동작 220에서 계산된 측정치를 각각의 트랙에 할당할 수 있다. 예를 들어, 야간에 도로를 주행 중인 차량에서 영상 획득 모듈 110을 통해 획득된 임의의 시점의 영상(i=0)에서, 보행자로 파악되는 객체가 인식될 수 있다. 제어 모듈 120은 해당 시점부터 계속해서 객체에 대한 추적을 수행할 수 있다.

구체적으로, 제어 모듈 120은 직전 시점의 영상에 기초하여 객체의 위치와 크기, 및 그 변화량을 토대로 현재 시점에서의 객체의 위치 및 크기를 예측할 수 있다. 예를 들어, k 시점에서 객체의 위치(x, y)와 크기(w, h)에 대한 정보는 직전 시점(즉, k-1 시점)의 영상에서의 객체 정보를 이용하여 다음과 같이 추정될 수 있다.

여기서,

여기서, F_k는 해당 시간에서 이전 상태에 기반한 상태 전이 행렬, W_k는 임의의 공분산 행렬을 갖는 다변수 정규 분포를 따르는 잡음 변수일 수 있다. 또한, H_k는 해당 시간에서 측정에 관계되는 행렬이고, V_k는 임의의 (다른) 공분산 행렬을 갖는 다변수 정규 분포를 따르는 잡음 변수일 수 있다.

상기 수식에서와 같이, 제어 모듈 120은 제1 시점 영상(예: k-1 시점)에 기초하여 제2 시점 영상(예: k 시점)에서의 객체를 예측할 수 있다. 또한 제어 모듈 120은 상기 예측된 객체와 실제로 상기 제2 시점 영상에서 측정된 객체에 대한 측정 값에 기초하여 객체 추적을 수행할 수 있다.

영상에 대한 잡음이나 기타 다양한 이유로 인하여, 동작 220에서 계산된, 또는 동작 230에서 할당된 측정치가 없을 수 있다. 기존에는 통상적으로 예측치를 측정치로 대체하여 사용하였으나, 본 발명에서와 같이 이동하는 차량에서 획득된 영상에서 이동하는 객체를 추적하는 경우, 전술한 바와 같이 영상 도메인의 값을 상태 벡터로 사용할 때 예측치를 측정치로 대체하여 사용하는 방법은 시스템의 비정상적인 동작을 초래할 수 있다.

동작 240에서, 제어 모듈 120은 해당 트랙에서의 측정치가 존재하는지 여부를 판단할 수 있다. 측정치가 존재하는 경우, 동작 250에서 제어 모듈 120은 예측(prediction) 및 보정(correction) 동작을 수행할 수 있다. 동작 240에서 해당 트랙에서의 측정치가 존재하지 않는 것으로 판단되는 경우, 제어 모듈 120은 동작 260에서 이진화 기반 위치 추적 값을 측정치로 할당할 수 있다. 즉, 제어 모듈 120은 제2 시점에서의 (존재하지 않는) 측정 값을, 이진화 기반으로 추정된 객체의 위치 및 크기를 이용하여 대체할 수 있다. 제어 모듈 120은 상기 대체 정보를 이용하여 동작 250의 예측 및 보정을 수행할 수 있다. 이진화 기반의 위치 추적 방법은 도 3 및 도 4를 참조하여 후술한다.

동작 270에서, 제어 모듈 120은 객체에 대한 트랙 정보를 갱신할 수 있다. 갱신된 트랙 정보는 다음 연산(예: k+1 시점, 제3 시점)에 있어서, 이전 시점(즉 k 시점, 제2 시점) 트랙 정보 201로 제공될 수 있다.

도 3은 본 발명의 일 실시 예에 따른, 이진화 기반 위치 추적 값을 획득하는 방법의 흐름도를 나타낸다. 또한, 도 4는 본 발명의 일 실시 예에 따른, 이진화 기반 위치 추적 값을 획득하는 방법을 개념적으로 나타낸 도면이다.

도 3을 참조하면, 제어 모듈 120은 동작 310에서 이전 추적 정보를 획득할 수 있다. 예를 들어, 제어 모듈 120은 이전 시점 트랙 정보 301을 제공 받아서 이전 추적 정보로 활용할 수 있다. 이전 시점 트랙 정보 301은 도 2의 이전 시점 트랙 정보 201에 대응될 수 있다.

동작 320에서, 제어 모듈 120은 이진화 대상 영역을 설정할 수 있다. 도 4를 참조하면, 직선 도로를 주행 중인 차량의 전방 시야는 화면 401과 같이 표시될 수 있다. 보행자 403이 도로의 가장자리를 따라 걷고 있는 경우, 제1 시점에서의 보행자 403은 차량의 이동에 의해 거리가 가까워짐에 따라 제2 시점에서 보행자 405로 표시될 수 있다. 제어 모듈 120은 이전 트랙 정보로부터 객체(즉, 보행자 403)의 좌표(x, y)와 크기(w, h)를 추출하고, 이동(

,

및/또는

,

)을 고려하여 이진화 대상 영역 410을 설정할 수 있다.

동작 330에서, 제어 모듈 120은 설정된 이진화 대상 영역 410에 대하여 배경과 전경을 분리하기 위해 임계값을 설정하고 이진화할 수 있다. 예를 들어, 영상 420은 이진화 대상 영역 410에 대해 이진화가 적용된 영상일 수 있다.

일부 실시 예에서, 제어 모듈 120은 동작 310 내지 동작 330을 수행하기 위해 이진화 모듈 121을 포함할 수 있다. 그러나 일부 다른 실시 예에서, 이진화 모듈 121은 별도의 하드웨어 없이, 메모리 150에 저장된 이진화 수행을 위한 명령어가 제어 모듈 120에 의해 수행되는 것에 의해 구현될 수 있다.

이와 유사하게, 후술하는 동작 340 및 동작 350은 위치 계산 모듈 123에 의해, 동작 360 내지 동작 380은 크기 계산 모듈 125에 의해 수행될 수 있다. 마찬가지로, 해당 모듈들은 별도의 하드웨어 없이 메모리 150에 저장된 각각의 모듈의 기능 수행을 위한 명령어가 제어 모듈 120에 의해 수행되는 것에 의해 구현될 수 있다.

동작 340에서, 제어 모듈 120은 이진화에 의해 판단된 객체의 중심 좌표를 계산할 수 있다. 예를 들어, 제어 모듈 120은 이진화에 의해 객체로 판단된 부분의 모든 밀도를 동일하게 가정한 상태에서 무게 중심에 해당하는 좌표를 상기 객체의 중심 좌표로 판단할 수 있다.

동작 350에서, 제어 모듈 120은 이전 시점에서의 객체의 중심 위치(x,y)를 동작 340에서 획득된 중심 위치(예: x’, y’)으로 갱신할 수 있다. 갱신된 중심 위치는, 이전 시점 트랙 정보 301로 제공되어, 다음 추적을 위해 활용될 수 있다.

동작 360에서, 제어 모듈 120은 크기 변화의 초기 값과 경계 영역을 설정할 수 있다. 예를 들어, 제어 모듈 120은 이전 트랙 정보의 위치 및 크기 정보로부터 객체에 대한 경계 영역을 설정할 수 있다. 예를 들어, 도 4의 화면 430에서, 이전 시점의 객체의 경계 영역은 433으로 표시될 수 있다.

동작 370에서, 제어 모듈 120은 경계 영역의 점유율을 계산하고 크기 변화를 계산할 수 있다. 예를 들어, 도 4의 화면 430에서, 이전 객체의 중심 위치의 이동에 대응되도록 경계 영역 433을 경계 영역 431로 이동시키는 경우, 화면 440에서와 같이, 이전 경계 영역 433에 대하여 현재 객체 405의 크기가 더 커진 것을 판단할 수 있다. (만약 차량이 상대적으로 천천히 이동하고, 객체(예: 자전거)가 차량과 멀어지는 방향으로 빠르게 이동하면, 현재 객체 405의 크기가 이전 경계 영역 433에 비하여 작아질 수 있다. 그러나 통상적인 보행자 추적에 있어서, 보행자의 속도는 차량보다 현저히 느리기 때문에, 현재 객체 405의 크기는 이전 경계 영역 433보다 일반적으로 더 크게 판단될 수 있다.)

동작 380에서, 제어 모듈 120은 화면 440에서와 같이, 상하좌우 4개 방향에 대하여 경계 영역에 대한 객체의 크기 변화를 산출하여, 현재 시점에서의 객체의 크기를 갱신할 수 있다. 갱신된 객체의 크기는, 이전 시점 트랙 정보 301로 제공되어, 다음 추적을 위해 활용될 수 있다.

도 5는 종래의 방법 및 본 발명의 일 실시 예에 따른 보행자 추적 결과를 나타낸다.

도 5를 참조하면, 영상 501은 직선 도로에서 시험 영상을 기존의 방법에 따라 측정한 4개의 영상을 나타낸다. 좌측 첫 번째 영상에서 인식된 보행자는 우측 3개의 영상에서 영상 처리 결과 추적에 실패하였으나, 본 발명의 실시 예에 따른 측정 결과를 나타내는 영상 503에서는, 좌측 첫 번째 영상에서 인식된 보행자를 지속적으로 추적하는데 성공하는 것을 알 수 있다.

본 명세서에서 전술한 장치 또는 장치에 의해 수행되는 방법은, 컴퓨터 판독 가능한 기록 매체에 명령어 또는 프로그램 코드의 형태로 저장될 수 있다. 예를 들어, 전자 장치 100의 메모리 150에는 제어 모듈 120에 의해 실행될 때, 객체가 포함된 영상을 획득하는 동작, 상기 영상으로부터 상기 객체에 대한 측정치를 획득하는 동작, 및 임의의 시점에서 상기 측정치의 유무에 따라 이진화 기반으로 추정된 상기 객체의 위치 및 크기를 이용하여 상기 객체를 추적하는 동작을 수행하도록 하는 명령어가 저장되어 있을 수 있다. 이 외에, 전술한 다양한 방법을 구현하기 위한 명령어들이 추가적으로 저장되어 있을 수 있다.

본 명세서에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어(firmware), 마이크로코드(microcode) 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.

본 명세서에서 본 발명의 원리들의 '일 실시 예'와 이런 표현의 다양한 변형들의 지칭은 이 실시 예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시 예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시 예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형 예시들은 반드시 모두 동일한 실시 예를 지칭하는 것은 아니다.

본 명세서를 통해 개시된 모든 실시 예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

1. 객체 추적(object tracking)을 제공하는 차량용 전자 장치에 있어서,
   객체가 포함된 영상을 획득하는 영상 획득 모듈, 및
   상기 획득된 영상을 입력으로 하여, 제1 시점 영상에 기초하여 제2 시점 영상에서의 객체를 예측하고, 상기 예측된 객체와 상기 제2 시점 영상의 객체에 대한 측정값에 기초하여 객체를 추적하는 제어 모듈을 포함하되,
   상기 제어 모듈은,
   상기 제2 시점 영상에서 상기 객체에 대한 측정값이 없는 경우, 상기 제2 시점 영상에서 이진화 대상 영역을 설정한 후 상기 영역을 이진화하여 상기 객체의 위치 및 크기를 판단하고, 상기 제1 시점 영상에 대한 상기 객체의 경계 영역을 설정하며, 상기 이진화된 영역에서 상기 객체의 상기 경계 영역에 대한 점유율을 판단하도록 설정되는, 전자 장치.
2. 청구항 1에 있어서,
   상기 제1 시점 영상은 상기 제2 시점 바로 직전의 영상에 해당하는 것을 특징으로 하는, 전자 장치.
3. 삭제
4. 청구항 1에 있어서,
   상기 이진화 대상 영역은, 상기 제1 시점 영상에 기초하여 예측된 객체의 이동을 고려하여 설정되는 것을 특징으로 하는, 전자 장치.
5. 삭제
6. 청구항 1에 있어서,
   상기 제어 모듈은 상기 점유율에 기초하여, 상기 제2 시점 영상에서 상기 객체의 위치 및 크기를 판단하도록 설정되는, 전자 장치.
7. 청구항 1에 있어서,
   상기 영상 획득 모듈은 원적외선 촬영 모듈을 포함하는, 전자 장치.
8. 청구항 1에 있어서,
   상기 객체 추적 결과를 출력하기 위한 디스플레이를 더 포함하는, 전자 장치.
9. 청구항 1에 있어서,
   상기 전자 장치는 차량 내 다른 ECU(Electronic Control Unit)과의 CAN(Controller Area Network) 통신을 위한 통신 모듈을 더 포함하는, 전자 장치.
10. 청구항 1에 있어서,
    상기 영상 획득 모듈은, 보행자를 상기 객체로 인식하도록 설정되는, 전자 장치.
11. 객체 추적 방법에 있어서,
    객체가 포함된 영상을 획득하는 동작,
    상기 영상으로부터 상기 객체에 대한 측정치를 획득하는 동작, 및
    임의의 시점에서 상기 측정치의 유무에 따라 이진화 기반으로 추정된 상기 객체의 위치 및 크기를 이용하여 상기 객체를 추적하는 동작을 포함하되,
    상기 객체를 추적하는 동작은,
    제1 시점 영상에 기초하여 예측된 객체의 이동을 고려하여 설정된 제2 시점 영상의 일부 영역을 이진화하는 동작,
    상기 이진화된 영역으로부터 상기 객체의 중심 위치를 판단하는 동작, 및
    상기 중심 위치에 기초하여 상기 제1 시점 영상에서의 상기 객체의 경계 영역과 상기 제2 시점 영상의 상기 이진화된 영역에서의 상기 객체의 크기를 판단하는 동작을 포함하는, 방법.
12. 청구항 11에 있어서,
    상기 객체를 추적하는 동작은,
    제1 시점 영상에 기초하여 제2 시점 영상에서의 객체를 예측하고,
    상기 제2 시점에서 상기 객체에 대한 상기 측정치가 있는 경우, 상기 예측된 객체와 상기 측정치에 기초하여 객체 추적을 수행하고,
    상기 제2 시점에서 상기 객체에 대한 상기 측정치가 없는 경우, 상기 이진화 기반으로 추정된 상기 객체의 상기 위치 및 크기를 이용하여 상기 객체를 추적하는 동작을 포함하는, 방법.
13. 삭제
14. 청구항 12에 있어서,
    상기 제1 시점 영상은 상기 제2 시점 바로 직전의 영상에 해당하는 것을 특징으로 하는, 방법.
15. 삭제

Images