KR100920918B1 - Ｃｂ물체감지 알고리즘을 이용한 물체추적시스템 및 그 시스템을 사용한 물체추적방법 - Google Patents

Ｃｂ물체감지 알고리즘을 이용한 물체추적시스템 및 그 시스템을 사용한 물체추적방법 Download PDF

Info

Publication number
KR100920918B1
KR100920918B1 KR1020080135640A KR20080135640A KR100920918B1 KR 100920918 B1 KR100920918 B1 KR 100920918B1 KR 1020080135640 A KR1020080135640 A KR 1020080135640A KR 20080135640 A KR20080135640 A KR 20080135640A KR 100920918 B1 KR100920918 B1 KR 100920918B1
Authority
KR
South Korea
Prior art keywords
value
input pixel
tracking
foreground
object detection
Prior art date
Application number
KR1020080135640A
Other languages
English (en)
Inventor
윤영일
고성제
김승균
Original Assignee
주식회사 넥스파시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스파시스템 filed Critical 주식회사 넥스파시스템
Priority to KR1020080135640A priority Critical patent/KR100920918B1/ko
Application granted granted Critical
Publication of KR100920918B1 publication Critical patent/KR100920918B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Abstract

발명은 CB물체감지 알고리즘을 이용한 물체추적시스템 및 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법에 대한 것이다. 보다 상세하게는 CW들의 집합으로 구성된 CB알고리즘을 이용하여 물체를 감지하여 물체를 추적하는 물체추적 시스템에 있어서, 영상픽셀을 출력하는 카메라; 영상픽셀에서 트레이닝 기간 동안 추출된 CW 중에 저장된 기존의 배경에 해당된 CB를 구성하는 CW들과 비교하여 색상왜곡 및 밝기 범위 내에 있는 CW를 찾고, 존재 여부에 따라, 배경 또는 전경물체로 인식하고 CW를 갱신하는 CB물체감지 알고리즘을 구비한 물체감지수단; 감지된 전경물체에 외접하는 최소 사각형을 인식하고, 인식된 최소 사각형 각각에 ID를 부여하여 라벨링하고, 프레임의 이동마다 동일한 전경물체 각각의 이동을 추적하는 물체추적알고리즘을 구비한 물체추적수단; 촬영된 영상, 영상픽셀의 CW 및 실시간으로 갱신되는 CW를 저장하는 데이터베이스; CB물체감지 알고리즘을 연산하여 배경과 전경물체를 구별하여 물체감지신호를 출력하고, 물체추적알고리즘을 연산하여 전경물체를 실시간으로 추적하여 물체추적신호를 출력하는 제어부; 및 물체 감지 및 추적결과를 영상으로 실시간 디스플레이하는 디스플레이부;를 포함하여 물체를 감지하고, 추적하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템이다.
Figure R1020080135640
물체감지수단, CB물체감지 알고리즘, 물체추적수단, CW, 색상왜곡값, 앳지정보, 최소사각형, 시간문턱값, 후처리수단, 크기모델링, 형상모델링

Description

ＣＢ물체감지 알고리즘을 이용한 물체추적시스템 및 그 시스템을 사용한 물체추적방법{Object Detection System and Object Detection Method using CodeBook Algorism}
본 발명은 CB물체감지 알고리즘을 이용한 물체추적시스템 및 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법에 대한 것이다. 보다 상세하게는 개선된 CB(code book)물체추적 알고리즘을 이용하여 정밀하게 전경물체와 배경을 감지하여 추적의 대상이 되는 물체를 판별하여 물체추적이 가능한 물체추적시스템 및 그 시스템을 사용한 물체추적방법이다.
도심지는 복잡한 교통상황에 대해 불법 주정차가 일어나고 있다. 이러한 불법주차는 원활한 교통흐름을 방해함으로서, 교통체증의 원인이 되고 있다. 이러한 불법주차를 막기 위해 무인 주정차 단속 시스템이 존재하는데 정확도 면에 있어서 아직 개선의 여지가 많은 실정이다. 하루 중 시간대에 따른 광량의 변화를 포함한 날씨의 변화, 그림자의 영향, 다른 물체에 가려진 경우와 같은 각종 예외 상황에 대처하는데 있어서 한계를 보이고 있다.
물체추적시스템에서 물체의 감지와 물체추적이 필요하다. 기존의 물체감지를 위한 차영상법(background subtraction)은 인접 영상끼리의 배경 차를 이용하여 물체를 감지하게 된다. 그러나, 나뭇가지의 떨림이나 수면의 잔잔한 움직임 같은 배경의 작은 움직임을 움직이는 물체로 인식하는 오류가 일어나기도 한다. 또한, 물체의 대상영역을 분할해 낼 수 없는 문제점이 있다.
물체감지의 또 다른 방법인 MoG(Mixture of Gaussian)는 배경영상 픽셀을 몇개의 가우시안 분포(Gaussian distribution)의 합 모델을 사용하여 모델링하는 기법이다. MoG기법은 측정오차 분포곡선인 가우시안 분포곡선에 기반, 다수의 가우시안 분포곡선을 이용하여 영상의 배경을 모델링한 후 물체와 배경을 분리함으로서 영상에서 물체를 추출해내는 방식이다.
기존의 가장 기본적인 배경모델링 기법 중 하나인 가우시안 분포곡선을 통한 배경모델링 기법에서는 영상 내의 전체 픽셀들을 하나의 특정 가우시안 분포곡선으로 모델링하였으나, MoG기법에서는 여러개의 가우시안 분포곡선을 사용하여 모델링함으로써, 배경의 분포곡선에 부합하지않는 픽셀들은 전경으로 판단하게 된다. 그러나, 이러한 MoG기법은 배경모델링에 있어서, 가우시안 분포곡선을 따른다는 가정에 기반 함으로 몇가지 문제점을 보이고 있다.
MoG기법은 영상 내 특정 위치에서의 픽셀값 분포가 가우시안 분포도를 따른 다는 가정에서만 성립하고, 배경모델링에 사용될 가우시안 분포도의 개수를 먼저 알아야 하므로 효과적인 적응적 물체 감지기법이라 할 수 없다. 또한, 적은 수의 가우시안 분포도로는 제대로 배경을 모델링 할 수 없고, 변화량이 큰 배경영상을 모델링하는데 한계가 있으며, 픽셀값이 넓은 범위의 구간에 걸쳐 퍼져서 분포되어 있을 경우 제대로 배경모델링이 이루어지지 않는 문제가 있다.
따라서, 가우시간 분포를 이용하지 않고, 픽셀들의 색상정보, 밝기정보들을 구비한 CW(Code Word)들로 구성된 CB(code Book)저장하여 이러한 배경픽셀들의 CB속에 포함된 CW와 영상픽셀을 비교하여 빠르고 신속하게 물체를 감지하는 방법이 요구되었다. 또한, CB알고리즘을 이용하여 물체를 감지함에 있어서 색상정보와 밝기정보 외에 더 많은 정보를 구비하여 보다 정확한 감지가 필요한 실정이다. 또한, 물체감지 후 추적의 대상이 되는 물체만을 포착하여 추적할 수 있는 물체추적시스템 및 물체추적방법이 요구되었다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로 물체감지를 위해 CB물체감지 알고리즘을 이용함으로써 적은 메모리 사용량으로 신속하게 물체를 감지하고, 해당 물체를 추적할 수 있는 물체추적시스템 및 그 시스템을 사용한 물체추적방법을 제공한다.
또한, 각 영상픽셀에 대한 밝기와 색상을 데이터베이스에 저장된 배경픽셀의 밝기정보, 색상정보를 구비한 CW들의 집합인 CB와 비교하여 배경과 물체를 구별함에 있어, CW에 물체의 가로길이 및 세로길이에 대한 크기정보인 에지정보도 구비함으로써 보다 정확하게 물체를 감지하여 배경을 물체로 감지하는 문제점을 해결할 수 있다.
그리고, 시간필터링과정을 포함하여 처음 배경으로 인식된 영상픽셀부분의 시간정보(부합되는 CW가 없는 최대의 기간)를 이용하여 기 설정된 시간문턱값 이하에 해당하는 부분만을 배경으로 취급함으로써 물체임에도 불구하고 배경으로 취급되는 문제를 해결하게 된다.
매 프레임마다 물체감지 후에 후처리과정을 두어 감지된 물체를 최소사각형(MBR)으로 형성함에 있어 오목한 부분을 직선으로 수정함으로써 물체추적과정에서 오류를 방지하게 된다. 또한, 인접한 부분에 합쳐져서 인식된 부분을 분할하여 각각으로 인식하여 정확하게 개별적으로 물체를 추적하게 된다.
물체추적과정에서 물체로 감지되었더라고 데이터베이스에 추적의 대상이 되 는 물체에 대한 크기모델링과 형상모델링 데이터를 저장하여 비교함으로써 추적의 대상이 되는 물체를 선정하여 추적하게 된다.
본 발명의 그 밖에 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 관련되어 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명확해질 것이다.
상기와 같은 본 발명의 목적은, CW들의 집합으로 구성된 CB알고리즘을 이용하여 물체를 감지하여 물체를 추적하는 물체추적 시스템에 있어서, 실시간으로 영상을 프레임마다 촬영하여 영상픽셀을 출력하는 카메라; 영상픽셀에서 트레이닝 기간 동안 추출된 CW 중에 저장된 기존의 배경으로 감지된 CB를 구성하는 CW들과 비교하여 색상왜곡 및 밝기 범위 내에 있는 CW를 찾고, 존재 여부에 따라, 배경 또는 전경물체로 인식하고, CW를 갱신하는 CB물체감지 알고리즘을 구비한 물체감지수단; 매 프레임마다 물체감지수단에 의해 감지된 전경물체에 외접하는 외접 사각형을 인식하고, 인식된 외접 사각형 각각에 ID를 부여하여 라벨링하고, 프레임의 이동마다 동일한 전경물체 각각의 이동을 추적하는 물체추적알고리즘을 구비한 물체추적수단 외접 사각형이 완전하지 않은 사각형을 형성하는 경우 오목한 부분을 채워 최소 사각형으로 형성시키고, 물체감지수단에서 감지한 전경물체가 별도의 전경물체를 합쳐서 인식한 경우, 최소사각형에서 급격히 변하는 부분을 찾아 가로방향 및 세로방향의 분할선을 나누고 분할된 사각형들 중에 가장 큰 최대사각형을 찾아내 전경물체를 분리하는 후처리수단; 촬영된 영상, RGB벡터 및 실시간으로 갱신되는 CW를 저장하는 데이터베이스; 물체감지수단 및 물체추적수단과 연결되어 데이터베이스에 저장된 촬영된 영상, RGB벡터 및 실시간으로 갱신되는 CW를 전송받아, CB물체감지 알고리즘을 연산하여 배경과 전경물체를 구별하여 물체감지신호를 출력하고, 물체추적알고리즘을 연산하여 전경물체를 실시간으로 추적하여 물체추적신호를 출력하는 제어부; 및 제어부에서 출력된 물체감지신호 및 물체추적신호를 전송받아 물체 감지 및 추적결과를 영상으로 실시간 디스플레이하는 디스플레이부;를 포함하여 물체를 감지하고, 추적하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템으로 달성할 수 있다.
CW 각각은 밝기 정보 및 색상정보를 가지는 것을 특징으로 할 수 있다.
밝기 정보 및 색상정보를 가지는 CW는, R,G,B 절대값으로 이루어진 벡터값, 밝기의 최대값, 밝기의 최소값, 부합되는 CW가 나타난 시간간격, 트레이닝기간 동안 부합되는 CW가 나타나지 않은 가장 긴 시간간격, 부합되는 CW가 나타난 처음 시간 및 부합되는 CW가 나타난 마지막 시간에 대한 정보를 가진 것을 특징으로 할 수 있다.
제어부는, 물체감지수단에 구비된 CB물체감지 알고리즘을 통하여, 영상픽셀의 CW로부터 색상왜곡값을 구하여 기 설정된 색상문턱값보다 색상왜곡값이 작고, 그리고 기존의 저장된 CW로부터 밝기범위를 설정하여 영상픽셀의 CW밝기가 밝기범위 내인 경우 제어부는 배경으로 인식하고, CW을 갱신하여 계속 데이터베이스에 갱신된 CW를 저장하는 것을 특징으로 할 수 있다.
제어부는, 매 프레임마다 CB물체감지 알고리즘을 통해 배경으로 찾아낸 CW 중에 트레이닝기간 동안 CW가 나타나지 않은 가장 긴 시간간격 값이 기설정된 시간문턱값보다 작은 것을 실제배경으로 필터링하는 것을 특징으로 할 수 있다.
CW는, 에지정보를 더 포함하며, 에지정보는, 영상픽셀에서 소밸연산자를 사용하여 가로방향 에지정보값과 세로방향 에지정보값을 갖는 벡터값에 해당하여, 제어부가 저장된 CW의 에지정보에 부합되지 않는 영상픽셀은 밝기범위 및 색상왜곡범위 내라도 배경이 아닌 전경물체로 인식하는 것을 특징으로 할 수 있다.
제어부는, 물체추적알고리즘을 통하여 전경물체로 인식된 색상정보와 에지정보의 유사성 및 칼만필터에 의해 전경물체의 예측된 위치로 동일한 물체를 인식하여 전경물체를 추적하는 것을 특징으로 할 수 있다.
제어부는, 물체추적수단에서 감지된 전경물체의 최소 사각형 가로비율이 기설정된 가로비율 이하, 또는 기 설정된 신뢰도 이하인 전경물체는 추적하지 않는 것을 특징으로 할 수 있다.
데이터베이스에는, 추적대상이 되는 물체가 카메라에서 멀리 있을 때의 크기와 가까이 있을 때의 크기를 모델링한 크기모델링 데이터가 저장되고, 제어부는, 크기모델링 데이터를 통해, 감지된 전경물체 중 카메라에서 멀리 떨어져 있는 것은 추적하지 않는 것을 특징으로 할 수 있다.
데이터베이스에는, 추적대상이 되는 물체의 형상을 모델링한 형상모델링 데이터가 저장되고, 제어부는, 형상모델링 데이터를 통해 감지된 전경물체 중 추적대상이 되는 물체 형상에 부합하는 것을 추적하는 것을 특징으로 할 수 있다.
추적대상이 되는 물체는 자동차인 것을 특징으로 할 수 있다.
제어부는, 물체추적알고리즘에 B.C확률분포를 구비하여 현재 프레임의 영상픽셀 중 어느 하나의 확률분포와 이전 프레임의 영상픽셀 중 어느 하나의 확률분포 의 유사성을 비교하여, 현재 프레임에서 감지한 전경물체와 이전 프레임에서 감지한 전경물체간의 CW의 색상정보가 유사한 전경물체를 동일 전경물체로 인식하여 실시간으로 추적하는 것을 특징으로 할 수 있다.
물체추적알고리즘에 E.D정보를 구비하여, 현재 프레임에서 제어부가 인식한 전경물체와 이전 프레임에서 제어부가 인식한 전경물체 사이의 거리를 연산하여 기설정된 거리보다 큰 경우 추적대상에서 제외하는 것을 특징으로 할 수 있다.
제어부는 CB물체감지 알고리즘을 통하여, 최소사각형의 중심점의 매 프레임의 이동크기가 기 설정된 이동문턱값이하이고, 그리고 칼만필터에서 사용한 속도 정보에 의한 속도 변화량이 기설정된 속도문턱값이하이고, 기설정된 프레임 기간동안 전경물체가 정지상태를 유지하는 경우 정지물체로 감지하며, CW에는 전경물체에 부합한 최초시간값과 최종시간값을 구비하고 있어 전경물체가 소정시간 동안 정지해 있더라도 지속적으로 전경물체로 인식하는 것을 특징으로 할 수 있다.
또 다른 카테고리로서 본 발명의 목적은, 물체추적시스템을 사용한 물체추적방법에 있어서, 카메라로 매 프레임마다 실시간으로 영상을 촬영하여 영상픽셀을 출력하는 단계; 제어부가 물체감지수단의 CB물체감지 알고리즘을 전송받아 영상픽셀의 색상왜곡값과 밝기값을 연산하는 단계; 영상픽셀은 CW들을 구비하고, 제어부에서 데이터베이스에 저장된 CW들로부터 밝기범위 및 색상왜곡값의 색상문턱값을 설정하고, 영상픽셀의 CW밝기값이 밝기 범위 내이고, 영상픽셀은 CW의 색상왜곡값이 기 설정된 색상문턱값 이하인 경우 배경으로 인식하여, CW값을 갱신하고, 그렇지 않은 경우, 전경물체로 인식하여 CW값을 갱신하고 물체감지신호를 출력하는 단 계; 제어부가 물체추적수단의 물체추적알고리즘을 전송받아 매 프레임마다 감지된 전경물체에 외접하는 최소사각형을 인식하고, 인식된 최소 사각형 각각에 ID를 부여하는 단계;후처리수단이 최소 사각형이 완전하지 않은 사각형인 경우 오목한 부분을 채워 직선으로 형성된 완전한 최소 사각형을 형성시키고, 감지한 전경물체가 합쳐져서 인식된 경우, 최소 사각형에서 급격히 변하는 부분을 찾아 가로방향 및 세로방향의 분할선을 나누고 분할된 사각형에서 전경물체가 차지하는 비율 큰 사각형을 찾아내 전경물체를 분리하는 단계; 제어부가 물체추적수단의 물체추적알고리즘을 전송받아 프레임의 이동마다 동일한 전경물체 각각의 이동을 추적하여 물체추적신호를 출력하는 단계; 및 디스플레이부에서 제어부에서 출력된 물체감지신호 및 물체추적신호를 전송받아 물체 감지 및 추적결과를 실시간 영상으로 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법으로 달성될 수 있다.
CW는, 밝기 정보 및 색상정보를 가지고, 밝기 정보 및 색상정보는, R,G,B 절대값으로 이루어진 벡터값, 밝기의 최대값, 밝기의 최소값, CW가 나타난 시간간격, 트레이닝기간 동안 CW가 나타나지 않은 가장 긴 시간간격, CW가 나타난 처음 시간 및 CW가 나타난 마지막 시간에 대한 정보를 가진 것을 특징으로 할 수 있다.
물체감지신호 출력단계는, 제어부가 매 프레임마다 CB물체감지 알고리즘을 통해 배경으로 찾아낸 CW의 트레이닝기간 동안 CW가 나타나지 않은 가장 긴 시간간격 값이 기설정된 시간문턱값보다 작은 것을 실제배경으로 필터링하여 필터링된 물체감지신호를 출력하는 단계인 것을 특징으로 할 수 있다.
CW는 에지정보를 더 포함하며, 에지정보는, 영상픽셀에서 소밸연산자를 사용하여 가로방향 에지정보값과 세로방향 에지정보값을 갖는 벡터값에 해당하여, 제어부가 전경물체로 인식하여 저장된 CW의 에지정보와 영상픽셀은 밝기범위 및 색상왜곡범위 내라도 배경이 아닌 전경물체로 인식하는 것을 특징으로 할 수 있다.
물체추적신호 출력단계에서, 제어부가 물체추적수단에서 감지된 전경물체의 최소 사각형 가로비율이 기설정된 가로비율 이하, 또는 기 설정된 신뢰도 이하인 전경물체는 추적하지 않는 것을 특징으로 할 수 있다.
물체추적신호 출력단계에서, 제어부는 CB물체감지 알고리즘을 통하여, 최소사각형의 중심점의 매 프레임의 이동크기가 기 설정된 이동문턱값이하이고, 그리 칼만필터에서 사용한 속도 정보에 의한 속도 변화량이 기 설정된 속도문턱값이하이고, 기설정된 프레임 기간동안 전경물체가 정지상태를 유지하는 경우 정지물체로 감지하며, CW에는 전경물체에 부합한 최초시간값과 최종시간값을 구비하고 있어 전경물체가 소정시간 동안 정지해 있더라도 지속적으로 전경물체로 인식하고, 데이터베이스에는 감지 목적이 있는 물체가 카메라에서 멀리 있을 때의 크기와 가까이 있을 때의 크기를 모델링한 크기모델링정보 및 감지 목적이 있는 물체의 형상를 모델링한 형상모델링정보가 저장되어 있고, 제어부가, 크기모델링정보를 통해, 감지된 전경물체 중 카메라에서 멀리 떨어져 있는 것은 추적하지 않고, 그리고 형상모델링정보를 통해 감지된 전경물체 중 감지 목적이 있는 물체의 형상에 부합하는 것을 추적하는 것을 특징으로 할 수 있다.
감지 목적이 있는 물체는 자동차인 것을 특징으로 할 수 있다.
물체추적신호 출력단계에서, 제어부는, 물체추적알고리즘에 B.C확률분포를 구비하여 현재 프레임의 영상픽셀 중 어느 하나의 확률분포와 이전 프레임의 영상픽셀 중 어느 하나의 확률분포의 유사성을 비교하여, 현재 프레임에서 감지한 전경물체와 이전 프레임에서 감지한 전경물체간의 CW의 색상정보로부터 유사한 전경물체를 동일 전경물체로 인식하여 실시간으로 추적하고, 물체추적알고리즘에 E.D정보를 구비하여, 제어부가 인식한 전경물체의 현재 프레임과 프레임사이의 거리를 연산하여 기설정된 거리보다 큰 경우 더 이상 추적하지 않는 것을 특징으로 할 수 있다.
따라서, 상기 설명한 바와 같은 본 발명의 일실시예에 의하면, 물체감지를 위해 CB물체감지 알고리즘을 이용함으로써 적은 메모리 사용량으로 신속하게 물체를 감지하고, 해당 물체를 추적할 수 있는 효과를 가진다.
또한, 각 입력픽셀에 대한 밝기와 색상왜곡값을 연산하여 이것을 데이터베이스에 저장된 배경픽셀의 밝기정보, 색상정보를 구비한 CW들의 집합인 CB와 비교하여 배경과 물체를 신속하게 구별할 수 있다. 또한, CW에 물체의 가로길이 및 세로길이에 대한 크기정보인 에지정보도 구비함으로써 입력픽셀과 배경픽셀의 CW간의 비교를 수행할 때 발기와 색상뿐 아니라 액지정보도 간이 비교함으로써 배경픽셀과 물체의 색상이 비슷하더라도 에지정보가 다르다면 물체로 인식하게 됨으로 보다 정확하게 물체를 배경으로 감지하는 오류를 해결할 수 있는 장점을 가진다.
그리고, 시간필터링과정을 포함하여 처음 배경으로 인식된 입력픽셀부분의 시간정보(부합되는 CW가 없는 최대의 기간)가 기 설정된 시간문턱값 이하에 해당하는 부분만을 배경으로 취급함으로써 물체임에도 불구하고 배경으로 취급되는 문제를 해결할 수 있는 효과가 있다.
후처리과정을 두어 매 프레임마다 물체감지 후에 감지된 물체를 최소사각형(MBR)으로 형성함에 있어 오목한 부분을 직선으로 수정함으로써 물체추적과정에서 오류를 방지하는 효과가 있다. 또한, 인접한 부분에 합쳐져서 인식된 부분을 분할하여 정확하게 개별적으로 각각의 물체를 추적할 수 있어 두 개의 물체로 인식되는 오류를 피할 수 있는 장점이 있다.
물체추적과정에서 물체로 감지되었더라고 감지된 물체를 데이터베이스에 저장된 추적의 대상이 되는 물체에 대한 크기모델링과 형상모델링 데이터를 비교함으로써 추적의 대상이 되는 물체만을 선정하여 추적할 수 있다. 따라서, 전경물체로 감지되더라도 필요한 물체를 추적할 수 있는 효과가 있다.
비록 본 발명이 상기에서 언급한 바람직한 실시예와 관련하여 설명되어 졌지만, 본 발명의 요지와 범위로부터 벗어남이 없이 다른 다양한 수정 및 변형이 가능한 것은 당업자라면 용이하게 인식할 수 있을 것이며, 이러한 변경 및 수정은 모두 첨부된 특허 청구 범위에 속함은 자명하다.
( CB 물체감지 알고리즘을 이용한 물체추적시스템의 구성 및 기능)
이하에서는 첨부된 도면을 참조하여 본 발명인 CB물체감지 알고리즘을 이용한 물체추적시스템의 구성 및 기능에 대해 설명하도록 한다. 먼저, 도 1은 CB물체감지 알고리즘을 이용한 물체추적시스템의 블록도를 도시한 것이다.
CB물체감지알고리즘은 물체의 배경을 모델링하여 영상의 입력픽셀이 모델링한 결과와 일치하는 경우, 이러한 입력픽셀을 배경으로 일치하지 않는 경우 전경물체로 판단하게 되는 알고리즘이다 본 명세서에서 배경을 CB(Codebook)란 한 영상에서 배경 영상의 픽셀에 대한 정보를 가지고 있는 CW(Codeword)들의 집합으로, 또한, CW를 어떻게 구성하고, 갱신되고, 업데이트되는 지에 대해 설명하도록 한다.
도 1에 도시된 바와 같이, 물체추적시스템은 영상을 촬영하는 카메라(10)와 촬영된 영상에서 추출된 입력픽셀을 배경과 전경물체로 구별하기 위한 CB물체감지알고리즘을 구비한 물체감지수단(100), 물체추적알고리즘을 구비한 물체추적수단(200), CB값들과 물체감지신호 및 물체추적신호를 저장하는 데이터베이스(500), 물체감지수단(100)과 물체추적수단(200)을 제어하는 제어부(400), 후처리수단(300) 및 디스플레이부(600)를 구비하고 있다.
카메라(10)는 현재영상을 촬영하여 매 프레임마다 영상픽셀을 물체감지수단(100)에 전송한다. 영상픽셀에서 추출된 입력픽셀을 물체감지수단(100)에는 CB(code book)물체감지 알고리즘을 구비하여 입력픽셀과 이미 저장된 배경모델의 CB속에 포함된 CW들과 비교하여 입력픽셀을 배경 또는 전경물체로 구별하게 된다. 또한, 배경모델의 CB를 구성하는 CW는 입력픽셀을 전경물체 또는 배경으로 구별 후 갱신되어 데이터베이스(500)에 저장된다.
N개의 RGB 벡터로 구성된 하나의 픽셀 값에 대한 트레이닝 연속물을 Ц={x1,x2,x3,...,xn} 로 표현한다. 그리고, 픽셀에 대한 CB는 i개의 CW(code word)로 구성된 C = {c1,c2,...,ci}로 표현된다. 각각의 입력픽셀과 배경모델은 CB을 구비하고 있다. CW인 ci 는 픽셀에 대한 정보를 가지고 있다. 픽셀에 대한 정보는 RGB 벡터크기정보, 밝기정보, 색상정보, 시간정보, 에지정보를 가지고 있다.
CW인 ci 는 RGB 벡터인
Figure 112009029641229-pat00001
와 6개의 추가변수인 auxi = {Iimax ,Iimin , fi, λi, pi, qi } 로 구성되어 있다. 즉, ci 는 RGB 백터와 auxi 를 포함하는 것으로 수식으로 ci = (vi, auxi)로 표현된다. Iimax 는 밝기의 최대값, Iimin 는 밝기의 최소값, fi 는 배경으로 판단하게 되는 조건을 만족하는 입력픽셀 나타난 시간간격, λi 는 배경으로 판단하게 되는 조건을 만족하는 입력픽셀이 다시 나타나지 않은 트레이닝 기간동안 중에 가장 긴 시간간격, pi 는 배경으로 판단하게 되는 조건을 만족하는 입력픽셀이 나타난 처음시간, qi 는 배경으로 판단하게 되는 조건을 만족하는 입력픽셀이 나타난 마지막 시간이다.
시간 t의 트레이닝 기간 동안 추출된 입력픽셀의 RGB 함수를 Xt 라고 한다. 즉, Xt 는 RGB 백터의 t 시간에서의 해당픽셀의 R, G, B 값이 백터성분이 된다. Xt = (Rt, Gt, Bt)로 표현할 수 있다. 이러한 Xt 값이 기존에 데이터 베이스(500)에 저장된 CW 중 어떤 것과 일치하는 지를 판별한다. 판별은 색상왜곡값과 밝기 범위를 가지고 주어진 입력픽셀 값이 CW와 부합하는지를 판단하여 배경과 전경물체를 감지한다.
초기 CW를 구성하는 구체적인 알고리즘은 첫째, 트레이닝 기간 t= 1 이라고 하고, 첫 트레이닝 기간임을 L=0로 하여, 이 기간 동안 입력픽셀의 RBG 벡터(Xt) 와 밝기값
Figure 112009029641229-pat00002
를 구한다. 그리고, 아래 두 a, b조건을 만족하는 Xt 를 데이터베이스(500)에 저장된 CW와 비교하여 결정한다. a 조건은 색상왜곡값(δ)이 색상문턱값(ε)보다 작거나 같은 것이고(δ≤ε), b 조건은 Xt 의 밝기 값이 CW들로 부터 설정된 밝기 범위 내에 존재해야 하는 것이다(Ilow < I <Ihi ).
a, b조건을 만족하는 경우 대응되는 CW의 정보를 이하 수학식 1 및 수학식 2와 같이 경신한다. 그리고 이러한 조건을 만족하는 것은 배경으로 간주한다.
Figure 112009029641229-pat00029
auxi = { min(I, Ii max), max(I, Ii min), fi +1, max(λi, t-qi), pi, qi }
그리고, a 및 b조건을 만족하지 않는 경우 전경물체로 간주되고, L←L+1 로 하고 새로운 CW인 CL 을 이하와 같은 수학식 3 및 수학식 4로 설정하여 데이터베이스(500)에 계속 저장하게 된다. 여기서 CL은 L번째 코드워드라는 의미이다. 따라서, L←L+1의 의미는 조건을 불만족할 경우에는 새로운 코드워드를 생성하게 되므로, 전체 코드워드 개수 L이 1 만큼 증가하게 된다는 것이다. L은 코드워드의 개수이고, i는 코드워드의 인덱스(index)를 의미한다(i=1,2.....L). t는 시간이다.
vL ←(R, G, B)
auxL = {I, I, 1, t-1, t, t}
그리고, 모든 CW 인 ci 각각에 대해, λi ← max{λi, (N-qi+pi-1)}과 같이 λi 를 선택한다. N은 트레이닝 기간의 마지막 시간을 의미한다.(t = 1.....N)
그리고, 조건 a에서 색상왜곡값(δ)은 이하와 같은 수학식 5 내지 수학식 9로 연산된다. 그리고, 도 2는 이러한 색상왜곡값을 그래프 RGB 좌표에 도식화한 것이다. 도 2에서 도시된 바와 같이, 배경모델의 vi 와 입력픽셀의 Xt 그리고, 이하의 수학식 5 내지 수학식 9에 의해 연산된 색상왜곡값(δ) 등이 RGB 좌표에 도식화되어 있다. ||xt||는 수학식 5에 의해 구해진다.
Figure 712009004727582-pat00038
여기서 ||Xt|| 는 입력픽셀의 RGB벡터 성분들로 구해진다. 그리고, ||vi||는 이하의 수학식 6에 의해 CW들 각각의 R, B, G 성분들로부터 구해진다.
Figure 712009004727582-pat00005
이렇게 구해진 ||Xt||와 ||vi||로 부터 이하 수학식 7로 <Xt, vi>2을 구한다.
삭제
Figure 712009004727582-pat00039
<Xt, vi>2 로 부터 수학식 8을 연산해 p2을 구하고,
Figure 712009004727582-pat00040
이러한 p2 는 도 2에 도시된 그래프에서 삼각함수 내적 공식에 의해 구해지게 된다. 그리고, p2로 부터 수학식 9를 이용해 색상왜곡값(δ)을 구하게 된다. 수학식 8은, 입력 픽셀과 기존의 생성해 놓은 코드워드 간의 RGB 색상공간에서의 차이를 의미한다.
색상왜곡 =
δ=
Figure 712009004727582-pat00041
색상왜곡은 δ 로 정의되고 입력픽셀과 기존에 저장되어 있는 CW들과 비교하여 구해지게 된다. 색상왜곡값이 기존에 저장된 CW들을 기준으로 설정된 일정 범위 내에 있는 지를 판단하는 것이 입력픽셀을 배경으로 판단하는 하나의 조건이 된다. 색상왜곡값을 RGB 좌표공간에 표현한 것이 도 2에 도시되어 있다. 이러한 색상왜곡은 정규화 색상에서 밝기에 비중을 둔 모델이며, 입력픽셀의 밝기로 CW 벡터를 기하학적으로 어림잡은 값과 같은 결과를 갖는다. 이러한 방식으로 밝기는 색상왜곡을 측정하는데 사용되며, 정규화된 색상의 불안정성을 피할 수 있다.
또한, 조건 b의 밝기 범위에 해당하는지 밝기 변화를 측정하기 위해 CW에 있는 모든 픽셀의 밝기 최대값, 최소값인 Imax, Imin를 저장한다. 그리고, 그림자와 밝기 부분사이에 존재하는 밝기범위 내에서 변화하는 밝기 변화를 측정하며 이러한 밝기범위[Ilow, Ihi]는 아래와 같은 수학식 10으로 정의된다.
Ilow = α*Imin , Ihi = min{β*Imin, Imax/α}
여기서 α<1, β>1이다. 또한, α는 0과 1 사이의 양의 실수값이고, β는 무한대가 되지는 않으며 약 1~2 사이의 값을 사용하게 된다. 범위 [Ilow, Ihi]는 CB가 갱신될 때마다 안정화 된다. 밝기범위 내에 있는 경우에 b조건을 만족하게 된다. 도 2는 입력픽셀의 색상왜곡 및 밝기 정보를 측정하기 위해 사용된 색상모델을 RGB좌표축에 나타낸 그래프이다. 도 2에 도시된 바와 같이, 입력픽셀의 밝기는 밝기범위[Ilow, Ihi]에 존재하지만 색상왜곡값(δ)이 색상문턱값(ε)보다 크기 때문에 배경으로 간주되지 않는다.
이전 프레임마다 얻어진 CB를 fat CB라고 정의하고, 데이터 베이스(500)에 저장된다. 이러한 fat CB는 트레이닝된 영상들을 대표하는 모든 CW를 포함하며 이러한 정보에는 실제배경과 다르게 전경물체나 잡음이 포함될 수 있다. 따라서, 본 발명은 CB물체감지 알고리즘에 시간필터링 과정을 두어 제어부(400)가 전경의 움직이는 물체를 포함한 CW를 정제함으로써, 초기 트레이닝 기간에도 움직이는 물체와 무관하게 작동할 수 있게 한다.
구체적으로 일정한 시간 동안 CW가 나타나지 않는 경우 이러한 것은 배경이 아닌 전경물체로 간주하여 정제하게 된다. λi 을 조건을 만족하는 입력픽셀이 나타나지 않은 기간의 최대값이라고 할 때, 시간필터링 후 정제된 CB인 μ는 이하의 수학식 11로 표현된다.
μ={ci |ci ⊂ C ∩ λi ≤ Tμ}
여기서, Tμ은 시간문턱값이고, 시간문턱값(Tμ)보다 작은 λi 을 갖는 CW(ci)만이 실제배경으로 간주되어 필터링한다. C에 의미는 이전에 생성해 놓은 코드워드들의 집합이다. 수학식 11은 배경모델 μ애 시간 문턱값 Tμ 보다 작은 λi 을 갖는 ci 만이 최총 배경모델로 채택된다는 것이다.
그리고, 본 발명은 물체감지수단(100)의 CB물체감지 알고리즘은 색상, 밝기 및 시간정보 뿐아니라 더욱 정확하게 배경과 전경물체를 포착하기 위해 CW 내에 에지정보를 더 포함하고 있다. 에지정보란 입력픽셀 각각에 대해 가로방향성분과 세로 방향성분을 추출한 것으로 에지성분을 비교함으로써 전경물체와 배경물체를 구별하는 정보의 하나로 사용할 수 있다. 입력픽셀에서 에지정보를 추출하기 위해서 사용한 에지연산자는 연산량을 줄이기 위해 상대적으로 간단한 소밸(sobel)연산자를 사용하였다. 소밸연산자를 사용한 에지정보는 이하의 수학식 12로 표현된다.
Figure 112009029641229-pat00009
Figure 112009029641229-pat00032
,
여기서 Gx는 x방향으로의 에지정보값, Gy는 y 방향으로의 에지정보값을 각각 의미하고, A는 입력픽셀을 의미한다. 이렇게 구해진 에지정보를 CW내의 2차원 벡터로 저장하여 입력픽셀과 CW간의 비교를 수행할 때 밝기와 색상 벡터뿐 아니라 에지벡터도 같이 비교한다. 이러한 과정에서 색상이 비슷하더라도 에지성분이 다르면 물체로 인식하게 된다. 도 3a는 에지정보가 없는 CB물체감지 알고리즘을 이용하여 전경물체를 인식한 결과이고, 도 3b는 에지정보를 구비한 CB물체감지 알고리즘을 이용하여 물체를 인식한 결과를 도시한 것이다. 도 3a 및 도 3b에 도시된 바와 같이, 물체인식률에서 개선된 것을 확인할 수 있다.
물체추적수단(200)에는 물체감지결과로부터 물체를 추적하는 물체추적 알고리즘을 구비하고 있다. 물체추적은 먼저, 감지된 전경물체에 제어부(400)가 물체추적 알고리즘을 이용하여 외접하는 외접사각형을 감지하고, 필요에 따라 후처리 과정을 거친 후, 최소사각형(220)(MBR:Minimum Bounding Rectangle)을 표시하게 된다. 또한, 전경물체로 인식한 각 물체마다 ID(210)를 부여하는 라벨링(labeling)과정과 함께 물체가 이동한 위치를 추적궤적선(tracking line)으로 표시하게 된다.
도 4a는 물체감지결과 후 전경물체마다 최소사각형(220)을 표시한 알고리즘을 도시한 것이고, 도 4b는 각 전경물체에 ID(210)를 표시하고 동일물체별로 이동 경로를 표시한 것을 도시한 것이다. 도 4a에 도시된 바와 같이, 도 4a에서는 어떤물체가 어떻게 이동했는지 알 수 없지만, 도 4b에서는 라벨링 ID(210)와 추적궤적선으로부터 물체별 궤적선 간의 구별을 위하여 궤적선들을 빨강, 녹색 또는 파랑 세 가지 색으로 표현하였다.
물체추적알고리즘에서는 색상정보들을 이용해 B.C(Bhattacharrta Coefficient)확률이론을 적용하고, E.D(Euclidean Distance)를 이용하여 각각의 물체에 대한 거리관계를 연산하여 물체를 추적하게 된다. B.C확률이론의 적용은 B.C(바타차리야 계수)를 계산하여 양자의 색상의 유사성을 판단하여 유사하다고 판단되는 물체를 동일물체로 판단하여 추적한다는 의미이다. 매 프레임의 CW들에서 이전 프레임 중에 어느 하나의 CW 확률분포(p(x))와 현재프레임 중 어느 하나의 CW확률분포(q(x))를 비교하여 두 확률분포간의 색상의 유사성을 찾아내어 최대로 유사한 물체를 이전 프레임과 동일한 물체로 인식하여 추적하게 된다.
p(x)와 q(x)는 같은 확률공간 X에서 0과 1사이의 값을 가지는 두 확률분포이고, B.C를 이용한 유사성은 이하와 같은 수학식 13으로 연산 된다.
Figure 112008089922103-pat00011
수학식 13과 같이 정의되는 바타차리야 계수 B.C는 -1에서 1까지의 값을 가질 수 있으며, 1에 가까울수록 p(x)와 q(x)간 두 확률분포가 높은 상호연관성을 갖고, -1에 가까울수록 연관성이 적다. 따라서, 이는 변수 x에 대한 어떤 두 확률분포함수(probability density fuction) p(x)와 q(x)의 유사성을 나타내게 된다. 즉, B.C 값이 1에 가까울수록 두 확률분포함수 p(x)와 q(x)가 서로 유사하고, -1에 가까울수록 서로 다르다는 것이다. 따라서, 1에 가장 가까운 것을 동일한 물체로 판단하여 추적하게 된다.
CB물체감지 알고리즘 결과 물체에 대한 색상정보를 생성하고, 그 색상정보를 이전 모든 물체들과 비교할 때 B.C를 이용하여, 이 값이 가장 최대가 되는 물체를 가장 유사한 물체라고 판단한다. 즉, 물체의 색상정보를 이용하여 가장 유사한 색상정보를 갖는 물체를 찾음으로써 물체를 추적해 나간다.
또한, 색상정보와 더불어 더 보완을 하기 위해 물체들 사이의 거리를 고려하여 물체를 추적하게 된다. 프레임 간의 시간간격은 0.067초(즉, 15fps(frame per sec)) 또는 0.033초(즉, 30fps)에 해당하여 비교적 짧은 시간이므로 대부분의 물체는 인접한 프레임 사이에서 너무 급격하게 이동하는 경우는 없다고 판단할 수 있다. 따라서, 물체가 색상정보만을 이용하여 유사하다고 판단이 될 경우에 대하여 발생할 수 있는 오류를 보완할 수 있다.
여기서, 두 물체간의 거리를 계산할 때 E.D를 이용한다. 이전 프레임에 물체의 어떤 한 점을 a(x1, y1) 라고 하고, 현재프레임의 물체에 다른 한 점을 b(x2, y2) 라고 할 때 거리d는 이하의 수학식 14에 의해 구해진다.
Figure 112008089922103-pat00012
따라서, B.C가 최대일지라도 d값이 거리문턱값(예:900)을 넘는 경우 추적 대상이 되는 물체에서 제외하도록 한다. 거리문턱값은 기 설정된 값으로 추적대상이 되는 물체들에 따라 변경 또는 수정이 가능하다.
또한, 본 발명은 색상정보의 유사성과 프레임간의 거리뿐 아니라 칼만필터(kalman filter)에 기반한 속도정보를 이용하여 전경물체를 추적하게 된다. 칼만필터는 가우시안 잡음에 의해 간섭받는 선형동적시스템에서의 상태벡터 xk 를 구하 기 위한 순환적인 알고리즘이다. 칼만필터에 의해 물체의 위치가 예측되며 예측된 값을 측정하여 측정값을 다음 단계의 예측입력값으로 계속적으로 동일한 전경물체를 추적하게 된다
본 발명에서 가우시안 잡음에 의해 간섭받는 선형동적시스템에서의 상태벡터 xk 를 xk = [s, v] 로 정의한다. 여기서 s는 추적하고자 하는 물체의 x, y 좌표이고 v는 속도이다. 시스템이 선형동적시스템이라고 가정하였음으로 물체는 등속도 운동을 하고, F를 물체가 등속도 운동을 한다고 가정할 때 상태천이행렬(state transition matrix)이다. 또한, 물체의 운동은 평균이 0이며, 표준편차가 σa 인 정규분포를 갖는 랜덤노이즈인 가속도의 간섭을 받는 것으로 볼 수 있다. 그리고 차량자체에 대한 컨트롤 입력(control-input)은 무시하도록 한다.
차량이 등속도 운동을 한다고 가정함으로 움직임 방정식은 이하의 수학식 15로 표현된다
s+ = s- + v*△t
여기서, s는 거리, v는 속도, t는 시간, +기호는 갱신 전의 상태 및 -는 갱신 후 의 상태이다. 따라서, 관심을 갖고 있는 전경물체의 이동거리와 속도에 대한 상태천이행렬 F는 이하의 수학식 16로 표현된다.
Figure 112008089922103-pat00013
그리고, 앞서 설명한 바와 같이 칼만필터에서 등속도 운동을 하는 것으로 가정되는 물체의 운동에서 가속도는 잡음으로 판단할 수 있고, 가속도에 의한 물체의 움직임은 뉴턴 운동방정식에 의해 이하의 수학식 17로 표현된다.
Figure 112008089922103-pat00014
,
Figure 112008089922103-pat00015
여기서, t는 시간, F는 상태천이행렬, ak 는 가속도이다.
그리고, 상태 영역 오차 Q는 이하의 수학식 18로 연산된다.
Q = cov(Ga) = E[(Ga)(Ga)T] = G[a2]GT = σa 2GGT
칼만필터 측정값은 zk = Hxk 이고, 관심영역으로의 상태천이 행렬 H는 이하 수학식 19로 정의된다. 여기서, a는 수학시 17에서의 가속도이다.
Figure 112008089922103-pat00016
본 발명은 앞에서 언급한 CB물체감지 알고리즘의 결과차량을 칼만 필터에서 예측한 위치, 그리고 각 물체의 색상정보와 에지 정보의 유사도를 비교하여 추적한 경과를 칼만필터의 측정값 zk 로 사용하게 된다.
또한, 본 발명의 제어부(400)는 움직이는 전경물체 모두를 추적하는 것이 아니고, 추적의 대상이 되는 물체를 구별하여 포착하는 것이 가능하다. 추적하고 싶은 물체의 크기 및 형상 등에 대한 정보를 데이터 베이스(500)에 저장해 놓고, 제어부(400)는 이에 부합되는 물체를 추적하게 된다. 따라서, 추적을 하지 않아도 될 불필요한 노이즈성 물체들을 걸러내는 포스트 프로세싱(post processing)기법을 사용한다.
감지결과 전경물체라고 판별된 물체들의 한 라인에서의 픽셀수가 그 물체 가로 길이의 일정비율(γ)이상을 차지하는 동시에, 이러한 조건을 만족하는 행의 비율이 기 설정된 일정신뢰도(Ζ)이상일 경우에 해당하는 물체만을 추적하도록 한다. 여기서 γ과 Ζ는 기 설정된 상수값(예:0.7~0.8)으로 추적될 문체의 종류에 따라 기 설정된 값에 해당한다.
또한, 물체가 카메라(10)로부터 멀리 떨어져 있는 경우와 가까이 있을 경우의 해당 추적대상의 크기를 1-D 선형함수를 이용해 크기모델링을 하여 데이터베이스(500)에 저장한다. 데이터베이스(500)에는 기 설정된 최소크기값을 저장하고, 제어부(400)는 감지된 전경물체의 크기가 크기 모델링에 의해 기 설정된 최소크기값보다 작은 경우, 카메라(10)에서 멀리 떨어져 있는 것으로 인식하여 추적하지 않게 된다. 구체적인 예로 추적대상이 자동차인 경우 카메라(10)에서 가까이 있는 경우 자동차크기와 멀리 있는 경우 자동차크기를 모델링하여 기 설정된 최소크기값을 설정하게 된다. 도 5a는 크기모델링이 없는 경우 카메라(10)에서 먼 자동자(기 설정된 최소크기값보다 작은 자동차)역시 21번의 ID를 부여받은 모습을 도시한 것이고, 도 5b는 도 5a와 같은 입력픽셀에 대해 크기모델링을 적용한 모습을 도시한 것이다. 도 5b에 도시된 바와 같이, 크기 모델링을 이용하여 카메라(10)에서 먼 물체(기 설정된 최소크기값보다 작은 자동차)에 대해 추적대상이 아님을 의미하는 0번의 ID를 부여함을 알 수 있다.
또한, 추적대상이 되는 물체의 형상을 고려하여 선별적으로 물체를 추적할 수 있다. 이것은 전경물체로 감지된 최소사각형(220)의 가로/세로 비율을 이용하게 된다. 추적대상물체가 자동차라고 할 때 미리 각종차량에 대한 가로길이 및 세로길이에 대한 형상모델링을 한 데이터를 데이터 베이스(500)에 저장하여 제어부(400)가 이러한 데이터를 이용하여 추적대상인 자동차를 추적하도록 한다. 이하의 표 1은 각종 물체 종류별로 가로길이/세로길이의 데이터를 나타낸 것이다.
물체의 종류 (가로길이/세로길이)비율
승용차 1.53
승합차 0.87
트럭 0.85
오토바이 0.44
사람 0.36
도 6a는 형상모델링을 하지 않은 경우를 도시한 것이고, 도 6b는 형상모델링을 적용한 경우의 모습을 도시한 것이다. 도 6a 및 도 6b에 도시된 바와 같이, 형상모델링을 하지 않은 도 6a는 자동차가 아닌 사람에 대해 추적대상으로 ID가 부여되지만 형상모델링을 한 도 6b는 추적대상이 아닌 사람에 대해 ID를 0으로 부여함으로써, 관심 추적대상이 아닌 물체를 추적대상에서 제외하였음을 확인할 수 있다.
그리고, 본 발명인 물체추적시스템은 도 1에 도시된 바와 같이, 후처리수단(300)을 구비하고 있다. 후처리수단(300)은 물체감지수단(100)과 물체추적수단(200)에 연결되어 물체의 감지 후 추적하는 과정에서 후처리과정을 수행하게 된다. 후처리과정은 외접사각형에서 오목한 부분을 채워 최소사각형(220)을 형성하는 과정과 최소사각형(220)이 전경물체들을 합쳐져서 인식된 경우 이러한 부분을 분리해내어 최대사각형을 인식하는 과정을 수행한다.
실제로 CB물체감지 알고리즘의 결과, 물체는 완전한 하나의 사각형(220)으로 탐지되는 경우보다 하나의 물체가 나누어져 탐지되는 경우가 많다. 이러한 경우 물체의 외곽선을 잇는 외접사각형을 설정하여 해당물체를 추적하게 되는데, 감지결과 물체가 완전하지 않은 외접사각형으로 인식하게 되는 경우가 많다. 그러나, 추적하는 물체가 자동차인 경우 실제차량에 있어서 오목하게 가운데가 움푹하게 파인 형태의 차량은 존재하지 않기 때문에 이러한 경우들 중 대부분이 물체감지 알고리즘에 있어서의 오차라고 판단할 수 있다. 따라서, 물체로 판별된 결과들 중에서 가운데가 오목한 부분을 채워 완전한 직선으로 형성하여 최소사각형(220)을 형성하는 후처리 기법을 사용하면 더 신뢰성 있게 추적물체를 판별할 수 있다.
여기서, 외접사각형에 오목한 부분이란 물체 감지 결과가 다음과 같이 가운데가 동그스름하게 폭 패거나 들어가 있는 형태를 의미한다. 이러한 형태는 그림 1에서 도시한 바와 같다.
Figure 712009004727582-pat00033

그림1. 물체 검지 결과 내에서 오목한 부분의 예
따라서, 외접 사각형에 이러한 오목한 부분 완전하지 않은 사각형을 이루는 경우 후처리 과정에 의해 오목한 부분을 채우게 되어 최소 사각형을 형성하게 된다.
그리고, 물체의 감지결과는 배경과 전경물체를 분리하는 과정이므로 2개의 물체가 매우 근접해 있는 경우 최소사각형(220)은 동일한 전경물체 부분으로 인식된다. 이러한 문제를 해결하기 위해 물체들을 나누는 후처리과정이 필요하다. 도 7은 합쳐서 인식된 물체를 나누는 후처리과정을 도시한 것이다. 도 7에 왼쪽 첫번째 그림과 같이 가까이 있는 두 자동차를 동일한 물체로 인식하게 된다. 그리고, 인식된 물체가 차지하는 영역이 급격하게 변하는 부분을 찾는다.
이렇게 찾아진 부분의 가로방향과 세로방향의 분할 선을 이용하여 여러 개의 셀로 나눈다. 도 7에 왼쪽에서 두번째 그림과 같이 여러 셀로 나누어지고, 각각의 셀은 물체 영역을 많이 포함하는 셀도 있고 물체를 거의 포함하지 않는 셀도 존재하게 된다. 이때 물체가 일정비율 이상 차지하는 셀들 중에서 가장 큰 직사각형 모양을 이루는 셀 집합을 찾는다. 도 7에 왼쪽에서 세 번째 그림이 가장 큰 최대사각형 모양을 이루는 셀을 찾은 것이다. 그리고 남은 셀 중에서 그 다음으로 물체가 차지하는 비율이 큰 셀 집합을 선택하여 각각을 다른 물체로 분리하게 된다. 도 7에 왼쪽에서 네번째 그림이 분리된 물체 1과 물체 2를 도시한 것이다.
그리고, 본 발명은 제어부(400)가 물체감지수단(100)의 CB물체감지 알고리즘을 수행하고, 물체추적수단(200)의 물체추적알고리즘을 연산함에 있어서, 물체가 정지상태와 움직이는 상태를 감지하여 추적하게 된다. 이것은 감지된 물체의 최소사각형(220)의 중심점의 이동거리와 칼만필터에서 사용한 속도정보, 및 CW내의 물체로 감지한 CW가 나타난 처음시간(pi), CW가 나타난 마지막 시간(qi)정보, 정지된 상태가 지속되는 프레임수를 이용하여 감지할 수 있다.
먼저, 감지된 물체의 최소사각형(220)의 중심점의 가로방향의 이동이 기 설정된 가로문턱값 이하이고, 세로방향의 이동이 기 설정된 세로문턱값 이하인 경우 정지상태로 감지한다. 이러한 가로문턱값과 세로문턱값은 환경이나 물체의 종류에 따라 사용자가 변경가능하다. 그리고, 본 발명은 소정시간동안 물체가 정지해 있는 경우 물체가 아닌 배경으로 취급해버리는 오류를 방지하기 위해 CW내의 물체로 감지한 CW가 나타난 처음시간(pi), CW가 나타난 마지막 시간(qi)정보를 이용하게 된다. 이러한 경우, 물체가 오랫동안 정지해 있더라도 해당 물체를 모델링한 CW들이 가장 최근 프레임에서 접근된 것으로 인식이 되기 때문에 전경 물체 CB에서 제거되지 않게 되므로 오랫동안 멈춰있는 물체까지도 판별해 낼 수 있다.
또한, 정지물체 판별을 감지된 물체의 최소사각형(220)의 중심점의 이동거리를 기준으로만 하는 경우 CB물체감지 알고리즘의 결과에 의존하게 됨으로써 오류가 발생할 수 있다. 즉, 실제물체는 움직이지 않더라도 감지 알고리즘의 결과 물체 감지 영역의 크기가 변하거나, 중심점이 움직이는 경우 움직이는 물체로 판단할 수가 있다. 따라서, 본 발명은 기 설정된 프레임만큼 물체의 정지상태가 유지되어야 비로소 물체가 정지하였다고 판단하게 된다. 이러한 기 설정된 프레임수는 환경이나 물체의 종류에 따라 사용자가 변경가능하다.
제어부(400)는 물체감지수단(100)과 물체추적수단(200)에 연결되어 CB물체감지 알고리즘을 연산하여 배경과 전경물체를 구별한 물체감지신호를 출력하고, 물체추적 알고리즘을 연산하여 물체추적신호를 출력하게 된다. 이러한 출력신호는 디스플레이부(600)에 전송되어 감지결과와 추적결과에 대한 것을 실시간으로 디스플레이부(600)가 디스플레이하게 된다.
( CB 물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법)
이하에서는 본 발명인 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법에 대해 설명하도록 한다. 먼저, 도 8은 본 발명인 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법의 흐름도이다.
카메라(10)로 매 프레임마다 실시간으로 영상을 촬영하여 입력픽셀을 물체감지수단(100)으로 출력하게 된다(S10). 입력픽셀은 RGB벡터를 구비하고, 데이터베이스(500)에 저장된 CB를 구성하는 CW 각각은 R,G,B 절대값으로 이루어진 벡터값(v), 밝기의 최대값(Imax), 밝기의 최소값(Imin), CW가 나타난 시간간격(f), 트레이닝 기간 동안 CW가 나타나지 않은 가장 긴 시간간격(λ), CW가 나타난 처음 시간(p) 및 CW가 나타난 마지막 시간(q)에 대한 정보, 에지정보를 가지고 있다.
그리고, 제어부(400)는 물체감지수단(100)의 CB물체감지 알고리즘을 전송받아 입력픽셀각각에 대해 색상왜곡값(δ)과 밝기값(I)을 연산하게 된다(S20). 입력픽셀은 RGB벡터와 밝기정보, 색상정보, 에지정보를 구비하고, 제어부(400)에서 데이터베이스(500)에 저장된 CW로부터 밝기범위 및 색상왜곡값(δ)의 색상문턱값(ε)을 설정하고, 색상왜곡값(δ)이 설정된 색상문턱값(ε) 이하인 지를 판단하고(S30), 입력픽셀의 밝기값이 상기 밝기 범위 내인지를 판단한다(S40). 모두 만족하는 경우 CB의 CW값을 갱신한다(S50). 그리고, 만족되는 입력픽셀을 배경으로 인식한다(S60)
그리고, 시간필터링 과정을 수행한다. 시간필터링은 위 두 조건을 만족하더라도 CW가 나타나지 않은 최대시간(λ)이 시간문턱값(Ｔμ)보다 작은 것만을 배경으로 인식하게 된다(S70). 그리고, 배경으로 인식된 것은 추적대상에서 제외된다(S80). 위 두 조건을 만족하지 않거나 시간필터링에서 배경에서 제외된 부분의 에지정보를 저장된 기존의 물체로 인식한 CW의 에지정보와 비교하여 서로 에지정보값이 상이한 경우 물체로 인식하지 않고 배경으로 간주하게 된다(S90).
이렇게 제어부(400)가 CB물체감지 알고리즘으로 전경물체와 배경을 감지한 결과인 물체감지신호를 출력하게 된다(S100). 그리고, 제어부(400)가 물체추적수단(200)의 물체추적알고리즘을 전송받아 매 프레임마다 감지된 전경물체에 외접하는 외접사각형을 형성하고, 후처리 수단(300)에 의해 후처리 과정을 수행하고, 후처리된 최소 사각형(220) 각각에 ID를 부여하게 된다(S110).
후처리수단(300)은 외접하는 외접사각형이 완전하지 않은 사각형인 경우 오목한 부분을 채워 직선으로 형성된 최소사각형(220)을 형성시키고, 감지한 전경물체가 합쳐져서 인식된 경우, 최소사각형(220)에서 급격히 변하는 부분을 찾아 가로방향 및 세로방향의 분할선(310)을 나누고 분할된 사각형에서 전경물체가 차지하는 비율 큰 사각형을 찾아내 전경물체를 분리하는 후처리과정을 수행하게 된다(S120).
여기서, 외접사각형에 오목한 부분이란 물체 감지 결과가 다음과 같이 가운데가 동그스름하게 폭 패거나 들어가 있는 형태를 의미한다. 이러한 형태는 그림 1에서 도시한 바와 같다.
Figure 712009004727582-pat00034

그림1. 물체 검지 결과 내에서 오목한 부분의 예
따라서, 외접 사각형에 이러한 오목한 부분 완전하지 않은 사각형을 이루는 경우 후처리 과정에 의해 오목한 부분을 채우게 되어 최소 사각형을 형성하게 된다.
그리고, 이러한 최소사각형이 두 개 이상의 전경물체를 하나로 인식하게 되는 오류를 막기 위해 최소사각형(220)에서 급격히 변하는 부분을 찾아 가로방향 및 세로방향의 분할선(310)을 나누고 분할된 사각형에서 전경물체가 차지하는 비율 큰 사각형을 찾아내 전경물체를 분리하는 후처리과정도 수행할 수 있다. 여기에서 ‘급격히 변하는 부분’의 의미는 물체를 감지한 결과 영상은 0과 1만의 값을 갖는 배경을 의미하는 검정색(0)과 물체를 의미하는 흰색(1)만을 갖는 이진 영상으로 표시할 수 있다. 여기서 일정 y좌표에 대하여 위쪽과 아래쪽에 대하여 차를 구하게 되면 같은 영역에 포함되는 포함될 경우 그 차의 절대값들의 합이 작을 것이고, 만약 그 차의 절대 값들의 합이 클 경우 물체 혹은 배경이 갑자기 나타난다고 볼 수 있을 것이다. 같은 과정을 x좌표에 대하여도 반복하여 ‘급격히 변하는 부분’을 검출할 수 있게 된다.
Figure 712009004727582-pat00035

그림2. 최소 사각형과 그 내부에서 ‘급격히 변하는 부분’의 예시
예를 들면, 위의 그림2 에서 회색 사각형은 물체로 검출된 부분의 이진 영상이고, (x,y)에서의 픽셀값을 V(x,y)라고 할 때, 빨간색 사각형은 이렇게 검출된 물체 영역에 대해 오목한 부분을 채운 최소 사각형에 해당한다. 여기서 y좌표 y1과 y2를 갖는 모든 픽셀들의 차의 절대값 합
Figure 712009004727582-pat00036
은 0이 되는 반면, y좌표 y3과 y4를 갖는 모든 픽셀들의 차의 절대값 합
Figure 712009004727582-pat00037
은 0이 아닌 2가 된다. 따라서 이러한 경우 y3에서 급격히 변하는 부분이라고 볼 수 있게 된다. 이와 같은 과정을 x좌표에 대하여도 반복하면 x3에서 물체의 상태가 급격히 변화하는 것을 검출할 수 있게 된다.
삭제
데이터베이스(500)에 저장된 추적의 대상이 되는 물체에 대한 크기모델링 데이터와 형상모델링 데이터를 이용하여 추적대상 물체가 아닌 것은 추적대상에서 제외시킨다(S130). 그리고, 감지된 전경물체가 정지된 것인지 움직이는 것인지를 감지된 물체의 최소사각형(220)의 중심점의 이동거리와 칼만필터에서 사용한 속도정보, 및 배경으로 감지한 입력픽셀이 나타난 처음시간(pi), 배경으로 감지한 입력픽셀 나타난 마지막 시간(qi)정보, 정지된 상태가 지속되는 프레임수를 이용하여 판별한다(S140).
그리고, 추적대상이 확정되면 이전프레임의 추적대상으로 결정된 전경물체와 현재프레임에서 추적대상으로 결정된 전경물체와 유사성을 판단하여 동일한 물체의 추적궤적선을 형성하며 물체를 추적하게 된다(S150).
앞서 설명한 바와 같이, 동일한 물체의 판단은 B.C확률이론을 적용하여 색상정보의 유사성을 판단하고, 거리정보를 E.D로 연산하여 구하게 된다. 그리고, 제어부(400)는 그 추적결과를 물체추적신호로 실시간으로 출력하게 된다(S160). 디스플레이부(600)에서는 제어부(400)에서 출력된 물체감지신호 및 물체추적신호를 전송받아 물체 감지 및 추적결과를 실시간 영상으로 디스플레이하게 된다(S170)
이러한 감지 및 추적은 카메라(10)에서 입력픽셀이 전송된다면 실시간으로 수행되며(S180) 더 이상 전송되는 입력픽셀이 없는 경우 시스템은 작동을 종료한다. 그리고, 매 프레임마다 입력픽셀에 대한 RGB정보, 색상정보, 밝기정보, 에지정보를 구비한 CW와 물체감지데이터, 물체추적데이터, 추적대상물체의 크기모델링 데이터 및 형상모델링 데이터 등은 데이터베이스(500)에 저장된다.
도 1은 본 발명인 CB물체감지 알고리즘을 이용한 물체추적시스템의 블록도,
도 2는 입력픽셀의 색상왜곡 및 밝기정보를 측정하기 위해 사용된 색상모델을 RGB좌표축에 나타낸 그래프,
도 3a는 에지정보가 없는 CB를 이용하여 물체를 감지한 결과를 디스플레이한 모습,
도 3b는 에지정보가 있는 CB를 이용하여 물체를 감지한 결과를 디스플레이한 모습,
도 4a는 물체감지 후에 전경물체마다 최소사각형을 표시한 알고리즘,
도 4b는 물체감지 후에 전경물체마다 최소사각형을 표시하고 각 전경물체마다 ID를 표시하고 동일 전경물체별로 이동경로를 표시한 알고리즘,
도 5a는 크기모델링을 하지 않은 경우 카메라에서 멀리 떨어진 자동차에도 21번의 ID를 부여한 모습,
도 5b는 크기모델링을 적용하여 카메라에서 멀리 떨어진 자동차에 ID를 부여하지 않은 모습,
도 6a는 형상모델링을 하지 않은 경우 사람도 추적대상인 전경물체로 인식한 모습,
도 6b는 자동차를 형상모델링하여 자동차외에 사람은 추적대상인 전경물체에서 제외한 모습,
도 7은 합쳐져서 인식된 물체를 후처리수단에 의해 각각의 전경물체로 나누 어지는 과정,
도 8은 본 발명인 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법의 흐름도를 도시한 것이다.
<도면의 주요 부분에 대한 부호의 설명>
10:카메라
100:물체감지수단
200:물체추적수단
삭제
220:최소사각형
300:후처리수단
310:분할선
400:제어부
500:데이터베이스
600:디스플레이부
Xt:입력픽셀에 t 시간에서의 RGB벡터
CW:Code Word
CB:Code Book
I:밝기
Imax:밝기 최대값
Imin:밝기 최소값
λ:CW가 나타나지 않은 최대시간간격(시간)
Tμ:시간문턱값
μ:시간필터링 결과 배경으로 감지된 CW들의 집합
fi:부합되는 CW가 나타난 시간간격
pi:부합되는 CW가 나타난 처음시간
qi:부합되는 CW가 나타난 마지막시간
p(x):이전 프레임 중에 어느 하나의 CW 확률분포
q(x):현재프레임 중 어느 하나의 CW확률분포
Gx:x방향으로의 에지정보값
Gy:y방향으로의 에지정보값

Claims (22)

  1. CW들의 집합으로 구성된 CB 물체감지 알고리즘을 이용하여 물체를 감지하여 상기 물체를 추적하는 물체추적 시스템에 있어서,
    실시간으로 영상을 프레임마다 촬영하여 영상픽셀을 출력하는 카메라;
    상기 영상픽셀에서 추출된 입력픽셀과 저장된 기존의 배경으로 감지된 상기 CB를 구성하는 CW들과 비교하여 상기 입력픽셀의 밝기값이 밝기범위 내에 있는지 및 상기 입력픽셀과 상기 CW를 비교하여 연산된 색상왜곡값이 기 설정된 색상문턱값 이하 인지를 판단하고, 상기 입력픽셀의 상기 밝기 값이 상기 밝기범위 내이고, 상기 색상왜곡값이 상기 색상문턱값 이하라면 상기 입력픽셀을 배경으로 인식하고, 상기 CW를 실시간으로 갱신하며 그렇지 않은 경우 상기 입력픽셀을 전경물체로 인식하는 CB물체감지 알고리즘을 구비한 물체감지수단;
    매 프레임마다 상기 물체감지수단에 의해 상기 전경물체로 감지된 입력픽셀들이 외접하는 외접사각형을 인식하고, 인식된 상기 외접사각형 각각에 ID를 부여하여 라벨링하고, 프레임의 이동마다 동일하게 라벨링된 상기 외접사각형의 이동을 추적하여 상기 전경물체 각각의 이동을 추적하는 물체추적알고리즘을 구비한 물체추적수단;
    상기 외접사각형이 오목한 부분을 갖는 완전하지 않은 사각형을 형성하는 경우 오목한 부분을 채워 최소 사각형으로 형성시키고, 상기 최소사각형이 실제 별도의 전경물체들을 합쳐서 인식된 경우, 상기 최소사각형에서 급격히 변하는 부분을 찾아 가로방향 및 세로방향의 분할선을 나누고 분할된 사각형들 중에 가장 큰 최대사각형을 찾아내 상기 최대사각형을 상기 전경물체로 선택하는 후처리수단;
    촬영된 상기 입력픽셀 및 실시간으로 갱신되는 상기 CW를 저장하는 데이터베이스;
    상기 물체감지수단 및 상기 물체추적수단과 연결되어 상기 데이터베이스에 저장된 촬영된 상기 입력픽셀 및 실시간으로 갱신되는 상기 CW를 전송받아, 상기 물체감지수단을 제어하여 상기 물체감지수단에 구비된 상기 CB물체감지 알고리즘에 의해 상기 배경과 상기 전경물체를 구별하여 물체감지신호를 출력하고, 상기 물체추적수단을 제어하여 상기 물체추적수단에 구비된 상기 물체추적알고리즘에 의하여 상기 전경물체를 실시간으로 추적하여 물체추적신호를 출력하는 제어부; 및
    상기 제어부에서 출력된 상기 물체감지신호 및 상기 물체추적신호를 전송받아 물체 감지 및 추적결과를 영상으로 실시간 디스플레이하는 디스플레이부;를 포함하여 물체를 감지하고, 추적하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 CW는,
    R,G,B로 이루어진 벡터값, 밝기의 최대값, 밝기의 최소값, 상기 밝기범위 및 상기 색상문턱값 이하에 있는 상기 입력픽셀이 나타난 시간간격,
    상기 밝기범위 및 상기 색상문턱값 이하에 있는 상기 입력픽셀이 나타나지 않은 가장 긴 시간간격,
    상기 밝기범위 및 상기 색상문턱값 이하에 있는 상기 입력픽셀이 나타난 처음 시간, 및
    상기 밝기범위 및 상기 색상문턱값 이하에 있는 상기 입력픽셀이 나타난 마지막 시간에 대한 정보를 가진 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템.
  4. 제 3항에 있어서,
    상기 제어부는,
    상기 물체감지수단에 구비된 상기 CB물체감지 알고리즘을 통하여,
    상기 입력픽셀과 상기 CW를 비교하여 색상왜곡값을 구하여 기 설정된 색상문턱값보다 상기 색상왜곡값이 작고, 그리고
    기존의 저장된 상기 CW로부터 상기 밝기범위를 설정하여 상기 입력픽셀의 밝기가 상기 밝기범위 내인 경우 상기 제어부는 상기 입력픽셀을 배경으로 인식하고, 상기 CW을 갱신하여 계속 상기 데이터베이스에 갱신된 CW를 저장하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템.
  5. 제 4항에 있어서,
    상기 제어부는,
    매 프레임마다 상기 CB물체감지 알고리즘을 통해 배경으로 찾아낸 상기 입력픽셀 중에 상기 밝기범위 및 상기 색상문턱값 이하에 있는 상기 입력픽셀이 나타나지 않은 가장 긴 시간간격 값이 기설정된 시간문턱값보다 작은 것을 실제배경으로 필터링하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템.
  6. 제 3항에 있어서,
    상기 CW는,
    에지정보를 더 포함하며,
    상기 에지정보는,
    상기 입력픽셀에서 소벨(Sobel)연산자를 사용하여 가로방향 에지정보값과 세로방향 에지정보값을 갖는 벡터값에 해당하여,
    상기 제어부가 저장된 상기 CW의 상기 에지정보에 부합되지 않는 상기 입력픽셀은 상기 밝기 값이 상기 밝기범위 이내이고, 상기 색상왜곡값이 상기 색상문턱값 이하라도 배경이 아닌 전경물체로 인식하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템.
  7. 제 6항에 있어서,
    상기 제어부는,
    상기 물체추적수단에 구비된 상기 물체추적 알고리즘을 통하여 상기 전경물체로 인식된 색상정보의 유사성과 에지정보의 유사성 및 칼만필터에 의해 상기 전경물체의 예측된 위치에 의하여 동일한 물체를 인식하여 상기 전경물체를 추적하며,
    상기 에지정보의 유사성은 상기 소벨 연산자에 의해 구해진 각 프레임의 상기 에지정보값을 비교하여 기 설정된 임계치 이하에 해당하는 경우 동일하다고 판단하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템.
  8. 삭제
  9. 삭제
  10. 제 7 항에 있어서,
    상기 데이터베이스에는,
    추적대상이 되는 상기 물체의 형상을 모델링한 형상모델링 데이터가 저장되고,
    상기 제어부는,
    상기 형상모델링 데이터를 통해 감지된 상기 전경물체 중 추적대상이 되는 상기 물체 형상에 부합되는 것을 추적하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템.
  11. 제 10 항에 있어서,
    추적대상이 되는 상기 물체는 자동차인 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템.
  12. 삭제
  13. 제 7 항에 있어서,
    상기 물체추적알고리즘에 E.D(Euclidean distance)정보를 구비하여,
    현재 프레임에서 상기 제어부가 인식한 상기 전경물체 내에 어느 한 지점과 이전 프레임에서 상기 제어부가 인식한 상기 전경물체 내에 어느 한 지점 사이의 거리를 연산하여 기설정된 거리보다 큰 경우 추적대상에서 제외하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템.
  14. 제 10항에 있어서,
    상기 제어부는 상기 CB물체감지 알고리즘을 통하여,
    상기 최소사각형의 중심점의 매 프레임의 이동크기가 기 설정된 이동문턱값이하이고, 그리고
    칼만필터에서 사용한 속도 정보에 의한 속도 변화량이 기설정된 속도문턱값이하인 경우 상기 전경물체를 정지상태로 인식하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템.
  15. 제 1항의 물체추적시스템을 사용한 물체추적방법에 있어서,
    카메라로 매 프레임마다 실시간으로 영상을 촬영하여 영상픽셀을 출력하는 단계;
    제어부가 물체감지수단이 구비한 CB물체감지 알고리즘을 전송받아 상기 영상픽셀에서 추출된 입력픽셀의 밝기값 및 상기 입력픽셀과 데이터베이스에 저장된 CW들을 비교하여 색상왜곡값을 연산하는 단계;
    상기 제어부에서 데이터베이스에 저장된 CW들로부터 밝기범위 및 색상왜곡값의 색상문턱값을 설정하고, 상기 입력픽셀의 상기 밝기값이 상기 밝기범위 내이고, 상기 색상왜곡값이 기 설정된 상기 색상문턱값 이하인 경우 상기 입력픽셀을 배경으로 인식하고, 상기 CW값을 갱신하며, 그렇지 않은 경우, 상기 입력픽셀을 전경물체로 인식하고 물체감지신호를 출력하는 단계;
    상기 제어부가 물체추적수단의 물체추적알고리즘을 전송받아 매 프레임마다 상기 전경물체로 감지된 입력픽셀들이 외접하는 외접사각형을 인식하고,
    인식된 상기 외접 사각형 각각에 ID를 부여하는 단계;
    후처리수단은 상기 외접 사각형이 오목한 부분을 구비하는 완전하지 않은 사각형인 경우 상기 오목한 부분을 채워 최소 사각형을 형성시키고,
    상기 최소사각형이 실제 전경물체들을 합쳐서 인식된 경우, 상기 최소 사각형에서 급격히 변하는 부분을 찾아 가로방향 및 세로방향의 분할선을 나누고 분할된 사각형들 중에 가장 큰 최대사각형을 찾아내 상기 최대사각형을 상기 전경물체로 선택하는 단계;
    상기 제어부가 상기 물체추적수단의 물체추적알고리즘을 전송받아 상기 프레임의 이동마다 동일한 상기 전경물체 각각의 이동을 추적하여 물체추적신호를 출력하는 단계; 및
    디스플레이부에서 상기 제어부에서 출력된 상기 물체감지신호 및 상기 물체추적신호를 전송받아 물체 감지 및 추적결과를 실시간으로 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법.
  16. 제 15항에 있어서,
    상기 CW는,
    R,G,B로 이루어진 벡터값, 밝기의 최대값, 밝기의 최소값, 상기 밝기범위 및 상기 색상문턱값 이하에 있는 상기 입력픽셀이 나타난 시간간격,
    상기 밝기범위 및 상기 색상문턱값 이하에 있는 상기 입력픽셀이 나타나지 않은 가장 긴 시간간격,
    상기 밝기범위 및 상기 색상문턱값 이하에 있는 상기 입력픽셀이 나타난 처음 시간, 및
    상기 밝기범위 및 상기 색상문턱값 이하에 있는 상기 입력픽셀이 나타난 마지막 시간에 대한 정보들을 포함하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법.
  17. 제 16항에 있어서,
    상기 물체감지신호 출력단계는,
    상기 제어부가 상기 밝기범위 및 상기 색상문턱값 이하에 있는 상기 입력픽셀이 나타나지 않은 가장 긴 시간간격 값이 기설정된 시간문턱값보다 작은 것을 실제배경으로 필터링하여 필터링된 물체감지신호를 출력하는 단계인 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법.
  18. 제 16항에 있어서,
    상기 CW는 에지정보를 더 포함하며,
    상기 에지정보는,
    상기 입력픽셀에서 소벨연산자를 사용하여 가로방향 에지정보값과 세로방향 에지정보값을 갖는 벡터값에 해당하여,
    상기 제어부가 저장된 상기 CW의 상기 에지정보와 다른 상기 입력픽셀은 상기 밝기범위 및 상기 색상문턱값 이하라도 배경이 아닌 전경물체로 인식하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법.
  19. 삭제
  20. 제 15항에 있어서,
    상기 물체추적신호 출력단계에서,
    상기 제어부는 상기 CB물체감지 알고리즘을 통하여,
    상기 최소사각형의 중심점의 매 프레임의 이동크기가 기 설정된 이동문턱값이하이고, 그리고
    칼만필터에서 사용한 속도 정보에 의한 속도 변화량이 기 설정된 속도문턱값 이하인 경우 상기 전경물체를 정지물체로 감지하고,
    상기 데이터베이스에는 감지 목적이 있는 물체의 형상를 모델링한 형상모델링정보가 저장되어 있고,
    상기 제어부가,
    상기 형상모델링정보를 통해 감지된 상기 전경물체 중 상기 감지 목적이 있는 물체의 형상에 부합하는 것을 추적하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법.
  21. 제 20항에 있어서,
    상기 감지 목적이 있는 물체는 자동차인 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법.
  22. 제 15항에 있어서,
    상기 물체추적신호 출력단계에서,
    상기 물체추적알고리즘은 E.D(Euclidean distance)정보를 구비하여,
    상기 제어부가 현재 프레임에서 인식한 상기 전경물체 내에 어느 한 지점과 이전 프레임에서 인식한 상기 전경물체 내에 어느 한 지점 사이의 거리를 연산하여 기설정된 거리보다 큰 경우 추적대상에서 제외하는 것을 특징으로 하는 CB물체감지 알고리즘을 이용한 물체추적시스템을 사용한 물체추적방법.
KR1020080135640A 2008-12-29 2008-12-29 Ｃｂ물체감지 알고리즘을 이용한 물체추적시스템 및 그 시스템을 사용한 물체추적방법 KR100920918B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080135640A KR100920918B1 (ko) 2008-12-29 2008-12-29 Ｃｂ물체감지 알고리즘을 이용한 물체추적시스템 및 그 시스템을 사용한 물체추적방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080135640A KR100920918B1 (ko) 2008-12-29 2008-12-29 Ｃｂ물체감지 알고리즘을 이용한 물체추적시스템 및 그 시스템을 사용한 물체추적방법

Publications (1)

Publication Number Publication Date
KR100920918B1 true KR100920918B1 (ko) 2009-10-12

Family

ID=41572156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080135640A KR100920918B1 (ko) 2008-12-29 2008-12-29 Ｃｂ물체감지 알고리즘을 이용한 물체추적시스템 및 그 시스템을 사용한 물체추적방법

Country Status (1)

Country Link
KR (1) KR100920918B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942409B1 (ko) 2009-10-08 2010-02-17 (주)나인정보시스템 고속 이동 차량 검지 방법
CN103020990A (zh) * 2012-12-06 2013-04-03 华中科技大学 一种基于gpu的运动目标检测方法
KR101256873B1 (ko) 2011-11-18 2013-04-22 광주과학기술원 객체 추적 방법, 객체 추적 장치 및 이를 이용한 교통 감시 시스템
KR101294498B1 (ko) * 2011-11-29 2013-08-07 동의대학교 산학협력단 터널 유고 시스템의 객체 인식방법
CN103578119A (zh) * 2013-10-31 2014-02-12 苏州大学 基于超像素的Codebook动态场景中目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311848A (ja) * 1993-12-10 1995-11-28 Ricoh Co Ltd カラー画像認識方法および対象物抽出方法
JPH09265530A (ja) * 1996-03-29 1997-10-07 Ricoh Co Ltd 辞書作成方法およびカラー画像認識方法
KR20030005908A (ko) * 2001-07-10 2003-01-23 주식회사 오픈비주얼 영상의 객체 특징 추출과 이를 이용한 내용 기반 영상검색 장치 및 방법
KR20050077863A (ko) * 2004-01-28 2005-08-04 삼성전자주식회사 객체 추적 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311848A (ja) * 1993-12-10 1995-11-28 Ricoh Co Ltd カラー画像認識方法および対象物抽出方法
JPH09265530A (ja) * 1996-03-29 1997-10-07 Ricoh Co Ltd 辞書作成方法およびカラー画像認識方法
KR20030005908A (ko) * 2001-07-10 2003-01-23 주식회사 오픈비주얼 영상의 객체 특징 추출과 이를 이용한 내용 기반 영상검색 장치 및 방법
KR20050077863A (ko) * 2004-01-28 2005-08-04 삼성전자주식회사 객체 추적 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942409B1 (ko) 2009-10-08 2010-02-17 (주)나인정보시스템 고속 이동 차량 검지 방법
KR101256873B1 (ko) 2011-11-18 2013-04-22 광주과학기술원 객체 추적 방법, 객체 추적 장치 및 이를 이용한 교통 감시 시스템
KR101294498B1 (ko) * 2011-11-29 2013-08-07 동의대학교 산학협력단 터널 유고 시스템의 객체 인식방법
CN103020990A (zh) * 2012-12-06 2013-04-03 华中科技大学 一种基于gpu的运动目标检测方法
CN103020990B (zh) * 2012-12-06 2015-09-09 华中科技大学 一种基于gpu的运动目标检测方法
CN103578119A (zh) * 2013-10-31 2014-02-12 苏州大学 基于超像素的Codebook动态场景中目标检测方法
CN103578119B (zh) * 2013-10-31 2017-02-15 苏州大学 基于超像素的Codebook动态场景中目标检测方法

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
US9939909B2 (en) Gesture manipulation device and method, program, and recording medium
US9934442B2 (en) Passenger counting device, passenger counting method, and program recording medium
JP4772115B2 (ja) 夜間に道路を検出する方法及びシステム
US5581629A (en) Method for estimating the location of an image target region from tracked multiple image landmark regions
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US7231288B2 (en) System to determine distance to a lead vehicle
CN101029823B (zh) 基于车辆状态分类的车辆跟踪方法和装置
US7190811B2 (en) Adaptive tracking for gesture interfaces
US8948455B2 (en) Travel path estimation apparatus and program
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
US8934669B2 (en) Self-adaptive image-based obstacle detection method
KR100920918B1 (ko) Ｃｂ물체감지 알고리즘을 이용한 물체추적시스템 및 그 시스템을 사용한 물체추적방법
CN101633356A (zh) 检测行人的系统及方法
CN105069801A (zh) 基于图像质量诊断的视频图像预处理方法
JP2000011133A (ja) 移動物体検出装置及びその方法
US20230394829A1 (en) Methods, systems, and computer-readable storage mediums for detecting a state of a signal light
CN107748882B (zh) 一种车道线检测方法及装置
CN111079613A (zh) 姿势识别方法和装置、电子设备及存储介质
KR101026778B1 (ko) 차량 영상 검지 장치
KR101146417B1 (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
US20210090260A1 (en) Deposit detection device and deposit detection method
Špoljar et al. Lane detection and lane departure warning using front view camera in vehicle
Rathnayake et al. Lane detection and prediction under hazy situations for autonomous vehicle navigation
VÁPENíK et al. Object tracking in multicamera systems

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120907

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130917

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150820

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170920

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 10