KR100886323B1

KR100886323B1 - 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치

Info

Publication number: KR100886323B1
Application number: KR1020070102275A
Authority: KR
Inventors: 전재욱; 조정욱; 진승훈; 김동균; 다이 쑨 팜; 이대로; 김기훈
Original assignee: 성균관대학교산학협력단
Priority date: 2007-10-10
Filing date: 2007-10-10
Publication date: 2009-03-04

Abstract

본 발명은 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치에 관한것으로, 보다 자세하게는 순차적으로 입력되는 영상으로부터 복수의 윈도우를 생성하고, 상기 각 윈도우에 배치되는 픽셀의 값에 따른 현재히스토그램을 생성하는 히스토그램 생성부와; 상기 각 현재히스토그램과 추적 대상으로 기 설정된 기준히스토그램 간 유사도를 산출하는 유사도 산출부와; 상기 현재히스토그램 중 상기 기준히스토그램과 상기 산출된 유사도가 가장 높은 상기 현재히스토그램을 추출하고, 상기 추출된 현재히스토그램에 해당하는 상기 윈도우를 추적 대상으로 선정하는 추적대상 선정부와; 상기 추적 대상으로 선정된 상기 윈도우의 상기 현재히스토그램과 상기 유사도를 상기 기준히스토그램에 반영하여 상기 기준히스토그램을 수정하는 수정부를 포함한다. 이에 따라, 본 발명은 추적대상으로 선정된 물체에 해당하는 윈도우의 기준히스토그램과 순차적으로 입력되는 영상의 윈도우의 현재히스토그램 간 유사도를 측정하여 물체의 위치를 추적하는 한편, 유사도 및 추적대상으로 선정된 윈도우의 현재히스토그램에 기초하여 기준히스토그램을 수정하여 추적대상으로 선정된 물체의 색상 또는 밝기의 변화가 발생하더라도 지속적으로 추적이 가능한 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치를 제공한다.

Description

컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치{METHORD AND APPARATUS FOR REAL-TIME OBJECT TRACKING USING COLOR HISTOGRAMS}

본 발명은 추적대상으로 선정된 물체에 해당하는 윈도우의 기준히스토그램과 순차적으로 입력되는 영상의 윈도우의 현재히스토그램 간 유사도를 측정하여 물체의 위치를 추적하는 한편, 유사도 및 추적대상으로 선정된 윈도우의 현재히스토그램에 기초하여 기준히스토그램을 수정하여 추적대상으로 선정된 물체의 색상 또는 밝기의 변화가 발생하더라도 지속적으로 추적이 가능한 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치를 제공한다.

일반적으로 영상의 색 정보를 사용한 추적기술은 영상 내의 특정 물체가 이동할 시, 상기 물체의 색을 통해 영상 내에 상기 물체의 위치를 판별하는 기술로써, 공장 자동화, 로봇, 방송, 무인감시시스템, 보안시스템, 통신망을 통한 원격회의, 무인 비행체의 제어 등 다양한 응용 분야에서 요구되고 있다. 또한, 인간이 시각 정보를 통하여 많은 정보를 얻는 것을 고려할 때, 미래에는 더욱 넓은 응용분야가 도출될 전망이다.

종래의 영상의 색 정보를 사용한 추적기술은 흑백 영상을 입력받아 확률에 기반을 두어 물체의 이동에 따라 다음번에는 물체가 어느 지점으로 이동하였을 것이라고 예상하고 해당 지점을 탐색하는 방식으로 수행이 되었다.

그러나, 종래의 추적기술은 물체의 이동 속도가 매우 빠르거나 이동 방향이 불규칙할 경우 추적 성능이 급격하게 저하되는 문제점을 가지고 있다. 이에, 최근에는 물체가 가지는 고유의 색을 이용한 추적이 관심을 끌고 있다.

영상 내 물체의 색 정보는 물체를 다른 영상의 요소들과 구분 지을 수 있는 중요한 특징 중의 하나로써 물체의 색상이 고유하여 물체와 비슷한 색상을 가진 요소가 영상 내 존재하지 않을 경우 매우 정확한 추적 결과를 얻을 수 있다.

이러한 색 정보에 기반을 둔 추적기술은 기존의 흑백영상 내에서 확률기반의 추적보다 정확한 추적결과를 얻을 수 있다.

그 중 영상 내 물체의 색을 기반으로하는 히스토그램을 이용한 물체 추적의 경우 단순히 색상 자체를 서로 비교하는 것이 아니라 물체를 구성하는 색상의 분포를 바탕으로 추적을 수행하므로 단순한 색의 비교보다 추적 성능이 향상되는 장점이 있었다.

그러나, 종래의 히스토그램을 이용한 물체 추적은 균일한 조도 하에서 물체 추적을 매우 정확하게 수행할 수 있었으나, 조명과 이동하는 물체 간의 각도 변화에 따라 물체의 색상, 밝기가 변화할 시에는, 추적을 더 이상 수행할 수 없게 되는 문제점이 있었다.

예를 들어, 천장에 형광등이 설치된 복도를 한 사람이 걸어가는 상황을 카메라로 촬영하고, 촬영된 영상 내에 사람 얼굴의 피부색에 대한 히스토그램을 생성하고, 생성된 히스토그램에 기초하여 사람의 얼굴을 추적한다고 가정하겠다.

이 경우, 형광등과 사람의 상대적인 위치가 계속 변화하기 때문에 사람 얼굴의 밝기가 계속 변화되고, 사람이 이동하는 방향에 따라 한쪽 얼굴은 어두워지고, 다른쪽 얼굴은 밝아지는 현상이 발생하게 된다. 여기서, 조명에 의해 사람 얼굴의 피부색 및 밝기가 소정 변화하게 되므로, 영상 내에 초기 생성된 히스토그램으로는 더 이상 추적을 수행할 수 없게 되는 문제점이 있었다.

이에, 본 발명은 상술한 문제점을 해소하기 위해 안출된 것으로, 추적대상으로 선정된 물체에 해당하는 윈도우의 기준히스토그램과 순차적으로 입력되는 영상의 윈도우의 현재히스토그램 간 유사도를 측정하여 물체의 위치를 추적하는 한편, 유사도 및 추적대상으로 선정된 윈도우의 현재히스토그램에 기초하여 기준히스토그램을 수정하여 추적대상으로 선정된 물체의 색상 또는 밝기의 변화가 발생하더라도 지속적으로 추적이 가능한 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치를 제공하는데 그 목적이 있다.

상기 목적은 순차적으로 입력되는 영상으로부터 복수의 윈도우를 생성하고, 상기 각 윈도우에 배치되는 픽셀의 값에 따른 현재히스토그램을 생성하는 히스토그램 생성부와; 상기 각 현재히스토그램과 추적 대상으로 기 설정된 기준히스토그램 간 유사도를 산출하는 유사도 산출부와; 상기 현재히스토그램 중 상기 기준히스토그램과 상기 산출된 유사도가 가장 높은 상기 현재히스토그램을 추출하고, 상기 추출된 현재 히스토그램에 해당하는 상기 윈도우를 추적 대상이 되는 추적윈도우로 선정하는 추적대상 선정부와; 상기 추적윈도우의 상기 현재히스토그램과 상기 추적 윈도우에 대응하는 상기 유사도를 상기 기준히스토그램에 반영하여 상기 기준히스토그램을 수정하는 수정부를 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치에 의해 달성된다

여기서, 상기 픽셀의 값은 색 표현 방법에 따라 구분되는 복수의 개별 픽셀값을 포함하고, 상기 현재히스토그램은 상기 각 개별 픽셀값에 대해 생성되는 복수의 개별현재히스토그램을 포함하고, 상기 기준히스토그램은 상기 각 개별현재히스토그램에 대응하여 설정되는 복수의 개별기준히스토그램을 포함하며, 상기 유사도 산출부는 상기 복수의 개별기준히스토그램과 상기 각 개별기준히스토그램에 대응하는 상기 각 개별현재히스토그램 간의 복수의 개별 유사도를 산출하고, 상기 산출된 복수의 개별 유사도를 통합하여 상기 유사도를 산출할 수 있다.

여기서, 상기 수정부는 상기 각 개별기준히스토그램과 상기 각 개별현재히스 토그램에 상기 각 개별 유사도에 기초하여 설정되는 가중치가 반영된 상기 유사도를 반영하여 상기 개별기준히스토그램을 수정할 수 있다.

여기서, 상기 유사도 산출부는 상기 산출된 복수의 개별 유사도 각각에 대해 기 설정된 반영률을 반영하여 상기 유사도를 산출할 수 있다.

여기서, 상기 복수의 개별 픽셀값은 HSV 기반에 의해 구분되는 색도값, 명도값 및 채도값을 포함하며,

상기 수정부는 수학식

(H,S,V는 색도,채도,명도에 대한 히스토그램의 빈(bin)의 개수이고, h,s,v는 색도,채도,명도에 대한 빈(bin)을 나타내는 인덱스(index)이고,

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 상기 색도값에 대한 개별현재히스토그램의 h 번째의 빈(bin)이고,

는 상기 색도값에 대한 개별기준히스토그램의 h 번째의 빈(bin)이고,

는 수정되는 상기 색도값에 대한 개별기준히스 토그램의 h 번째의 빈(bin)이고,

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 상기 채도값에 대한 개별현재히스토그램의 s 번째의 빈(bin)이고,

는 상기 채도값에 대한 개별기준히스토그램의 s 번째의 빈(bin)이고,

는 수정되는 상기 채도값에 대한 개별기준히스토그램의 s 번째의 빈(bin)이고,

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 상기 명도값에 대한 개별현재히스토그램의 v 번째의 빈(bin)이고,

는 상기 명도값에 대한 개별기준히스토그램의 v 번째의 빈(bin)이고,

는 수정되는 상기 명도값에 대한 개별기준히스토그램의 v 번째의 빈(bin)이고,

는 상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 색도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며,

상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 채도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며,

상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 명도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이다)를 통해 상기 기준히스토그램을 수정할 수 있다.

여기서, 상기 수정상수는 상기 유사도와 동일한 값으로 설정될 수 있다.

여기서,

상기 유사도 산출부는

수학식

(H는 색도에 대한 히스토그램의 빈(bin)의 개수이고, h는 색도에 대한 빈(bin)을 나타내는 인덱스(index)이고,

는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 색도값에 대한 개별현재히스토그램의 h 번째의 빈(bin)이고,

는 상기 색도값에 대한 개별 유사도이다)를 통해 상기 색도값에 대한 상기 개별 유사도를 산출하고,

수학식

(S는 채도에 대한 히스토그램의 빈(bin)의 개수이고, s는 채도에 대한 빈(bin)을 나타내는 인덱스(index)이고,

는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 채도값에 대한 개별현재히스토그램의 s 번째의 빈(bin)이고,

는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 채도값에 대한 상기 개별 유사도를 산출하고,

수학식

(V는 명도에 대한 히스토그램의 빈(bin)의 개수이고, v는 명도에 대한 빈(bin)을 나타내는 인덱스(index)이고,

는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 명도값에 대한 개별현재히스토그램의 v 번째의 빈(bin)이고,

는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 명도값에 대한 상기 개별 유사도를 산출하며,

수학식

(

는 유사도이고, α는 상기 유사도에 상기 색도값에 따른 개별 유사도의 반영을 조절하는 상수이고, β는 상기 유사도에 상기 채도값에 따른 개별 유사도의 반영을 조절하는 상수이며, α와 β의 합은 0 내지 1 사이의 값을 가진다)을 통해 상기 유사도를 산출할 수 있다.

또한, 상기 입력되는 영상이 RGB 기반일 경우, 상기 HSV기반으로 변환하는 변환부를 더 포함할 수 있다.

또한, 입력되는 영상으로부터 추적 대상이 되는 영역을 설정하여, 상기 설정된 영역의 히스토그램을 기준히스토그램으로 설정하는 기준설정부를 더 포함할 수 있다.

한편, 상기 목적은 본 발명에 따른 순차적으로 입력되는 영상으로부터 복수의 윈도우를 생성하는 단계와; 상기 각 윈도우에 배치되는 픽셀의 값에 따른 현재히스토그램을 생성하는 단계와; 상기 각 현재히스토그램과 추적 대상으로 기 설정된 기준히스토그램 간 유사도를 산출하는 단계와; 상기 현재히스토그램 중 상기 기준히스토그램과 상기 산출된 유사도가 가장 높은 상기 현재히스토그램을 추출하는 단계와; 상기 추출된 현재히스토그램에 해당하는 상기 윈도우를 추적 대상이 되는 추적윈도우로 선정하는 단계와; 상기 추적윈도우의 상기 현재히스토그램과 상기 추적 윈도우에 대응하는 상기 유사도를 상기 기준히스토그램에 반영하여 상기 기준히스토그램을 수정하는 단계를 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 방법에 의해서도 달성된다.

여기서, 상기 픽셀의 값은 색 표현 방법에 따라 구분되는 복수의 개별 픽셀값을 포함하고, 상기 현재히스토그램은 상기 각 개별 픽셀값에 대해 생성되는 복수의 개별현재히스토그램을 포함하고, 상기 기준히스토그램은 상기 각 개별현재히스토그램에 대응하여 설정되는 복수의 개별기준히스토그램을 포함하며, 상기 유사도를 산출하는 단계는 상기 복수의 개별기준히스토그램과 상기 각 개별기준히스토그램에 대응하는 상기 각 개별현재히스토그램 간의 복수의 개별 유사도를 산출하는 단계와; 상기 산출된 복수의 개별 유사도를 통합하여 상기 유사도를 산출하는 단계를 포함할 수 있다.

여기서, 상기 기준히스토그램을 수정하는 단계는 상기 각 개별기준히스토그램과 상기 각 개별현재히스토그램에 상기 각 개별 유사도에 기초하여 설정되는 가중치가 반영된 상기 유사도를 반영하여 상기 개별기준히스토그램을 수정하는 단계를 포함할 수 있다.

여기서, 상기 기준히스토그램을 수정하는 단계는 상기 산출된 복수의 개별 유사도 각각에 대해 기 설정된 반영률을 반영하여 상기 유사도를 산출하는 단계를 포함할 수 있다.

여기서, 상기 복수의 개별 픽셀값은 HSV 기반에 의해 구분되는 색도값, 명도값 및 채도값을 포함하며, 상기 기준히스토그램을 수정하는 단계는 수학식

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 상기 색도값에 대한 개별현재 히스토그램의 h 번째의 빈(bin)이고,

는 수정되는 상기 색도값에 대한 개별기준히스토그램의 h 번째의 빈(bin)이고,

는 중심픽셀이

상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 명도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이다)를 통해 상기 기준히스토그램을 수정하는 단계를 포함할 수 있다.

또한, 상기 유사도를 산출하는 단계는

수학식

는 상기 색도값에 대한 개별 유사도이다)를 통해 상기 색도값에 대한 상기 개별 유사도를 산출하는 단계와;

수학식

는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 채도값에 대한 상기 개별 유사도를 산출하는 단계와;

수학식

는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 명도값에 대한 상기 개별 유사도를 산출하는 단계와;

수학식

(

는 유사도이고, α는 상기 유사도에 상기 색도값에 따른 개별 유사도의 반영을 조절하는 상수이고, β는 상기 유사도에 상기 채도값에 따른 개별 유사도의 반영을 조절하는 상수이며, α와 β의 합은 0 내지 1 사이의 값을 가진다)을 통해 상기 유사도를 산출하는 단계를 포함할 수 있다.

또한, 상기 입력되는 영상이 RGB 기반일 경우, 상기 HSV기반으로 변환하는 단계를 더 포함할 수 있다.

또한, 입력되는 영상으로부터 추적 대상이 되는 영역을 설정하여, 상기 설정된 영역의 히스토그램을 기준히스토그램으로 설정하는 단계를 더 포함할 수 있다.

본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치는 추적대상으로 선정된 물체에 해당하는 윈도우의 기준히스토그램과 순차적으로 입력되는 영상의 윈도우의 현재히스토그램 간 유사도를 측정하여 물체의 위치를 추적하는 한편, 유사도에 및 추적대상으로 선정된 윈도우의 현재히스토그램에 기초하여 기준히스토그램을 수정하여 추적대상으로 선정된 물체의 색상 또는 밝기의 변화가 발생하더라도 지속적으로 추적이 가능한 탁월한 효과가 있다.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치에 대하여 상세히 설명한다.

본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 장치(1)는 도 1에 도시된 바와 같이, 영상부(10), 변환부(20), 히스토그램 생성부(30), 저장부(50), 유사도 산출부(40), 추적대상 선정부(60), 수정부(70) 및 기준설정부(80)를 포함한다.

영상부(10)에는 카메라(110)를 통해 촬영되는 영상이 순차적으로 입력되고, 영상의 신호를 디지털화하여 영상 정보를 생성한다.

본 발명에서 의미하는 영상의 신호는 카메라(110)로부터 매 클럭마다 하나의 픽셀값만이 입력되고 이를 영상부(10)에서 재구성하여 사용하는 것을 의미한다. 여기서 재구성이라는 말은 현재 입력되는 픽셀이 영상의 어느 위치에 있는지를 판단하는 과정, 즉, 해당 픽셀의 좌표를 파악하는 과정을 나타낸다.

또한, 카메라(10)에서 출력하는 동기신호에는 수직동기신호, 수평동기신호 카메라에 따라 유효구간을 나타내는 별도의 신호가 존재할 수 있다. 상술한 동기신호를 바탕으로 현재 입력되는 픽셀이 영상 내 어느 좌표 위치에 있는지를 판단한다. 가령, 폭 640, 높이 480의 VGA 해상도의 영상(640x480 영상)의 경우 좌측 최상단 (1,1) 위치의 픽셀부터 시작해서 우측 최하단 (480,640)의 마지막 위치의 픽셀이 한 클럭(clock)에 하나씩 입력이 된다.

카메라(110)는 카메라 신호 규격에 대한 제약 없이 컬러 영상이 촬영 가능한 카메라 모두를 지칭한다. 그리고, 카메라의 컬러 모델에 있어서 본 발명에서는 현재 동 업계에서 널리 사용되고 있는 RGB 컬러 모델을 기본으로 하였으나, 이에 한정되지는 않는다.

변환부(20)는 영상부(10)로 RGB 기반의 영상 신호가 입력되면, 픽셀의 색 표 면 방법 중 하나인 HSV(색도,채도,명도)기반의 영상 신호로 변환한다.

RGB 기반의 영상에서 픽셀은 RGB(적색,녹색,청색)의 세 가지 요소로 구성되는 컬러 모델을 사용한다. 각 색 성분들의 크기는 모두 0~256으로 동일하다. RGB 기반의 영상은 3가지 색의 조합으로 색를 표현하므로 직관적이지 않은 단점이 있고, 명확한 색 분리가 힘들다.

이에, 변환부(20)는 RGB 기반의 영상 신호가 입력되면, 이를 HSV 기반의 영상 신호로 변환한다. HSV 기반의 영상은 색도(HUE), 채도(SATURATION), 명도(VALUE)의 조합으로 되는 컬러 모델을 사용한다. 색도는 사람의 눈으로 관찰되는 것과 같은 색상을 나타내고, 채도는 그 색도가 선명한 정도를 명도는 컬러의 밝기를 나타낸다.

HSV 컬러 모델에서 채도는 원 형태로 회전에 따라서 색상이 변하게 되는데 0도에서는 빨강색 성분만이 존재하고, 120도에서는 녹색 성분만이, 240도에서는 파랑색 성분만이 존재하고 360도는 0도와 동일하다. 그 외의 각도에서는 양측 기준 원색이 조합된 색상을 가진다. 본 발명에서는 360가지의 색도를 256가지로 평준화해서 사용한다. HSV 컬러 모델의 채도와 명도는 RGB 컬러 모델과 동일하게 0~255의 값을 가진다. HSV 컬러 모델은 RGB 컬러 모델에 비해 컬러 성분을 사람의 눈으로 보는 것과 같이 직관적으로 분리하게 된다. HSV 컬러 모델도 RGB와 동일하게 각각 256가지의 값을 가진다.

그러나, 영상이 RGB 기반이라 할지라도 물체 추적이 가능하지만, 일반적으로 HSV 기반으로 변환하였을 경우 추적 성능이 향상되기 때문에 RGB 기반의 영상 신호 를 HSV(색도,채도,명도)기반의 영상 신호로 변환하는 것이다. RGB 기반의 영상을 HSV 기반의 영상으로 변환하는 식은 하기 수학식 1과 같으며, 일반적으로 당업자에게 공지되어 있어 자세한 설명은 생략한다.

(수학식 1)

(R은 적색에 대한 영상 신호, G는 녹색에 대한 영상 신호, B는 청색에 대한 영상 신호, H는 색도에 대한 영상 신호, S는 채도에 대한 영상 신호, V는 명도에 대한 영상 신호이다)

이에, 픽셀의 값은 3종류의 개별 픽셀값을 포함한다. 즉, 픽셀의 값은 색도에 대한 개별픽셀값, 채도에 대한 개별 픽셀값 및 명도에 대한 개별 픽셀값을 포함한다.

히스토그램 생성부(30)는 영상부(10)를 통해 입력되는 영상으로부터 복수의 윈도우를 생성하고, 각 윈도우에 배치되는 픽셀의 값에 따른 현재히스토그램을 생성한다. 현재히스토그램은 개별 픽셀값에 따라 3종류로 생성된다. 즉, 현재히스토 그램은 색도에 대한 개별현재히스토그램(이하에서는 "제1 현재히스토그램"이라고 한다), 채도에 대한 개별현재히스토그램(이하에서는 "제2 현재히스토그램"이라고 한다), 및 명도에 대한 개별히스토그램(이하에서는 "제3 현재히스토그램"이라고 한다)을 포함한다.

히스토그램을 생성하기 위해서는 윈도우 기반의 영상 처리 구조가 필요하다. 윈도우 기반의 영상처리는 영상의 어느 한 픽셀의 값을 결정하기 위해서 입력 영상에서 해당 픽셀(중심픽셀)의 위치를 중심으로 주변 영역의 픽셀(주변픽셀)들의 값이 필요한 경우를 말한다.

대표적인 윈도우 기반의 영상 처리로는 특정 영역내에서 중간값을 가지는 픽셀을 취해 극단적으로 작거나 큰 값을 가지게 되는 잡음 패턴을 제거하는 미디언 필터와 영역 내 픽셀들의 값 차이, 즉 변위량을 계산하여 물체의 윤곽선을 추출하는 에지 필터 등이 있다. 이러한 윈도우는 영상에서 미끄러지듯이 움직이기 때문에, 소위 슬라이딩윈도우(Sliding Window)라고 칭한다. 윈도우가 움직이는 방향은 화면의 주사방향과 동일한 상하, 좌우이다. 영상을 2차원 배열의 형태로 본다면 행과 열로 나타낼 수 있고, 행은 위에서 아래로 증가하고, 열은 왼쪽에서 오른쪽으로 증가한다. 윈도우는 (1,1) 위치에서 시작하여 (1,2), (1,3)...과 같이 열이 증가하고, 열이 최대로 증가하면 행이 1 증가하면서 열은 다시 1로 돌아가서 위치는 (2,1)이 된다.

이러한 과정을 행의 최대값, 열의 최대값인 영상의 우측 최하단에 도달할 때까지 반복한다. 영상의 우측 최하단에 윈도우가 도달하면 비로소 한 장의 영상에 대한 처리가 완료된 것이다. 윈도우 생성의 특징은 매 픽셀의 처리 결과를 얻기 위해서는 중심픽셀을 기준으로 중심픽셀과 인접한 일정 영역내의 다수의 주변픽셀들의 값이 모두 필요하고, 이러한 픽셀들을 임시적으로 저장하는 것이 윈도우이다.

이와 같은 윈도우 생성은 영상처리에서 매우 널리 사용되는 방식이다. 그러나, 윈도우 생성을 PC상에서 수행을 할 경우 윈도우의 이동에 따라 매번 윈도우에 관한 데이터를 저장하기 위한 메모리 접근이 일어나고, 이는 처리 속도를 급격하게 저하시키는 주요 요인이다. 연산 자체의 처리 시간보다는 윈도우를 생성하기 위해 메모리에서 픽셀값들을 읽어 들이는 시간이 더 긴 경우가 태반이다. 이러한 윈도우 영상 처리를 개선하기 위해 본 발명에서의 윈도우 생성은 본 출원인이 출원한 등록특허공보 제0523848호 "실시간 윈도우 기반 영상 처리 장치”에 의해 개시된 방법으로 수행하였다.

히스토그램은 윈도우 내의 픽셀의 색 분포를 나타낸다.

도 3에 도시된 바와 같이, 영상(120) 내에 생성되는 윈도우(121)는 항상 중심픽셀과 중심픽셀에 인접한 주변 픽셀의 값들을 유지하고 있다. 윈도우의 픽셀 값들의 분포를 판단하여 도 4에 도시된 바와 같은 히스토그램을 생성한다. 본 발명에서는 히스토그램이 0 내지 255의 총 256개의 경우의 수를 가지는 픽셀 값들의 분포 상황을 나타내는 것을 일 예로 하였으나, 0 내지 1023의 총 1024개의 경우의 수를 가지는 픽셀 값들의 분포 상황을 나타내는 등 경우의 수가 가변될 수 있음은 물론이다.

여기서, 히스토그램 빈(bin)이라는 용어를 사용하는데 히스토그램 빈은 총 경우의 수를 몇 가지 영역으로 나눌 것 인가를 결정하는 것이다. 예를 들어 8개의 빈(bin)을 사용하여 해당 윈도우의 명도, 색도 및 채도에 대한 히스토그램을 생성하고 8개의 값 영역으로 설정한다고 가정하면, 각 영역의 크기는 256/8이 되어 32가 된다. 이에, 도 4에 도시된 바와 같이, 명도, 색도 및 채도에 대한 히스토그램의 각 영역은 0~31, 32~63, 64~95, 96~127, 128~159, 160~191, 192~223, 224~255 총 8 단계로 구분된다.

이는 도 3에 도시된 각 윈도우(121)의 각 영역에 해당하는 픽셀 값을 가지는 픽셀들의 개수를 구한다. 예컨데, 도 3에 도시된 영상(120)이 각 윈도우(121)의 명도의 분포라고 가정하고, 명도에 대한 히스토그램을 구하면 도 4와 같은 결과를 얻는다. 도 4는 이해를 돕기 위해 생성된 히스토그램을 그래프로 표현을 한 것이다.

히스토그램은 매 클럭마다 윈도우의 중심픽셀의 위치가 위에서 아래, 왼쪽에서 오른쪽으로 변경이 되므로 이에 맞추어서 매번 변경이 된다. 결국, 영상 내에 생성되는 모든 윈도우에 대한 현재히스토그램을 생성하게 된다.

(수학식 2)

상기 수학식 2에서

,

는 각각 색도(Hue), 채도(Saturation), 명도(Value)의 현재히스토그램을 의미한다. H,S,V는 히스토그램 빈(bin)의 개수, 즉, 전체 경우의 수를 몇 단계로 나눌것인지를 의미한다. H,S,V의 값이 커질수록 히스토그램의 정확도는 향상이 되나 이에 따른 연산량은 비례하여 커지게 된다. h,s,v는 각 단계의 빈(bin)을 나타내는 인덱스(index)이다. 예를 들어, H,S,V의 값이 8이라면 h,s,v는 1,2,3,4,5,6,7,8를 의미한다.

는 색도에 대한 제1 현재히스토그램의 h 번째의 빈(bin),

는 채도에 대한 제2 현재히스토그램의 v 번째의 빈(bin),

는 명도에 대한 제3 현재히스토그램의 v 번째의 빈(bin)을 의미하며, 하기 수학식 3에 나타난 바와 같이 h,s,v의 1부터 H,S,V 까지의 각각의 단계에 속하는 픽셀의 개수를 나타낸다.

(수학식 3)

결론적으로 현재히스토그램(

,

)은 각 제1 현재히스토그램 의 h 개의 빈(bin)(

), 제2 현재히스토그램의 s 개의 빈(bin)(

) 및 제3 히스토그램의 h 개의 빈(bin)(

)을 열성분으로 가지는 행 벡터라고 할 수 있다.

한편, 현재히스토그램이 HSV 기반에 기초하여 제1 현재히스토그램, 제2 현재히스토그램 및 제3 현재히스토그램으로 구분되었듯이, 기준히스토그램도 HSV 기반에 기초하여 색도에 대한 개별기준히스토그램(이하, "제1 기준히스토그램"이라고 한다), 채도에 대한 개별기준히스토그램(이하, "제2 기준히스토그램"이라고 한다) 및 명도에 대한 개별기준히스토그램(이하, "제3 기준히스토그램"이라고 한다)으로 설정된다.

기준히스토그램은 관리자에 의해 외부입력장치(90)를 통해 입력되는 설정에 기초하여 입력되는 영상으로부터 추적 대상이 되는 영역을 설정하여, 상기 설정된 영역의 히스토그램을 기준설정부(80)에 의해 기준히스토그램으로 설정될 수 있으며, 설정된 기준히스토그램은 저장부(50)에 저장된다.

(수학식 4)

(

은 제1 기준히스토그램이고,

는 제1 기준히스토그램의 h 번째의 빈(bin)이고,

은 는 제2 기준히스토그램이고,

는 제2 기준히스토그램의 s 번째의 빈(bin)이고,

은 제3 기준 히스토그램이고,

은 제3 기준히스토그램의 v 번째 빈(bin)이다.)

상기 수학식 4 및 하기 수학식 5에 나타난 바와 같이, 제1 기준히스토그램, 제2 기준히스토그램 및 제3 기준히스토그램도 각 기준히스토그램의 h,s,v 각각의 개수의 빈(bin)을 통해 현재히스토그램과 동일한 방식으로 생성된다.

(수학식 5)

유사도 산출부(40)는 매 클럭마다 현재 픽셀 위치에 대한 현재히스토그램과 기준히스토그램을 비교하여 유사도를 산출한다.

가령 윈도우가 480 X 680 윈도우라고 가정하면, 윈도우는 픽셀 위치가 (1,1)에서 (480,640)까지 총 307,200번 변경이 되므로, 현재히스토그램은 307,200개가 생성된다.

이 경우, 기준히스토그램이과 현재히스토그램 간 307,200번의 비교가 일어나게 되어 각 비교 간 유사도가 산출된다. 여기서, 각 기준히스토그램 및 현재히스토그램은 HSV 기반으로 생성되었으므로, 유사도(이하, "통합유사도"라고 한다)는 제1 기준히스토그램과 제1 현재히스토그램간 비교에 따른 개별 유사도(이하, "제1 유사도"라고 한다), 제2 기준히스토그램과 제2 현재히스토그램간 비교에 따른 개별 유사도(이하, "제2 유사도"라고 한다) 및 제3 기준히스토그램과 제3 현재히스토그램간 비교에 따른 개별 유사도(이하, "제3 유사도"라고 한다)가 우선 산출되어야 한다.

(수학식 6)

는 중심픽셀이 (x,y) 좌표에 배치되는 윈도우의 제1 현재히스토그램의 h 번째의 빈(bin)이고,

는 제1 기준히스토그램의 h 번째의 빈(bin)이고,

는 제1 유사도이다)

(수학식 7)

는 중심픽셀이 (x,y) 좌표에 배치되는 윈도우의 제2 현재히스토그램의 s 번째의 빈(bin)이고,

는 제2 기준히스토그램의 s 번째의 빈(bin)이고,

는 제2 유사도이다)

(수학식 8)

는 중심픽셀이 (x,y) 좌표에 배치되는 윈도우의 제2 현재히스토그램의 v 번째의 빈(bin)이고,

는 제3 기준히스토그램의 v 번째의 빈(bin)이고,

는 제3 유사도이다)

상기 수학식 6 내지 수학식 8을 통해 제1 유사도, 제2 유사도 및 제3 유사도가 산출된다.

상기 수학식 6 내지 수학식 8에 나타난 바와 같이, 현재히스토그램과 기준 히스토그램의 빈(bin)을 모두 곱한 결과에 루트를 취해 모두 더한 것을 나타내며, 현재히스토그램의 각각의 빈(bin)과 기준히스토그램의 각각의 빈(bin)이 동일할 때 각 유사도는 최대의 값을 가지게 된다.

상기 수학식 6 내지 수학식 8을 통해 산출한 제1 유사도, 제2 유사도 및 제3 유사도는 하기 수학식 9를 통해 통합되어 통합유사도로 산출된다

(수학식 9)

(

는 통합유사도이고, α는 통합유사도에 제1 유사도의 반영을 조절하는 상수이고, β는 통합유사도에 제2 유사도의 반영을 조절하는 상수이며, α와 β의 합은 0 내지 1 사이의 값을 가진다)

상기 수학식 9에 나타난 바와 같이, 반영률α 및 β를 통하여 통합유사도에 반영되는 제1 유사도, 제2 유사도 및 제3 유사도의 반영 정도를 조절할 수 있다.

추적대상 선정부(60)는 통합유사도가 가장 높은 현재히스토그램을 추출하고, 추출된 현재히스토그램에 해당하는 윈도우를 추적윈도우로 선정한다.

(수학식 10)

(

는 통합유사도이고,

는 통합유사도가 가장 최대의 값을 가지는 추적윈도우의 좌표이다.)

상기 수학식 10에 나타난 바와 같이, 영상 내 모든 윈도우에 대하여 통합유사도를 구하고, 통합유사도가 가장 높은 윈도우를 추적윈도우로 선정하게 된다.

선정된 추적윈도우는 디스플레이부(100)를 통해 화면으로 출력된다.

도 5 내지 도 8에서는 상기 과정을 통해 영상 내 이동하는 물체를 추적하는 상황이 디스플레이부(100)를 통해 출력되는 상태를 도시하였다. A는 추적물체이고, B는 추적윈도우이다.

수정부(70)는 하기 수학식 11을 통해 추적윈도우의 현재히스토그램과 통합유사도를 기준히스토그램에 반영하여 기준히스토그램을 수정한다.

기준히스토그램이 수정되는 것은 추적대상 선정부(60)에서 수정부(70)로 출력하는 현재 프레임에서의 최종적인 추적결과에 해당하는 추적윈도우의 현재히스토그램, 및 통합유사도에 기초한다.

기준히스토그램의 수정은 실제의 환경에서 조명의 변화, 물체의 이동에 따라 물체의 색상이나 밝기가 변화하기 때문이다. 기준히스토그램의 수정에 대한 고려가 없을 경우, 일정 이상으로 물체의 색상이나 밝기가 변하였을 시 물체의 추적이 불가능하게 된다. 이를 해소하기 위해서 매번 추적윈도우의 현재히스토그램을 기준 히스토그램에 반영하여 물체 자체의 변화에 적응하도록 한다. 본 방법을 이용하면 물체의 색상 또는 밝기가 변화하더라도 추적이 중단되는 것을 방지하여 지속적인 추적이 가능하다.

(수학식 11)

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 제1 현재히스토그램의 h 번째 빈(bin)이고,

는 제1 기준히스토그램의 h 번째 빈(bin)이고,

는 수정되는 제1 기준히스토그램의 h 번째 빈(bin)이고,

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 제2 현재히스토그램의 s 번째 빈(bin)이고,

는 제2 기준히스토그램의 s 번째 빈(bin)이고,

는 수정되는 제2 기준히스토그램의 s 번째 빈(bin)이고,

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 제3 현재히스토그램의 v 번째 빈(bin)이고,

는 제3 기준히스토그램의 v 번째 빈(bin)이고,

는 수정되는 제3 기준히스토그램의 v 번째 빈(bin)이고,

는 상기 통합유사도에 따라 임의로 부여되되 상기 추적윈도우의 제1 현재히스토그램 및 제1 기준히스토그램에 반영되는 상기 통합유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며, 이고,

상기 통합유사도에 따라 임의로 부여되되 상기 추적윈도우의 제2 현재히스토그램 및 제2 기준히스토그램에 반영되는 상기 통합유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며,

상기 통합유사도에 따라 임의로 부여되되 상기 추적윈도우의 제3 현재히스토그램 및 제3 기준히스토그램에 반영되는 상기 통합유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이다)

상기 수학식 11은 물체의 색상 또는 밝기의 변화에 대응하여 기준히스토그램을 수정하는 것을 나타낸다.

여기서, 각 수정상수는 하기 수학식 12에 의해 정의된다.

(수학식 12)

(

는 통합유사도이며, x는 상기 추적윈도우의 제1 현재히스토그램 및 제1 기준히스토그램에 반영되는 상기 통합유사도의 가중치이고, y는 상기 추적윈도우의 제2 현재히스토그램 및 제2 기준히스토그램에 반영되는 통합유사도의 가중치이고, z는 상기 추적윈도우의 제3 현재히스토그램 및 제3 기준히스토그램에 반영되는 상기 통합유사도의 가중치이다)

상기 수학식 12에 나타난 바와 같이, 가중치 x,y,z를 조절하여 각 현재히스토그램 및 각 기준히스토그램에 반영되는 통합유사도의 가중치를 조절할 수 있다.

수정상수가 0이라면 기준히스토그램을 그대로 유지하게 되고, 가중치 x,y,z 및 수정상수가 각 1이라면 기준히스토그램을 현재 장에서 추적된 물체의 히스토그램으로 완전히 대치시킨다.

사용 환경에 맞게 수정상수를 조절하면 보다 높은 추적 성능을 얻을 수 있다. 즉, 통합유사도가 어느 정도 이상인 경우만 기준 모델 히스토그램의 변경을 수행하여, 혹시 있을지 모를 잘못된 추적으로 인한 기준 물체의 변경을 방지할 수 있다.

일예로, 가중치 x,y,z가 각 1로 고정되고, 통합유사도의 최적 결과가 1이고, 최악의 경우 0.1이라고 가정하면, 0.5를 기준으로 하여 통합유사도가 0.5 이상일 경우에 수정상수는 1이 되어 현재히스토그램으로 기준히스토그램을 완전히 대치하고, 통합유사도가 0.5 이하일 경우에 수정상수는 0이 되어 기준히스토그램을 수정없이 계속 사용하도록 할 수 있다.

또한, 수정상수를 [0, 0.2, 0.4, 0.6, 0.8, 1]과 같이 여러 단계로 구분하고 통합유사도에 따라 다른 수정상수를 할당하여 갱신정도를 통합유사도에 따라 조절할 수 있다. 또는 통합유사도의 최적 결과가 1이고, 최악의 경우 0.1이라고 가정하면, 통합유사도와 수정상수를 동일한 값으로 설정하여 통합유사도 자체를 수정상수로 사용할 수도 있다. 이처럼, 본 발명에서 제안하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치(1)는 물체의 색상 또는 밝기 변화에도 능동적으로 대응하여 지속적인 추적이 가능하게 된다.

이하에서는 도 2를 참조하여 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법에 대하여 상세히 설명한다.

카메라(110)를 통해 영상부(10)로 영상이 입력되고(S1), 영상이 HSV 기반의 영상이 아닌 RGB 기반의 영상일 경우(S2) 변환부(20)에 의해 RGB 기반의 영상이 HSV 기반의 영상으로 변환된다(S3).

입력거나 변환된 HSV 기반의 영상에서는 히스토그램 생성부(30)에 의해 중심픽셀과 중심픽셀에 인접한 주변픽셀로 마련되는 복수의 윈도우가 생성되고(S4), 생성된 윈도우에 배치되는 픽셀의 명도, 채도, 색도에 대응하는 제1 현재히스토그램, 제2 현재히스토그램, 및 제3 현재히스토그램이 생성된다(S5).

생성된 각 현재히스토그램은 유사도 산출부(40)에 의해 기 설정되어 저장부(50)에 저장된 명도, 채도, 색도에 대응하는 각 기준히스토그램과 비교되어 명도, 채도, 색도에 대응하는 제1 유사도, 제2 유사도 및 제3 유사도가 산출되고(S6), 제1 유사도, 제2 유사도 및 제3 유사도에 기초하여 통합유사도가 산출된 다(S7).

추적대상 선정부에 의해 산출된 통합유사도가 가장 높은 현재히스토그램을 추출하고, 추출된 현재히스토그램에 해당하는 윈도우를 추적윈도우로 선정하여 디스플레이한다(S8).

그리고, 관리자가 외부입력장치(90) 및 기준설정부(80)를 기준히스토그램을 재설정하면(S9), 재설정된 기준히스토그램이 저장부(60)에 저장된다(S10).

관리자가 외부입력장치(90) 및 기준설정부(80)를 통해 기준히스토그램이 재설정하지 않으면(S9), 통합유사도가 기준 이하인지 판별(S11)하여 기준 이하이면 기준히스토그램을 수정없이 계속 사용할 수 있고(S12), 통합유사도가 기준 이상이면 상술한 바와 같이 통합유사도와 현재히스토그램으로 기준히스토그램을 수정하여 사용한다(S13). 수정된 기준히스토그램은 저장부(60)에 저장되어 추후 입력되는 영상의 현재히스토그램과 유사도를 산출할 시 사용된다.

이에 따라, 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치는 추적대상으로 선정된 물체에 해당하는 윈도우의 기준히스토그램과 순차적으로 입력되는 영상의 윈도우의 현재히스토그램 간 유사도를 측정하여 물체의 위치를 추적하는 한편, 유사도 및 추적대상으로 선정된 윈도우의 현재히스토그램에 기초하여 기준히스토그램을 수정하여 추적대상으로 선정된 물체의 색상 또는 밝기의 변화가 발생하더라도 지속적으로 추적이 가능하다.

비록 본 발명의 실시예가 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으 면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

도 1은 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 장치를 도시한 블럭도이고,

도 2는 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법을 도시한 순서도이고,

도 3은 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 장치 및 이를 이용한 추적 방법을 통해 영상에서 생성된 윈도우의 일예를 도시한 도면이고,

도 4는 도 3에 도시된 윈도우에 기초하여 생성된 히스토그램의 일예를 도시한 도면이고,

도 5 내지 도 8은 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치를 통해 물체가 추적되는 상황의 사진이다.

Claims

순차적으로 입력되는 영상으로부터 복수의 윈도우를 생성하고, 상기 각 윈도우에 배치되는 픽셀의 값에 따른 현재히스토그램을 생성하는 히스토그램 생성부와;

상기 각 현재히스토그램과 추적 대상으로 기 설정된 기준히스토그램 간 유사도를 산출하는 유사도 산출부와;

상기 현재히스토그램 중 상기 기준히스토그램과 상기 산출된 유사도가 가장 높은 상기 현재히스토그램을 추출하고, 상기 추출된 현재히스토그램에 해당하는 상기 윈도우를 추적 대상이 되는 추적윈도우로 선정하는 추적대상 선정부와;

상기 추적윈도우의 상기 현재히스토그램과 상기 추적 윈도우에 대응하는 상기 유사도를 상기 기준히스토그램에 반영하여 상기 기준히스토그램을 수정하는 수정부를 포함하되,

상기 픽셀의 값은 색 표현 방법에 따라 구분되는 복수의 개별 픽셀값을 포함하고,

상기 현재히스토그램은 상기 각 개별 픽셀값에 대해 생성되는 복수의 개별현재히스토그램을 포함하고,

상기 기준히스토그램은 상기 각 개별현재히스토그램에 대응하여 설정되는 복수의 개별기준히스토그램을 포함하며,

상기 유사도 산출부는 상기 복수의 개별기준히스토그램과 상기 각 개별기준히스토그램에 대응하는 상기 각 개별현재히스토그램 간의 복수의 개별 유사도를 산출하고, 상기 산출된 복수의 개별 유사도를 통합하여 상기 유사도를 산출하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치.
삭제
제1항에 있어서,

상기 수정부는 상기 각 개별기준히스토그램과 상기 각 개별현재히스토그램에 상기 각 개별 유사도에 기초하여 설정되는 가중치가 반영된 상기 유사도를 반영하여 상기 개별기준히스토그램을 수정하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치.
제3항에 있어서,

상기 유사도 산출부는 상기 산출된 복수의 개별 유사도 각각에 대해 기 설정된 반영률을 반영하여 상기 유사도를 산출하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치.
제4항에 있어서,

상기 복수의 개별 픽셀값은 HSV 기반에 의해 구분되는 색도값, 명도값 및 채도값을 포함하며,

상기 수정부는 수학식

(H,S,V는 색도,채도,명도에 대한 히스토그램의 빈(bin)의 개수이고, h,s,v는 색도,채도,명도에 대한 빈(bin)을 나타내는 인덱스(index)이고,
는 중심픽셀이
좌표에 배치된 상기 추적윈도우의 상기 색도값에 대한 개별현재히스토그램의 h 번째의 빈(bin)이고,
는 상기 색도값에 대한 개별기준히스토그램의 h 번째의 빈(bin)이고,
는 수정되는 상기 색도값에 대한 개별기준히스토그램의 h 번째의 빈(bin)이고,
는 중심픽셀이
좌표에 배치된 상기 추적윈도우의 상기 채도값에 대한 개별현재히스토그램의 s 번째의 빈(bin)이고,
는 상기 채도값에 대한 개별기준히스토그램의 s 번째의 빈(bin)이고,
는 수정되는 상기 채도값에 대한 개별기준히스토그램의 s 번째의 빈(bin)이고,
는 중심픽셀이
좌표에 배치된 상기 추적윈도우의 상기 명도값에 대한 개별현재히스토그램의 v 번째의 빈(bin)이고,
는 상기 명도값에 대한 개별기준히스토그램의 v 번째의 빈(bin)이고,
는 수정되는 상기 명도값에 대한 개별기준히스토그램의 v 번째의 빈(bin)이고,
는 상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 색도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며,
상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 채도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며,
상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 명도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이다)를 통해 상기 기준히스토그램을 수정하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치.
제5항에 있어서,

상기 수정상수는 상기 유사도와 동일한 값으로 설정되는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치.
제5항 또는 제6항에 있어서,

상기 유사도 산출부는

수학식
(H는 색도에 대한 히스토그램의 빈(bin)의 개수이고, h는 색도에 대한 빈(bin)을 나타내는 인덱스(index)이고,
는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 색도값에 대한 개별현재히스토그램의 h 번째의 빈(bin)이고,
는 상기 색도값에 대한 개별기준히스토그램의 h 번째의 빈(bin)이고,
는 상기 색도값에 대한 개별 유사도이다)를 통해 상기 색도값에 대한 상기 개별 유사도를 산출하고,

수학식
(S는 채도에 대한 히스토그램의 빈(bin)의 개수이고, s는 채도에 대한 빈(bin)을 나타내는 인덱스(index)이고,
는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 채도값에 대한 개별현재히스토그램의 s 번째의 빈(bin)이고,
는 상기 채도값에 대한 개별기준히스토그램의 s 번째의 빈(bin)이고,
는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 채도값에 대한 상기 개별 유사도를 산출하고,

수학식
(V는 명도에 대한 히스토그램의 빈(bin)의 개수이고, v는 명도에 대한 빈(bin)을 나타내는 인덱스(index)이고,
는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 명도값에 대한 개별현재히스토그램의 v 번째의 빈(bin)이고,
는 상기 명도값에 대한 개별기준히스토그램의 v 번째의 빈(bin)이고,
는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 명도값에 대한 상기 개별 유사도를 산출하며,

수학식
(
는 유사도이고, α는 상기 유사도에 상기 색도값에 따른 개별 유사도의 반영을 조절하는 상수이고, β는 상기 유사도에 상기 채도값에 따른 개별 유사도의 반영을 조절하는 상수이며, α와 β의 합은 0 내지 1 사이의 값을 가진다)을 통해 상기 유사도를 산출하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치.
제5항 또는 제6항에 있어서,

상기 입력되는 영상이 RGB 기반일 경우, 상기 HSV기반으로 변환하는 변환부를 더 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치.
제1항, 제3항 또는 제4항 중 어느 한 항에 있어서,

입력되는 영상으로부터 추적 대상이 되는 영역을 설정하여, 상기 설정된 영역의 히스토그램을 기준히스토그램으로 설정하는 기준설정부를 더 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치.
순차적으로 입력되는 영상으로부터 복수의 윈도우를 생성하는 단계와;

상기 각 윈도우에 배치되는 픽셀의 값에 따른 현재히스토그램을 생성하는 단계와;

상기 각 현재히스토그램과 추적 대상으로 기 설정된 기준히스토그램 간 유사도를 산출하는 단계와;

상기 현재히스토그램 중 상기 기준히스토그램과 상기 산출된 유사도가 가장 높은 상기 현재히스토그램을 추출하는 단계와;

상기 추출된 현재히스토그램에 해당하는 상기 윈도우를 추적 대상이 되는 추적윈도우로 선정하는 단계와;

상기 추적윈도우의 상기 현재히스토그램과 상기 추적윈도우에 대응하는 상기 유사도를 상기 기준히스토그램에 반영하여 상기 기준히스토그램을 수정하는 단계를 포함하되,

상기 픽셀의 값은 색 표현 방법에 따라 구분되는 복수의 개별 픽셀값을 포함하고,

상기 현재히스토그램은 상기 각 개별 픽셀값에 대해 생성되는 복수의 개별현재히스토그램을 포함하고,

상기 기준히스토그램은 상기 각 개별현재히스토그램에 대응하여 설정되는 복수의 개별기준히스토그램을 포함하며,

상기 유사도를 산출하는 단계는

상기 복수의 개별기준히스토그램과 상기 각 개별기준히스토그램에 대응하는 상기 각 개별현재히스토그램 간의 복수의 개별 유사도를 산출하는 단계와;

상기 산출된 복수의 개별 유사도를 통합하여 상기 유사도를 산출하는 단계를 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 방법.
삭제
제10항에 있어서,

상기 기준히스토그램을 수정하는 단계는

상기 각 개별기준히스토그램과 상기 각 개별현재히스토그램에 상기 각 개별 유사도에 기초하여 설정되는 가중치가 반영된 상기 유사도를 반영하여 상기 개별기준히스토그램을 수정하는 단계를 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 방법.
제12항에 있어서,

상기 기준히스토그램을 수정하는 단계는

상기 산출된 복수의 개별 유사도 각각에 대해 기 설정된 반영률을 반영하여 상기 유사도를 산출하는 단계를 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 방법.
제13항에 있어서,

상기 복수의 개별 픽셀값은 HSV 기반에 의해 구분되는 색도값, 명도값 및 채도값을 포함하며,

상기 기준히스토그램을 수정하는 단계는

수학식

(H,S,V는 색도,채도,명도에 대한 히스토그램의 빈(bin)의 개수이고, h,s,v는 색도,채도,명도에 대한 빈(bin)을 나타내는 인덱스(index)이고,
는 중심픽셀이
좌표에 배치된 상기 추적윈도우의 상기 색도값에 대한 개별현재히스토그램의 h 번째의 빈(bin)이고,
는 상기 색도값에 대한 개별기준히스토그램의 h 번째의 빈(bin)이고,
는 수정되는 상기 색도값에 대한 개별기준히스토그램의 h 번째의 빈(bin)이고,
는 중심픽셀이
좌표에 배치된 상기 추적윈도우의 상기 채도값에 대한 개별현재히스토그램의 s 번째의 빈(bin)이고,
는 상기 채도값에 대한 개별기준히스토그램의 s 번째의 빈(bin)이고,
는 수정되는 상기 채도값에 대한 개별기준히스토그램의 s 번째의 빈(bin)이고,
는 중심픽셀이
좌표에 배치된 상기 추적윈도우의 상기 명도값에 대한 개별현재히스토그램의 v 번째의 빈(bin)이고,
는 상기 명도값에 대한 개별기준히스토그램의 v 번째의 빈(bin)이고,
는 수정되는 상기 명도값에 대한 개별기준히스토그램의 v 번째의 빈(bin)이고,
는 상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 색도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며,
상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 채도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며,
상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 명도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이다)를 통해 상기 기준히스토그램을 수정하는 단계를 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 방법.
제14항에 있어서,

상기 수정상수는 상기 유사도와 동일한 값으로 설정되는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 방법.
제14항 또는 제15항에 있어서,

상기 유사도를 산출하는 단계는

수학식
(H는 색도에 대한 히스토그램의 빈(bin)의 개수이고, h는 색도에 대한 빈(bin)을 나타내는 인덱스(index)이고,
는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 색도값에 대한 개별현재히스토그램의 h 번째의 빈(bin)이고,
는 상기 색도값에 대한 개별기준히스토그램의 h 번째의 빈(bin)이고,
는 상기 색도값에 대한 개별 유사도이다)를 통해 상기 색도값에 대한 상기 개별 유사도를 산출하는 단계와;

수학식
(S는 채도에 대한 히스토그램의 빈(bin)의 개수이고, s는 채도에 대한 빈(bin)을 나타내는 인덱스(index)이고,
는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 채도값에 대한 개별현재히스토그램의 s 번째의 빈(bin)이고,
는 상기 채도값에 대한 개별기준히스토그램의 s 번째의 빈(bin)이고,
는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 채도값에 대한 상기 개별 유사도를 산출하는 단계와;

수학식
(V는 명도에 대한 히스토그램의 빈(bin)의 개수이고, v는 명도에 대한 빈(bin)을 나타내는 인덱스(index)이고,
는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 명도값에 대한 개별현재히스토그램의 v 번째의 빈(bin)이고,
는 상기 명도값에 대한 개별기준히스토그램의 v 번째의 빈(bin)이고,
는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 명도값에 대한 상기 개별 유사도를 산출하는 단계와;

수학식
(
는 유사도이고, α는 상기 유사도에 상기 색도값에 따른 개별 유사도의 반영을 조절하는 상수이고, β는 상기 유사도에 상기 채도값에 따른 개별 유사도의 반영을 조절하는 상수이며, α와 β의 합은 0 내지 1 사이의 값을 가진다)을 통해 상기 유사도를 산출하는 단계를 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 방법.
제14항 또는 제15항에 있어서,

상기 입력되는 영상이 RGB 기반일 경우, 상기 HSV기반으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 방법.
제10항, 제12항 또는 제13항 중 어느 한 항에 있어서,

입력되는 영상으로부터 추적 대상이 되는 영역을 설정하여, 상기 설정된 영역의 히스토그램을 기준히스토그램으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 방법.