KR100886323B1

KR100886323B1 - Methord and apparatus for real-time object tracking using color histograms

Info

Publication number: KR100886323B1
Application number: KR1020070102275A
Authority: KR
Inventors: 전재욱; 조정욱; 진승훈; 김동균; 다이 쑨 팜; 이대로; 김기훈
Original assignee: 성균관대학교산학협력단
Priority date: 2007-10-10
Filing date: 2007-10-10
Publication date: 2009-03-04

Abstract

A real-time object tracking method and an apparatus thereof using a color histogram capable of continuously tracing the change of an object which is chosen on a track station are provided to modify a reference histogram based on the present histogram of the window which is chosen on the track station. A histogram generator(30) produces a plurality of windows from a successively inputted image. A similarity calculator(40) produces the similarity with the set standards histogram by each present histogram. A tracking target selector(60) extracts a standards histogram and the most high present histogram among the current histograms. The window corresponding to the extracted present histogram is selected as a tracking window. A modifier(70) modifies the standard histogram by reflecting the standard histogram.

Description

Real-time object tracking method and device using color histogram {METHORD AND APPARATUS FOR REAL-TIME OBJECT TRACKING USING COLOR HISTOGRAMS}

본 발명은 추적대상으로 선정된 물체에 해당하는 윈도우의 기준히스토그램과 순차적으로 입력되는 영상의 윈도우의 현재히스토그램 간 유사도를 측정하여 물체의 위치를 추적하는 한편, 유사도 및 추적대상으로 선정된 윈도우의 현재히스토그램에 기초하여 기준히스토그램을 수정하여 추적대상으로 선정된 물체의 색상 또는 밝기의 변화가 발생하더라도 지속적으로 추적이 가능한 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치를 제공한다.The present invention tracks the position of an object by measuring the similarity between the reference histogram of the window corresponding to the object selected as the tracking object and the current histogram of the window of the image which is sequentially input, and the similarity and the current of the window selected as the tracking object. The present invention provides a method and apparatus for real-time object tracking using a color histogram that can continuously track even if a change in color or brightness of an object selected as a tracking target occurs by modifying a reference histogram based on a histogram.

일반적으로 영상의 색 정보를 사용한 추적기술은 영상 내의 특정 물체가 이동할 시, 상기 물체의 색을 통해 영상 내에 상기 물체의 위치를 판별하는 기술로써, 공장 자동화, 로봇, 방송, 무인감시시스템, 보안시스템, 통신망을 통한 원격회의, 무인 비행체의 제어 등 다양한 응용 분야에서 요구되고 있다. 또한, 인간이 시각 정보를 통하여 많은 정보를 얻는 것을 고려할 때, 미래에는 더욱 넓은 응용분야가 도출될 전망이다.In general, a tracking technology using color information of an image is a technology for determining the position of the object in the image by using a color of the object when a specific object in the image moves, such as factory automation, robot, broadcasting, unmanned surveillance system, and security system. , Teleconferences over telecommunications networks, and control of unmanned aerial vehicles. In addition, considering that humans obtain a lot of information through visual information, a wider application field is expected to be derived in the future.

종래의 영상의 색 정보를 사용한 추적기술은 흑백 영상을 입력받아 확률에 기반을 두어 물체의 이동에 따라 다음번에는 물체가 어느 지점으로 이동하였을 것이라고 예상하고 해당 지점을 탐색하는 방식으로 수행이 되었다. The conventional tracking technique using color information of an image is performed based on the probability of receiving a black-and-white image and searching for a corresponding point in anticipation of which point the object has moved to next time as the object moves.

그러나, 종래의 추적기술은 물체의 이동 속도가 매우 빠르거나 이동 방향이 불규칙할 경우 추적 성능이 급격하게 저하되는 문제점을 가지고 있다. 이에, 최근에는 물체가 가지는 고유의 색을 이용한 추적이 관심을 끌고 있다. However, the conventional tracking technology has a problem that the tracking performance is sharply degraded when the moving speed of the object is very fast or the moving direction is irregular. In recent years, tracking using inherent colors of objects has attracted attention.

영상 내 물체의 색 정보는 물체를 다른 영상의 요소들과 구분 지을 수 있는 중요한 특징 중의 하나로써 물체의 색상이 고유하여 물체와 비슷한 색상을 가진 요소가 영상 내 존재하지 않을 경우 매우 정확한 추적 결과를 얻을 수 있다. The color information of an object in the image is one of the important characteristics that distinguishes the object from other elements of the image. The color of the object is unique, so that very accurate tracking results can be obtained when there is no element in the image that has a color similar to the object. Can be.

이러한 색 정보에 기반을 둔 추적기술은 기존의 흑백영상 내에서 확률기반의 추적보다 정확한 추적결과를 얻을 수 있다. The tracking technology based on the color information can obtain more accurate tracking results than the probability-based tracking in the conventional black and white image.

그 중 영상 내 물체의 색을 기반으로하는 히스토그램을 이용한 물체 추적의 경우 단순히 색상 자체를 서로 비교하는 것이 아니라 물체를 구성하는 색상의 분포를 바탕으로 추적을 수행하므로 단순한 색의 비교보다 추적 성능이 향상되는 장점이 있었다. Among them, in the case of tracking an object using a histogram based on the color of an object in the image, tracking is performed based on the distribution of the colors constituting the object, rather than simply comparing the colors themselves with each other. There was an advantage of being.

그러나, 종래의 히스토그램을 이용한 물체 추적은 균일한 조도 하에서 물체 추적을 매우 정확하게 수행할 수 있었으나, 조명과 이동하는 물체 간의 각도 변화에 따라 물체의 색상, 밝기가 변화할 시에는, 추적을 더 이상 수행할 수 없게 되는 문제점이 있었다.However, the object tracking using the histogram can perform the object tracking very accurately under uniform illuminance, but the tracking is no longer performed when the color and the brightness of the object change according to the angle change between the illumination and the moving object. There was a problem that could not be done.

예를 들어, 천장에 형광등이 설치된 복도를 한 사람이 걸어가는 상황을 카메라로 촬영하고, 촬영된 영상 내에 사람 얼굴의 피부색에 대한 히스토그램을 생성하고, 생성된 히스토그램에 기초하여 사람의 얼굴을 추적한다고 가정하겠다.For example, a camera photographs a person walking in a corridor with a fluorescent lamp on the ceiling, generates a histogram of the skin color of a human face in the captured image, and tracks a person's face based on the generated histogram. I suppose.

이 경우, 형광등과 사람의 상대적인 위치가 계속 변화하기 때문에 사람 얼굴의 밝기가 계속 변화되고, 사람이 이동하는 방향에 따라 한쪽 얼굴은 어두워지고, 다른쪽 얼굴은 밝아지는 현상이 발생하게 된다. 여기서, 조명에 의해 사람 얼굴의 피부색 및 밝기가 소정 변화하게 되므로, 영상 내에 초기 생성된 히스토그램으로는 더 이상 추적을 수행할 수 없게 되는 문제점이 있었다.In this case, since the relative position of the fluorescent lamp and the person continuously changes, the brightness of the human face is continuously changed, and one face becomes dark and the other face becomes bright according to the direction in which the person moves. In this case, since the skin color and brightness of the human face are changed by illumination, there is a problem in that tracking can no longer be performed with the histogram initially generated in the image.

이에, 본 발명은 상술한 문제점을 해소하기 위해 안출된 것으로, 추적대상으로 선정된 물체에 해당하는 윈도우의 기준히스토그램과 순차적으로 입력되는 영상의 윈도우의 현재히스토그램 간 유사도를 측정하여 물체의 위치를 추적하는 한편, 유사도 및 추적대상으로 선정된 윈도우의 현재히스토그램에 기초하여 기준히스토그램을 수정하여 추적대상으로 선정된 물체의 색상 또는 밝기의 변화가 발생하더라도 지속적으로 추적이 가능한 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치를 제공하는데 그 목적이 있다.Accordingly, the present invention has been made to solve the above-described problem, the position of the object is tracked by measuring the similarity between the reference histogram of the window corresponding to the object selected as the tracking target and the current histogram of the window of the image sequentially input. On the other hand, the real-time object tracking method using the color histogram that can be continuously tracked even if a change in the color or brightness of the object selected for tracking by modifying the reference histogram based on the similarity and the current histogram of the window selected for tracking And to provide a device.

상기 목적은 순차적으로 입력되는 영상으로부터 복수의 윈도우를 생성하고, 상기 각 윈도우에 배치되는 픽셀의 값에 따른 현재히스토그램을 생성하는 히스토그램 생성부와; 상기 각 현재히스토그램과 추적 대상으로 기 설정된 기준히스토그램 간 유사도를 산출하는 유사도 산출부와; 상기 현재히스토그램 중 상기 기준히스토그램과 상기 산출된 유사도가 가장 높은 상기 현재히스토그램을 추출하고, 상기 추출된 현재 히스토그램에 해당하는 상기 윈도우를 추적 대상이 되는 추적윈도우로 선정하는 추적대상 선정부와; 상기 추적윈도우의 상기 현재히스토그램과 상기 추적 윈도우에 대응하는 상기 유사도를 상기 기준히스토그램에 반영하여 상기 기준히스토그램을 수정하는 수정부를 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치에 의해 달성된다The object may include: a histogram generator for generating a plurality of windows from sequentially input images, and generating a current histogram according to a value of a pixel disposed in each window; A similarity calculator for calculating a similarity between the current histogram and a reference histogram preset as a tracking target; A tracking target selection unit which extracts the current histogram having the highest similarity to the reference histogram from the current histogram and selects the window corresponding to the extracted current histogram as a tracking window to be tracked; And a correction unit for modifying the reference histogram by reflecting the current histogram of the tracking window and the similarity corresponding to the tracking window to the reference histogram.

여기서, 상기 픽셀의 값은 색 표현 방법에 따라 구분되는 복수의 개별 픽셀값을 포함하고, 상기 현재히스토그램은 상기 각 개별 픽셀값에 대해 생성되는 복수의 개별현재히스토그램을 포함하고, 상기 기준히스토그램은 상기 각 개별현재히스토그램에 대응하여 설정되는 복수의 개별기준히스토그램을 포함하며, 상기 유사도 산출부는 상기 복수의 개별기준히스토그램과 상기 각 개별기준히스토그램에 대응하는 상기 각 개별현재히스토그램 간의 복수의 개별 유사도를 산출하고, 상기 산출된 복수의 개별 유사도를 통합하여 상기 유사도를 산출할 수 있다.Here, the pixel value includes a plurality of individual pixel values classified according to a color representation method, and the current histogram includes a plurality of individual current histograms generated for each individual pixel value, and the reference histogram is And a plurality of individual reference histograms set in correspondence with each individual current histogram, wherein the similarity calculator calculates a plurality of individual similarities between the plurality of individual reference histograms and the individual current histograms corresponding to the individual reference histograms. The similarity may be calculated by integrating the calculated plurality of individual similarities.

여기서, 상기 수정부는 상기 각 개별기준히스토그램과 상기 각 개별현재히스 토그램에 상기 각 개별 유사도에 기초하여 설정되는 가중치가 반영된 상기 유사도를 반영하여 상기 개별기준히스토그램을 수정할 수 있다.Here, the correction unit may modify the individual reference histogram by reflecting the similarity reflecting the weights set on the respective individual reference histograms and the respective current histograms based on the individual similarity.

여기서, 상기 유사도 산출부는 상기 산출된 복수의 개별 유사도 각각에 대해 기 설정된 반영률을 반영하여 상기 유사도를 산출할 수 있다.The similarity calculator may calculate the similarity by reflecting a preset reflectance rate for each of the calculated individual similarities.

여기서, 상기 복수의 개별 픽셀값은 HSV 기반에 의해 구분되는 색도값, 명도값 및 채도값을 포함하며,Here, the plurality of individual pixel values include chromaticity values, brightness values, and chroma values that are distinguished by HSV base.

상기 수정부는 수학식The correction unit is

(H,S,V는 색도,채도,명도에 대한 히스토그램의 빈(bin)의 개수이고, h,s,v는 색도,채도,명도에 대한 빈(bin)을 나타내는 인덱스(index)이고,

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 상기 색도값에 대한 개별현재히스토그램의 h 번째의 빈(bin)이고,

는 상기 색도값에 대한 개별기준히스토그램의 h 번째의 빈(bin)이고,

는 수정되는 상기 색도값에 대한 개별기준히스 토그램의 h 번째의 빈(bin)이고,

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 상기 채도값에 대한 개별현재히스토그램의 s 번째의 빈(bin)이고,

는 상기 채도값에 대한 개별기준히스토그램의 s 번째의 빈(bin)이고,

는 수정되는 상기 채도값에 대한 개별기준히스토그램의 s 번째의 빈(bin)이고,

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 상기 명도값에 대한 개별현재히스토그램의 v 번째의 빈(bin)이고,

는 상기 명도값에 대한 개별기준히스토그램의 v 번째의 빈(bin)이고,

는 수정되는 상기 명도값에 대한 개별기준히스토그램의 v 번째의 빈(bin)이고,

는 상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 색도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며,

상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 채도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며,

상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 명도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이다)를 통해 상기 기준히스토그램을 수정할 수 있다.(H, S, V is the number of bins of histograms for chroma, saturation, and brightness, h, s, v is the index indicating bins for chroma, saturation, and brightness,

Is the center pixel

The h th bin of the individual current histogram for the chromaticity value of the tracking window arranged at the coordinates,

Is the h-th bin of the individual reference histogram for the chromaticity values,

Is the h th bin of the individual reference histogram for the chromaticity value to be modified,

Is the center pixel

The s-th bin of the individual current histogram for the saturation value of the tracking window arranged at the coordinates,

Is the s-th bin of the individual reference histogram for the saturation value,

Is the s-th bin of the individual reference histogram for the saturation value to be modified,

Is the center pixel

The v th bin of the individual current histogram for the brightness value of the tracking window arranged at the coordinates,

Is the v th bin of the individual reference histogram for the brightness value,

Is the v th bin of the individual reference histogram for the brightness value being modified,

Is a modification constant arbitrarily given according to the similarity, and has a range of 0 to 1 reflecting the weight of the similarity reflected in the individual current histogram and the individual reference histogram for the chromaticity value of the tracking window,

It is arbitrarily given according to the similarity, and is a modification constant having a range of 0 to 1 reflecting the weight of the similarity reflected in the individual current histogram and the individual reference histogram for the saturation value of the tracking window,

The reference histogram is randomly assigned according to the similarity, and has a modification constant ranging from 0 to 1 reflecting the weight of the similarity reflected in the individual current histogram for the brightness value of the tracking window and the individual reference histogram. Can be modified.

여기서, 상기 수정상수는 상기 유사도와 동일한 값으로 설정될 수 있다.Here, the correction constant may be set to the same value as the similarity.

여기서, here,

상기 유사도 산출부는 The similarity calculating unit

수학식

(H는 색도에 대한 히스토그램의 빈(bin)의 개수이고, h는 색도에 대한 빈(bin)을 나타내는 인덱스(index)이고,

는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 색도값에 대한 개별현재히스토그램의 h 번째의 빈(bin)이고,

는 상기 색도값에 대한 개별 유사도이다)를 통해 상기 색도값에 대한 상기 개별 유사도를 산출하고, Equation

(H is the number of bins in the histogram for chroma, h is the index representing the bin for chroma,

Is the h th bin of the individual current histogram for the chromaticity value of the window in which the center pixel is located at (x, y) coordinates,

Is the individual similarity to the chromaticity values) to calculate the individual similarity to the chromaticity values,

수학식

(S는 채도에 대한 히스토그램의 빈(bin)의 개수이고, s는 채도에 대한 빈(bin)을 나타내는 인덱스(index)이고,

는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 채도값에 대한 개별현재히스토그램의 s 번째의 빈(bin)이고,

는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 채도값에 대한 상기 개별 유사도를 산출하고, Equation

(S is the number of bins in the histogram for saturation, s is the index representing the bin for saturation,

Is the s-th bin of the individual current histogram for the saturation value of the window at which the center pixel is at (x, y) coordinates,

Is the s-th bin of the individual reference histogram for the saturation value,

Is the individual similarity to the saturation value) to calculate the individual similarity to the saturation value,

수학식

(V는 명도에 대한 히스토그램의 빈(bin)의 개수이고, v는 명도에 대한 빈(bin)을 나타내는 인덱스(index)이고,

는 중심픽셀이 (x,y) 좌표에 배치되는 상기 윈도우의 상기 명도값에 대한 개별현재히스토그램의 v 번째의 빈(bin)이고,

는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 명도값에 대한 상기 개별 유사도를 산출하며, Equation

(V is the number of bins in the histogram for lightness, v is the index representing the bin for lightness,

Is the v th bin of the individual current histogram for the brightness value of the window in which the center pixel is at (x, y) coordinates,

Is the v th bin of the individual reference histogram for the brightness value,

Is the individual similarity to the saturation value) to calculate the individual similarity to the brightness value,

수학식

(

는 유사도이고, α는 상기 유사도에 상기 색도값에 따른 개별 유사도의 반영을 조절하는 상수이고, β는 상기 유사도에 상기 채도값에 따른 개별 유사도의 반영을 조절하는 상수이며, α와 β의 합은 0 내지 1 사이의 값을 가진다)을 통해 상기 유사도를 산출할 수 있다.Equation

(

Is a similarity, α is a constant that controls the reflection of individual similarities according to the chromaticity values to the similarity, β is a constant that controls the reflection of the individual similarities according to the chroma values to the similarity, and the sum of α and β is Has a value between 0 and 1).

또한, 상기 입력되는 영상이 RGB 기반일 경우, 상기 HSV기반으로 변환하는 변환부를 더 포함할 수 있다.In addition, when the input image is RGB-based, it may further include a conversion unit for converting the HSV-based.

또한, 입력되는 영상으로부터 추적 대상이 되는 영역을 설정하여, 상기 설정된 영역의 히스토그램을 기준히스토그램으로 설정하는 기준설정부를 더 포함할 수 있다.The apparatus may further include a reference setting unit configured to set a region to be tracked from the input image and set the histogram of the set region as the reference histogram.

한편, 상기 목적은 본 발명에 따른 순차적으로 입력되는 영상으로부터 복수의 윈도우를 생성하는 단계와; 상기 각 윈도우에 배치되는 픽셀의 값에 따른 현재히스토그램을 생성하는 단계와; 상기 각 현재히스토그램과 추적 대상으로 기 설정된 기준히스토그램 간 유사도를 산출하는 단계와; 상기 현재히스토그램 중 상기 기준히스토그램과 상기 산출된 유사도가 가장 높은 상기 현재히스토그램을 추출하는 단계와; 상기 추출된 현재히스토그램에 해당하는 상기 윈도우를 추적 대상이 되는 추적윈도우로 선정하는 단계와; 상기 추적윈도우의 상기 현재히스토그램과 상기 추적 윈도우에 대응하는 상기 유사도를 상기 기준히스토그램에 반영하여 상기 기준히스토그램을 수정하는 단계를 포함하는 것을 특징으로 하는 컬러 히스토그램을 이용한 실시간 물체 추적 방법에 의해서도 달성된다.On the other hand, the object is a step of generating a plurality of windows from the sequentially input image according to the present invention; Generating a current histogram according to a value of a pixel disposed in each window; Calculating a similarity between the current histogram and a reference histogram preset as a tracking target; Extracting the current histogram having the highest similarity with the reference histogram among the current histograms; Selecting the window corresponding to the extracted current histogram as a tracking window to be tracked; It is also achieved by a real-time object tracking method using a color histogram, comprising the step of modifying the reference histogram by reflecting the current histogram of the tracking window and the similarity corresponding to the tracking window to the reference histogram.

여기서, 상기 픽셀의 값은 색 표현 방법에 따라 구분되는 복수의 개별 픽셀값을 포함하고, 상기 현재히스토그램은 상기 각 개별 픽셀값에 대해 생성되는 복수의 개별현재히스토그램을 포함하고, 상기 기준히스토그램은 상기 각 개별현재히스토그램에 대응하여 설정되는 복수의 개별기준히스토그램을 포함하며, 상기 유사도를 산출하는 단계는 상기 복수의 개별기준히스토그램과 상기 각 개별기준히스토그램에 대응하는 상기 각 개별현재히스토그램 간의 복수의 개별 유사도를 산출하는 단계와; 상기 산출된 복수의 개별 유사도를 통합하여 상기 유사도를 산출하는 단계를 포함할 수 있다.Here, the pixel value includes a plurality of individual pixel values classified according to a color representation method, and the current histogram includes a plurality of individual current histograms generated for each individual pixel value, and the reference histogram is And a plurality of individual reference histograms set in correspondence with each individual current histogram, and calculating the similarity includes a plurality of individual similar histograms between the plurality of individual reference histograms and the respective current histograms corresponding to the individual reference histograms. Calculating a; Integrating the calculated plurality of individual similarities may include calculating the similarity.

여기서, 상기 기준히스토그램을 수정하는 단계는 상기 각 개별기준히스토그램과 상기 각 개별현재히스토그램에 상기 각 개별 유사도에 기초하여 설정되는 가중치가 반영된 상기 유사도를 반영하여 상기 개별기준히스토그램을 수정하는 단계를 포함할 수 있다.The modifying of the reference histogram may include modifying the individual reference histogram by reflecting the similarity in which the respective reference histograms and the weights set on the individual current histograms based on the individual similarities are reflected. Can be.

여기서, 상기 기준히스토그램을 수정하는 단계는 상기 산출된 복수의 개별 유사도 각각에 대해 기 설정된 반영률을 반영하여 상기 유사도를 산출하는 단계를 포함할 수 있다.The modifying of the reference histogram may include calculating the similarity by reflecting a preset reflectance rate for each of the calculated plurality of individual similarities.

여기서, 상기 복수의 개별 픽셀값은 HSV 기반에 의해 구분되는 색도값, 명도값 및 채도값을 포함하며, 상기 기준히스토그램을 수정하는 단계는 수학식Here, the plurality of individual pixel values include chromaticity values, brightness values, and saturation values that are distinguished by HSV, and the modifying of the reference histogram may be performed by the following equation.

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 상기 색도값에 대한 개별현재 히스토그램의 h 번째의 빈(bin)이고,

는 수정되는 상기 색도값에 대한 개별기준히스토그램의 h 번째의 빈(bin)이고,

는 중심픽셀이

상기 유사도에 따라 임의로 부여되되 상기 추적윈도우의 상기 명도값에 대한 개별현재히스토그램 및 개별기준히스토그램에 반영되는 상기 유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이다)를 통해 상기 기준히스토그램을 수정하는 단계를 포함할 수 있다.(H, S, V is the number of bins of histograms for chroma, saturation, and brightness, h, s, v is the index indicating bins for chroma, saturation, and brightness,

Is the center pixel

Is the s-th bin of the individual reference histogram for the saturation value,

Is the center pixel

Is the v th bin of the individual reference histogram for the brightness value,

The reference histogram is randomly assigned according to the similarity, and has a modification constant ranging from 0 to 1 reflecting the weight of the similarity reflected in the individual current histogram for the brightness value of the tracking window and the individual reference histogram. And modifying.

또한, 상기 유사도를 산출하는 단계는In addition, the step of calculating the similarity

수학식

는 상기 색도값에 대한 개별 유사도이다)를 통해 상기 색도값에 대한 상기 개별 유사도를 산출하는 단계와;Equation

Calculating an individual similarity degree to the chromaticity value through an individual similarity degree to the chromaticity value;

수학식

는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 채도값에 대한 상기 개별 유사도를 산출하는 단계와;Equation

Is the s-th bin of the individual reference histogram for the saturation value,

Calculating the individual similarity with respect to the saturation value by means of the individual similarity with respect to the saturation value;

수학식

는 상기 채도값에 대한 개별 유사도이다)를 통해 상기 명도값에 대한 상기 개별 유사도를 산출하는 단계와;Equation

Is the v th bin of the individual reference histogram for the brightness value,

Calculating the individual similarity with respect to the brightness value through the individual similarity with respect to the chroma value;

수학식

(

는 유사도이고, α는 상기 유사도에 상기 색도값에 따른 개별 유사도의 반영을 조절하는 상수이고, β는 상기 유사도에 상기 채도값에 따른 개별 유사도의 반영을 조절하는 상수이며, α와 β의 합은 0 내지 1 사이의 값을 가진다)을 통해 상기 유사도를 산출하는 단계를 포함할 수 있다.Equation

(

Is a similarity, α is a constant that controls the reflection of individual similarities according to the chromaticity values to the similarity, β is a constant that controls the reflection of the individual similarities according to the chroma values to the similarity, and the sum of α and β is Calculating a degree of similarity through a value of 0 to 1).

또한, 상기 입력되는 영상이 RGB 기반일 경우, 상기 HSV기반으로 변환하는 단계를 더 포함할 수 있다.The method may further include converting the HSV based image when the input image is RGB based image.

또한, 입력되는 영상으로부터 추적 대상이 되는 영역을 설정하여, 상기 설정된 영역의 히스토그램을 기준히스토그램으로 설정하는 단계를 더 포함할 수 있다.The method may further include setting a region to be tracked from the input image and setting a histogram of the set region as a reference histogram.

본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치는 추적대상으로 선정된 물체에 해당하는 윈도우의 기준히스토그램과 순차적으로 입력되는 영상의 윈도우의 현재히스토그램 간 유사도를 측정하여 물체의 위치를 추적하는 한편, 유사도에 및 추적대상으로 선정된 윈도우의 현재히스토그램에 기초하여 기준히스토그램을 수정하여 추적대상으로 선정된 물체의 색상 또는 밝기의 변화가 발생하더라도 지속적으로 추적이 가능한 탁월한 효과가 있다.Real-time object tracking method and apparatus using a color histogram according to the present invention is to track the position of the object by measuring the similarity between the reference histogram of the window corresponding to the object selected as the tracking target and the current histogram of the window of the image sequentially input On the other hand, by modifying the reference histogram based on the similarity and the current histogram of the window selected for tracking, there is an excellent effect that can be continuously tracked even if a change in color or brightness of the object selected for tracking occurs.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치에 대하여 상세히 설명한다.Hereinafter, a real-time object tracking method and apparatus using a color histogram according to the present invention will be described in detail with reference to the accompanying drawings.

본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 장치(1)는 도 1에 도시된 바와 같이, 영상부(10), 변환부(20), 히스토그램 생성부(30), 저장부(50), 유사도 산출부(40), 추적대상 선정부(60), 수정부(70) 및 기준설정부(80)를 포함한다.As shown in FIG. 1, the real-time object tracking apparatus 1 using the color histogram according to the present invention includes an image unit 10, a converter 20, a histogram generator 30, a storage unit 50, and a similarity degree. The calculation unit 40, the tracking target selection unit 60, the correction unit 70, and the reference setting unit 80 are included.

영상부(10)에는 카메라(110)를 통해 촬영되는 영상이 순차적으로 입력되고, 영상의 신호를 디지털화하여 영상 정보를 생성한다. The image captured by the camera 110 is sequentially input to the image unit 10, and the image signal is digitized to generate image information.

본 발명에서 의미하는 영상의 신호는 카메라(110)로부터 매 클럭마다 하나의 픽셀값만이 입력되고 이를 영상부(10)에서 재구성하여 사용하는 것을 의미한다. 여기서 재구성이라는 말은 현재 입력되는 픽셀이 영상의 어느 위치에 있는지를 판단하는 과정, 즉, 해당 픽셀의 좌표를 파악하는 과정을 나타낸다. The image signal of the present invention means that only one pixel value is input from the camera 110 every clock and the image unit 10 reconfigures the signal. The term reconstruction here refers to a process of determining where a pixel currently input is located, that is, a process of determining coordinates of the pixel.

또한, 카메라(10)에서 출력하는 동기신호에는 수직동기신호, 수평동기신호 카메라에 따라 유효구간을 나타내는 별도의 신호가 존재할 수 있다. 상술한 동기신호를 바탕으로 현재 입력되는 픽셀이 영상 내 어느 좌표 위치에 있는지를 판단한다. 가령, 폭 640, 높이 480의 VGA 해상도의 영상(640x480 영상)의 경우 좌측 최상단 (1,1) 위치의 픽셀부터 시작해서 우측 최하단 (480,640)의 마지막 위치의 픽셀이 한 클럭(clock)에 하나씩 입력이 된다.In addition, the synchronization signal output from the camera 10 may have a separate signal indicating an effective section according to the vertical synchronization signal and the horizontal synchronization signal camera. Based on the above-described synchronization signal, it is determined at which coordinate position in the image the currently input pixel is located. For example, for a VGA resolution image (640x480 image) with a width of 640 and a height of 480, the pixels at the topmost (1,1) position on the left and the last position of the bottommost (480,640) on the right are input one clock. Becomes

카메라(110)는 카메라 신호 규격에 대한 제약 없이 컬러 영상이 촬영 가능한 카메라 모두를 지칭한다. 그리고, 카메라의 컬러 모델에 있어서 본 발명에서는 현재 동 업계에서 널리 사용되고 있는 RGB 컬러 모델을 기본으로 하였으나, 이에 한정되지는 않는다.The camera 110 refers to all cameras capable of capturing color images without restriction on camera signal specifications. In the present invention, the color model of the camera is based on the RGB color model widely used in the industry, but the present invention is not limited thereto.

변환부(20)는 영상부(10)로 RGB 기반의 영상 신호가 입력되면, 픽셀의 색 표 면 방법 중 하나인 HSV(색도,채도,명도)기반의 영상 신호로 변환한다. When the RGB-based image signal is input to the image unit 10, the converter 20 converts the image signal based on HSV (chromaticity, saturation, brightness), which is one of the color surface methods of the pixel.

RGB 기반의 영상에서 픽셀은 RGB(적색,녹색,청색)의 세 가지 요소로 구성되는 컬러 모델을 사용한다. 각 색 성분들의 크기는 모두 0~256으로 동일하다. RGB 기반의 영상은 3가지 색의 조합으로 색를 표현하므로 직관적이지 않은 단점이 있고, 명확한 색 분리가 힘들다. In an RGB-based image, pixels use a color model that consists of three elements: RGB (red, green, and blue). The size of each color component is equal to 0 to 256. RGB-based image expresses color by the combination of three colors, so it is not intuitive and it is difficult to separate color clearly.

이에, 변환부(20)는 RGB 기반의 영상 신호가 입력되면, 이를 HSV 기반의 영상 신호로 변환한다. HSV 기반의 영상은 색도(HUE), 채도(SATURATION), 명도(VALUE)의 조합으로 되는 컬러 모델을 사용한다. 색도는 사람의 눈으로 관찰되는 것과 같은 색상을 나타내고, 채도는 그 색도가 선명한 정도를 명도는 컬러의 밝기를 나타낸다. Thus, when the RGB-based video signal is input, the conversion unit 20 converts it to an HSV-based video signal. HSV-based images use a color model that is a combination of chroma (HUE), saturation (SATURATION), and brightness (VALUE). Chromaticity represents the same color as that observed by the human eye, and saturation represents the brightness of the color whose brightness is clear.

HSV 컬러 모델에서 채도는 원 형태로 회전에 따라서 색상이 변하게 되는데 0도에서는 빨강색 성분만이 존재하고, 120도에서는 녹색 성분만이, 240도에서는 파랑색 성분만이 존재하고 360도는 0도와 동일하다. 그 외의 각도에서는 양측 기준 원색이 조합된 색상을 가진다. 본 발명에서는 360가지의 색도를 256가지로 평준화해서 사용한다. HSV 컬러 모델의 채도와 명도는 RGB 컬러 모델과 동일하게 0~255의 값을 가진다. HSV 컬러 모델은 RGB 컬러 모델에 비해 컬러 성분을 사람의 눈으로 보는 것과 같이 직관적으로 분리하게 된다. HSV 컬러 모델도 RGB와 동일하게 각각 256가지의 값을 가진다. In the HSV color model, the saturation changes in a circle as it rotates. At 0 degrees there is only a red component, at 120 degrees only a green component, at 240 degrees there is only a blue component and at 360 degrees the same as 0 degrees. Do. At other angles, the two reference colors are combined. In the present invention, 360 chromaticities are used by leveling them to 256. The saturation and brightness of the HSV color model are the same as those of the RGB color model. The HSV color model provides intuitive separation of color components from the human eye, compared to the RGB color model. The HSV color model has the same 256 values as RGB.

그러나, 영상이 RGB 기반이라 할지라도 물체 추적이 가능하지만, 일반적으로 HSV 기반으로 변환하였을 경우 추적 성능이 향상되기 때문에 RGB 기반의 영상 신호 를 HSV(색도,채도,명도)기반의 영상 신호로 변환하는 것이다. RGB 기반의 영상을 HSV 기반의 영상으로 변환하는 식은 하기 수학식 1과 같으며, 일반적으로 당업자에게 공지되어 있어 자세한 설명은 생략한다.However, even if the image is RGB-based, object tracking is possible, but in general, when the conversion is HSV-based, the tracking performance is improved. Therefore, the RGB-based video signal is converted into HSV (chroma, saturation, brightness) based video signal will be. The equation for converting an RGB-based image into an HSV-based image is shown in Equation 1 below, and is generally known to those skilled in the art, and thus a detailed description thereof will be omitted.

(수학식 1)(Equation 1)

(R은 적색에 대한 영상 신호, G는 녹색에 대한 영상 신호, B는 청색에 대한 영상 신호, H는 색도에 대한 영상 신호, S는 채도에 대한 영상 신호, V는 명도에 대한 영상 신호이다)

(R is the video signal for red, G is the video signal for green, B is the video signal for blue, H is the video signal for chroma, S is the video signal for chroma, V is the video signal for brightness)

이에, 픽셀의 값은 3종류의 개별 픽셀값을 포함한다. 즉, 픽셀의 값은 색도에 대한 개별픽셀값, 채도에 대한 개별 픽셀값 및 명도에 대한 개별 픽셀값을 포함한다.Accordingly, the pixel value includes three types of individual pixel values. That is, the value of a pixel includes an individual pixel value for chroma, an individual pixel value for saturation, and an individual pixel value for brightness.

히스토그램 생성부(30)는 영상부(10)를 통해 입력되는 영상으로부터 복수의 윈도우를 생성하고, 각 윈도우에 배치되는 픽셀의 값에 따른 현재히스토그램을 생성한다. 현재히스토그램은 개별 픽셀값에 따라 3종류로 생성된다. 즉, 현재히스토 그램은 색도에 대한 개별현재히스토그램(이하에서는 "제1 현재히스토그램"이라고 한다), 채도에 대한 개별현재히스토그램(이하에서는 "제2 현재히스토그램"이라고 한다), 및 명도에 대한 개별히스토그램(이하에서는 "제3 현재히스토그램"이라고 한다)을 포함한다.The histogram generator 30 generates a plurality of windows from the image input through the image unit 10 and generates a current histogram according to the value of the pixel disposed in each window. At present, three types of histograms are generated according to individual pixel values. That is, the current histogram is the individual current histogram for chroma (hereinafter referred to as "first current histogram"), the individual current histogram for saturation (hereinafter referred to as "second current histogram"), and the individual for brightness. A histogram (hereinafter referred to as "third current histogram").

히스토그램을 생성하기 위해서는 윈도우 기반의 영상 처리 구조가 필요하다. 윈도우 기반의 영상처리는 영상의 어느 한 픽셀의 값을 결정하기 위해서 입력 영상에서 해당 픽셀(중심픽셀)의 위치를 중심으로 주변 영역의 픽셀(주변픽셀)들의 값이 필요한 경우를 말한다. To generate a histogram, a window-based image processing structure is required. Window-based image processing refers to a case in which a value of pixels (peripheral pixels) of a peripheral area is required around a position of a corresponding pixel (center pixel) in an input image to determine a value of one pixel of an image.

대표적인 윈도우 기반의 영상 처리로는 특정 영역내에서 중간값을 가지는 픽셀을 취해 극단적으로 작거나 큰 값을 가지게 되는 잡음 패턴을 제거하는 미디언 필터와 영역 내 픽셀들의 값 차이, 즉 변위량을 계산하여 물체의 윤곽선을 추출하는 에지 필터 등이 있다. 이러한 윈도우는 영상에서 미끄러지듯이 움직이기 때문에, 소위 슬라이딩윈도우(Sliding Window)라고 칭한다. 윈도우가 움직이는 방향은 화면의 주사방향과 동일한 상하, 좌우이다. 영상을 2차원 배열의 형태로 본다면 행과 열로 나타낼 수 있고, 행은 위에서 아래로 증가하고, 열은 왼쪽에서 오른쪽으로 증가한다. 윈도우는 (1,1) 위치에서 시작하여 (1,2), (1,3)...과 같이 열이 증가하고, 열이 최대로 증가하면 행이 1 증가하면서 열은 다시 1로 돌아가서 위치는 (2,1)이 된다. Typical window-based image processing includes a median filter that takes an intermediate pixel in a specific area and removes a noise pattern that has extremely small or large values, and calculates a difference in value of the pixels in the area, that is, an object Edge filters for extracting the contours of the image. Since these windows move as if they slide in the image, they are called sliding windows. The moving direction of the window is the same as the scanning direction of the screen. If you look at the image in the form of a two-dimensional array, you can display it in rows and columns, rows increase from top to bottom, and columns increase from left to right. The window starts at position (1,1) and increases in columns like (1,2), (1,3) ... and if the column grows to the maximum, the row increases by 1 and the column goes back to position 1 Becomes (2,1).

이러한 과정을 행의 최대값, 열의 최대값인 영상의 우측 최하단에 도달할 때까지 반복한다. 영상의 우측 최하단에 윈도우가 도달하면 비로소 한 장의 영상에 대한 처리가 완료된 것이다. 윈도우 생성의 특징은 매 픽셀의 처리 결과를 얻기 위해서는 중심픽셀을 기준으로 중심픽셀과 인접한 일정 영역내의 다수의 주변픽셀들의 값이 모두 필요하고, 이러한 픽셀들을 임시적으로 저장하는 것이 윈도우이다.This process is repeated until the bottom right of the image, which is the maximum value of the row and the maximum value of the column, is reached. When the window reaches the bottom right of the image, the processing of one image is completed. The characteristic of window generation is that in order to obtain the processing result of every pixel, all of the values of a plurality of peripheral pixels in a predetermined region adjacent to the center pixel are required based on the center pixel, and the window is temporarily stored.

이와 같은 윈도우 생성은 영상처리에서 매우 널리 사용되는 방식이다. 그러나, 윈도우 생성을 PC상에서 수행을 할 경우 윈도우의 이동에 따라 매번 윈도우에 관한 데이터를 저장하기 위한 메모리 접근이 일어나고, 이는 처리 속도를 급격하게 저하시키는 주요 요인이다. 연산 자체의 처리 시간보다는 윈도우를 생성하기 위해 메모리에서 픽셀값들을 읽어 들이는 시간이 더 긴 경우가 태반이다. 이러한 윈도우 영상 처리를 개선하기 위해 본 발명에서의 윈도우 생성은 본 출원인이 출원한 등록특허공보 제0523848호 "실시간 윈도우 기반 영상 처리 장치”에 의해 개시된 방법으로 수행하였다.This window generation is a very widely used method in image processing. However, when window creation is performed on a PC, a memory access to store data about a window occurs every time the window moves, which is a major factor that drastically slows down the processing speed. The placenta takes longer to read pixel values from memory to create a window than to process the operation itself. In order to improve such window image processing, window generation in the present invention was performed by the method disclosed by Korean Patent Application Publication No. 0523848, "Real-time window-based image processing apparatus".

히스토그램은 윈도우 내의 픽셀의 색 분포를 나타낸다.The histogram represents the color distribution of the pixels in the window.

도 3에 도시된 바와 같이, 영상(120) 내에 생성되는 윈도우(121)는 항상 중심픽셀과 중심픽셀에 인접한 주변 픽셀의 값들을 유지하고 있다. 윈도우의 픽셀 값들의 분포를 판단하여 도 4에 도시된 바와 같은 히스토그램을 생성한다. 본 발명에서는 히스토그램이 0 내지 255의 총 256개의 경우의 수를 가지는 픽셀 값들의 분포 상황을 나타내는 것을 일 예로 하였으나, 0 내지 1023의 총 1024개의 경우의 수를 가지는 픽셀 값들의 분포 상황을 나타내는 등 경우의 수가 가변될 수 있음은 물론이다. As shown in FIG. 3, the window 121 generated in the image 120 always maintains values of the center pixel and neighboring pixels adjacent to the center pixel. The distribution of pixel values of the window is determined to generate a histogram as shown in FIG. 4. In the present invention, the histogram shows the distribution of pixel values having a total of 256 cases of 0 to 255, but the histogram shows the distribution of pixel values having a total of 1024 cases of 0 to 1023. Of course, the number of may vary.

여기서, 히스토그램 빈(bin)이라는 용어를 사용하는데 히스토그램 빈은 총 경우의 수를 몇 가지 영역으로 나눌 것 인가를 결정하는 것이다. 예를 들어 8개의 빈(bin)을 사용하여 해당 윈도우의 명도, 색도 및 채도에 대한 히스토그램을 생성하고 8개의 값 영역으로 설정한다고 가정하면, 각 영역의 크기는 256/8이 되어 32가 된다. 이에, 도 4에 도시된 바와 같이, 명도, 색도 및 채도에 대한 히스토그램의 각 영역은 0~31, 32~63, 64~95, 96~127, 128~159, 160~191, 192~223, 224~255 총 8 단계로 구분된다. Here, the term histogram bin is used. The histogram bin is used to determine how many areas the total number of cases should be divided. For example, suppose that eight bins are used to generate a histogram of brightness, hue, and saturation of a window and set them to eight value areas. Each area is 256/8 in size. Thus, as shown in Figure 4, each area of the histogram for brightness, chroma and saturation is 0 ~ 31, 32 ~ 63, 64 ~ 95, 96 ~ 127, 128 ~ 159, 160 ~ 191, 192 ~ 223, It is divided into 8 levels.

이는 도 3에 도시된 각 윈도우(121)의 각 영역에 해당하는 픽셀 값을 가지는 픽셀들의 개수를 구한다. 예컨데, 도 3에 도시된 영상(120)이 각 윈도우(121)의 명도의 분포라고 가정하고, 명도에 대한 히스토그램을 구하면 도 4와 같은 결과를 얻는다. 도 4는 이해를 돕기 위해 생성된 히스토그램을 그래프로 표현을 한 것이다. This calculates the number of pixels having a pixel value corresponding to each area of each window 121 illustrated in FIG. 3. For example, assuming that the image 120 illustrated in FIG. 3 is a distribution of brightness of each window 121, and a histogram of brightness is obtained, the result as shown in FIG. 4 is obtained. Figure 4 is a graphical representation of the generated histogram for better understanding.

히스토그램은 매 클럭마다 윈도우의 중심픽셀의 위치가 위에서 아래, 왼쪽에서 오른쪽으로 변경이 되므로 이에 맞추어서 매번 변경이 된다. 결국, 영상 내에 생성되는 모든 윈도우에 대한 현재히스토그램을 생성하게 된다. The histogram changes every time the center pixel of the window changes from top to bottom and from left to right every clock. As a result, the current histogram for all windows generated in the image is generated.

(수학식 2)(Equation 2)

상기 수학식 2에서

,

는 각각 색도(Hue), 채도(Saturation), 명도(Value)의 현재히스토그램을 의미한다. H,S,V는 히스토그램 빈(bin)의 개수, 즉, 전체 경우의 수를 몇 단계로 나눌것인지를 의미한다. H,S,V의 값이 커질수록 히스토그램의 정확도는 향상이 되나 이에 따른 연산량은 비례하여 커지게 된다. h,s,v는 각 단계의 빈(bin)을 나타내는 인덱스(index)이다. 예를 들어, H,S,V의 값이 8이라면 h,s,v는 1,2,3,4,5,6,7,8를 의미한다. In Equation 2

,

Are the current histograms of Hue, Saturation, and Value, respectively. H, S, V means how many steps to divide the number of histogram bins, that is, the total number of cases. As the values of H, S, and V increase, the accuracy of the histogram increases, but the amount of computation increases accordingly. h, s, v are indexes representing the bins of each step. For example, if the value of H, S, V is 8, h, s, v means 1,2,3,4,5,6,7,8.

는 색도에 대한 제1 현재히스토그램의 h 번째의 빈(bin),

는 채도에 대한 제2 현재히스토그램의 v 번째의 빈(bin),

는 명도에 대한 제3 현재히스토그램의 v 번째의 빈(bin)을 의미하며, 하기 수학식 3에 나타난 바와 같이 h,s,v의 1부터 H,S,V 까지의 각각의 단계에 속하는 픽셀의 개수를 나타낸다.

Is the h th bin of the first current histogram for chromaticity,

Is the v th bin of the second current histogram for saturation,

Denotes the v th bin of the third current histogram with respect to the brightness, and as shown in Equation 3 below, the pixels belonging to each step from 1 to H, S, V of h, s, v are represented. Indicates the number.

(수학식 3)(Equation 3)

결론적으로 현재히스토그램(

,

)은 각 제1 현재히스토그램 의 h 개의 빈(bin)(

), 제2 현재히스토그램의 s 개의 빈(bin)(

) 및 제3 히스토그램의 h 개의 빈(bin)(

)을 열성분으로 가지는 행 벡터라고 할 수 있다.In conclusion, the current histogram (

,

) Is the h bins (of each first current histogram)

), S bins of the second current histogram (

) And h bins of the third histogram (

) Can be referred to as a row vector having a column component.

한편, 현재히스토그램이 HSV 기반에 기초하여 제1 현재히스토그램, 제2 현재히스토그램 및 제3 현재히스토그램으로 구분되었듯이, 기준히스토그램도 HSV 기반에 기초하여 색도에 대한 개별기준히스토그램(이하, "제1 기준히스토그램"이라고 한다), 채도에 대한 개별기준히스토그램(이하, "제2 기준히스토그램"이라고 한다) 및 명도에 대한 개별기준히스토그램(이하, "제3 기준히스토그램"이라고 한다)으로 설정된다. Meanwhile, as the current histogram is divided into a first current histogram, a second current histogram, and a third current histogram based on the HSV basis, the reference histogram is also an individual reference histogram for chromaticity based on the HSV basis (hereinafter, referred to as “first criterion”). Histogram ", individual reference histogram for saturation (hereinafter referred to as" second reference histogram "), and individual reference histogram for brightness (hereinafter referred to as" third reference histogram ").

기준히스토그램은 관리자에 의해 외부입력장치(90)를 통해 입력되는 설정에 기초하여 입력되는 영상으로부터 추적 대상이 되는 영역을 설정하여, 상기 설정된 영역의 히스토그램을 기준설정부(80)에 의해 기준히스토그램으로 설정될 수 있으며, 설정된 기준히스토그램은 저장부(50)에 저장된다.The reference histogram sets an area to be tracked from an input image based on a setting inputted through the external input device 90 by an administrator, and sets the histogram of the set area as a reference histogram by the reference setting unit 80. The reference histogram set may be stored in the storage unit 50.

(수학식 4)(Equation 4)

(

은 제1 기준히스토그램이고,

는 제1 기준히스토그램의 h 번째의 빈(bin)이고,

은 는 제2 기준히스토그램이고,

는 제2 기준히스토그램의 s 번째의 빈(bin)이고,

은 제3 기준 히스토그램이고,

은 제3 기준히스토그램의 v 번째 빈(bin)이다.)

(

Is the first reference histogram,

Is the h th bin of the first reference histogram,

Is the second reference histogram,

Is the s-th bin of the second reference histogram,

Is the third reference histogram,

Is the v th bin of the third reference histogram.)

상기 수학식 4 및 하기 수학식 5에 나타난 바와 같이, 제1 기준히스토그램, 제2 기준히스토그램 및 제3 기준히스토그램도 각 기준히스토그램의 h,s,v 각각의 개수의 빈(bin)을 통해 현재히스토그램과 동일한 방식으로 생성된다.As shown in Equation 4 and Equation 5 below, the first reference histogram, the second reference histogram, and the third reference histogram are also present through the number of bins of h, s, and v of each reference histogram. Is generated in the same way as

(수학식 5)(Equation 5)

유사도 산출부(40)는 매 클럭마다 현재 픽셀 위치에 대한 현재히스토그램과 기준히스토그램을 비교하여 유사도를 산출한다.The similarity calculator 40 calculates the similarity by comparing the current histogram and the reference histogram with respect to the current pixel position every clock.

가령 윈도우가 480 X 680 윈도우라고 가정하면, 윈도우는 픽셀 위치가 (1,1)에서 (480,640)까지 총 307,200번 변경이 되므로, 현재히스토그램은 307,200개가 생성된다.For example, assuming that the window is a 480 X 680 window, since the window position is changed 307,200 times from (1,1) to (480,640), the current histogram is generated 307,200.

이 경우, 기준히스토그램이과 현재히스토그램 간 307,200번의 비교가 일어나게 되어 각 비교 간 유사도가 산출된다. 여기서, 각 기준히스토그램 및 현재히스토그램은 HSV 기반으로 생성되었으므로, 유사도(이하, "통합유사도"라고 한다)는 제1 기준히스토그램과 제1 현재히스토그램간 비교에 따른 개별 유사도(이하, "제1 유사도"라고 한다), 제2 기준히스토그램과 제2 현재히스토그램간 비교에 따른 개별 유사도(이하, "제2 유사도"라고 한다) 및 제3 기준히스토그램과 제3 현재히스토그램간 비교에 따른 개별 유사도(이하, "제3 유사도"라고 한다)가 우선 산출되어야 한다. In this case, 307,200 comparisons are made between the reference histogram and the current histogram, and the similarity between each comparison is calculated. Here, since each reference histogram and the current histogram are generated based on HSV, the similarity (hereinafter referred to as "integrated similarity") is the individual similarity according to the comparison between the first reference histogram and the first current histogram (hereinafter referred to as "first similarity"). ), Individual similarity according to the comparison between the second reference histogram and the second current histogram (hereinafter referred to as "second similarity") and individual similarity according to the comparison between the third reference histogram and the third current histogram (hereinafter, " Third similarity "must first be calculated.

(수학식 6)(Equation 6)

는 중심픽셀이 (x,y) 좌표에 배치되는 윈도우의 제1 현재히스토그램의 h 번째의 빈(bin)이고,

는 제1 기준히스토그램의 h 번째의 빈(bin)이고,

는 제1 유사도이다)

Is the h-th bin of the first current histogram of the window where the center pixel is at (x, y) coordinates,

Is the h th bin of the first reference histogram,

Is the first similarity)

(수학식 7)(Equation 7)

는 중심픽셀이 (x,y) 좌표에 배치되는 윈도우의 제2 현재히스토그램의 s 번째의 빈(bin)이고,

는 제2 기준히스토그램의 s 번째의 빈(bin)이고,

는 제2 유사도이다)

Is the s-th bin of the second current histogram of the window where the center pixel is at (x, y) coordinates,

Is the s-th bin of the second reference histogram,

Is the second similarity)

(수학식 8)(Equation 8)

는 중심픽셀이 (x,y) 좌표에 배치되는 윈도우의 제2 현재히스토그램의 v 번째의 빈(bin)이고,

는 제3 기준히스토그램의 v 번째의 빈(bin)이고,

는 제3 유사도이다)

Is the v th bin of the second current histogram of the window where the center pixel is at (x, y) coordinates,

Is the v th bin of the third reference histogram,

Is the third similarity)

상기 수학식 6 내지 수학식 8을 통해 제1 유사도, 제2 유사도 및 제3 유사도가 산출된다. Equations 6 to 8 calculate first, second and third similarities.

상기 수학식 6 내지 수학식 8에 나타난 바와 같이, 현재히스토그램과 기준 히스토그램의 빈(bin)을 모두 곱한 결과에 루트를 취해 모두 더한 것을 나타내며, 현재히스토그램의 각각의 빈(bin)과 기준히스토그램의 각각의 빈(bin)이 동일할 때 각 유사도는 최대의 값을 가지게 된다.As shown in Equation 6 to Equation 8, the result of multiplying the bins of the current histogram and the reference histogram is taken as the root, and the sum is added to each of each of the bin and the reference histogram of the current histogram. When the bins of are the same, each similarity has a maximum value.

상기 수학식 6 내지 수학식 8을 통해 산출한 제1 유사도, 제2 유사도 및 제3 유사도는 하기 수학식 9를 통해 통합되어 통합유사도로 산출된다The first similarity, the second similarity, and the third similarity calculated through Equations 6 to 8 are integrated through Equation 9 to calculate an integrated similarity.

(수학식 9)(Equation 9)

(

는 통합유사도이고, α는 통합유사도에 제1 유사도의 반영을 조절하는 상수이고, β는 통합유사도에 제2 유사도의 반영을 조절하는 상수이며, α와 β의 합은 0 내지 1 사이의 값을 가진다)

(

Is the integrated similarity, α is a constant that controls the reflection of the first similarity in the integrated similarity, β is a constant that controls the reflection of the second similarity in the integrated similarity, and the sum of α and β is a value between 0 and 1. Have)

상기 수학식 9에 나타난 바와 같이, 반영률α 및 β를 통하여 통합유사도에 반영되는 제1 유사도, 제2 유사도 및 제3 유사도의 반영 정도를 조절할 수 있다.As shown in Equation 9, the degree of reflection of the first similarity, the second similarity, and the third similarity reflected in the integrated similarity may be adjusted through the reflectances α and β.

추적대상 선정부(60)는 통합유사도가 가장 높은 현재히스토그램을 추출하고, 추출된 현재히스토그램에 해당하는 윈도우를 추적윈도우로 선정한다.The tracking target selection unit 60 extracts the current histogram having the highest integrated similarity, and selects a window corresponding to the extracted current histogram as the tracking window.

(수학식 10)(Equation 10)

(

는 통합유사도이고,

는 통합유사도가 가장 최대의 값을 가지는 추적윈도우의 좌표이다.)

(

Is an integrated similarity,

Is the coordinate of the tracking window with the highest integrated similarity.)

상기 수학식 10에 나타난 바와 같이, 영상 내 모든 윈도우에 대하여 통합유사도를 구하고, 통합유사도가 가장 높은 윈도우를 추적윈도우로 선정하게 된다.As shown in Equation 10, the integrated similarity is obtained for all windows in the image, and the window with the highest integrated similarity is selected as the tracking window.

선정된 추적윈도우는 디스플레이부(100)를 통해 화면으로 출력된다.The selected tracking window is output to the screen through the display unit 100.

도 5 내지 도 8에서는 상기 과정을 통해 영상 내 이동하는 물체를 추적하는 상황이 디스플레이부(100)를 통해 출력되는 상태를 도시하였다. A는 추적물체이고, B는 추적윈도우이다.5 to 8 illustrate a state in which a situation of tracking an object moving in an image through the process is output through the display unit 100. A is the tracking object and B is the tracking window.

수정부(70)는 하기 수학식 11을 통해 추적윈도우의 현재히스토그램과 통합유사도를 기준히스토그램에 반영하여 기준히스토그램을 수정한다.The correction unit 70 modifies the reference histogram by reflecting the current histogram and the integrated similarity of the tracking window in the reference histogram through Equation 11 below.

기준히스토그램이 수정되는 것은 추적대상 선정부(60)에서 수정부(70)로 출력하는 현재 프레임에서의 최종적인 추적결과에 해당하는 추적윈도우의 현재히스토그램, 및 통합유사도에 기초한다.The reference histogram is modified based on the current histogram of the tracking window corresponding to the final tracking result in the current frame output from the tracking target selection unit 60 to the correction unit 70, and the integrated similarity.

기준히스토그램의 수정은 실제의 환경에서 조명의 변화, 물체의 이동에 따라 물체의 색상이나 밝기가 변화하기 때문이다. 기준히스토그램의 수정에 대한 고려가 없을 경우, 일정 이상으로 물체의 색상이나 밝기가 변하였을 시 물체의 추적이 불가능하게 된다. 이를 해소하기 위해서 매번 추적윈도우의 현재히스토그램을 기준 히스토그램에 반영하여 물체 자체의 변화에 적응하도록 한다. 본 방법을 이용하면 물체의 색상 또는 밝기가 변화하더라도 추적이 중단되는 것을 방지하여 지속적인 추적이 가능하다.The correction of the reference histogram is that the color or brightness of the object changes as the light changes or the object moves in the real environment. Without consideration of the modification of the reference histogram, it becomes impossible to track the object when the color or brightness of the object changes more than a certain amount. To solve this problem, the current histogram of the tracking window is reflected in the reference histogram each time to adapt to the change of the object itself. Using this method, the tracking is prevented even if the color or brightness of the object changes, so that continuous tracking is possible.

(수학식 11)(Equation 11)

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 제1 현재히스토그램의 h 번째 빈(bin)이고,

는 제1 기준히스토그램의 h 번째 빈(bin)이고,

는 수정되는 제1 기준히스토그램의 h 번째 빈(bin)이고,

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 제2 현재히스토그램의 s 번째 빈(bin)이고,

는 제2 기준히스토그램의 s 번째 빈(bin)이고,

는 수정되는 제2 기준히스토그램의 s 번째 빈(bin)이고,

는 중심픽셀이

좌표에 배치된 상기 추적윈도우의 제3 현재히스토그램의 v 번째 빈(bin)이고,

는 제3 기준히스토그램의 v 번째 빈(bin)이고,

는 수정되는 제3 기준히스토그램의 v 번째 빈(bin)이고,

는 상기 통합유사도에 따라 임의로 부여되되 상기 추적윈도우의 제1 현재히스토그램 및 제1 기준히스토그램에 반영되는 상기 통합유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며, 이고,

상기 통합유사도에 따라 임의로 부여되되 상기 추적윈도우의 제2 현재히스토그램 및 제2 기준히스토그램에 반영되는 상기 통합유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이며,

상기 통합유사도에 따라 임의로 부여되되 상기 추적윈도우의 제3 현재히스토그램 및 제3 기준히스토그램에 반영되는 상기 통합유사도의 가중치가 반영된 0 내지 1 사이의 범위를 가지는 수정상수이다)(H, S, V is the number of bins of histograms for chroma, saturation, and brightness, h, s, v is the index indicating bins for chroma, saturation, and brightness,

Is the center pixel

H-th bin of the first current histogram of the tracking window disposed at the coordinates,

Is the h th bin of the first reference histogram,

Is the h th bin of the first reference histogram to be modified,

Is the center pixel

The s-th bin of the second current histogram of the tracking window disposed at the coordinates,

Is the s th bin of the second reference histogram,

Is the s th bin of the second reference histogram that is modified,

Is the center pixel

The v th bin of the third current histogram of the tracking window disposed at the coordinates,

Is the v th bin of the third reference histogram,

Is the v th bin of the third reference histogram to be modified,

Is a modification constant arbitrarily given according to the integrated similarity, and has a range of 0 to 1 reflecting the weight of the integrated similarity reflected in the first current histogram and the first reference histogram of the tracking window,

The correction constant is arbitrarily given according to the integrated similarity, and has a range of 0 to 1 reflecting the weight of the integrated similarity reflected in the second current histogram and the second reference histogram of the tracking window.

The correction constant is arbitrarily assigned according to the integrated similarity, but has a range of 0 to 1 reflecting the weight of the integrated similarity reflected in the third current histogram and the third reference histogram of the tracking window.)

상기 수학식 11은 물체의 색상 또는 밝기의 변화에 대응하여 기준히스토그램을 수정하는 것을 나타낸다. Equation 11 indicates that the reference histogram is corrected in response to a change in color or brightness of an object.

여기서, 각 수정상수는 하기 수학식 12에 의해 정의된다.Here, each correction constant is defined by the following equation (12).

(수학식 12)(Equation 12)

(

는 통합유사도이며, x는 상기 추적윈도우의 제1 현재히스토그램 및 제1 기준히스토그램에 반영되는 상기 통합유사도의 가중치이고, y는 상기 추적윈도우의 제2 현재히스토그램 및 제2 기준히스토그램에 반영되는 통합유사도의 가중치이고, z는 상기 추적윈도우의 제3 현재히스토그램 및 제3 기준히스토그램에 반영되는 상기 통합유사도의 가중치이다)

(

Is an integrated similarity, x is a weight of the integrated similarity reflected in the first current histogram and the first reference histogram of the tracking window, and y is an integrated similarity reflected in the second current histogram and the second reference histogram of the tracking window. Z is the weight of the integrated similarity reflected in the third current histogram and the third reference histogram of the tracking window.

상기 수학식 12에 나타난 바와 같이, 가중치 x,y,z를 조절하여 각 현재히스토그램 및 각 기준히스토그램에 반영되는 통합유사도의 가중치를 조절할 수 있다. As shown in Equation 12, the weights of the integrated similarity degree reflected in each current histogram and each reference histogram may be adjusted by adjusting the weights x, y, and z.

수정상수가 0이라면 기준히스토그램을 그대로 유지하게 되고, 가중치 x,y,z 및 수정상수가 각 1이라면 기준히스토그램을 현재 장에서 추적된 물체의 히스토그램으로 완전히 대치시킨다. If the correction constant is 0, the reference histogram is maintained. If the weights x, y, z and the correction constant are 1, the reference histogram is completely replaced by the histogram of the object tracked in the current chapter.

사용 환경에 맞게 수정상수를 조절하면 보다 높은 추적 성능을 얻을 수 있다. 즉, 통합유사도가 어느 정도 이상인 경우만 기준 모델 히스토그램의 변경을 수행하여, 혹시 있을지 모를 잘못된 추적으로 인한 기준 물체의 변경을 방지할 수 있다. Adjusting the correction constant to the environment of use will result in higher tracking performance. In other words, the reference model histogram may be changed only when the degree of integrated similarity is more than a certain degree, thereby preventing the change of the reference object due to an incorrect tracking.

일예로, 가중치 x,y,z가 각 1로 고정되고, 통합유사도의 최적 결과가 1이고, 최악의 경우 0.1이라고 가정하면, 0.5를 기준으로 하여 통합유사도가 0.5 이상일 경우에 수정상수는 1이 되어 현재히스토그램으로 기준히스토그램을 완전히 대치하고, 통합유사도가 0.5 이하일 경우에 수정상수는 0이 되어 기준히스토그램을 수정없이 계속 사용하도록 할 수 있다. For example, assuming that the weights x, y, z are fixed to 1, the optimal result of the integrated similarity is 1, and the worst case is 0.1, the correction constant is 1 if the integrated similarity is 0.5 or more based on 0.5. In this case, the reference histogram is completely replaced by the current histogram, and when the integrated similarity is 0.5 or less, the correction constant becomes 0 so that the reference histogram can be used without modification.

또한, 수정상수를 [0, 0.2, 0.4, 0.6, 0.8, 1]과 같이 여러 단계로 구분하고 통합유사도에 따라 다른 수정상수를 할당하여 갱신정도를 통합유사도에 따라 조절할 수 있다. 또는 통합유사도의 최적 결과가 1이고, 최악의 경우 0.1이라고 가정하면, 통합유사도와 수정상수를 동일한 값으로 설정하여 통합유사도 자체를 수정상수로 사용할 수도 있다. 이처럼, 본 발명에서 제안하는 컬러 히스토그램을 이용한 실시간 물체 추적 장치(1)는 물체의 색상 또는 밝기 변화에도 능동적으로 대응하여 지속적인 추적이 가능하게 된다.In addition, the correction constant can be divided into several stages such as [0, 0.2, 0.4, 0.6, 0.8, 1], and different modification constants can be assigned according to the integrated similarity to adjust the update degree according to the integrated similarity. Alternatively, if the optimal result of the integrated similarity is 1 and the worst case is 0.1, the integrated similarity may be used as the correction constant by setting the integrated similarity and the correction constant to the same value. As described above, the real-time object tracking device 1 using the color histogram proposed in the present invention can continuously track the color or brightness of the object in a proactive manner.

이하에서는 도 2를 참조하여 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법에 대하여 상세히 설명한다.Hereinafter, a real-time object tracking method using a color histogram according to the present invention will be described in detail with reference to FIG. 2.

카메라(110)를 통해 영상부(10)로 영상이 입력되고(S1), 영상이 HSV 기반의 영상이 아닌 RGB 기반의 영상일 경우(S2) 변환부(20)에 의해 RGB 기반의 영상이 HSV 기반의 영상으로 변환된다(S3).When the image is input to the image unit 10 through the camera 110 (S1), and the image is an RGB-based image rather than an HSV-based image (S2), the RGB-based image is converted into HSV by the converter 20. Based on the image is converted (S3).

입력거나 변환된 HSV 기반의 영상에서는 히스토그램 생성부(30)에 의해 중심픽셀과 중심픽셀에 인접한 주변픽셀로 마련되는 복수의 윈도우가 생성되고(S4), 생성된 윈도우에 배치되는 픽셀의 명도, 채도, 색도에 대응하는 제1 현재히스토그램, 제2 현재히스토그램, 및 제3 현재히스토그램이 생성된다(S5).In the input or converted HSV-based image, a plurality of windows are provided by the histogram generator 30 to include a center pixel and neighboring pixels adjacent to the center pixel (S4), and brightness and saturation of the pixels disposed in the generated window. The first current histogram, the second current histogram, and the third current histogram corresponding to the chromaticity are generated (S5).

생성된 각 현재히스토그램은 유사도 산출부(40)에 의해 기 설정되어 저장부(50)에 저장된 명도, 채도, 색도에 대응하는 각 기준히스토그램과 비교되어 명도, 채도, 색도에 대응하는 제1 유사도, 제2 유사도 및 제3 유사도가 산출되고(S6), 제1 유사도, 제2 유사도 및 제3 유사도에 기초하여 통합유사도가 산출된 다(S7).The generated current histogram is compared with each reference histogram corresponding to brightness, saturation, and chroma stored in the storage unit 50 by preset by the similarity calculator 40, and the first similarity corresponding to brightness, saturation, and chroma. The second similarity and the third similarity are calculated (S6), and the integrated similarity is calculated based on the first similarity, the second similarity, and the third similarity (S7).

추적대상 선정부에 의해 산출된 통합유사도가 가장 높은 현재히스토그램을 추출하고, 추출된 현재히스토그램에 해당하는 윈도우를 추적윈도우로 선정하여 디스플레이한다(S8). The current histogram with the highest integrated similarity calculated by the tracking target selection unit is extracted, and a window corresponding to the extracted current histogram is selected and displayed as a tracking window (S8).

그리고, 관리자가 외부입력장치(90) 및 기준설정부(80)를 기준히스토그램을 재설정하면(S9), 재설정된 기준히스토그램이 저장부(60)에 저장된다(S10). When the administrator resets the reference histogram on the external input device 90 and the reference setting unit 80 (S9), the reset reference histogram is stored in the storage unit 60 (S10).

관리자가 외부입력장치(90) 및 기준설정부(80)를 통해 기준히스토그램이 재설정하지 않으면(S9), 통합유사도가 기준 이하인지 판별(S11)하여 기준 이하이면 기준히스토그램을 수정없이 계속 사용할 수 있고(S12), 통합유사도가 기준 이상이면 상술한 바와 같이 통합유사도와 현재히스토그램으로 기준히스토그램을 수정하여 사용한다(S13). 수정된 기준히스토그램은 저장부(60)에 저장되어 추후 입력되는 영상의 현재히스토그램과 유사도를 산출할 시 사용된다.If the administrator does not reset the reference histogram through the external input device 90 and the reference setting unit 80 (S9), and if the integrated similarity is below the reference (S11), the reference histogram can be used without modification if it is below the reference. (S12) If the integrated similarity is higher than the reference, the reference histogram is modified and used as the integrated similarity and current histogram as described above (S13). The modified reference histogram is stored in the storage unit 60 and used to calculate the similarity with the current histogram of the image input later.

이에 따라, 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치는 추적대상으로 선정된 물체에 해당하는 윈도우의 기준히스토그램과 순차적으로 입력되는 영상의 윈도우의 현재히스토그램 간 유사도를 측정하여 물체의 위치를 추적하는 한편, 유사도 및 추적대상으로 선정된 윈도우의 현재히스토그램에 기초하여 기준히스토그램을 수정하여 추적대상으로 선정된 물체의 색상 또는 밝기의 변화가 발생하더라도 지속적으로 추적이 가능하다.Accordingly, the real-time object tracking method and apparatus using a color histogram according to the present invention measures the similarity between the reference histogram of the window corresponding to the object selected as the tracking target and the current histogram of the window of the image input sequentially, the position of the object In addition, the reference histogram is modified based on the similarity and the current histogram of the window selected as the tracking target, so that even if a change in color or brightness of the object selected as the tracking target occurs, the tracking can be continuously performed.

비록 본 발명의 실시예가 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으 면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although embodiments of the present invention have been shown and described, it will be apparent to those skilled in the art that the present embodiments may be modified without departing from the spirit or spirit of the invention. It is intended that the scope of the invention be defined by the claims appended hereto and their equivalents.

도 1은 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 장치를 도시한 블럭도이고,1 is a block diagram showing a real-time object tracking device using a color histogram according to the present invention,

도 2는 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법을 도시한 순서도이고,2 is a flowchart illustrating a real-time object tracking method using a color histogram according to the present invention,

도 3은 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 장치 및 이를 이용한 추적 방법을 통해 영상에서 생성된 윈도우의 일예를 도시한 도면이고, 3 is a diagram illustrating an example of a real-time object tracking apparatus using a color histogram according to the present invention and a window generated from an image through a tracking method using the same.

도 4는 도 3에 도시된 윈도우에 기초하여 생성된 히스토그램의 일예를 도시한 도면이고,FIG. 4 is a diagram illustrating an example of a histogram generated based on the window illustrated in FIG. 3.

도 5 내지 도 8은 본 발명에 따른 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치를 통해 물체가 추적되는 상황의 사진이다.5 to 8 are photographs of a situation in which an object is tracked through a real-time object tracking method and apparatus using a color histogram according to the present invention.

Claims

A histogram generator for generating a plurality of windows from sequentially input images and generating a current histogram according to the value of pixels arranged in each window;

A similarity calculator for calculating a similarity between the current histogram and a reference histogram preset as a tracking target;

A tracking target selection unit which extracts the current histogram having the highest similarity with the reference histogram from the current histogram and selects the window corresponding to the extracted current histogram as a tracking window to be tracked;

A correction unit configured to modify the reference histogram by reflecting the current histogram of the tracking window and the similarity corresponding to the tracking window to the reference histogram,

The pixel value includes a plurality of individual pixel values classified according to the color representation method.

The current histogram includes a plurality of individual current histograms generated for each individual pixel value,

The reference histogram includes a plurality of individual reference histograms set corresponding to the respective current histograms.

The similarity calculating unit calculates a plurality of individual similarities between the plurality of individual reference histograms and the individual current histograms corresponding to the individual reference histograms, and calculates the similarity by integrating the calculated plurality of individual similarities. Real-time object tracking device using a color histogram.

delete

The method of claim 1,

The correction unit modifies the individual reference histogram by reflecting the similarity in which the respective reference histograms and the respective current histograms have weights set based on the individual similarities, and modify the individual reference histograms in real time. Device.

The method of claim 3,

The similarity calculator calculates the similarity by reflecting a preset reflectance rate for each of the plurality of calculated individual similarities, the real-time object tracking device using a color histogram.

The method of claim 4, wherein

The plurality of individual pixel values include chromaticity values, brightness values, and chroma values separated by HSV base,

The correction unit is

(H, S, V is the number of bins of histograms for chroma, saturation, and brightness, h, s, v is the index indicating bins for chroma, saturation, and brightness,

Is the center pixel

Is the s-th bin of the individual reference histogram for the saturation value,

Is the center pixel

Is the v th bin of the individual reference histogram for the brightness value,

The reference histogram is randomly assigned according to the similarity, and has a modification constant ranging from 0 to 1 reflecting the weight of the similarity reflected in the individual current histogram for the brightness value of the tracking window and the individual reference histogram. Real-time object tracking device using a color histogram, characterized in that for modifying.

The method of claim 5,

The correction constant is a real-time object tracking device using a color histogram, characterized in that set to the same value as the similarity.

The method according to claim 5 or 6,

The similarity calculating unit

Equation

Equation

Is the s-th bin of the individual reference histogram for the saturation value,

Equation

Is the v th bin of the individual reference histogram for the brightness value,

Equation

(

Is a similarity, α is a constant that controls the reflection of individual similarities according to the chromaticity values to the similarity, β is a constant that controls the reflection of the individual similarities according to the chroma values to the similarity, and the sum of α and β is Device having a color histogram, wherein the similarity is calculated.

The method according to claim 5 or 6,

And a conversion unit for converting the HSV based image when the input image is RGB based.

The method according to any one of claims 1, 3 or 4,

And a reference setting unit for setting a region to be tracked from an input image and setting the histogram of the set region as a reference histogram.

Generating a plurality of windows from sequentially input images;

Generating a current histogram according to a value of a pixel disposed in each window;

Calculating a similarity between the current histogram and a reference histogram preset as a tracking target;

Extracting the current histogram having the highest similarity with the reference histogram among the current histograms;

Selecting the window corresponding to the extracted current histogram as a tracking window to be tracked;

Modifying the reference histogram by reflecting the current histogram of the tracking window and the similarity corresponding to the tracking window to the reference histogram,

Computing the similarity

Calculating a plurality of individual similarities between the plurality of individual reference histograms and the respective current histograms corresponding to the individual reference histograms;

And integrating the calculated plurality of individual similarities to calculate the similarity.

delete

The method of claim 10,

Modifying the reference histogram

And modifying the individual reference histogram by reflecting the similarity in which the individual reference histogram and the respective current histogram are weighted based on the individual similarity. Tracking method.

The method of claim 12,

Modifying the reference histogram

And calculating the similarity by reflecting a preset reflectance rate for each of the calculated plurality of individual similarities.

The method of claim 13,

Modifying the reference histogram

Equation

Is the center pixel

Is the s-th bin of the individual reference histogram for the saturation value,

Is the center pixel

Is the v th bin of the individual reference histogram for the brightness value,

The reference histogram is randomly assigned according to the similarity, and has a modification constant ranging from 0 to 1 reflecting the weight of the similarity reflected in the individual current histogram for the brightness value of the tracking window and the individual reference histogram. Real-time object tracking method using a color histogram, characterized in that it comprises a step of correcting.

The method of claim 14,

The correction constant is a real-time object tracking method using a color histogram, characterized in that set to the same value as the similarity.

The method according to claim 14 or 15,

Computing the similarity

Equation

Equation

Is the s-th bin of the individual reference histogram for the saturation value,

Equation

Is the v th bin of the individual reference histogram for the brightness value,

Equation

(

Is a similarity, α is a constant that controls the reflection of individual similarities according to the chromaticity values to the similarity, β is a constant that controls the reflection of the individual similarities according to the chroma values to the similarity, and the sum of α and β is Calculating a degree of similarity by using a color histogram).

The method according to claim 14 or 15,

If the input image is RGB-based, real-time object tracking method using a color histogram, characterized in that further comprising the step of converting to the HSV-based.

The method according to any one of claims 10, 12 or 13,

And setting a region to be tracked from an input image and setting a histogram of the set region as a reference histogram.