KR100878190B1

KR100878190B1 - Object recognition method

Info

Publication number: KR100878190B1
Application number: KR1020020013008A
Authority: KR
Inventors: 나재호
Original assignee: 주식회사 엘지이아이
Priority date: 2002-03-11
Filing date: 2002-03-11
Publication date: 2009-01-13
Also published as: KR20030073448A

Abstract

본 발명은 객체 인식 방법에 관한 것으로, 화상처리를 이용한 물체 검지 및 인식시 인식 알고리즘의 주된 특징인 색 모델을 특정 물체 및 조명이나 배경의 변화에 맞게 자동으로 보정하여 물체 검지 및 인식율을 향상시키도록 한 것이다. 이를 위하여 본 발명은 캡쳐된 화상 정보로부터 특정 목표물의 색을 정규화된 기준 색 모델을 이용하여 분리하는 제1 단계와; 상기 특정 목표물의 색을 상기 기준 색 모델과 비교하여 특정 목표물의 색 모델을 검출하는 제2 단계와; 상기 검출된 특정 목표물의 색 모델을 이용하여 목표물을 트랙킹하는 제3 단계로 이루어진다.The present invention relates to an object recognition method, and to improve object detection and recognition rate by automatically correcting a color model, which is a main feature of the recognition algorithm in object detection and recognition using image processing, according to a change of a specific object and lighting or background. It is. To this end, the present invention includes a first step of separating the color of a specific target from the captured image information using a normalized reference color model; A second step of detecting a color model of the specific target by comparing the color of the specific target with the reference color model; A third step of tracking the target by using the color model of the detected specific target.

Description

Object Recognition Method {OBJECT RECOGNITION METHOD}

도1은 본 발명 객체 인식 방법에 대한 동작 흐름을 보인 개략도.1 is a schematic diagram showing an operation flow for the object recognition method of the present invention.

도2는 도1에 있어서, 자동보정에 대한 동작 흐름을 보인 개략도.FIG. 2 is a schematic diagram showing an operation flow for automatic correction in FIG. 1; FIG.

도3은 도2에 있어서, 본 발명에 의한 색 모델의 확률 분포도.3 is a probability distribution diagram of a color model according to the present invention in FIG. 2;

본 발명은 객체 인식 방법에 관한 것으로, 특히 화상처리를 이용한 물체 검지 및 인식시 인식 알고리즘의 주된 특징인 색 모델을 특정 물체 및 조명이나 배경의 변화에 맞게 자동으로 보정하여 물체 검지 및 인식율을 향상시키도록 한 객체 인식 방법에 관한 것이다.The present invention relates to an object recognition method, and in particular, to automatically detect a color model, which is a main feature of the recognition algorithm during object detection and recognition using image processing, according to a change of a specific object and lighting or background, thereby improving object detection and recognition rate. It relates to an object recognition method.

최근의 가정용 엔터테인먼트 로봇의 경우, 특정 물체나 사람 얼굴의 인식 기능이 포함되어 있는데, 이는 화상처리를 이용하여 수행된다.Recent home entertainment robots include a function of recognizing a specific object or a human face, which is performed using image processing.

종래의 기술로서, 예를 들면, 미국 특허 6263113에 나타난 바와 같이, 얼굴 검출시에 RGB 각각의 색의 절대값을 이용하여 기준색 모델을 설정한 후, 그 기준색 모델을 화상과 비교하여 얼굴이라고 판단되는 색을 그룹화함으로써 얼굴을 검출하는 동작을 수행한다.As a conventional technique, for example, as shown in US Pat. No. 6,263,113, a reference color model is set by using the absolute values of the respective colors of RGB at the time of face detection, and then the reference color model is compared with an image. The face detection is performed by grouping the determined colors.

상술한 방법은, 얼굴의 기준색 모델이 정해져 있고, 또한 상당히 넓은 색 영역을 포함하여 얼굴색과 비슷한 많은 물체를 얼굴로 오인하여 검지할 수 있고, 또한 RGB 각각의 색의 절대값을 이용한 기준색 모델을 사용하는 경우에, 조명 조건이 변하게 되면 동일한 얼굴이라도 색의 변화가 생겨 정확하게 검지 못하는 문제가 있다.In the above-described method, a reference color model of a face is determined, and many objects similar to the face color including a fairly wide color gamut can be mistaken and detected by the face, and a reference color model using the absolute value of each RGB color. In the case of using, when the lighting conditions are changed, even if the same face, there is a problem that the color is not precisely black.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 화상처리를 이용한 물체 검지 및 인식시 인식 알고리즘의 주된 특징인 색 모델을 특정 물체 및 조명이나 배경의 변화에 맞게 자동으로 보정하여 물체 검지 및 인식율을 향상시키도록 한 객체 인식 방법을 제공함에 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and automatically detects and corrects a color model, which is a main feature of a recognition algorithm in object detection and recognition using image processing, according to a change of a specific object and lighting or background. An object of the present invention is to provide an object recognition method for improving the recognition rate.

상기와 같은 목적을 달성하기 위한 본 발명은, 캡쳐된 화상 정보로부터 특정 목표물의 색을 정규화된 기준 색 모델을 이용하여 분리하는 제1 단계와; 상기 특정 목표물의 색을 상기 기준 색 모델과 비교하여 특정 목표물의 색 모델을 검출하는 제2 단계와; 상기 검출된 특정 목표물의 색 모델을 이용하여 목표물을 트랙킹하는 제3 단계를 포함하여 구성된 것을 특징으로 한다.The present invention for achieving the above object comprises a first step of separating the color of a specific target from the captured image information using a normalized reference color model; A second step of detecting a color model of the specific target by comparing the color of the specific target with the reference color model; And tracking a target by using the color model of the detected specific target.

이하, 본 발명에 의한 지능형 로봇의 객체 인식방법에 대한 작용 및 효과를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, operations and effects on the object recognition method of the intelligent robot according to the present invention will be described in detail with reference to the accompanying drawings.

도1은 본 발명 객체 인식 방법에 대한 동작 흐름을 보인 개략도로서, 이에 도시한 바와 같이 화상 정보를 캡쳐하여, 그 화상정보로부터 특정 목표물의 색을 정규화된 색 모델을 이용하여 분리하는 제1 단계와; 상기 특정 목표물의 색을 상기 기준 색 모델과 비교하여 특정 목표물의 색 모델을 검출하는 제2 단계와; 상기 특정 목표물의 색 모델이 검출되면, 상기 검출된 특정 목표물의 색 모델을 이용하여 목표물을 트랙킹하는 제3 단계와; 조명 변화에 따른 상기 특정 목표물의 색 모델을 검출하여 상기 검출된 색 모델을 보정한 후, 상기 보정된 색 모델에 따라 상기 기준 색 모델을 업데이트시키는 제4 단계로 이루어지며, 이와 같은 본 발명의 동작을 사람의 얼굴색을 검출하는 것을 실시예로 하여 설명한다.1 is a schematic diagram showing an operation flow of the object recognition method of the present invention, in which a first step of capturing image information and separating a specific target color from the image information using a normalized color model is shown in FIG. ; A second step of detecting a color model of the specific target by comparing the color of the specific target with the reference color model; If a color model of the specific target is detected, tracking a target using the detected color model of the specific target; A fourth step of detecting the color model of the specific target according to the illumination change to correct the detected color model, and updating the reference color model according to the corrected color model, the operation of the present invention The detection of the face color of a person will be described as an example.

먼저, 화상 정보를 캡쳐하여, 그 화상정보로부터 특정 목표물의 색을 정규화된 기준색 모델을 이용하여 분리하는데, 기존의 절대값 색 모델을 사용하지 않고 하기의 수학식으로 이루어진 정규화된 색 모델을 사용한다.First, image information is captured and a specific target color is separated from the image information by using a normalized reference color model. Instead of using an existing absolute value color model, a normalized color model composed of the following equation is used. do.

[수학식][Equation]

여기서, 상기 정규화된 색 모델은 절대적인 값이 아닌 색 비율로써, 조명이 어두운 경우에도 그 비율은 거의 일정하게 유지된다.Here, the normalized color model is a color ratio that is not an absolute value, and the ratio remains almost constant even when the lighting is dark.

즉, 빨간색의 경우 8비트로 정규화된 값을 기준으로 보면, R=255, G=0, B=0가 되는데, 조명이 어두운 경우에는, R값이 255보다 작은 값으로 된다.That is, in the case of red, R = 255, G = 0, and B = 0 based on the value normalized to 8 bits. In the case of dark lighting, the R value is smaller than 255.

따라서, 상기와 같은 특성을 이용하여 조명 조건에 덜 둔감한 색 모델을 사용하다.Therefore, using the above characteristics, a color model that is less insensitive to lighting conditions is used.

이때, 상기 기준색 모델은, 초기에 특정 카테고리에 속하는 목적물의 색을 샘플링하여 통계적으로 구한 정규화된 색 모델로 설정하는데, 즉 상기 정규화된 색 모델을 기준으로, 초기에는 많은 사람, 다양한 종족의 사람 얼굴색을 샘플링하여 통계적으로 정규화된 기준 색 모델을 설정한다.In this case, the reference color model is initially set as a normalized color model obtained by statistically obtaining a color of a target object belonging to a specific category, that is, based on the normalized color model, initially many people and people of various races. The face color is sampled to establish a statistically normalized reference color model.

그 다음, 상기 특정 목표물의 색을 기준 색 모델과 비교하여 특정 목표물의 색 모델을 검출하는데, 즉 적절한 검출 알고리즘을 사용하여 분리된 특정 목표물의 색이 기준 색 모델에 포함되면 이를 특정 목표물의 색 모델로 검출한다.Then, the color of the specific target is compared with the reference color model to detect the color model of the specific target, that is, if the color of the specific target separated into the reference color model using an appropriate detection algorithm is included in the color model of the specific target. To be detected.

그 다음, 상기 특정 목표물의 색 모델을 기준으로 목표물을 트랙킹한다.Then, the target is tracked based on the color model of the specific target.

한편, 상기에서 검출된 특정 목표물의 색 모델은 자동보정과정을 거쳐 기준색 모델을 새로 설정하는데, 이를 도2를 참조하여 설명한다.On the other hand, the color model of the specific target detected as described above through the automatic correction process to set a new reference color model, which will be described with reference to FIG.

우선, 상기에서 검지된 특정 목적물의 색을 다시 정규화한다.First, the color of the specific object detected above is normalized again.

즉, 동일한 물체에서도 프레임간의 조명 변화에 대하여 색 절대값의 변화가 생기지만, 상기 정규화 과정을 통해 색값들(RGB)의 비율은 일정하게 유지하여 조명변화에 둔감한 특성을 가지도록 한다.That is, although the absolute value of the color changes with respect to the illumination change between the frames even in the same object, the ratio of the color values RGB is kept constant through the normalization process so as to be insensitive to the illumination change.

그 다음, 화상정보의 프레임간의 색차를 구하여 현재 프레임의 색 모델을 산출한다.Then, the color difference between the frames of the image information is obtained to calculate the color model of the current frame.

즉, 이전 프레임과 현재 프레임의 색차를 이용하여 현재 프레임의 목표물 색의 평균과 분산을 구한 후, 현재 색 모델의 가우시안 함수(g1)를 구하고, 현재 프레임과 기준 색 모델과의 색차를 이용하여 현재 색 모델의 가우시안 함수(g2)를 구한 후, 상기 가우시안 함수(g1,g2)를 승산하여 현재 색 모델의 가우시안 함수를 구하여 이를 현재 프레임의 색 모델로 산출하는데, 즉 도3과 같이 현재의 색 모델이 시프팅하게 되어, 일반적으로 구한 색 모델의 높은 확률 분포 내에서 변동을 하여 새로운 색 모델을 생성하게 된다. That is, after calculating the average and variance of the target color of the current frame using the color difference between the previous frame and the current frame, the Gaussian function (g1) of the current color model is obtained, and using the color difference between the current frame and the reference color model After obtaining the Gaussian function g2 of the color model, multiplying the Gaussian functions g1 and g2 to obtain a Gaussian function of the current color model and calculating it as a color model of the current frame, that is, as shown in FIG. This shifting results in a variation within the high probability distribution of the color model that is typically found, thereby generating a new color model.

그 다음, 상기에서 산출된 현재 프레임의 색 모델들을 누적하여 새로운 색 모델을 생성하고, 그 생성된 새로운 색 모델을 학습하여, 기준 색 모델을 업데이트한다.Next, a new color model is generated by accumulating the color models of the current frame calculated above, and learning the generated new color model to update the reference color model.

즉 상술한 고정을 반복 수행하여 매번 계산된 색 모델은 누적되고, 결과적으로 특정인의 얼굴색을 나타내는 가우시안 분포의 새로운 색 모델이 생성되는데, 이는 조명의 변화에도 적응가능한 새로운 색 모델이 된다.That is, the color model calculated every time by repeating the above-described fixing is accumulated, and as a result, a new color model of Gaussian distribution representing the face color of a specific person is generated, which becomes a new color model that is adaptable to changes in illumination.

상기 새로운 색 모델은, 특정인의 얼굴색에 적응된 새로운 색 모델이 되어서, 이를 기초로 하면 특정인의 얼굴색 검출에 용이하고, 주변의 노이즈한 색들은 제거 가능한 색 모델이 된다.The new color model becomes a new color model adapted to the face color of a specific person, and based on this, it is easy to detect the face color of the specific person, and the noisy colors of the surroundings become a removable color model.

한편, 상기에서 산출된 현재 프레임의 색 모델을 트랙킹의 기준색 모델로 적용하여, 조명 변화에 따른 특정 목표물의 색 변화를 적응시킨다.On the other hand, by applying the color model of the current frame calculated as a reference color model of tracking, to adapt the color change of the specific target according to the change in the illumination.

상기 새로운 색 모델 학습방법은, 목표물을 감지한 후, 새롭게 생성되는 색 모델 중 빈도수가 높은 쪽으로 색 모델을 변경하는 첫 번째 방법과 특정 목표물을 계속적으로 검지시켜 새로운 색 모델을 만들어내는 두 번째 방법이 있다.The new color model learning method includes a first method of changing a color model to a higher frequency among newly generated color models after detecting a target and a second method of continuously detecting a specific target to create a new color model. have.

상술한 학습방법에 의해, 일반적인 색 모델을 사용하여 얼굴 검지 및 인식시보다 인식율과 오동작의 가능성이 적어지는 등의 성능의 향상이 가능하며 다양한 인종의 얼굴색에도 적응하여 자동보정이 가능하도록 된다.By the above-described learning method, it is possible to improve the performance such as the recognition rate and the possibility of malfunction less than the face detection and recognition by using a general color model, and it is possible to automatically correct by adapting to the face colors of various races.

이러한, 자동 보정은 얼굴 인식뿐만 아니라 특정한 색의 검지시에도 동일하게 적용되며, 상기 첫 번째 학습방법을 예를 들면, 빨간색 공으로 초기화된 기준 색 모델을 빨간색,핑크,주홍,주황,노란,연두,녹색,진녹색,파랑 등으로 색 모델의 의도적인 변화가 가능하도록 해준다.Such automatic correction is equally applied to not only face recognition but also detection of a specific color. For example, the first learning method may include red, pink, scarlet, orange, yellow, yellow, Green, dark green, and blue allow for intentional changes in color models.

상기 본 발명의 상세한 설명에서 행해진 구체적인 실시 양태 또는 실시예는 어디까지나 본 발명의 기술 내용을 명확하게 하기 위한 것으로 이러한 구체적 실시예에 한정해서 협의로 해석해서는 안되며, 본 발명의 정신과 다음에 기재된 특허 청구의 범위내에서 여러가지 변경 실시가 가능한 것이다.Specific embodiments or examples made in the detailed description of the present invention are intended to clarify the technical contents of the present invention to the extent that they should not be construed as limited to these specific embodiments and should not be construed in consultation. Various changes can be made within the scope of.

이상에서 상세히 설명한 바와 같이 본 발명은, 얼굴 검지시, 색 모델을 사용하는 경우에서 조명변화에 따른 목표물의 색 변화가 생겨도 자동검사가 가능하게 되어, 색 모델을 변경시키는 것이 가능하므로, 검지하고자 하는 목표물의 색상을 환경 변화에 적응하여 잘 검지할 수 있는 효과가 있다.As described in detail above, in the case of using the color model when detecting a face, the present invention enables automatic inspection even if a color change of a target occurs due to a change in illumination, and thus it is possible to change the color model. It is effective to detect the target color by changing the environment.

또한, 본 발명은 얼굴 검지 또는 특정색을 검지하는 분야에 적용하여, 하드웨어나 소프트웨어의 변경없이 사용자가 간단한 학습을 통하여 검출하고자 하는 색을 잘 검지할 수 있는 효과가 있다.In addition, the present invention is applied to the field of detecting a face or a specific color, there is an effect that the user can easily detect the color to be detected through a simple learning without changing the hardware or software.

Claims

A first step of separating the color of the specific target from the captured image information using a normalized reference color model;

A second step of detecting a color model of the specific target by comparing the color of the specific target with the reference color model;

A third step of tracking a target by using the color model of the detected specific target,

The reference color model is a method of recognizing an object, characterized in that the ratio of the color occupied by a specific color of the entire color as a color model.

The method of claim 1, wherein the reference color model,

An object recognition method using a normalized RGB color model implemented by the following equation.

[Equation]

The method of claim 2, wherein the normalized RGB color model,

The ratio of colors, not absolute values, wherein the ratio of colors remains constant even when lighting is dark.

The method of claim 1, wherein the reference color model,

And a normalized color model obtained by sampling a color of an object belonging to a specific category and statistically obtained as an initial reference color model.

According to claim 1,

And a fourth step of correcting a color of the specific target according to a lighting change and updating the reference color model based on the corrected color.

The method of claim 5, wherein the fourth step,

A first process of normalizing the color of the detected specific object;

Calculating a color model of a current frame by obtaining a color difference between frames of image information;

Generating a new color model by accumulating the color models of the calculated current frame;

And a fourth process of learning the generated new color model and updating the reference color model.

The method of claim 6,

And applying a color model of the calculated current frame as a reference color model of tracking, to adapt a color change of a specific target according to a change in illumination.

The method of claim 6, wherein the second process,

Obtaining a Gaussian function g1 of the current color model after obtaining the average and the variance of the target color of the current frame using the color difference between the previous frame and the current frame;

Obtaining a Gaussian function g2 of the current color model using the color difference between the current frame and the reference color model;

And obtaining a Gaussian function of the current color model by multiplying the obtained two Gaussian functions (g1 and g2).

The method of claim 6, wherein the color model training of the fourth process,

After detecting the target, the object recognition method using any one of the method of changing the color model to a higher frequency of the newly generated color model, and the method of continuously detecting a specific target to create a new color model .