KR100356018B1 - Method for Image Indexing and Retrieval By Using Color Information - Google Patents

Method for Image Indexing and Retrieval By Using Color Information Download PDF

Info

Publication number
KR100356018B1
KR100356018B1 KR1019990055279A KR19990055279A KR100356018B1 KR 100356018 B1 KR100356018 B1 KR 100356018B1 KR 1019990055279 A KR1019990055279 A KR 1019990055279A KR 19990055279 A KR19990055279 A KR 19990055279A KR 100356018 B1 KR100356018 B1 KR 100356018B1
Authority
KR
South Korea
Prior art keywords
color
image
histogram
data image
color histogram
Prior art date
Application number
KR1019990055279A
Other languages
Korean (ko)
Other versions
KR20010054460A (en
Inventor
김영태
이호영
민운기
김진웅
하영호
노용만
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1019990055279A priority Critical patent/KR100356018B1/en
Publication of KR20010054460A publication Critical patent/KR20010054460A/en
Application granted granted Critical
Publication of KR100356018B1 publication Critical patent/KR100356018B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Abstract

본 발명은 정지 영상으로 구성된 데이터베이스를 대상으로 원하는 영상을 신속, 정확하게 검색하기 위하여 영상의 광원 조사 방향의 변화로 인한 밝기값 변화를 제거하고, 유색 광원의 영향으로 인한 물체색의 변화를 제거하여 물체 고유색을 복원하며, 다중 양자화를 통하여 정확한 색 히스토그램 특징 벡터를 추출하고, 유사색의 공간적인 위치 및 분포 정보를 추출 및 색인화하는 색 정보를 이용한 영상 색인 방법 및 검색 방법에 관한 것이다.The present invention removes the change in the brightness value due to the change of the light source irradiation direction of the image, and removes the change in the object color due to the influence of the colored light source to quickly and accurately search for a desired image in a database composed of still images. The present invention relates to an image indexing method and a retrieval method using color information for extracting a color histogram feature vector through multiple quantization, and extracting and indexing spatial position and distribution information of a similar color.

이를 해결하기 위해 본 발명의 색 정보를 이용한 영상 색인방법은, 광원 조사 방향의 변화로 인해 발생하는 밝기(intensity) 변화 즉, 색 분포(color distribution) 변화를 제거하기 위해 영상의 생동폭을 조절하는 제 1 단계와; 유색 광원의 영향으로 인한 물체색의 변화를 제거하여 고유의 물체색을 복원하기 위하여 색 보정을 하는 제 2 단계; 다중 양자화를 통한 색 히스토그램을 산출하는 제 3 단계; 양자화를 통해 얻어진 색 히스토그램의 동일 빈에 속한 화소들의 공간적인 정보를 구하는 제 4 단계; 및 추출된 특징벡터를 색인화하는 제 5 단계를 포함한다.In order to solve this problem, the image indexing method using the color information of the present invention is to adjust the dynamic width of the image to remove the change in intensity, that is, the color distribution, which is caused by the change in the light source irradiation direction. A first step; A second step of performing color correction to restore the original object color by removing the change of the object color due to the influence of the colored light source; Calculating a color histogram through multiple quantization; A fourth step of obtaining spatial information of pixels belonging to the same bin of the color histogram obtained through quantization; And a fifth step of indexing the extracted feature vectors.

Description

색 정보를 이용한 영상 색인 및 검색방법 {Method for Image Indexing and Retrieval By Using Color Information}Image indexing and retrieval method using color information {Method for Image Indexing and Retrieval By Using Color Information}

본 발명은 내용기반 멀티미디어 데이터 검색분야 중 색 정보를 이용한 영상 검색방법에 관한 것으로서, 질의 영상과 데이터 베이스 영상에 대해 색 특징벡터를 추출하고, 추출된 특징벡터 간의 유사도를 측정하여 검색을 수행하는 방법에 관한 것이다.The present invention relates to an image retrieval method using color information in the field of content-based multimedia data retrieval, wherein a color feature vector is extracted from a query image and a database image, and a search is performed by measuring the similarity between the extracted feature vectors. It is about.

색 정보를 영상 검색방법의 종래 기술을 살펴보면 다음과 같다.Looking at the prior art of the color information image search method as follows.

먼저, 1991년 "M.J. Swain"과 "D.H. Ballard"가 "International Journal of Computer Vision"지에 발표된 논문("Color Indexing")은 색 정보를 이용한 물체의 인식을 주 내용으로 하고 있다. 이는 색 정보를 이용한 물체 인식에 기초를 마련한 논문으로서 영상의 색 정보를 통해 색 히스토그램을 구성하고, 영상간의 히스토그램 유사도를 히스토그램 인터섹션(histogram intersection)방법을 통해 측정하여 물체를 인식한다. 그러나 상기 방법의 경우, 광원의 변화가 발생할 경우에는 동일한 물체(object)라 할지라도 색 히스토그램의 값이 민감하게 변화하여 인식률이 떨어지는 단점을 가진다.First, in 1991, "M.J. Swain" and "D.H. Ballard", published in the "International Journal of Computer Vision" ("Color Indexing"), focus on the recognition of objects using color information. This paper is based on the object recognition using color information. The color histogram is constructed from the color information of the image, and the histogram similarity between images is measured by the histogram intersection method to recognize the object. However, in the above method, when a change in the light source occurs, even if the same object (object), the value of the color histogram is sensitively changed and the recognition rate is lowered.

1995년 "B.V. Funt"와 "G.D. Finlayson"가 "IEEE Transaction on Pattern Analysis and Machine Intelligence"지에 발표한 논문("Color Constant Color Indexing")은 종래의 색 히스토그램을 이용한 방법이 가지는 광원의 변화로 인한 인식율 저하를 방지하기 위한 방법을 주 내용으로 하고 있다. 상기 방법은 Land의 retinex 이론을 기반으로 한 방법으로서, 앞서 발표한 Swain과 Ballard의 방법보다는 나은 인식률을 갖지만 영상에서의 중심 화소 주위의 화소들이 동일한 표면 법선 벡터(surface normal vector)를 가진다는 가정을 두므로, 물체의 표면 방향(surface orientation)이 급격하게 변하는 물체의 경우에는 인식률이 오히려 떨어지는 단점을 가진다.In 1995, "BV Funt" and "GD Finlayson" published in "IEEE Transaction on Pattern Analysis and Machine Intelligence" ("Color Constant Color Indexing"), the recognition rate due to the change in the light source of the conventional method using the color histogram The main focus is on the method of preventing a fall. The method is based on Land's retinex theory, which has better recognition rate than Swain and Ballard's method, but assumes that the pixels around the center pixel in the image have the same surface normal vector. Therefore, in case of an object whose surface orientation changes sharply, the recognition rate is rather deteriorated.

색 히스토그램을 구하기 위해 종래의 일반적인 단일 양자기는 양자화 과정에서 결정값(decision value) 주위에 있는 화소(Pixel)들은 유사한 색일지라도 서로 다른 빈(bin)에 속하는 경우가 발생하기 때문에 검색의 정확도를 떨어뜨리는 원인으로 작용한다. 또한, 이러한 방식은 전체 빈의 수도 많아 데이터베이스가 큰 경우에 계산량이 많게 되고, 전체 빈의 수에 대해서 "0"의 값을 갖는 빈의 수가 상당히 많아 색인화의 효율이 떨어지는 경향이 있다.In order to obtain a color histogram, a conventional single quantum device decreases the accuracy of the search because the pixels around the decision value may belong to different bins even though they have similar colors. It acts as a cause of falling. In addition, this method tends to have a large amount of calculation when the number of total bins is large and the database is large, and a large number of bins having a value of "0" with respect to the total number of bins tends to decrease indexing efficiency.

색 히스토그램을 사용하는 방법은 영상을 이루고 있는 화소들의 전체 영상 내의 색의 구성 비율만을 특징 벡터로 사용하고 있기 때문에, 그 색이 영상 내에서 공간적으로 어떤 특성을 가지고 분포되어 있는가는 반영하지 못하는 단점을 갖고있다. 이러한 단점을 극복하기 위하여 1999년 "In Kyu Park" 등은 "Image and Vision Computing"지에 발표한 논문("Color image retrieval using hybrid graph representation")에서 자기분산(Self variance)과 관계분산(relational variance)을 사용하는 방법을 제안하였다. 이 논문에서는 x 방향과 y 방향으로 독립적으로 분산을 구하여 이 값을 합하여 사용하였다. 그러나 이러한 방법은 색의 분포 특성을 2차원적으로 보지 아니하고 x, y에 1차원적인 분포의 합으로 기술함으로써, x, y의 각각의 방향에 대해 어떤 특성을 갖고 있는지 분별하지 못하는 단점을 갖는다.The method using the color histogram uses only the composition ratio of the colors in the entire image of the pixels constituting the image as a feature vector, which does not reflect the spatial distribution of the color in the image. Have To overcome these shortcomings, In Kyu Park et al. In 1999 published self-variance and relational variance in a paper published in Image and Vision Computing ("Color image retrieval using hybrid graph representation"). A method of using is proposed. In this paper, the variances were calculated independently in the x and y directions, and these values were summed and used. However, this method has a disadvantage in that it is not possible to discern which characteristics of each of the directions of x and y are described by describing the distribution characteristics of colors as a sum of one-dimensional distributions in x and y without looking at them in two dimensions.

따라서, 본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 영상의 광원 조사 방향의 변화로 인한 밝기값 변화를 제거하고, 유색 광원의 영향으로 인한 물체색의 변화를 제거하여 물체 고유색을 복원하며, 다중 양자화를 통해 정확한 색 히스토그램 특징벡터를 추출하고, 유사 색의 공간적인 위치 및 분포 정보를 추출 및 색인화하여 신뢰성이 높은 영상 검색을 실현시키기 위한 방법을 제공하는 데 그 목적이 있다.Accordingly, the present invention has been made to solve the above problems of the prior art, removes the change in the brightness value due to the change in the light source irradiation direction of the image, and removes the change in the object color due to the influence of the colored light source to remove the object intrinsic color The present invention aims to provide a method for extracting accurate color histogram feature vectors through multiple quantization and extracting and indexing spatial position and distribution information of similar colors to realize a reliable image search.

도 1은 본 발명의 한 실시예에 따른 색 정보를 이용한 영상 색인 및 검색방법을 도시한 전체 흐름도,1 is a flowchart illustrating an image indexing and searching method using color information according to an embodiment of the present invention;

도 2는 도 1에 도시된 생동폭 조절여부를 판단하는 과정을 도시한 동작 흐름도,FIG. 2 is an operation flowchart illustrating a process of determining whether to adjust the living width shown in FIG. 1;

도 3은 도 1에 도시된 적응적 생동폭 조절과정을 도시한 동작 흐름도,FIG. 3 is an operation flowchart showing an adaptive live width adjustment process shown in FIG. 1;

도 4는 도 1에 도시된 색 보정과정을 도시한 동작 흐름도,4 is an operation flowchart showing a color correction process shown in FIG. 1;

도 5는 일반적인 3차원 색 공간에서 선형 양자화과정을 설명하기 위해 도시한 도면,5 is a diagram illustrating a linear quantization process in a general three-dimensional color space;

도 6은 본 발명의 일 실시예에 따른 빈 프로젝션을 통한 양자화과정을 설명하기 위해 도시한 도면,6 is a view illustrating a quantization process through bin projection according to an embodiment of the present invention;

도 7은 빈 프로젝션과 기존의 선형 양자화기의 구현 방법을 설명하는 도면,7 is a diagram for explaining empty projection and a method of implementing a conventional linear quantizer;

도 8은 빈 프로젝션이 기존의 선형 양자화기보다 더 우수한 경우를 설명하기 위해 도시한 도면8 is a diagram illustrating a case where an empty projection is better than a conventional linear quantizer.

도 9는 빈 프로젝션을 사용하였을 경우 검색이 어려운 경우를 설명하는 도면,9 is a view for explaining a case that the search is difficult when using the blank projection,

도 10은 다중 양자화기가 빈 프로젝션만을 이용했을 때의 단점을 극복하기 위한 방법을 설명하기 위해 도시한 도면,FIG. 10 is a diagram illustrating a method for overcoming a disadvantage when a multiple quantizer uses only empty projection.

도 11은 영상의 유사 색의 공간적인 평균 위치 및 분포 정보를 추출하는 과정을 설명하는 동작 흐름도이다.11 is a flowchart illustrating a process of extracting spatial average position and distribution information of a similar color of an image.

상기 목적을 달성하기 위한 본 발명에 따른 색 정보를 이용한 영상 색인 및 검색방법은, 데이터베이스에 색인할 데이터 영상이 입력되면, 광원 조사 방향의 변화로 인해 발생하는 색 밝기 분포변화를 제거하기 위해 상기 데이터 영상의 생동폭을 조절하는 제 1 단계와; 상기 생동폭이 조절된 데이터 영상을 양자화하여 색 히스토그램을 산출하여 색인하는 제 2 단계; 질의 영상이 입력되면, 상기 질의 영상의 생동폭을 조절하는 제 3 단계; 상기 생동폭이 조절된 질의 영상을 양자화하여 색 히스토그램을 산출하는 제 4 단계; 및 상기 질의 영상의 색 히스토그램과 데이터 영상의 색 히스토그램의 유사도를 측정하여 검색하는 제 5 단계를 포함하는 것을 특징으로 한다.The image index and search method using the color information according to the present invention for achieving the above object, if the data image to be indexed into the database, the data to remove the change in color brightness distribution caused by the change in the light source irradiation direction A first step of adjusting the dynamic width of the image; A second step of calculating and indexing a color histogram by quantizing the data image having the adjusted dynamic width; If the query image is input, adjusting a live width of the query image; A fourth step of calculating a color histogram by quantizing the quality-adjusted query image; And a fifth step of measuring and searching for similarities between the color histogram of the query image and the color histogram of the data image.

양호하게는, 상기 제 1 단계와 제 3 단계의 생동폭 조절과정은, 상기 영상이 밝은 영역에 비해 어두운 영역의 비율이 크면 수행되는 것을 특징으로 한다.Preferably, the dynamic width adjustment process of the first step and the third step is characterized in that the image is performed if the ratio of the dark area to the bright area is large.

보다 양호하게는, 상기 생동폭 조절과정은, 상기 영상의 각 채널별 밝기값 차이(DiffRG, DiffRB, DiffGB)가 임계치(Th1)보다 크지 않고, 각 채널의 밝기 평균값()이 임계치(Th2)보다 작으면 수행되는 것을 특징으로 한다.More preferably, in the live dynamics adjustment process, the difference in brightness values Diff RG , Diff RB , and Diff GB for each channel of the image is not greater than a threshold Th1, and the brightness average value of each channel ( ) Is smaller than the threshold Th2.

보다 더 양호하게는, 상기 생동폭 조절과정은, 상기 영상의 각 화소에 대해 어두운 영역의 매핑이득을 밝은 영역의 매핑이득보다 큰 값으로 하여 아래의 스케일 함수 수식에 적용하는 것을 특징으로 한다.More preferably, the process of adjusting the dynamic width is characterized by applying the mapping gain of the dark region for each pixel of the image to a value greater than the mapping gain of the bright region for the following scale function equation.

< 수식 ><Formula>

여기서, xmax는 입력신호의 최대값, ymax는 출력신호의 최대값, μ는 매핑이득이다.Where x max is the maximum value of the input signal, y max is the maximum value of the output signal, and μ is the mapping gain.

보다 더 양호하게는, 상기 매핑이득은 화소의 밝기값과 상기 화소 주위의 8개 이웃화소의 평균 밝기값에 따라 서로 다른 이득값을 적용하는 것을 특징으로 한다.More preferably, the mapping gain is characterized by applying different gain values according to the brightness value of the pixel and the average brightness value of eight neighboring pixels around the pixel.

양호하게는, 상기 데이터 영상의 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하여 색인하는 제 6 단계와; 상기 질의 영상의 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하는 제 7 단계; 및 상기 데이터 영상의 색 분포정보 특징벡터와 질의 영상의 색 분포정보 특징벡터의 유사도를 측정하여 검색하는 제 8 단계를 더 포함한 것을 특징으로 한다.Preferably, a sixth step of extracting and indexing the feature vector representing the spatial color distribution information from the color histogram of the data image; Extracting a feature vector representing spatial color distribution information from a color histogram of the query image; And an eighth step of measuring and searching for similarity between the color distribution information feature vector of the data image and the color distribution information feature vector of the query image.

보다 양호하게는, 상기 제 6 단계와 제 7 단계의 색 분포정보 특징벡터 추출과정은, 상기 색 히스토그램의 각 빈에 속한 화소들의 위치의 평균값과 화소간의 거리의 분산값을 구하는 것을 특징으로 한다.More preferably, the color distribution information feature vector extraction process of the sixth and seventh steps is characterized by obtaining the variance value of the distance between the pixels and the average value of the positions of the pixels in each bin of the color histogram.

또한, 본 발명에 따른 색 정보를 이용한 영상 색인 및 검색방법은, 데이터베이스에 색인할 데이터 영상이 입력되면, 유색광원의 영향으로 인한 물체의 색의 변화를 제거하여 고유의 물체색을 복원하기 위해 색 보정하는 제 1 단계와; 상기 색 보정된 데이터 영상을 양자화하여 색 히스토그램을 산출하는 제 2 단계; 질의 영상이 입력되면, 상기 질의 영상을 색 보정하는 제 3 단계; 상기 색 보정된 질의 영상을 양자화하여 색 히스토그램을 산출하는 제 4 단계; 및 상기 질의 영상의 색 히스토그램과 데이터 영상의 색 히스토그램의 유사도를 측정하여 검색하는 제 5 단계를 포함하는 것을 특징으로 한다.In addition, the image indexing and retrieval method using the color information according to the present invention, if the data image to be indexed into the database, color correction to restore the original object color by removing the change of the object color due to the influence of the colored light source A first step of doing; Calculating a color histogram by quantizing the color corrected data image; A third step of color correcting the query image when the query image is input; A fourth step of quantizing the color corrected query image to calculate a color histogram; And a fifth step of measuring and searching for similarities between the color histogram of the query image and the color histogram of the data image.

보다 양호하게는, 상기 제 1 단계와 제 3 단계의 색 보정과정은, 상기 영상을 색상, 채도, 및 명도의 3가지 요소로 구성된 HSV 색 공간을 이용하여 유채색 성분 화소들의 평균값을 구하고, 상기 평균값을 이용하여 각 채널의 이득을 조절하는 것을 특징으로 한다.More preferably, in the color correction process of the first and third steps, the average value of chromatic component pixels is obtained by using the HSV color space composed of three elements of hue, saturation, and lightness. It is characterized in that to adjust the gain of each channel using.

보다 더 양호하게는, 상기 영상의 화소의 채도와 명도를 곱한 값이 임계치보다 크면 유채색 성분 화소로 분리하여 상기 평균값 계산에 포함시키는 것을 특징으로 한다.More preferably, when the value obtained by multiplying the saturation and the brightness of the pixel of the image is larger than the threshold value, it is divided into chromatic component pixels and included in the average value calculation.

양호하게는, 상기 데이터 영상의 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하여 색인하는 제 6 단계와; 상기 질의 영상의 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하는 제 7 단계; 및 상기 데이터 영상의 색 분포정보 특징벡터와 질의 영상의 색 분포정보 특징벡터의 유사도를 측정하여 검색하는 제 8 단계를 더 포함한 것을 특징으로 한다.Preferably, a sixth step of extracting and indexing the feature vector representing the spatial color distribution information from the color histogram of the data image; Extracting a feature vector representing spatial color distribution information from a color histogram of the query image; And an eighth step of measuring and searching for similarity between the color distribution information feature vector of the data image and the color distribution information feature vector of the query image.

보다 양호하게는, 상기 제 6 단계와 제 7 단계의 색 분포정보 특징벡터 추출과정은, 상기 색 히스토그램의 각 빈에 속한 화소들의 위치의 평균값과 화소간의 거리의 분산값을 구하는 것을 특징으로 한다.More preferably, the color distribution information feature vector extraction process of the sixth and seventh steps is characterized by obtaining the variance value of the distance between the pixels and the average value of the positions of the pixels in each bin of the color histogram.

또한, 본 발명에 따른 색 정보를 이용한 영상 색인 및 검색방법은, 데이터베이스에 색인할 데이터 영상이 입력되면, 상기 데이터 영상을 일정 구획으로 나누고 각 구획마다 특징벡터를 추출하는 선형 양자화방법으로 양자화하여 제 1 색 히스토그램을 산출하는 제 1 단계와; 상기 데이터 영상을 일정 구획으로 나누고 가로 및 세로 구획들별로 특징벡터를 추출하는 빈 프로젝션 양자화방법으로 양자화하여 제 2 색 히스토그램을 산출하는 제 2 단계; 질의 영상이 입력되면, 상기 질의 영상을 선형 양자화방법으로 양자화하여 제 1 색 히스토그램을 산출하는 제 3 단계; 상기질의 영상을 빈 프로젝션 양자화방법으로 양자화하여 제 2 색 히스토그램을 산출하는 제 4 단계; 및 상기 데이터 영상의 제 1 색 히스토그램과 질의 영상의 제 1 색 히스토그램, 상기 데이터 영상의 제 2 색 히스토그램과 질의 영상의 제 2 색 히스토그램의 유사도를 측정하여 검색하는 제 5 단계를 포함하는 것을 특징으로 한다.In addition, the image indexing and retrieval method using the color information according to the present invention, if a data image to be indexed into the database, the data image is divided into a predetermined partition and quantized by a linear quantization method that extracts a feature vector for each partition Calculating a one-color histogram; A second step of calculating a second color histogram by dividing the data image into predetermined partitions and quantizing them by an empty projection quantization method for extracting feature vectors for each horizontal and vertical partition; A third step of calculating a first color histogram by quantizing the query image by a linear quantization method when the query image is input; A fourth step of calculating a second color histogram by quantizing the image of the query by an empty projection quantization method; And a fifth step of measuring and searching for similarities between the first color histogram of the data image and the first color histogram of the query image, the second color histogram of the data image, and the second color histogram of the query image. do.

양호하게는, 상기 데이터 영상의 제 1, 2 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하여 색인하는 제 6 단계와; 상기 질의 영상의 제 1, 2 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하는 제 7 단계; 및 상기 데이터 영상의 색 분포정보 특징벡터와 질의 영상의 색 분포정보 특징벡터의 유사도를 측정하여 검색하는 제 8 단계를 더 포함한 것을 특징으로 한다.Preferably, a sixth step of extracting and indexing the feature vector representing the spatial color distribution information from the first and second color histogram of the data image; Extracting a feature vector representing spatial color distribution information from the first and second color histograms of the query image; And an eighth step of measuring and searching for similarity between the color distribution information feature vector of the data image and the color distribution information feature vector of the query image.

보다 양호하게는, 상기 제 6 단계와 제 7 단계의 색 분포정보 특징벡터 추출과정은, 상기 색 히스토그램의 각 빈에 속한 화소들의 위치의 평균값과 화소간의 거리의 분산값을 구하는 것을 특징으로 한다.More preferably, the color distribution information feature vector extraction process of the sixth and seventh steps is characterized by obtaining the variance value of the distance between the pixels and the average value of the positions of the pixels in each bin of the color histogram.

또한, 본 발명에 따르면 상술한 색 보정을 이용한 영상 색인 및 검색방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.According to the present invention, there is provided a computer-readable recording medium having recorded thereon a program for executing the image indexing and retrieval method using the above-described color correction.

또한, 본 발명에 따른 색 보정을 이용한 영상 색인 검색방법은, 데이터베이스에 색인할 데이터 영상이 입력되면 양자화하여 색 히스토그램을 산출하여 색인하는 제 1 단계와; 색인된 색 히스토그램을 분석하여 전처리 여부를 결정하는 제 2 단계; 전처리 실행으로 판단된 경우, 광원 조사 방향의 변화로 인해 발생하는 색 밝기 분포변화를 제거하기 위해 상기 데이터 영상의 생동폭을 조절하고, 유색광원의 영향으로 인한 물체의 색의 변화를 제거하여 고유의 물체색을 복원하기 위해 상기 데이터 영상을 색 보정하는 제 3 단계; 상기 전처리된 데이터 영상을 대상으로 하여 보정된 색 히스토그램을 산출하여 색인하는 제 4 단계; 질의 영상이 입력되면, 색 히스토그램을 산출하여 색인하고 전처리 여부를 판단하는 제 5 단계; 전처리 실행으로 판단된 경우 상기 질의 영상의 생동폭을 조절하고 색 보정하여 전처리하고, 상기 전처리된 질의 영상을 대상으로 보정된 색 히스토그램을 산출하는 제 6 단계; 및 상기 질의 영상의 색 히스토그램과 데이터 영상의 색 히스토그램의 유사도를 측정하여 검색하는 제 7 단계를 포함하는 것을 특징으로 한다.The image index retrieval method using color correction according to the present invention includes a first step of calculating and indexing a color histogram by quantizing a data image to be indexed into a database; A second step of analyzing the indexed color histogram to determine whether to preprocess it; When it is determined that the preprocessing is executed, the dynamic width of the data image is adjusted to remove the change in the color brightness distribution caused by the change in the light source irradiation direction, and the color change of the object due to the influence of the colored light source is removed. A third step of color correcting the data image to restore an object color; A fourth step of calculating and indexing a corrected color histogram for the preprocessed data image; A fifth step of calculating, indexing and determining a color histogram when the query image is input; A sixth step of adjusting the dynamic width of the query image and performing color correction when preprocessing is determined, and calculating a corrected color histogram for the preprocessed query image; And a seventh step of measuring and searching for similarity between the color histogram of the query image and the color histogram of the data image.

양호하게는, 상기 영상의 전처리되기 전의 색 히스토그램과 전처리된 후의 보정된 색 히스토그램은 1 비트 플래그를 통해 구별되는 것을 특징으로 한다.Preferably, the color histogram before the preprocessing of the image and the corrected color histogram after the preprocessing are distinguished through a 1-bit flag.

보다 양호하게는, 상기 제 7 단계는, 상기 영상의 히스토그램의 종류는 검색시 사용자에 의해 선택되는 것을 특징으로 한다.More preferably, the seventh step is characterized in that the type of histogram of the image is selected by the user when searching.

또한, 본 발명에 따르면 상술한 색 보정을 이용한 영상 색인 및 검색방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.According to the present invention, there is provided a computer-readable recording medium having recorded thereon a program for executing the image indexing and retrieval method using the above-described color correction.

이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 "색 정보를 이용한 영상 색인 및 검색방법"을 보다 상세하게 설명하면 다음과 같다.Hereinafter, the "image index and search method using color information" according to an embodiment of the present invention with reference to the accompanying drawings in more detail as follows.

도 1은 본 발명의 전체 흐름도이다. 먼저, 전처리부(101)는 생동폭 조절과 색보정 등의 초기화단계를 수행한다. 즉, 전처리부(101)는 영상의 특성을 조사하여 생동폭 조절 여부를 판단한다(102). 생동폭을 조절하는 경우로 판단된 경우에는 생동폭을 조절하고(103), 이어서 색 보정을 수행한다(104). 생동폭을 조절하지않는 경우에는 생동폭 조절없이 색 보정을 수행한다.1 is an overall flow chart of the present invention. First, the preprocessing unit 101 performs an initialization step such as adjusting the dynamic width and color correction. That is, the preprocessor 101 determines whether the dynamic width is adjusted by examining the characteristics of the image (102). If it is determined that the dynamic width is adjusted, the dynamic width is adjusted (103), and then color correction is performed (104). If the dynamic width is not adjusted, color correction is performed without adjusting the dynamic width.

여기서, 생동폭이란, 영상의 내에 존재하는 색의 밝기 범위이다. 즉, 빛이 한 방향으로만 비치는 영상의 경우, 빛이 비치는 쪽의 색의 밝기는 매우 밝고 빛이 비치지 않는 쪽의 색의 밝기는 매우 어두운데, 이렇게 색의 밝기 범위가 크면 생동폭이 크다고 하고, 빛이 균일하게 비치는 영상의 경우 색의 밝기의 범위가 크지 않으면 생동폭이 작다고 한다. 동일한 영상이라고 하더라도 이 색의 밝기의 범위에 따라 다른 영상으로 오인될 수 있는데, 본 발명에서는 이 생동폭이 크면 생동폭 조절단계(103)를 통해 색의 밝기 범위를 줄인다.Here, the live width is the brightness range of the color existing in the video. In other words, in the case of the image where the light shines in only one direction, the brightness of the color of the light is very bright and the brightness of the color of the non-light is very dark. In the case of uniformly shining light, the dynamic range is small if the brightness of the color is not large. Even the same image may be mistaken as another image according to the range of brightness of this color. In the present invention, if the dynamic width is large, the brightness range of the color is reduced through the dynamic width adjustment step 103.

이와 같이 전처리단계를 수행한 다음, 특징 추출부(105)는 일반적인 선형 양자화(106)와 빈 프로젝션 양자화(107)를 수행한다. 선형 양자화(106)와 빈 프로젝션 양자화(107)를 통해 결과적으로 색 히스토그램 벡터가 추출된다(108). 이어서 동일한 빈에 속한 화소를 대상으로 공간적인 평균 위치 및 분포 특징벡터가 추출된다(109).After performing the preprocessing step as described above, the feature extractor 105 performs general linear quantization 106 and empty projection quantization 107. The resulting color histogram vector is extracted 108 through linear quantization 106 and empty projection quantization 107. Subsequently, a spatial average position and a distribution feature vector are extracted for pixels belonging to the same bin (109).

데이터 베이스에 저장된 영상들(110)이 상기한 특징추출단계를 거쳐서 특징벡터가 추출되면, 색인화부(111)는 이 추출된 특징벡터를 색인하여, 데이터베이스에 색인데이터(114)를 저장한다.When the images 110 stored in the database extract the feature vectors through the feature extraction step, the indexing unit 111 indexes the extracted feature vectors and stores the index data 114 in the database.

전처리 단계(101)는 모든 입력 영상을 대상으로 하여 처리되는 것이 아니고 특징 추출단계를 거쳐 추출된 히스토그램의 특성을 분석하여 전처리의 필요성이 있다고 판단(115) 된 경우에 한하여 처리된다. 이 경우에는 전처리를 한 경우의 히스토그램과 전처리를 하지 않은 경우의 히스토그램을 각각 색인화한다. 전처리를하지 않는 히스토그램 하나만을 색인하는 영상과 전처리 전, 후의 히스토그램을 동시에 색인하는 영상을 구분하기 위하여 1 비트의 플래그(flag)가 사용된다.The preprocessing step 101 is not processed for all input images but only when it is determined that there is a need for preprocessing by analyzing the characteristics of the histogram extracted through the feature extraction step. In this case, the histogram when preprocessing and the histogram when no preprocessing are indexed respectively. A 1-bit flag is used to distinguish between an image that indexes only one histogram without preprocessing and an image that simultaneously indexes histograms before and after preprocessing.

한편, 질의영상(112)이 입력되고 영상 검색이 의뢰되면, 질의영상(112)은 상기한 특징추출단계를 거쳐 특징벡터가 추출된다. 질의 영상도 마찬가지로 특징추출단계를 거쳐 히스토그램을 분석하여 전처리 여부가 결정된다Meanwhile, when the query image 112 is input and image search is requested, the feature image is extracted through the feature extraction step. Similarly, the query image is subjected to the feature extraction step to determine the preprocessing by analyzing the histogram.

전처리의 필요성이 있는 경우로 판단된 경우에는 2개의 히스토그램이 얻어지며 어떤 히스토그램을 기준으로 하여 검색할 것인가는 검색부에서 사용자에 의해 선택되어진다.If it is determined that there is a need for preprocessing, two histograms are obtained, and which histogram is searched is selected by the user in the search unit.

검색부(113)는 추출된 질의영상 특징벡터와 데이터베이스에 저장된 색인 데이터(114)를 이용하여 유사도기반 검색(116)을 수행하고, 질의영상과 유사도가 높은 순서로 검색결과(117)를 표시한다.The search unit 113 performs the similarity-based search 116 using the extracted query image feature vector and the index data 114 stored in the database, and displays the search results 117 in the order of high similarity with the query image. .

이와 같이 전처리 단계에서 생동폭 조절을 하는 이유는, 영상에서 광원 조사 방향의 영향을 없애기 위해서이다. 동일한 영상이라고 하더라도 광원 조사 방향이 변화하면, 밝은 영역(bright region)과 어두운 영역(dark region)이 차지하는 비율이 변하기 때문에 색의 분포가 달라지며, 이는 영상 검색의 효율을 떨어뜨리는 원인으로 작용한다. 특히, 어두운 영역이 차지하는 비율이 아주 커지면, 색 히스토그램 구성시 색의 변별력(color discrimination)이 떨어지기 때문에 유사한 영상이라고 할지라도 전혀 다른 영상으로 분류될 확률이 높다. 즉, 영상에서 광원 조사 방향으로 인하여 어두운 영역의 비율이 상대적으로 밝은 영역의 비율보다 아주 높은 경우에는 영상 검색 능력이 떨어지므로, 이때에는 영상의 생동폭을 조절함으로써 광원 조사 방향의 영향을 제거한다.The reason for adjusting the dynamic width in the preprocessing step is to eliminate the influence of the light source irradiation direction in the image. Even in the same image, when the light source irradiation direction is changed, the distribution of colors is changed because the ratio of bright regions and dark regions occupies, which causes a decrease in the efficiency of image retrieval. In particular, when the ratio of dark areas becomes very large, the color discrimination in color histograms is reduced, so even a similar image is classified as a completely different image. In other words, when the ratio of the dark area due to the light source irradiation direction in the image is much higher than the ratio of the relatively bright area, the image retrieval ability is inferior. In this case, the influence of the light source irradiation direction is removed by adjusting the dynamic width of the image.

이 생동폭 조절에 대해 상세하게 살펴보면, 어두운 영역의 비율이 큰 영상의 경우 본 발명에서는 생동폭 조절을 통해 어두운 영역의 상세(detail) 정도를 높임으로써 색의 변별력을 높이도록 한다. 도 2는 생동폭 조절여부를 판단하는 과정을 도시한 흐름도이다. 도 2에서,는 입력 영상의 각 채널별 평균값의 차이를 나타내며,는 각 채널 밝기값의 평균을 나타낸다. 즉, 각 채널의 밝기값 차이(DiffRG, DiffRB, DiffGB)가 임계치(Th1)보다 크지 않으며(201), 그 평균값()이 임계치(Th2)보다 작으면(202), 어두운 영역의 비율이 큰 영상으로 판단하여 생동폭을 조절한다(203). 한편, 각 채널의 밝기값 차이(DiffRG, DiffRB, DiffGB)가 임계치(Th1)보다 크거나, 그 평균값()이 임계치(Th2)보다 크면, 어두운 영역이 비율이 작은 영상으로 판단하여 생동폭을 조절하지 않고 바로 색 보정을 수행한다(204).Looking at the dynamic width control in detail, in the case of the image having a large ratio of the dark area in the present invention to increase the detail (detail) of the dark area by adjusting the dynamic width to enhance the discrimination of the color. 2 is a flowchart illustrating a process of determining whether a dynamic width is adjusted. In Figure 2, Represents the difference of the average value of each channel of the input image. Represents the average of each channel brightness value. That is, the difference between the brightness values Diff RG , Diff RB , and Diff GB of each channel is not greater than the threshold Th1 (201), and the average value ( Is smaller than the threshold Th2 (202), it is determined that the ratio of the dark area is a large image to adjust the live width (203). On the other hand, the brightness difference (Diff RG , Diff RB , Diff GB ) of each channel is larger than the threshold Th1 or the average value ( Is larger than the threshold Th2, the dark region is judged to be an image having a small ratio, and color correction is immediately performed without adjusting the dynamic width (204).

본 발명에서는 스케일 함수(scaling function)를 이용한 밝기값의 매핑을 통해 생동폭을 조절한다. 여러 가지 비선형 스케일 함수(nonlinear scaling function)가 있으나 본 발명에서는 어두운 영역의 밝기값을 조절하여 상세 정도를 높이는 것이 목적이므로 어두운 영역의 이득이 밝은 영역의 이득보다 상대적으로 큰 수학식 1의 스케일 함수를 사용하였다.In the present invention, the dynamic width is controlled by mapping the brightness value using a scaling function. Although there are various nonlinear scaling functions, the present invention aims to increase the level of detail by adjusting the brightness value of the dark area, so that the scale function of Equation 1 is larger than the gain of the bright area. Used.

여기서, xmax는 입력 신호의 최대값, ymax는 출력 신호의 최대값, 그리고 μ는 매핑 이득을 각각 나타낸다.Here, x max is the maximum value of the input signal, y max is the maximum value of the output signal, and μ represents the mapping gain, respectively.

인간 시각 체계(Human Visual System)는 밝은 영역에서의 밝기값 변화 보다 어두운 영역에서의 밝기값 변화에 더 민감한데, 어두운 영역에서의 상세 정도를 높이기 위해 높은 이득을 적용하면 영상의 전체적인 밝기 분포가 너무 많이 변하게 되어 오히려 검색 효율을 떨어뜨릴 수 있다. 따라서, 본 발명에서는 영상 전체에 대해 하나의 이득값을 적용하지 않고, 중심 화소와 주위 화소와의 상관 관계를 이용하여 이득값을 적응적으로 결정한다.The human visual system is more sensitive to changes in brightness in dark areas than changes in brightness in bright areas. Applying high gains to increase detail in dark areas results in too much overall brightness distribution of the image. It can change a lot and reduce search efficiency. Therefore, in the present invention, the gain value is adaptively determined by using the correlation between the center pixel and the surrounding pixels without applying one gain value to the entire image.

도 3은 적응적 생동폭 조절과정을 도시한 동작 흐름도이다. 도 3에서 x 는 입력 화소를, xmean는 중심 화소 주위의 8개 이웃화소의 평균값을 각각 나타낸다. 입력 화소(x)의 값이 임계치(Th)보다 큰 지를 먼저 비교하고(301), 다음 입력 화소(x)와 주위 8개 이웃화소의 평균값(xmean)을 비교한다(302, 303). 이때 입력 화소가 임계치(Th)보다 크면 비교적 밝은 영역의 화소로 간주하고 주위 이웃화소의 평균값에 따라 서로 다른 이득(μ1, μ2)을 적용한다. 또한, 입력 화소가 임계치(Th)보다 작으면 비교적 어두운 영역의 화소로 간주하고 주위 이웃화소의 평균값에 따라 서로 다른 이득(μ3, μ4)을 적용한다.3 is an operation flowchart illustrating an adaptive live width adjustment process. In FIG. 3, x denotes an input pixel and x mean denotes an average value of eight neighboring pixels around the center pixel. First, the value of the input pixel x is greater than the threshold Th is compared first (301), and the next input pixel x is compared with an average value (x mean ) of eight neighboring pixels (302 and 303). At this time, if the input pixel is larger than the threshold Th, it is regarded as a pixel of a relatively bright area and different gains (μ 1 , μ 2 ) are applied according to the average value of neighboring pixels. In addition, when the input pixel is smaller than the threshold Th, it is regarded as a pixel of a relatively dark region, and different gains μ 3 and μ 4 are applied according to the average value of the neighboring neighboring pixels.

이렇게 함으로써 어두운 영역과 밝은 영역에 대해 서로 다른 이득을 적용하여 어두운 영역의 상세 정도를 높이면서, 영상 전체 밝기 분포의 변화를 크게 변화시키지 않게 된다.This increases the detail of the dark areas by applying different gains for the dark areas and the bright areas, and does not significantly change the change in the overall brightness distribution of the image.

일반적으로 영상 획득에 사용되는 카메라의 출력은 수학식 2와 같이 표현된다.In general, the output of the camera used for image acquisition is expressed as in Equation 2.

여기서 ns는 광원의 방향 벡터, np는 위치 p에서의 표면 법선 벡터, sp(λ) 는 위치 p에서의 표면 반사 계수, e(λ)는 광원 스펙트럼, 그리고, Qk(λ)는 카메라 감도 함수를 각각 나타낸다. 카메라 감도를 협대역(narrow band)이라 가정하면 수학식 3이 얻어지며, 이때 카메라 출력은 수학식 4와 같다.Where n s is the direction vector of the light source, n p is the surface normal vector at position p, s p (λ) is the surface reflection coefficient at position p, e (λ) is the light source spectrum, and Q k (λ) is Represent each camera sensitivity function. Assuming camera sensitivity is a narrow band, Equation 3 is obtained, where the camera output is as Equation 4.

광원이 e(λ)에서 e'(λ)로 변하면 카메라 출력은 수학식 5와 같다.When the light source changes from e (λ) to e '(λ), the camera output is expressed by Equation 5.

이때, 광원의 변화는 각 채널의 독립적인 이득 조절로서 수학식 6과 같이 모델링된다.In this case, the change of the light source is modeled as in Equation 6 as an independent gain control of each channel.

광원의 영향을 제거하기 위해서는 각 채널의 이득을 조절하여 광원 변화에 의한 영향을 최소화시키는 이득의 결정이 필요한 데, 이를 위하여 각 채널 밝기의 평균값으로 영상의 평균 반사 계수를 구한 후, 광원의 영향에 의해 중간 그레이 값을 중심으로 편차를 가지게 된 각 채널 밝기값의 평균값을 중간 그레이 값을 가지도록 이득을 조절한다. 이를 수식으로 표현하면 수학식 7과 같다.In order to remove the influence of the light source, it is necessary to determine the gain by adjusting the gain of each channel to minimize the influence of the light source change. For this purpose, the average reflection coefficient of the image is obtained from the average value of each channel brightness, and then the influence of the light source is determined. As a result, the gain is adjusted to have an average gray value of the mean value of each channel brightness value having a deviation from the middle gray value. This may be expressed as an equation (7).

한편, 영상에서 어두운 무채색 성분이 많으면, 각 채널 밝기의 평균값이 작아져 필요 이상으로 이득이 증가하여 물체의 색을 제대로 표현하지 못하며, 반대로아주 밝은 무채색 성분이 많으면, 밝기의 평균값이 증가하여 이득이 작아지기 때문에 이 역시 물체의 색을 제대로 표현하지 못하는 경우가 발생한다. 이러한 단점을 보완하기 위하여 본 발명에서는 색상(Hue), 채도(Saturation) 및 명도(Value)의 3가지 요소로 구성된 HSV 색공간을 이용하여 유채색 성분 화소들만의 평균값을 구하여 각 채널의 이득을 조절한다.On the other hand, if there are many dark achromatic components in the image, the average value of each channel's brightness decreases and the gain increases more than necessary, so that the color of the object cannot be represented properly. Because they become smaller, this also causes the color of the object to not be represented properly. In order to compensate for this drawback, the present invention adjusts the gain of each channel by obtaining the average value of only the chromatic component pixels using the HSV color space composed of three elements, hue, saturation, and brightness. .

도 4는 이러한 색 보정과정을 도시한 동작 흐름도이다. 즉, 각 화소 위치를 HSV 좌표계로 변환하고(S401), 채도(S)와 명도(V)를 곱한 값이 임계치(Th)보다 크면(402) 유채색 성분으로 간주하여 평균값 계산에 포함시키고, 채도와 명도의 곱이 임계치(Th)보다 작으면(402) 무채색 계열로 간주한다.4 is an operation flowchart illustrating this color correction process. That is, each pixel position is converted into an HSV coordinate system (S401), and when the value obtained by multiplying the saturation (S) and the brightness (V) is greater than the threshold (Th) (402), it is considered as a chromatic component and included in the average value calculation. If the product of brightness is less than the threshold Th (402) it is considered as achromatic series.

도 5는 일반적인 3차원 색 공간에서 선형 양자화과정을 설명하기 위해 도시한 도면이다. 영상을 이루고 있는 화소들이 색 공간에서 작은 정육면체 내에 포함되어 있는 개수가 색 히스토그램이다. 이러한 일반적인 선형 양자화방법은 인간의 시각적인 특성을 반영되지 않았기 때문에 양자화의 결정값에 따라 유사한 색일지라도 서로 다른 빈에 속하거나 비교적 시각적으로 서로 다르게 느껴지는 색일지라도 같은 빈에 속하는 경우가 발생한다. 즉, 유사한 영상일지라도 양자화의 결정값에 따라 민감한 특징벡터가 얻어질 수 있다.5 is a diagram illustrating a linear quantization process in a general three-dimensional color space. The number of pixels that make up an image is contained in a small cube in a color space is a color histogram. Since the general linear quantization method does not reflect the visual characteristics of humans, even if the color is similar to each other depending on the determination value of the quantization, even if they belong to different bins or colors that are relatively visually different from each other, they belong to the same bin. That is, even for similar images, sensitive feature vectors can be obtained according to the quantization decision value.

도 6은 본 발명의 일 실시예에 따른 빈 프로젝션을 통한 양자화과정을 설명하기 위해 도시한 도면이다. 즉, 색 공간의 3개의 변수 중에서 하나의 변수에 대해서 정밀도를 높게 양자화하고, 다른 2개의 변수는 고려하지 않는 방법이다. 본 발명에서는 일반적인 양자화방법과 이와는 특성이 완전히 다른 빈 프로젝션 양자화방법을 동시에 적용하여 색 히스토그램을 구하는 다중 양자화방법을 사용한다.6 is a diagram illustrating a quantization process through bin projection according to an embodiment of the present invention. In other words, one of the three variables in the color space is quantized with high precision, and the other two variables are not considered. In the present invention, a general quantization method and a multiple quantization method of obtaining a color histogram by simultaneously applying a bin projection quantization method having completely different characteristics are used.

즉, 색 공간의 3가지 축에 대해 서로 다른 정밀도를 가지고 2개 양자화기를 동시에 사용함으로써, 양자화기의 결정값에 대해 특징벡터가 민감하게 바뀌는 경향을 감소시켜 영상의 색 분포 특성이 다각도로 반영된 색 히스토그램 특징벡터가 추출되도록 한다.That is, by using two quantizers simultaneously with different precisions on three axes of the color space, the tendency of the feature vector to be sensitively changed with respect to the quantizer's decision value is reduced, and the color distribution characteristic of the image is reflected in various angles. Allow the histogram feature vectors to be extracted.

도 7은 빈 프로젝션과 기존 양자화기의 구현방법을 설명하기 위해 도시한 도면이다. 도 7의 a와 b와 c는 칼라 공간에서의 양자화 구간과 그에 해당되는 빈 값이다. 설명을 단순화하기 위해 3차원 히스토그램 대신 2차원 히스토그램으로 설명하기로 한다. 빈칸의 빈 값은 모두 같다고 가정한다.FIG. 7 is a diagram illustrating a blank projection and a method of implementing a conventional quantizer. 7, a, b, and c are quantization intervals in a color space and corresponding empty values. For simplicity, we will use a two-dimensional histogram instead of a three-dimensional histogram. It is assumed that all blank values are the same.

위의 a, b, c 영상을 양자화하기 위해 기존 양자화기의 경우에는 각 구획마다 1개의 특징벡터, 즉 모두 16개의 특징 벡터로 나타낸다. 이에 반해, 본 발명에서 제안한 빈 프로젝션 알고리즘은 가로 구획들 및 세로 구획들에 각각 하나의 특징벡터, 즉 모두 8개의 특징벡터로 나타낼 수 있다. 두 알고리즘에서 a를 질의영상으로 하였을 때 b를 c보다 더 가까운 이미지로 검색할 수 있다.In order to quantize the above a, b, and c images, the conventional quantizer is represented by one feature vector, that is, 16 feature vectors for each partition. In contrast, the bin projection algorithm proposed in the present invention may be represented by one feature vector, that is, eight feature vectors, in the horizontal and vertical sections. In both algorithms, when a is a query image, b can be searched for an image closer than c.

그리고 여기에서 제안된 빈 프로젝션 알고리즘은 같은 크기의 영상을 기존의 알고리즘에 비해 적은 수의 특징벡터로 표현할 수 있기 때문에, 이를 반영할 경우에는 좀 더 좋은 검색결과를 가질 수 있고, 두 알고리즘을 같이 사용할 경우에는 기존 알고리즘과 본 발명에서 제안한 빈 프로젝션 알고리즘을 모두 보완할 수 있는 결과를 가질 수 있다.In addition, the proposed empty projection algorithm can represent the same sized image with fewer feature vectors than the existing algorithm, so that it can have a better search result and can use both algorithms together. In this case, it may have a result that can complement both the existing algorithm and the empty projection algorithm proposed by the present invention.

도 8은 빈 프로젝션이 일반적인 선형 양자화기보다 우수한 경우를 설명하기위해 도시한 도면이다. 도 8을 참조하면, a-1과 a-2, b-1과 b-2, c-1과 c-2는 각각 같은 칼라 공간에서의 양자화 구간과 그에 해당되는 빈 값이다. 도 8을 참조하면서 빈 프로젝션이 기존 선형 양자기의 단점을 보완할 수 있는 이유가 설명하면 다음과 같다.8 is a diagram illustrating a case where the bin projection is superior to a general linear quantizer. Referring to FIG. 8, a-1 and a-2, b-1 and b-2, c-1 and c-2 are quantization intervals and corresponding empty values in the same color space, respectively. Referring to FIG. 8, the reason why the blank projection can compensate for the disadvantages of the existing linear quantizer will be described.

설명을 단순화하기 위해 3차원 히스토그램 대신 2차원 히스토그램으로 설명한다. 빈칸의 값은 모두 같다고 가정한다. 그리고, a-1과 a-2가 질의 영상이라고 가정한다. a-1과 b-1과 c-1은 가로 세로를 8구역으로 나누어 빈 프로젝션 알고리즘에 의한 16개 특징 벡터로 비교하는 것이고, a-2와 b-2와 c-2는 같은 이미지를 가로 세로를 4구역으로 나누어 기존 양자화기 알고리즘에 의한 16개 특징 벡터로 비교하는 것이다.In order to simplify the description, the two-dimensional histogram is described instead of the three-dimensional histogram. It is assumed that all blank values are equal. And, suppose that a-1 and a-2 are query images. a-1, b-1, and c-1 divide the height and width into 8 zones and compare them with 16 feature vectors by the blank projection algorithm. a-2, b-2, and c-2 compare the same image with the height and width. Is divided into 4 zones and compared with 16 feature vectors by the conventional quantizer algorithm.

먼저, 기존 선형 양자기에 의한 검색과정을 살펴보면, 질의 영상 a-2에 대해 b-2보다 c-2가 더 비슷한 그림으로 검색될 것이다. 그러나, 빈 프로젝션 알고리즘에 의한 검색과정에서는 질의 영상 a-1에 대해 c-1보다 b-1이 더 비슷한 이미지로 검색될 것이다. 즉, 빈 프로젝션 방법은 같은 수의 특징벡터에 대해 좀 더 세밀하게 검색을 할 수 있으므로 좀 더 나은 검색 결과를 얻을 수 있다.First, looking at the search process by the existing linear quantizer, the image c-2 is searched more similarly than the b-2 for the query image a-2. However, in the search process by the blank projection algorithm, b-1 is searched for the query image a-1 with more similar image than c-1. In other words, the bin projection method can search more precisely the same number of feature vectors, so that better search results can be obtained.

한편, 도 9는 빈 프로젝션 알고리즘만 사용하였을 경우 검색이 어려운 경우를 설명하기 위해 도시한 도면이다. a, b는 칼라 공간에서의 양자화 구간과 그에 해당되는 빈 값이다. 기존 알고리즘으로는 a와 b를 다른 영상으로 구분할 수 있지만, 빈 프로젝션만을 이용하는 경우에는 a와 b를 동일 영상으로 판단한다. 이와 같이 빈 프로젝션 알고리즘만을 이용한 검색방법에는 문제점이 존재한다.Meanwhile, FIG. 9 is a diagram illustrating a case in which a search is difficult when only a blank projection algorithm is used. a and b are quantization intervals and their corresponding empty values in color space. In the conventional algorithm, a and b can be divided into different images, but when only empty projection is used, a and b are regarded as the same image. As such, there is a problem in the retrieval method using only the empty projection algorithm.

도 10은 본 발명의 한 실시예에 따른 다중 양자화방법을 설명하기 위해 도시한 도면이다. 이러한 다중 양자화방법은 빈 프로젝션만을 이용했을 때의 단점을 극복할 수 있다. a-1과 a-2, b-1과 b-2는 각각 같은 이미지에 대한 칼라 공간에서의 양자화 구간과 그에 해당되는 빈 값이다. a-1, b-1은 가로 세로를 8구역으로 나누어 빈 프로젝션 알고리즘에 의한 16개 빈을 형성하고, a-2, b-2는 같은 이미지를 가로 세로를 4구역으로 나누어 기존 알고리즘에 의한 16개 빈을 형성하여, 모두 32개의 빈을 사용한다. 이 경우에는 두 영상 a와 b를 구별할 수 있다.10 is a diagram illustrating a multiple quantization method according to an embodiment of the present invention. This multiple quantization method can overcome the disadvantage of using only empty projection. a-1 and a-2, b-1 and b-2 are quantization intervals and corresponding empty values in color space for the same image, respectively. a-1, b-1 divides the width and height into 8 zones to form 16 bins by the bin projection algorithm, and a-2 and b-2 divides the same image into 4 zones and divides it into 4 zones. Form a gavin, using all 32 bins. In this case, two images a and b can be distinguished.

도 11은 유사한 색의 영상 내의 공간적인 색 분포 정보를 나타내는 특징 벡터를 추출하는 과정을 도시한 동작 흐름도이다. 먼저, 동일한 빈에 속해 있는 화소는 서로 유사한 색으로 가정을 하고, 동일한 빈에 속해 있는 화소들을 대상으로 영상을 하나의 2차원 좌표계로 보아 평균 위치를 구한다(1101). 영상의 2차원 좌표계에서 평균위치와 해당하는 화소간의 거리를 구한다(1102). 상기의 방법으로 동일 빈에 속한 화소들을 대상으로 하여 구한 거리값의 분산을 구한다(1103). 이러한 평균과 분산은 빈 단위로 이루어진다. 빈 단위로 구해진 평균 위치는 그 빈에 속한 화소들이 영상 내에서 공간적으로 어떤 위치에 존재하는가를 나타내는 특징벡터이며, 분산값은 공간적으로 어느 정도 넓은 영역에 걸쳐 분포되어 있는가를 나타내는 특징벡터이다.11 is an operation flowchart illustrating a process of extracting a feature vector representing spatial color distribution information in an image of a similar color. First, the pixels belonging to the same bin are assumed to have similar colors, and an average position is obtained by looking at an image in one two-dimensional coordinate system with respect to the pixels belonging to the same bin (1101). The distance between the average position and the corresponding pixel in the two-dimensional coordinate system of the image is obtained (1102). In the method described above, a variance of a distance value obtained for pixels belonging to the same bin is obtained (1103). These averages and variances are in bins. The average position obtained in units of bins is a feature vector indicating where the pixels belonging to the bin exist spatially in the image, and the variance value is a feature vector indicating how wide an area is spatially distributed.

위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.While the invention has been described above based on the preferred embodiments thereof, these embodiments are intended to illustrate rather than limit the invention. It will be apparent to those skilled in the art that various changes, modifications, or adjustments to the above embodiments can be made without departing from the spirit of the invention. Therefore, the protection scope of the present invention will be limited only by the appended claims, and should be construed as including all such changes, modifications or adjustments.

이상과 같이 본 발명에 따르면, 색 정보를 이용한 영상의 검색에 있어서 광원 변화에 독립적인 색 정보를 추출하여 사용하고, 다중 양자기를 통해서 색 히스토그램을 구함으로써, 영상의 색 특징이 보다 정확하게 반영된 히스토그램 특징벡터가 얻어지며, 색의 영상 내 공간적인 위치 및 분포특성을 특징벡터로 사용함으로써, 보다 효과적으로 영상 검색을 할 수 있다.As described above, according to the present invention, a color histogram obtained by extracting and using color information independent of light source changes in a search for an image using color information, and obtaining a color histogram through multiple quantum devices, thereby more accurately reflecting color characteristics of the image. A vector is obtained, and the image retrieval can be performed more effectively by using spatial position and distribution characteristics of the color image as feature vectors.

Claims (21)

데이터베이스에 색인할 데이터 영상이 입력되면, 광원 조사 방향의 변화로 인하여 발생하는 색 밝기 분포 변화를 제거하기 위하여 상기 데이터 영상의 생동폭을 조절하는 제 1 단계;A first step of adjusting a dynamic width of the data image when the data image to be indexed is input to the database to remove the change in color brightness distribution caused by the change in the light source irradiation direction; 상기 생동폭이 조절된 데이터 영상을 양자화하여 색 히스토그램을 산출하여 색인하는 제 2 단계;A second step of calculating and indexing a color histogram by quantizing the data image having the adjusted dynamic width; 질의 영상이 입력되면, 상기 질의 영상의 생동폭을 조절하는 제 3 단계;If the query image is input, adjusting a live width of the query image; 상기 생동폭이 조절된 질의 영상을 양자화하여 색 히스토그램을 산출하는 제 4 단계; 및A fourth step of calculating a color histogram by quantizing the quality-adjusted query image; And 상기 질의 영상의 색 히스토그램과 데이터 영상의 색 히스토그램의 유사도를 측정하여 검색하는 제 5 단계를 포함하고,A fifth step of measuring and searching for similarity between the color histogram of the query image and the color histogram of the data image; 상기 양자화 과정은,The quantization process, 상기 생동폭이 조절된 데이터 영상을 제 1 일정 구획으로 나누고 각각의 구획마다 특징 벡터를 추출하는 선형 양자화 방법과, 상기 데이터 영상을 제 2 일정 구획으로 나누고 가로 및 세로 구획들별로 특징 벡터를 추출하는 빈 프로젝션 양자화 방법으로 다중 양자화하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색 방법.A linear quantization method of dividing the adjusted data image into a first predetermined partition and extracting a feature vector for each partition; and dividing the data image into a second predetermined partition and extracting a feature vector for each horizontal and vertical partition. An image indexing and retrieval method using color information characterized in that multiple quantization by the bin projection quantization method. 제 1 항에 있어서, 상기 제 1 단계와 제 3 단계의 생동폭 조절과정은,The method of claim 1, wherein the first step and the third step of controlling the dynamic width, 상기 영상이 밝은 영역에 비해 어두운 영역의 비율이 크면 수행되는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.The image indexing and retrieval method using color information, characterized in that the image is performed when the ratio of the dark region to the bright region is large. 제 2 항에 있어서, 상기 생동폭 조절과정은,The method of claim 2, wherein the dynamic width adjustment process, 상기 영상의 각 채널별 밝기값 차이(DiffRG, DiffRB, DiffGB)가 임계치(Th1)보다 크지 않고, 각 채널의 밝기 평균값()이 임계치(Th2)보다 작으면 수행되는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.The difference in brightness values Diff RG , Diff RB , and Diff GB for each channel of the image is not greater than a threshold Th1, and the brightness average value of each channel ( ) Is smaller than the threshold Th2, the image indexing and retrieval method using color information. 제 2 항 또는 제 3 항에 있어서, 상기 생동폭 조절과정은,According to claim 2 or 3, wherein the live width control process, 상기 영상의 각 화소에 대해 어두운 영역의 매핑이득을 밝은 영역의 매핑이득보다 큰 값으로 하여 아래의 스케일 함수 수식에 적용하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.And a mapping gain of a dark region for each pixel of the image to be greater than a mapping gain of a bright region and applying the following scaling function to the following formula. < 수식 ><Formula> 여기서, xmax는 입력신호의 최대값, ymax는 출력신호의 최대값, μ는 매핑이득이다.Where x max is the maximum value of the input signal, y max is the maximum value of the output signal, and μ is the mapping gain. 제 4 항에 있어서, 상기 매핑이득은 화소의 밝기값과 상기 화소 주위의 8개 이웃화소의 평균 밝기값에 따라 서로 다른 이득값을 적용하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.The image indexing and retrieval method using color information according to claim 4, wherein the mapping gain applies different gain values according to the brightness value of the pixel and the average brightness value of eight neighboring pixels around the pixel. 제 1 항에 있어서, 상기 데이터 영상의 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하여 색인하는 제 6 단계와;The method of claim 1, further comprising: extracting and indexing a feature vector representing spatial color distribution information from a color histogram of the data image; 상기 질의 영상의 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하는 제 7 단계; 및Extracting a feature vector representing spatial color distribution information from a color histogram of the query image; And 상기 데이터 영상의 색 분포정보 특징벡터와 질의 영상의 색 분포정보 특징벡터의 유사도를 측정하여 검색하는 제 8 단계를 더 포함한 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.And an eighth step of measuring and searching for a similarity between the color distribution information feature vector of the data image and the color distribution information feature vector of the query image. 제 6 항에 있어서, 상기 제 6 단계와 제 7 단계의 색 분포정보 특징벡터 추출과정은,The method of claim 6, wherein the color distribution information feature vector extraction process of the sixth and seventh steps is performed. 상기 색 히스토그램의 각 빈에 속한 화소들의 위치의 평균값과 화소간의 거리의 분산값을 구하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.And a variance value of a distance between pixels and an average value of positions of pixels belonging to each bin of the color histogram. 데이터베이스에 색인할 데이터 영상이 입력되면, 유색 광원의 영향으로 인한 물체의 색의 변화를 제거하여 고유의 물체색을 복원하기 위하여 색 보정하는 제 1 단계;A first step of performing color correction to remove the color change of the object due to the influence of the colored light source and to restore the original object color when the data image to be indexed is input to the database; 상기 색 보정된 데이터 영상을 양자화하여 색 히스토그램을 산출하는 제 2 단계;Calculating a color histogram by quantizing the color corrected data image; 질의 영상이 입력되면, 상기 질의 영상을 색 보정하는 제 3 단계;A third step of color correcting the query image when the query image is input; 상기 색 보정된 질의 영상을 양자화하여 색 히스토그램을 산출하는 제 4 단계; 및A fourth step of quantizing the color corrected query image to calculate a color histogram; And 상기 질의 영상의 색 히스토그램과 데이터 영상의 색 히스토그램의 유사도를 측정하여 검색하는 제 5 단계를 포함하고,A fifth step of measuring and searching for similarity between the color histogram of the query image and the color histogram of the data image; 상기 양자화 과정은,The quantization process, 상기 색 보정된 데이터 영상을 제 1 일정 구획으로 나누고 각각의 구획마다 특징 벡터를 추출하는 선형 양자화 방법과, 상기 데이터 영상을 제 2 일정 구획으로 나누고 가로 및 세로 구획들별로 특징 벡터를 추출하는 빈 프로젝션 양자화 방법으로 다중 양자화하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.A linear quantization method for dividing the color corrected data image into first predetermined partitions and extracting feature vectors for each partition, and an empty projection for dividing the data image into second predetermined partitions and extracting feature vectors for horizontal and vertical partitions. An image index and retrieval method using color information, characterized in that the multi-quantization by the quantization method. 제 8 항에 있어서, 상기 제 1 단계와 제 3 단계의 색 보정과정은,The method of claim 8, wherein the first and third color correction processes, 상기 영상을 색상, 채도, 및 명도의 3가지 요소로 구성된 HSV 색 공간을 이용하여 유채색 성분 화소들의 평균값을 구하고, 상기 평균값을 이용하여 각 채널의 이득을 조절하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.The image is obtained by using the HSV color space composed of three elements of hue, saturation, and brightness to obtain an average value of chromatic component pixels, and adjusting the gain of each channel using the average value. How to index and search. 제 9 항에 있어서, 상기 영상의 화소의 채도와 명도를 곱한 값이 임계치보다 크면 유채색 성분 화소로 분리하여 상기 평균값 계산에 포함시키는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.The image indexing and retrieval method using color information according to claim 9, wherein if the product of the saturation and the brightness of the pixel of the image is larger than a threshold, the color component is separated into chromatic component pixels and included in the average value calculation. 제 8 항에 있어서, 상기 데이터 영상의 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하여 색인하는 제 6 단계와;9. The method of claim 8, further comprising: extracting and indexing feature vectors representing spatial color distribution information from color histograms of the data image; 상기 질의 영상의 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하는 제 7 단계; 및Extracting a feature vector representing spatial color distribution information from a color histogram of the query image; And 상기 데이터 영상의 색 분포정보 특징벡터와 질의 영상의 색 분포정보 특징벡터의 유사도를 측정하여 검색하는 제 8 단계를 더 포함한 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.And an eighth step of measuring and searching for a similarity between the color distribution information feature vector of the data image and the color distribution information feature vector of the query image. 제 11 항에 있어서, 상기 제 6 단계와 제 7 단계의 색 분포정보 특징벡터 추출과정은,The method of claim 11, wherein the color distribution information feature vector extraction process of the sixth and seventh steps is performed. 상기 색 히스토그램의 각 빈에 속한 화소들의 위치의 평균값과 화소간의 거리의 분산값을 구하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.And a variance value of a distance between pixels and an average value of positions of pixels belonging to each bin of the color histogram. 데이터베이스에 색인할 데이터 영상이 입력되면, 상기 데이터 영상을 일정 구획으로 나누고 각 구획마다 특징벡터를 추출하는 선형 양자화방법으로 양자화하여 제 1 색 히스토그램을 산출하는 제 1 단계와;A first step of calculating a first color histogram by quantizing a data image to be indexed into a database by dividing the data image into predetermined sections and extracting a feature vector for each section; 상기 데이터 영상을 일정 구획으로 나누고 가로 및 세로 구획들별로 특징벡터를 추출하는 빈 프로젝션 양자화방법으로 양자화하여 제 2 색 히스토그램을 산출하는 제 2 단계;A second step of calculating a second color histogram by dividing the data image into predetermined partitions and quantizing them by an empty projection quantization method for extracting feature vectors for each horizontal and vertical partition; 질의 영상이 입력되면, 상기 질의 영상을 선형 양자화방법으로 양자화하여 제 1 색 히스토그램을 산출하는 제 3 단계;A third step of calculating a first color histogram by quantizing the query image by a linear quantization method when the query image is input; 상기 질의 영상을 빈 프로젝션 양자화방법으로 양자화하여 제 2 색 히스토그램을 산출하는 제 4 단계; 및A fourth step of quantizing the query image by a blank projection quantization method to calculate a second color histogram; And 상기 데이터 영상의 제 1 색 히스토그램과 질의 영상의 제 1 색 히스토그램, 상기 데이터 영상의 제 2 색 히스토그램과 질의 영상의 제 2 색 히스토그램의 유사도를 측정하여 검색하는 제 5 단계를 포함하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.And measuring and searching for similarities between the first color histogram of the data image and the first color histogram of the query image, the second color histogram of the data image, and the second color histogram of the query image. Image indexing and retrieval method using color information. 제 13 항에 있어서, 상기 데이터 영상의 제 1, 2 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하여 색인하는 제 6 단계와;14. The method of claim 13, further comprising: extracting and indexing feature vectors representing spatial color distribution information from first and second color histograms of the data image; 상기 질의 영상의 제 1, 2 색 히스토그램으로부터 공간적인 색 분포정보를 나타내는 특징벡터를 추출하는 제 7 단계; 및Extracting a feature vector representing spatial color distribution information from the first and second color histograms of the query image; And 상기 데이터 영상의 색 분포정보 특징벡터와 질의 영상의 색 분포정보 특징벡터의 유사도를 측정하여 검색하는 제 8 단계를 더 포함한 것을 특징으로 하는 색정보를 이용한 영상 색인 및 검색방법.And an eighth step of measuring and searching for similarity between the color distribution information feature vector of the data image and the color distribution information feature vector of the query image. 제 14 항에 있어서, 상기 제 6 단계와 제 7 단계의 색 분포정보 특징벡터 추출과정은,15. The method of claim 14, wherein the color distribution information feature vector extraction process of the sixth and seventh steps comprises: 상기 색 히스토그램의 각 빈에 속한 화소들의 위치의 평균값과 화소간의 거리의 분산값을 구하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.And a variance value of a distance between pixels and an average value of positions of pixels belonging to each bin of the color histogram. 데이터베이스에 색인할 데이터 영상이 입력되면, 광원 조사 방향의 변화로 인해 발생하는 색 밝기 분포변화를 제거하기 위해 상기 데이터 영상의 생동폭을 조절하는 제 1 단계와;If a data image to be indexed is input to the database, adjusting a live width of the data image to remove a change in color brightness distribution caused by a change in light source irradiation direction; 유색광원의 영향으로 인한 물체의 색의 변화를 제거하여 고유의 물체색을 복원하기 위해 상기 데이터 영상을 색 보정하는 제 2 단계;A second step of color correcting the data image to remove the change in the color of the object due to the influence of the colored light source to restore the original object color; 상기 생동폭 조절되고 색 보정된 데이터 영상을 제 1 일정 구획으로 나누고 각 구획마다 특징벡터를 추출하는 선형 양자화방법으로 양자화하고, 상기 데이터 영상을 제 2 일정 구획으로 나누고 가로 및 세로 구획들별로 특징벡터를 추출하는 빈 프로젝션 양자화방법으로 양자화하여 각각의 색 히스토그램을 산출하여 색인하는 제 3 단계;The biodynamically adjusted color-adjusted data image is divided into a first predetermined partition and quantized by a linear quantization method that extracts a feature vector for each partition, and the data image is divided into a second predetermined partition and the feature vector for each horizontal and vertical partition. A third step of quantizing by an empty projection quantization method for extracting and calculating and indexing each color histogram; 질의 영상이 입력되면, 상기 질의 영상의 생동폭을 조절하고 색 보정하는 제 4 단계;A fourth step of adjusting a color dynamic range of the query image and color correcting the query image; 상기 생동폭이 조절되고 색 보정된 질의 영상을 선형 양자화방법과 빈 프로젝션 양자화방법으로 양자화하여 각각의 색 히스토그램을 산출하는 제 5 단계; 및A fifth step of quantizing the biometrically adjusted color corrected query image by a linear quantization method and an empty projection quantization method to calculate respective color histograms; And 상기 질의 영상의 색 히스토그램과 데이터 영상의 색 히스토그램의 유사도를 측정하여 검색하는 제 6 단계를 포함하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.And a sixth step of measuring and searching the similarity between the color histogram of the query image and the color histogram of the data image. 컴퓨터에,On your computer, 데이터베이스에 색인할 데이터 영상이 입력되면, 광원 조사 방향의 변화로 인해 발생하는 색 밝기 분포변화를 제거하기 위해 상기 데이터 영상의 생동폭을 조절하는 제 1 단계와;If a data image to be indexed is input to the database, adjusting a live width of the data image to remove a change in color brightness distribution caused by a change in light source irradiation direction; 유색광원의 영향으로 인한 물체의 색의 변화를 제거하여 고유의 물체색을 복원하기 위해 상기 데이터 영상을 색 보정하는 제 2 단계;A second step of color correcting the data image to remove the change in the color of the object due to the influence of the colored light source to restore the original object color; 상기 생동폭 조절되고 색 보정된 데이터 영상을 제 1 일정 구획으로 나누고 각 구획마다 특징벡터를 추출하는 선형 양자화방법으로 양자화하고, 상기 데이터 영상을 제 2 일정 구획으로 나누고 가로 및 세로 구획들별로 특징벡터를 추출하는 빈 프로젝션 양자화방법으로 양자화하여 각각의 색 히스토그램을 산출하여 색인하는 제 3 단계;The biodynamically adjusted color-adjusted data image is divided into a first predetermined partition and quantized by a linear quantization method that extracts a feature vector for each partition, and the data image is divided into a second predetermined partition and the feature vector for each horizontal and vertical partition. A third step of quantizing by an empty projection quantization method for extracting and calculating and indexing each color histogram; 질의 영상이 입력되면, 상기 질의 영상의 생동폭을 조절하고 색 보정하는 제 4 단계;A fourth step of adjusting a color dynamic range of the query image and color correcting the query image; 상기 생동폭이 조절되고 색 보정된 질의 영상을 선형 양자화방법과 빈 프로젝션 양자화방법으로 양자화하여 각각의 색 히스토그램을 산출하는 제 5 단계; 및A fifth step of quantizing the biometrically adjusted color corrected query image by a linear quantization method and an empty projection quantization method to calculate respective color histograms; And 상기 질의 영상의 색 히스토그램과 데이터 영상의 색 히스토그램의 유사도를 측정하여 검색하는 제 6 단계를 포함하여 색 정보를 이용한 영상 색인 및 검색방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.And a sixth step of measuring and searching for a similarity between the color histogram of the query image and the color histogram of the data image, and recording a program for executing an image indexing and searching method using color information. 데이터베이스에 색인할 데이터 영상이 입력되면 양자화하여 색 히스토그램을 산출하여 색인하는 제 1 단계;A first step of calculating and indexing a color histogram by quantizing a data image to be indexed into a database; 색인된 색 히스토그램을 분석하여 전처리 여부를 결정하는 제 2 단계;A second step of analyzing the indexed color histogram to determine whether to preprocess it; 전처리 실행으로 판단된 경우, 광원 조사 방향의 변화로 인해 발생하는 색 밝기 분포변화를 제거하기 위해 상기 데이터 영상의 생동폭을 조절하고, 유색광원의 영향으로 인한 물체의 색의 변화를 제거하여 고유의 물체색을 복원하기 위해 상기 데이터 영상을 색 보정하는 제 3 단계;When it is determined that the preprocessing is executed, the dynamic width of the data image is adjusted to remove the change in the color brightness distribution caused by the change in the light source irradiation direction, and the color change of the object due to the influence of the colored light source is removed. A third step of color correcting the data image to restore an object color; 상기 전처리된 데이터 영상을 대상으로 하여 보정된 색 히스토그램을 산출하여 색인하는 제 4 단계;A fourth step of calculating and indexing a corrected color histogram for the preprocessed data image; 질의 영상이 입력되면, 색 히스토그램을 산출하여 색인하고 전처리 여부를 판단하는 제 5 단계;A fifth step of calculating, indexing and determining a color histogram when the query image is input; 전처리 실행으로 판단된 경우 상기 질의 영상의 생동폭을 조절하고 색 보정하여 전처리하고, 상기 전처리된 질의 영상을 대상으로 보정된 색 히스토그램을 산출하는 제 6 단계; 및A sixth step of adjusting the dynamic width of the query image and performing color correction when preprocessing is determined, and calculating a corrected color histogram for the preprocessed query image; And 상기 질의 영상의 색 히스토그램과 데이터 영상의 색 히스토그램의 유사도를 측정하여 검색하는 제 7 단계를 포함하는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.And measuring the similarity between the color histogram of the query image and the color histogram of the data image. 제 18 항에 있어서, 상기 영상의 전처리되기 전의 색 히스토그램과 전처리된 후의 보정된 색 히스토그램은 1 비트 플래그를 통해 구별되는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.19. The method of claim 18, wherein the color histogram before the preprocessing and the corrected color histogram after the preprocessing are distinguished through a 1-bit flag. 제 18 항 또는 제 19 항에 있어서, 상기 제 7 단계는, 상기 영상의 히스토그램의 종류는 검색시 사용자에 의해 선택되는 것을 특징으로 하는 색 정보를 이용한 영상 색인 및 검색방법.20. The method of claim 18 or 19, wherein in the seventh step, a type of the histogram of the image is selected by a user when searching. 컴퓨터에,On your computer, 데이터베이스에 색인할 데이터 영상이 입력되면 양자화하여 색 히스토그램을산출하여 색인하는 제 1 단계와;A first step of calculating and indexing a color histogram by quantizing the data image to be indexed into the database; 색인된 색 히스토그램을 분석하여 전처리 여부를 결정하는 제 2 단계;A second step of analyzing the indexed color histogram to determine whether to preprocess it; 전처리 실행으로 판단된 경우, 광원 조사 방향의 변화로 인해 발생하는 색 밝기 분포변화를 제거하기 위해 상기 데이터 영상의 생동폭을 조절하고, 유색광원의 영향으로 인한 물체의 색의 변화를 제거하여 고유의 물체색을 복원하기 위해 상기 데이터 영상을 색 보정하는 제 3 단계;When it is determined that the preprocessing is executed, the dynamic width of the data image is adjusted to remove the change in the color brightness distribution caused by the change in the light source irradiation direction, and the color change of the object due to the influence of the colored light source is removed. A third step of color correcting the data image to restore an object color; 상기 전처리된 데이터 영상을 대상으로 하여 보정된 색 히스토그램을 산출하여 색인하는 제 4 단계;A fourth step of calculating and indexing a corrected color histogram for the preprocessed data image; 질의 영상이 입력되면, 색 히스토그램을 산출하여 색인하고 전처리 여부를 판단하는 제 5 단계;A fifth step of calculating, indexing and determining a color histogram when the query image is input; 전처리 실행으로 판단된 경우 상기 질의 영상의 생동폭을 조절하고 색 보정하여 전처리하고, 상기 전처리된 질의 영상을 대상으로 보정된 색 히스토그램을 산출하는 제 6 단계; 및A sixth step of adjusting the dynamic width of the query image and performing color correction when preprocessing is determined, and calculating a corrected color histogram for the preprocessed query image; And 상기 질의 영상의 색 히스토그램과 데이터 영상의 색 히스토그램의 유사도를 측정하여 검색하는 제 7 단계를 포함하는 색 정보를 이용한 영상 색인 및 검색방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.And a seventh step of measuring and searching for a similarity between the color histogram of the query image and the color histogram of the data image, and recording a program for executing an image indexing and retrieval method using color information.
KR1019990055279A 1999-12-06 1999-12-06 Method for Image Indexing and Retrieval By Using Color Information KR100356018B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990055279A KR100356018B1 (en) 1999-12-06 1999-12-06 Method for Image Indexing and Retrieval By Using Color Information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990055279A KR100356018B1 (en) 1999-12-06 1999-12-06 Method for Image Indexing and Retrieval By Using Color Information

Publications (2)

Publication Number Publication Date
KR20010054460A KR20010054460A (en) 2001-07-02
KR100356018B1 true KR100356018B1 (en) 2002-10-18

Family

ID=19623841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990055279A KR100356018B1 (en) 1999-12-06 1999-12-06 Method for Image Indexing and Retrieval By Using Color Information

Country Status (1)

Country Link
KR (1) KR100356018B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100595064B1 (en) * 2000-05-19 2006-07-03 엘지전자 주식회사 Content-based multimedia searching method using color distortion data
KR101405410B1 (en) * 2010-10-20 2014-06-24 고려대학교 산학협력단 Object detection device and system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100609178B1 (en) * 2000-03-13 2006-08-02 엘지전자 주식회사 Content-based multimedia searching method using color distortion data
KR100372774B1 (en) * 2000-10-27 2003-02-25 한국과학기술연구원 Visual Tracking Method by Color Information
KR100413341B1 (en) 2001-03-20 2003-12-31 주식회사 코난테크놀로지 Method for abstracting histogram of HSV Color
KR101451097B1 (en) * 2012-12-23 2014-10-15 전남대학교산학협력단 System and method for image classification using color histogram
KR102457634B1 (en) 2017-04-17 2022-10-21 삼성전자주식회사 Electronic apparatus for correcting color temperature of an image using reference color information corresponding to external object and controlling method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07234942A (en) * 1994-02-23 1995-09-05 Nireco Corp Threshold value deciding method for area by image analysis
JPH10301948A (en) * 1997-04-25 1998-11-13 Nippon Telegr & Teleph Corp <Ntt> Method for retrieving image and video
KR20000059451A (en) * 1999-03-04 2000-10-05 구자홍 Method of raw color adjustment and atmosphere color auto extract in a image reference system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07234942A (en) * 1994-02-23 1995-09-05 Nireco Corp Threshold value deciding method for area by image analysis
JPH10301948A (en) * 1997-04-25 1998-11-13 Nippon Telegr & Teleph Corp <Ntt> Method for retrieving image and video
KR20000059451A (en) * 1999-03-04 2000-10-05 구자홍 Method of raw color adjustment and atmosphere color auto extract in a image reference system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100595064B1 (en) * 2000-05-19 2006-07-03 엘지전자 주식회사 Content-based multimedia searching method using color distortion data
KR101405410B1 (en) * 2010-10-20 2014-06-24 고려대학교 산학협력단 Object detection device and system

Also Published As

Publication number Publication date
KR20010054460A (en) 2001-07-02

Similar Documents

Publication Publication Date Title
US8295606B2 (en) Device and method for detecting shadow in image
US7657090B2 (en) Region detecting method and region detecting apparatus
EP1400924B1 (en) Pseudo three dimensional image generating apparatus
US7336819B2 (en) Detection of sky in digital color images
KR100237284B1 (en) A method for detecting the illumination color from a color image
US20130342694A1 (en) Method and system for use of intrinsic images in an automotive driver-vehicle-assistance device
Agrawal et al. Survey on image segmentation techniques and color models
CN105184771A (en) Adaptive moving target detection system and detection method
JP4506409B2 (en) Region dividing method and apparatus, image recognition processing apparatus, program, and recording medium
Lu et al. Color constancy using 3D scene geometry
KR100356018B1 (en) Method for Image Indexing and Retrieval By Using Color Information
CN106846343A (en) A kind of pathological image feature extracting method based on cluster super-pixel segmentation
KR100609178B1 (en) Content-based multimedia searching method using color distortion data
Jeyakar et al. Robust object tracking using local kernels and background information
Wang et al. LBP-based edge detection method for depth images with low resolutions
Lefèvre et al. Multiresolution color image segmentation applied to background extraction in outdoor images
CN109961012A (en) A kind of underwater target tracking recognition methods
Balaji et al. Effective features of remote sensing image classification using interactive adaptive thresholding method
Balcilar et al. Moving object detection using Lab2000HL color space with spatial and temporal smoothing
CN112070771A (en) Adaptive threshold segmentation method and device based on HS channel and storage medium
Shinde et al. Image object saliency detection using center surround contrast
Kaur et al. A comparative review of various illumination estimation based color constancy techniques
KR20150144894A (en) Detection Method of Object of Camera Image Using Haar Contrast Feature
Zulkifley et al. On improving CAMSHIFT performance through colour constancy approach
KR102618580B1 (en) Nighttime low-light image enhancement method based on retinex and atmospheric light estimation, apparatus and computer program for performing the method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070831

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee