KR100323364B1 - A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors - Google Patents

A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors Download PDF

Info

Publication number
KR100323364B1
KR100323364B1 KR1019990031192A KR19990031192A KR100323364B1 KR 100323364 B1 KR100323364 B1 KR 100323364B1 KR 1019990031192 A KR1019990031192 A KR 1019990031192A KR 19990031192 A KR19990031192 A KR 19990031192A KR 100323364 B1 KR100323364 B1 KR 100323364B1
Authority
KR
South Korea
Prior art keywords
color
image
matrix
pixels
nico
Prior art date
Application number
KR1019990031192A
Other languages
Korean (ko)
Other versions
KR20010011701A (en
Inventor
김익재
권용무
Original Assignee
박호군
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박호군, 한국과학기술연구원 filed Critical 박호군
Priority to KR1019990031192A priority Critical patent/KR100323364B1/en
Publication of KR20010011701A publication Critical patent/KR20010011701A/en
Application granted granted Critical
Publication of KR100323364B1 publication Critical patent/KR100323364B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 내용 기반 영상 검색 시스템의 전처리 과정인 특징 추출 과정에서 칼라(color) 정보와 모양(shape) 정보를 동시에 고려한 특징 벡타를 이용하는 칼라 영상의 칼라 및 모양 특징 추출 방법 및 이들 특징 벡타를 사용하여 영상간 정합을 수행하는 영상 검색 방법에 관한 것이다. 칼라 영상의 칼라 특징 추출 방법은 칼라 영상의 비균등 양자화 및 NICO(Neighborhood Information of Color Histogram)행렬 및 GICO(Global Information of Color Histogram)행렬 생성을 통해 달성되며, 칼라 영상의 모양 특징 추출 방법은 영상내 물체의 전체 윤곽만을 고려하는 향상된 불변 모멘트(Improved Invariants Moments: IMI) 및 우위(dominant) 칼라의 각 그룹별 불변 모멘트를 계산을 통해 달성되고, 상기 추출 방법을 활용하여 데이타 베이스내에 저장된 영상과 질의 영상을 비교 정합하는 영상 검색 방법은 NICO행렬과 GICO행렬의 성분값 비교를 통해 칼라 정보의 정합과 향상된 불변 모멘트 및 우위(dominant) 칼라의 각 그룹별 불변 모멘트의 계수값을 비교하여 모양 정보의 정합을 통해 각각의 비교값으로 질의 영상의 유사도를 결정하게 된다. 따라서, 본 발명은 영상내의 잡음의 첨가, 감마 보정값의 변화에 의한 칼라 히스토그램(histogram)의 자체를 변형시키는 경우에 대해서도 더욱 향상된 검색 효율을 달성할 수 있게 된다..The present invention provides a method of extracting color and shape features of a color image using feature vectors that simultaneously consider color and shape information in a feature extraction process, which is a preprocessing process of a content-based image retrieval system, and using these feature vectors. An image retrieval method for performing inter-image registration. The color feature extraction method of color image is achieved through non-uniform quantization of color image and generation of Neighborhoodhood of Color Histogram (NICO) matrix and Global Information of Color Histogram (GICO) matrix. Improved Invariants Moments (IMI) considering only the entire outline of the object and the invariant moments of each group of the dominant color are achieved by calculating and using the extraction method, images and query images stored in the database The image retrieval method that compares and matches the shape information by comparing the color information matching and the coefficients of the constant moments of each group of the improved constant moment and the dominant color by comparing the component values of the NICO matrix and the GICO matrix. Through the comparison values, the similarity of the query image is determined. Therefore, the present invention can achieve more improved search efficiency even when the color histogram itself is modified by the addition of noise in the image and the change of the gamma correction value.

Description

칼라 영상에서의 특징 벡타 추출 방법 및 이를 활용한 영상 검색 방법{A METHOD FOR EXTRACTING CHARACTERIZED VECTORS IN COLOR IMAGE AND A RETRIEVAL METHOD USING THE CHARACTERIZED VECTORS}A method for extracting feature vector from color images and image retrieval method using the same {A METHOD FOR EXTRACTING CHARACTERIZED VECTORS IN COLOR IMAGE AND A RETRIEVAL METHOD USING THE CHARACTERIZED VECTORS}

본 발명은 내용 기반 영상 검색 시스템의 전처리 과정에서 칼라 정보와 모양 정보를 동시에 고려한 특징 벡타를 사용하는 영상 검색 방법에 관한 것으로, 좀 더 상세하게는 칼라 영상으로부터 칼라 정보와 모양 정보를 동시에 고려한 특징 벡타를 추출하는 방법, 및 특징 벡타를 사용하여 영상 데이타베이스내에 저장된 영상과 검색될 질의 영상간의 칼라 및 모양 특징의 정합을 수행하는 영상 검색 방법에 관한 것이다.The present invention relates to an image retrieval method using a feature vector that simultaneously considers color and shape information in a preprocessing process of a content-based image retrieval system, and more particularly, to a feature vector that simultaneously considers color and shape information from color images And an image retrieval method for matching color and shape features between an image stored in an image database and a query image to be retrieved using a feature vector.

최근 멀티미디어 기술 발달과 더불어 데이타 입력 장치인 스캐너와 대용량의 저장 장치의 보급으로 인해, 많은 영상들이 획득되고 저장된다. 이러한 결과로 인해, 많은 영상 데이타 베이스들이 생성되며, 다양한 용도로 사용되고 있다. 통상,이러한 데이타 베이스들은 많은 수의 영상들로 구성되기 때문에 사용자가 원하는 영상을 찾는데 상당한 어려움이 따른다. 따라서, 데이타 베이스로부터 영상을 검색하는 효율적이면서도 자동적인 검색 알고리즘이 요구된다.Due to the recent development of multimedia technology, a large number of images are acquired and stored due to the spread of a scanner and a large storage device, which are data input devices. As a result of this, many image databases are generated and used for various purposes. Typically, these databases are composed of a large number of images, which leads to considerable difficulty in finding a desired image. Therefore, there is a need for an efficient and automatic retrieval algorithm for retrieving images from a database.

초기의 검색 시스템에서는 입력된 키워드를 사용하는 텍스트를 기반으로 한 영상 검색이 주류를 이루고 있었으나, 이러한 방법은 몇 가지 문제점을 내포하고 있다. 첫째로, 데이타베이스내의 영상에 대해서 검색 질의어로 사용하는 키워드를 설정할 때, 사용자 개인의 주관성이 포함되기 때문에 고유한 키워드를 설정할 수 없는 경우가 있다. 또한 검색시 사용자가 주어진 영상에 대한 고유의 키워드를 기억해야 하는 단점도 지니고 있다.In the early retrieval system, image retrieval based on text using the input keyword has been mainstream, but this method has some problems. First, when setting a keyword to be used as a search query for an image in a database, a unique keyword may not be set because user subjectivity is included. In addition, the search has a disadvantage that the user must remember a unique keyword for a given image.

따라서 보다 일반적인 경우에 있어서, 내용을 기반으로 한 영상 검색 방법이 요구되며, 이와 관련된 여러 방법들이 연구되고 있다.Therefore, in a more general case, an image retrieval method based on contents is required, and various methods related thereto have been studied.

내용 기반 검색 시스템의 일반적인 예가 도 1에 예시된다. 우선, 영상 저장 과정에서는 스캐너가 입력 영상을 디지탈화하며, 디지탈화된 영상의 특징을 추출하는 전처리 과정을 거친후, 각 영상의 특징에 대한 인덱싱을 하여 모든 영상을 영상 데이타베이스내에 저장한다. 한편, 영상 검색 과정에서는 질의 영상이 스캐너로 입력되면, 특징 추출 과정인 전처리 과정을 거친후 영상 데이타베이스내에 저장된 영상의 특징들과 비교되고 가장 유사한 영상을 찾는 질의 처리 과정을 거치게 된다. 그 결과, 최종 검색 결과 영상이 나오게 된다. 여기서, 영상 특징의 추출 및 질의 처리 과정은 예를들어 PC상의 프로그램을 통해 수행된다.A general example of a content based retrieval system is illustrated in FIG. First, in the image storage process, the scanner digitizes the input image, undergoes a preprocessing process to extract the features of the digitized image, and then indexes the features of each image to store all the images in the image database. In the image retrieval process, when a query image is input to a scanner, the image is processed through a preprocessing process, which is a feature extraction process, and compared with the features of the image stored in the image database. As a result, the final search result image is displayed. Here, the extraction and query processing of the image feature is performed through a program on a PC, for example.

한편, 내용 기반 검색 방법에서 가장 중요한 관건은 각각의 영상이나 물체를기술하는데 사용되는 특징의 집합을 어떻게 선택하느냐이다. 현재까지 연구된 영상의 특징은 칼라(Color), 모양(Shape) 및 결(texture) 등을 들 수 있는데, 이 중에서 칼라 특징은 영상내에서의 물체의 이동(translation), 회전(rotation) 및 축척(scale)에 불변한다는 장점을 지니고 있기 때문에 칼라 특징을 기반으로 한 영상 검색 방법이 광범위하게 연구되고 있다.On the other hand, the most important issue in the content-based retrieval method is how to select a set of features used to describe each image or object. The characteristics of the image studied so far include color, shape, and texture, among which the color characteristics are the translation, rotation, and scale of objects in the image. Because of the invariant advantage of scale, image retrieval methods based on color features have been extensively studied.

칼라 영상으로부터 칼라 특징을 추출하는 방법을 활용한 종래의 내용 기반 영상 검색 방법은 다음과 같다.A conventional content-based image retrieval method using a method of extracting color features from a color image is as follows.

스와인 등(M.J.Swain 및 D.H.Ballad, 'Color Indexing', International Journal of Computer Vision, Vol. 7, no.1, page 11-32, 1991)은 칼라 히스토그램 인터섹션(color histogram intersection) 방법을 제시하였는데, 이 방법에서는 RGB(Red Green Blue) 축으로 이루어지는 칼라 공간내에서 각각의 축을 16개의 그룹(bin)으로 나누어 전체적으로 2048개의 그룹을 생성한후, 각 그룹에 해당하는 히스토그램을 비교함으로써 데이타베이스내에 저장된 영상과 검색될 질의 영상의 정합을 시도하였다.Swain et al. (MJSwain and DHBallad, 'Color Indexing', International Journal of Computer Vision, Vol. 7, no.1, page 11-32, 1991) proposed a method of color histogram intersection. In this method, 2048 groups are generated by dividing each axis into 16 groups (bins) in a color space consisting of RGB (Red Green Blue) axes, and then stored in the database by comparing the histograms corresponding to each group. An attempt was made to match an image with a query image to be retrieved.

그러나 이 방법은 비교의 단순함이 장점인 반면에 너무 세심하게 나눈 그룹으로 인해 잡음에 민감하며 또한 정합시 연산량이 많은 단점을 가지고 있다.However, this method has the advantage of simplicity of comparison, while it is sensitive to noise due to too careful grouping and also has a large amount of computation when matching.

메트리 등(B.M.Mehtre, M.S.Kankanhail, A.D.Narsimhalu 및 G.C.Man, 'Color Matching for Image Retrieval', Pattern Recognition Lett., Vol.16, page 325-331, 1995)은 기준 칼라 테이블(reference color table) 방법을 이용하였는데, 이 방법에서는 영상의 칼라를 27개의 그룹으로 나누어 각 그룹끼리 유클리디언거리(Euclidean Distance)로서 정합을 시도하였다. 스트릿커 등(M.Stricker 및 M.Orengo, 'Similarity of Color Image', Proceeding of SPIE 2420, page 381-392, 1995)은 상기 히스토그램 인터섹션 방법에서는 고려하지 않은 시각적 유사도를 고려하기 위해 누적 히스토그램(cumulative histogram) 방법을 사용하였다.Methri et al. (BMMehtre, MSKankanhail, ADNarsimhalu and GCMan, 'Color Matching for Image Retrieval', Pattern Recognition Lett., Vol. 16, pages 325-331, 1995) refer to the reference color table method. In this method, the color of the image was divided into 27 groups, and each group tried to match each other as the Euclidean distance. Streeter et al. (M.Stricker and M.Orengo, 'Similarity of Color Image', Proceeding of SPIE 2420, page 381-392, 1995) describe cumulative histograms to account for visual similarities not considered in the histogram intersection method. cumulative histogram) method.

하지만 이러한 방법들에서 사용된 칼라 특징은 영상내에서의 물체의 기하학적인 변형에는 비교적 안정된 반응을 하지만, 잡음의 첨가나 감마 보정(gamma correction)값의 변화와 같은 칼라 히스토그램 자체를 변화시키는 요인에 대해서는 매우 민감한 반응을 일으키게 된다. 즉, 카메라 센서나 스캐너등으로 장면(scene)이나 물체(object)등의 디지탈화된 영상 이미지를 얻을때 실제적으로는 각기 다른 환경(viewing condition)에서 얻어지기 때문에 미세한 잡음(distortion)이 존재하여 이들 영상 이미지를 정확히 재생하기 어렵게 된다. 특히, 칼라 영상 취득시에 사용되어지는 기기에 따른 감마값이 다르기 때문에 이러한 감마값의 보정을 통해야지만 정확한 히스토그램 비교 방법이 이루어질 수 있다. 일반적으로 영상 획득은 스캐너를 통해서 얻어지고, 이 경우에 스캐너에 사용되는 소프트웨어에 의해서 감마 보정값이 결정된다. 하지만 이미 획득된 영상에 대해서는 이러한 감마 보정값에 대한 정보를 얻을 수 없기 때문에 감마값 보정은 실제적으로 불가능하다.However, the color features used in these methods have a relatively stable response to geometric deformation of the object in the image, but for the factors that change the color histogram itself, such as the addition of noise or the change in the gamma correction value. It causes a very sensitive reaction. In other words, when a digitalized image image of a scene or an object is obtained by a camera sensor or a scanner, it is actually obtained in different viewing conditions, so there are minute noises. It becomes difficult to play back images correctly. In particular, since the gamma value is different according to the device used to acquire the color image, the gamma value can be corrected only by correcting the gamma value. In general, image acquisition is obtained through a scanner, in which case the gamma correction value is determined by software used in the scanner. However, the gamma value correction is practically impossible because the information on the gamma correction value cannot be obtained for the already acquired image.

또한 다른 목적으로 전처리된 영상이 데이타베이스화되어 저장된다면, 이 경우 사용된 감마 보정값은 알 수 없게 된다. 따라서, 스캐너에 입력되는 영상이 어떤 감마값에 의해서 보정되었는지 알 수 없기 때문에 어떠한 감마 보정값에도 어느 정도 안정되게 동작할 수 있는 영상 검색 알고리즘이 필요하게 되었다. 참고로,동일 영상에 대한 서로 다른 감마 보정값하에서 얻어지는 영상의 히스토그램의 변화를 도 2에 나타낸다.In addition, if a preprocessed image is stored in a database for other purposes, the gamma correction value used in this case is unknown. Therefore, it is not possible to know which gamma value the image input to the scanner is corrected. Therefore, there is a need for an image retrieval algorithm capable of operating stably to any gamma correction value. For reference, a change in the histogram of an image obtained under different gamma correction values for the same image is shown in FIG. 2.

또한, 칼라 정보는 상술한 칼라 특성 자체를 변화시키는 요인 이외에도 물체의 위치나 영상의 구성 등 공간 정보를 표현할 수 없는 단점도 내포하고 있다.In addition to the above factors that change the color characteristics themselves, the color information also has a disadvantage in that spatial information such as the position of an object or the configuration of an image cannot be represented.

따라서, 이러한 칼라 특징만을 사용했을 때의 단점을 극복할 수 있는 칼라 정보의 특징중 하나가 모양 특징이며, 이 모양 특징을 사용함으로써 칼라 특징을 변화시키는 요인에 의해 변화된 칼라 히스토그램 정보를 어느 정도 보완할 수 있다. 특히, 질의 대상이 상표(trade mark)인 경우에는 단순한 칼라와 더불어 다양한 형태를 지닌 물체들로 구성되어 있기 때문에 칼라 정보와 모양 정보의 결합이 더욱 필요하게 된다.Therefore, one of the characteristics of color information that can overcome the disadvantages of using only such a color feature is a shape feature, and by using this shape feature, the color histogram information changed by a factor that changes the color feature is somewhat compensated for. Can be. In particular, when a query target is a trademark, since a combination of simple colors and objects having various shapes is required, a combination of color information and shape information is required.

칼라 및 모양 정보를 사용한 영상 검색 방법으로서 제인 등(A.K.Jain 및 A.Vailaya, 'Image Retrieval Using Color and Shape', Pattern Recognition, Vol.29,no.8, page 1233-1244, 1996)은 상기 스와인 등의 영상 특징 추출 방법을 약간 변형시킨 칼라 히스토그램 인터섹션 방법과 모양 정보를 위한 방향 히스토그램 인터섹션 방법을 사용하였다. 제인의 영상 검색 방법을 도 3을 통해 설명한다.As an image retrieval method using color and shape information, Jane et al. (AKJain and A.Vailaya, 'Image Retrieval Using Color and Shape', Pattern Recognition, Vol. 29, no. 8, page 1233-1244, 1996) The color histogram intersection method which slightly modified the image feature extraction method such as phosphorus and the directional histogram intersection method for shape information were used. Jane's image retrieval method will be described with reference to FIG.

R, G 및 B 축으로 이루어지는 칼라 공간 내에서 각 축에 대해 각각 16개의 그룹으로 입력된 영상을 나누는 균등 양자화를 거쳐 나누어진 48개의 그룹에 대해 히스토그램을 계산하여 칼라 히스토그램 생성하고 나누어진 48개의 그룹 각각의 히스토그램을 서로 비교하여 칼라 특징을 추출하며, 캐니 경계선 검출기(Canny Edge Detector)를 사용하여 입력된 영상의 경계선을 추출하고 36개의 그룹에 대해경계선 방향 히스토그램을 계산하여 경계선 히스토그램 생성하고 36개의 그룹 각각의 히스토그램을 서로 비교하여 모양 특징을 추출하며, 영상 데이타 베이스내에 저장된 영상들의 칼라 및 모양 특징과 질의 영상의 칼라 및 모양 특징의 거리를 계산하여 영상의 정합을 수행하는 질의 처리 단계를 통해 최종 검색된 결과 영상을 출력하는 영상 검색 방법이 개시된다.Color histograms are generated by calculating histograms for 48 groups divided by equal quantization, dividing the input image into 16 groups for each axis in the color space consisting of the R, G, and B axes. Color histories are extracted by comparing the histograms with each other, and the edges of the input image are extracted using the Canny Edge Detector, and boundary histograms are generated by calculating boundary line histograms for 36 groups. The shape features are extracted by comparing the histograms with each other, and the final search is performed through the query processing step of performing image matching by calculating the distance between the color and shape features of the images stored in the image database and the color and shape features of the query images. An image retrieval method for outputting a resultant image is disclosed. .

그러나 상기 방법은 영상의 칼라 정보에 모양 정보를 추가하여 검색의 효율은 높였지만, 종래의 칼라 정보를 이용한 방법과 유사하게 균등 양자화기(Uniform Quantizer)를 통해 생성된 그룹간의 단순한 히스토그램 비교 방법을 사용하였기 때문에 칼라 히스토그램 자체를 변화시키는 요인에 대해서는 민감한 반응을 나타내는 단점이 있다. 또한 모양 정보를 추출하는 방법으로서 캐니 경계선 검출기를 이용하여 경계선의 방향 히스토그램을 사용하였기 때문에 영상 내의 물체의 이동에는 변화가 없지만 물체의 회전에는 상당히 민감한 반응을 보이는 단점을 가지고 있다.However, the method adds shape information to the color information of the image to increase the search efficiency. However, similar to the conventional method using the color information, a simple histogram comparison method between groups generated by a uniform quantizer is used. Because of this, there is a disadvantage in that a sensitive response is given to the factors that change the color histogram itself. In addition, since the direction histogram of the boundary line is used as a method of extracting the shape information, the movement of the object in the image does not change, but it has a disadvantage that it is very sensitive to the rotation of the object.

한편, 종래 영상의 모양 특징을 추출하는 방법으로써 가장 널리 사용되던 불변 모멘트(Moment Invariants), 체인 코드(Chain Code), 저나이크 모멘트(Zernike Moments), 퓨리어 묘사(Fourier Descriptor) 등 중에서 불변 모멘트는 영상내에서 물체의 회전(rotation), 이동(translation), 축척(scale)등에 불변한 장점을 가지면서 단일 특징을 사용한 경우 다른 방법들 보다 비교 우위를 가지고 있으나, 상기 불변 모멘트는 영상내의 물체 내부와 윤곽선(contour)에 해당하는 모든 화소들을 대상으로 연산을 수행하기 때문에 연산량이 많다는 문제점이 있었다.Meanwhile, among the most widely used invariant moments, chain codes, Zernike moments, Fourier Descriptors, etc. When using a single feature with invariant advantages in rotation, translation, scale, etc. of an object in the image, it has a comparative advantage over other methods. Since arithmetic operations are performed on all pixels corresponding to a contour, there is a problem in that a large amount of computation is performed.

본 발명에 따른 칼라 영상으로부터 칼라 정보 및 모양 정보를 동시에 고려한 특징 벡타를 추출하는 방법은, HSI(Hue, Saturation 및 Intensity) 칼라 공간내에서 각각의 축에 대하여 칼라 영상의 화소에 대한 비균등 양자화를 통해 화소의 칼라 그룹을 생성하고, 생성된 각 그룹에 대한 히스토그램을 계산하여, 칼라 영상의 칼라 특징 벡타인 NICO(Neighborhood Information of Color Histogram) 행렬 및 GICO(Global Information of Color Histogrm) 행렬을 추출하는 칼라 특징 추출 단계; 칼라 특징 추출 단계에서 생성된 상기 NICO 행렬로부터 우위 칼라의 수를 결정하는 단계; 칼라 영상내의 물체의 윤곽선에 해당하는 화소들을 대상으로 향상된 불변 모멘트(Improved Invariant Moment:IMI) 계산을 통해 물체의 전체적인 윤곽선을 추출하고, 미리 결정된 우위 칼라수를 기초로 해서 우위 칼라별 불변 모멘트를 게산하여 우위 칼라의 개별적인 윤곽선을 추출하는 모양 특징 추출 단계; 칼라 특징 추출 단계에서 추출된 질의 영상의 NICO 및 GICO 행렬 성분값과 영상 데이타베이스내에 저장된 영상의 NICO 및 GICO 행렬 성분값 비교를 행하는 단계; 모양 특징 추출 단계에서 생성된 질의 영상의 IMI 계수값 및 우위 칼라별 불변 모멘트 계수값의 비교를 행하는 단계; 및 상술한 칼라 및 모양 특징 비교 결과값 4가지를 서로 조합하여 질의 영상과 영상 데이타베이스내의 영상과의 유사도를 결정하여 최종 검색 영상을 결정하기 위한 칼라 및 모양 특징 정합 유사도 결정 단계를 포함한다.A method of extracting feature vectors that simultaneously considers color and shape information from color images according to the present invention is to perform non-uniform quantization of pixels of color images with respect to each axis in HSI (Hue, Saturation and Intensity) color space. A color group of pixels is generated and a histogram for each of the generated groups is calculated, and a color information vector of a color image vector of a neighboring information of color histogram (NICO) matrix and a global information of color histogrm (GICO) matrix is extracted. Feature extraction step; Determining the number of superior colors from the NICO matrix generated in the color feature extraction step; Improved Invariant Moment (IMI) for the pixels corresponding to the contour of the object in the color image to extract the overall contour of the object, and calculate the constant moment for each dominant color based on the predetermined number of dominant colors. A shape feature extraction step of extracting individual contours of the superior color; Comparing the NICO and GICO matrix component values of the query image extracted in the color feature extraction step with the NICO and GICO matrix component values of the image stored in the image database; Comparing the IMI coefficient values and the invariant moment coefficient values for each dominant color of the query image generated in the shape feature extraction step; And determining the similarity between the query image and the image in the image database by combining the four color and shape feature comparison result values described above with each other to determine a final search image.

본 발명의 하나의 목적은 입력된 영상에 대한 특징을 추출하는 전처리 과정에서 칼라 정보와 모양 정보를 동시에 고려한 복합적인 특징 벡타를 추출하여 이용할 수 있는 내용 기반 영상 검색 방법을 제공하는 것이다.One object of the present invention is to provide a content-based image retrieval method that can extract and use a complex feature vector that simultaneously considers color and shape information in a preprocessing process for extracting features of an input image.

본 발명의 다른 목적은 영상의 칼라 특징을 추출할 때, 비균등 양자화 방법인 엘로이드-맥스 양자화기(Lloyd-Max Quantizer)를 이용한 효율적인 칼라 양자화, 및 양자화된 칼라의 공간적 분포 상황을 고려하기 위한 NICO 행렬 및 GICO 행렬을 이용하여, 종래 검색 방법의 문제점인 잡음의 첨가나 콤마 보정값의 변화와 같은 칼라 히스토그램 자체를 변화시키는 요인에 대해서 유동적으로 대처할 수 있으며 오차를 줄여 칼라 영상 검색 효율을 증대시킬 수 있는 칼라 영상의 칼라 특징 추출 방법 및 이를 활용한 영상 검색 방법을 제공하는 것이다.Another object of the present invention is to consider efficient color quantization using a non-uniform quantization method, Lloyd-Max Quantizer, and spatial distribution of quantized colors when extracting color features of an image. By using the NICO matrix and the GICO matrix, it is possible to flexibly cope with the factors that change the color histogram itself, such as noise addition or comma correction, which is a problem of the conventional search method. It is to provide a method for extracting color features of a color image, and an image retrieval method using the same.

본 발명의 또 다른 목적은 영상의 모양 특징을 추출할 때, 영상 내 물체의 전체 윤곽을 고려하는 향상된 불변 모멘트(IMI), 및 우위 칼라의 각 그룹별 모양을 고려하는 불변 모멘트 비교 방법을 이용하여, 종래 검색 방법상의 문제점인 영상 내 물체의 회전에 대해서도 안정되게 작용하면서 적은 연산량으로 전체적인 윤곽을 나타낼 수 있으며 선택적으로 주요 칼라 성분만의 공간적 정보를 이용한 비교를 가능케 하는 모양 특징 추출 방법 및 이를 활용한 영상 검색 방법을 제공하는 것이다.Another object of the present invention is to use an improved invariant moment (IMI) that takes into account the entire contour of an object in the image, and an invariant moment comparison method that considers the shape of each group of dominant colors when extracting shape features of an image. In addition, the shape feature extraction method can be used to stabilize the rotation of an object in an image, which is a problem of the conventional retrieval method, and the overall contour can be represented with a small amount of computation. It is to provide a video search method.

도 1은 일반적인 내용 기반 검색 시스템을 나타내는 블럭도.1 is a block diagram illustrating a general content based retrieval system.

도 2는 동일 영상에서 서로 다른 감마 보정값하에서 얻어지는 영상의 히스토그램의 변화를 나타낸 그래프.2 is a graph showing a change in the histogram of an image obtained under different gamma correction values in the same image.

도 3은 영상의 칼라 및 모양 정보를 사용하는 종래의 영상 검색 방법을 나타낸 블럭도.3 is a block diagram illustrating a conventional image retrieval method using color and shape information of an image.

도 4는 본 발명에 따르는 칼라 영상의 칼라 및 모양 특징 추출 방법을 나타내는 블럭도.4 is a block diagram showing a color and shape feature extraction method of a color image according to the present invention;

도 5는 본 발명에 따르는 도 4의 칼라 및 모양 특징 추출 방법을 활용한 영상 검색 방법의 블럭도.5 is a block diagram of an image retrieval method utilizing the color and shape feature extraction method of FIG. 4 in accordance with the present invention.

도 6은 본 발명에 따르는 NICO 행렬 생성을 나타낸 예시도.6 illustrates an NICO matrix generation in accordance with the present invention.

도 7은 본 발명에 따르는 GICO 행렬 생성을 나타낸 예시도.7 is an exemplary view showing a GICO matrix generation in accordance with the present invention.

〈도면의 주요 부분에 대한 부호의 설명〉<Explanation of symbols for main parts of drawing>

10 : 영상 입력 단계10: video input step

20 : 칼라 특징 추출 단계20: color feature extraction step

30 : 우위 칼라의 수 결정 단계30: Determining the Number of Dominant Collars

40 : 모양 특징 추출 단계40: Shape Feature Extraction Step

50 : GICO 행렬 성분값 비교 단계50: GICO matrix component value comparison step

60 : NICO 행렬 성분값 비교 단계60: NICO matrix component value comparison step

70 : IMI 계수값 비교 단계70: IMI count value comparison step

80 : 우위 칼라별 불변 모멘트 비교 단계80: invariant moment comparison step for each superior color

90 : 칼라 및 모양 특징 정합 유사도 결정 단계90: step of determining similarity of color and shape feature registration

100 : 결과 영상100: result image

도 4은 본 발명에 따르는 칼라 영상의 칼라 및 모양 특징 추출 방법을 나타내는 개략적인 블럭도이다.4 is a schematic block diagram illustrating a method of extracting color and shape features of a color image according to the present invention.

본 발명의 칼라 및 모양 특징 추출 방법은, 질의 영상이 스캐너로 입력되어 디지탈화되는 영상 입력 단계(10), 입력된 디지탈 영상 신호로부터 영상의 칼라 특징 벡타인 NICO 및 GICO 행렬을 생성하여 추출하는 칼라 특징 추출 단계(20), 상기칼라 특징 추출 단계중 생성된 NICO 행렬로부터 우위 칼라의 수를 결정하는 단계(30) 및 입력된 디지탈 영상 신호로부터 영상의 모양 특징 벡타인 향상된 불변 모멘트(IMI) 및 우위 칼라별 불변 모멘트를 계산하여 추출하는 모양 특징 추출 단계(40)로 구성된다.In the color and shape feature extraction method of the present invention, an image input step 10 in which a query image is input to a scanner and digitized, a color feature for generating and extracting color feature vector NICO and GICO matrices of an image from the input digital image signal Extraction step 20, determining the number of dominant colors from the NICO matrix generated during the color feature extraction step 30, and shape feature vectors of the image from the input digital image signal Enhanced Constant Moment (IMI) and dominant color Shape feature extraction step 40 for calculating and extracting the constant moment of the star.

도 6 및 도 7은 상기 NICO 행렬 및 GICO 행렬의 생성 예를 나타낸 예시도이다. 본 발명에 따르는 칼라 특징 추출 단계(20)을 도 4, 도 6 및 도 7을 참고로 하여 살펴보면, 비균등 양자화 방식을 채택한다. 이는 RGB 칼라 공간에 한정하여 접근했던 종래의 방법과 달리, 인간의 시각적 인식 방법에 유사하며 각 축이 시각적으로 독립적인 HSI(Hue, Saturation 및 Intensity) 칼라 공간내에서 영상 신호의 양자화를 기초로 하여 HSI 칼라 공간상에서 각 축에 대하여 양자화를 통해 그룹을 생성하고자 하는 것이다.6 and 7 illustrate examples of generating the NICO matrix and the GICO matrix. Looking at the color feature extraction step 20 according to the present invention with reference to Figs. 4, 6 and 7, a non-uniform quantization scheme is adopted. This approach is similar to the human visual recognition method, and is based on the quantization of the image signal in the HSI (Hue, Saturation and Intensity) color space, which is similar to the human visual recognition method. We want to create groups through quantization for each axis in HSI color space.

본 발명에 따르는 칼라 특징 추출 단계(20)는 칼라 양자화 단계(21), 히스토그램 생성 단계(22), 및 NICO 및 GICO 행렬 생성 단계를 포함한다.The color feature extraction step 20 according to the present invention comprises a color quantization step 21, a histogram generation step 22, and a NICO and GICO matrix generation step.

칼라 양자화 단계(21)는 입력된 영상 신호를 미리 정해놓은 그룹이 아니라 화소의 확률 분포를 고려하여 그룹을 생성시키는 비균등 양자화 단계로서, 비균등화 양자화를 위한 예로서 엘로이드-맥스 양자화기(Lloyd-Max Quantizer)를 사용한다. 상기 양자화기는 HSI 각 축에 대해 독립적으로 적용되어 각 축에서의 평균 제곱 오차(Mean Square Error)를 최소화하도록 최적화하여 효율적인 구분(partitioning)이 가능하게 한다. 특히, 상기 비균등 양자화 단계는 HSI 칼라 공간에서 축의 구분을 할 때, 다른 두 축에 비해 H축 성분이 인간의 시각적 체계에 민감하게 반응하기 때문에 더 세밀하게 나누었다. 그 결과 H축에 대해서는 4개, S축 및 I축에 대해서는 각각 2개의 그룹으로 나누어서 모두 16개의 그룹을 생성한다.The color quantization step 21 is a non-uniform quantization step of generating a group by considering a probability distribution of pixels rather than a predetermined group of input image signals. As an example for non-equalization quantization, the Lloyd-Max quantizer (Lloyd) Max Quantizer). The quantizer is applied independently for each HSI axis to optimize the mean square error in each axis to enable efficient partitioning. In particular, the non-uniform quantization step was further divided because the H-axis component is more sensitive to the human visual system than the other two axes when the axis is divided in the HSI color space. As a result, all 16 groups are generated by dividing into four groups for the H axis and two groups for the S and I axes.

HSI 축에 대한 히스토그램 생성 단계(22)는 16개 그룹에 대한 히스토그램을 계산하는 단계로서, 입력된 영상의 전체 화소중에서 상기 HSI 각 축에 대해 구분된 그룹에 속하는 화소의 비율을 계산하여 전체 화소에 대한 해당 칼라가 속하는 확률을 구하는 것이다.The histogram generation step 22 for the HSI axis is a step of calculating the histogram for the 16 groups. The ratio of pixels belonging to the divided groups for each HSI axis among all the pixels of the input image is calculated for all the pixels. It is to find the probability that the corresponding color belongs to.

또한, 본 발명의 칼라 특징 추출 방법은 비균등 양자화된 그룹간의 공간적 분포 상황을 고려함으로써 유사한 히스토그램을 갖는 경우라 할지라도 구별할 수 있는 2가지 방법으로서 NICO(Neighborhood Information of COlor histgram)행렬 생성 단계(23) 및 GICO(Global Information of COlor histogram) 행렬 생성 단계(24)를 더 포함한다.In addition, the color feature extraction method of the present invention has two methods that can be distinguished even if they have similar histograms by considering the spatial distribution of unequalized quantized groups. 23) and generating a global information of color histogram (GICO) matrix (24).

먼저, 양자화된 그룹의 경계상에 있는 화소들과 이웃하는 화소들의 비율을 계산하는 NICO 행렬 생성 단계(23)는 다음과 같은 단계로 세분화된다.First, the NICO matrix generation step 23 for calculating the ratio of pixels on the boundary of the quantized group to neighboring pixels is subdivided into the following steps.

① 칼라 양자화 과정을 거친 후, 주어진 영상의 분할된 그룹에 대한 레이블링(labeling) 단계,① After a color quantization process, a labeling step for a divided group of a given image,

② 각 그룹의 경계에 해당하는 화소들에 대한 이웃 화소들의 그룹 번호를 확인하고, 그 그룹 번호의 수를 계산하는 단계,(2) checking the group numbers of neighboring pixels for the pixels corresponding to the boundary of each group, and calculating the number of the group numbers;

③ 전체 화소에 대한 자신의 그룹에 해당하는 화소의 비율을 계산하여 행렬의 대각 성분값에 각각 대입하는 단계,(3) calculating a ratio of pixels corresponding to a group of all pixels and substituting them into diagonal component values of the matrix;

④ 각 그룹들에 대해 이웃하는 그룹들의 전체 화소에 대한 비율을 계산하여행렬의 비대각 성분값에 각각 대입하는 단계, 및④ calculating ratios for all pixels of neighboring groups for each group and substituting the non-diagonal component values of the matrix, respectively, and

⑤ 주어진 그룹 수 만큼의 상기 행렬의 대각 성분값과 비대각 성분값으로 이루어진 정방 행렬을 생성하는 단계.Generating a square matrix of diagonal and non-diagonal component values of the matrix by a given number of groups.

도 6은 NICO 행렬의 생성 예를 나타낸다. 레이블링된 후의 영상의 예는 도 6(a), 이를 바탕으로 생성된 NICO 행렬은 도 6(c), 도 6(a)에 도시된 영상 영역의 일부분을 확대하여 이웃하는 화소들의 관계를 도 6(b)에 각각 나타낸다.6 shows an example of generating a NICO matrix. An example of an image after being labeled is shown in FIG. 6 (a), and the NICO matrix generated based on this is enlarged a part of the image area shown in FIGS. 6 (c) and 6 (a) to show the relationship between neighboring pixels. It shows in (b), respectively.

도 6(c)의 밑줄친 성분값들의 계산을 설명하면, 먼저, 대각 성분값은 레이블링된 각 그룹 번호를 카운트하여, 그 수와 전체 영역의 그룹 번호 수의 비를 계산하여 얻어지고, 비대각 성분값은 도 6(b)에 도시된 레이블링된 한 영역의 경계에 해당하는 화소의 이웃하는 화소, 즉 4와 이웃하는(4-neighborhood) 2, 5, 6 화소의 그룹 번호를 카운트하고, 그 수와 전체 영역에 대한 그룹 번호 수의 비를 구함으로써 얻어진다.Referring to the calculation of the underlined component values in Fig. 6 (c), first, a diagonal component value is obtained by counting each labeled group number, calculating a ratio of the number and the number of group numbers of the entire area, and making a non-diagonal angle. The component value counts the group number of neighboring pixels, i.e., 4 and 2, 5, 6 neighboring pixels of the pixel corresponding to the border of one labeled region shown in FIG. 6 (b), and It is obtained by obtaining the ratio of the number and the number of group numbers for the whole area.

상기와 같이 생성된 NICO 행렬은, 그 대각 성분이 양자화된 그룹간의 히스토그램을 나타내고, 행렬의 비대각 성분이 레이블링된 후 영상에서 열과 행으로된 화소의 그룹들이 이웃하는 경우 그 그룹들의 히스토그램을 나타낸다. 따라서, 본 발명에 따라 생성된 NICO 행렬은 영상내의 공간에서 각 칼라 그룹간의 공간적인 관련성, 즉 이웃하는 화소들만의 관련성을 고려하는 칼라의 로컬(local)한 공간적 분포를 나타낼 수 있다.The NICO matrix generated as described above represents a histogram between groups in which the diagonal component is quantized, and when the groups of pixels in columns and rows in the image are adjacent after the non-diagonal components of the matrix are labeled, the histograms of the groups. Accordingly, the NICO matrix generated according to the present invention may represent a local spatial distribution of colors in consideration of the spatial relationship between each color group in the space in the image, that is, only the neighboring pixels.

결국, 상기와 같은 NICO 행렬을 통하여 기존의 히스토그램 기법을 살리면서 공간상의 각 그룹간의 연관성을 고려할 수 있게 된다.As a result, it is possible to consider the association between each group in space while utilizing the existing histogram method through the NICO matrix as described above.

두번째 행렬 생성 단계로서, 양자화된 각 그룹에 해당하는 화소 좌표의 분산값 및 평균값의 차이를 이용한 GICO 행렬 생성단계(24)는 다음과 같은 단계로 세분화된다.As a second matrix generation step, the GICO matrix generation step 24 using the difference between the variance value and the average value of pixel coordinates corresponding to each quantized group is subdivided into the following steps.

① 칼라 양자화를 거친 후, 주어진 영상의 분할된 그룹에 대한 레이블링 단계,(1) after color quantization, a labeling step for a segmented group of a given image,

② 분할된 각 그룹에 해당하는 화소들의 좌표값을 다음과 같은 수학식 1 및 2를 통해 각 화소들의 좌표값에 대한 평균값과 분산값을 계산하는 단계,② calculating the average value and the variance value of the coordinate values of each pixel through the following equations 1 and 2 for the coordinate values of the pixels corresponding to each divided group;

여기서, Mi는 i번째 그룹에 해당하는 화소들의 좌표값에 대한 평균값, σ2은 i번째 그룹에 해당하는 화소들의 좌표값에 대한 분산값이다. Ri는 i번째 그룹에 속하는 화소들의 집합을 나타내며, Ni는 Ri에 속하는 화소들의 수이고, f(k, l)은 해당 화소들의 x, y 좌표값이다.Here, M i is an average value of the coordinate values of the pixels corresponding to the i-th group, and σ 2 is a variance value of the coordinate values of the pixels corresponding to the i-th group. R i represents a set of pixels belonging to the i-th group, N i is the number of pixels belonging to R i , and f (k, l) is an x, y coordinate value of the corresponding pixels.

③ 수학식 2에서 구한 분산값을 행렬의 대각 성분에 대입하는 단계,③ substituting the variance value obtained in Equation 2 into the diagonal component of the matrix,

④ 각 그룹에 대해 수학식 1에서 구한 값을 다음과 같은 수학식 3에 대입하여 각 그룹간의 평균 좌표값에 대한 시티-블럭 디스턴스(city-block distance)를 정규화한 값을 행렬의 비대각 성분에 대입하는 단계, 및④ By substituting the value obtained from Equation 1 for each group into Equation 3 as follows, the value normalized to the city-block distance for the average coordinate value between each group is converted to the non-diagonal component of the matrix. Assigning, and

여기서, MR(x,y), MC(x,y)는 GICO 행렬의 열에 해당하는 그룹의 좌표 평균값과 행에 해당하는 좌표 평균값을 나타내며, NC, NR은 영상의 행 방향과 열 방향의 크기를 나타낸다.Here, M R (x, y) and M C (x, y) represent the coordinate mean value of the group corresponding to the column of the GICO matrix and the coordinate mean value corresponding to the row, and N C , N R represent the row direction and column of the image. Indicates the magnitude of the direction.

⑤ 주어진 그룹 수만큼의 행렬의 대각 성분과 비대각 성분으로 이루어지는 정방 행렬을 생성하는 단계.Generating a square matrix consisting of diagonal and non-diagonal components of the matrix by the given number of groups.

도 7은 GICO 행렬의 생성 예를 나타낸다. 양자화 과정을 거친후 레이블링된 영상의 예는 도 7(a), 이를 바탕으로 생성된 GICO 행렬은 도 7(b)에 나타낸다.7 shows an example of generating a GICO matrix. An example of a labeled image after the quantization process is shown in FIG. 7 (a), and a GICO matrix generated based on this is shown in FIG. 7 (b).

따라서 상기와 같이 생성된 GICO 행렬은, 그 행렬의 대각 성분이 레이블링된 각 그룹의 좌표값의 분산값을 나타내어 영상내 특정 색상의 공간적 분포를 나타내도록 하였고, 비대각 성분값이 레이블링된 영상에서 행과 열로 된 그룹간 공간적 거리를 전체 영상 크기로 정규화하여 서로 다른 그룹간의 공간적 관련성을 나타내도록 함으로써, 양자화된 칼라가 영상 전체에서 차지하는 분포를 고려할 수 있기 때문에 글로벌(global)한 칼라의 공간적 분포를 나타내게 된다.Therefore, the GICO matrix generated as described above represents a variance of the coordinate values of each group whose diagonal components are labeled so that the spatial distribution of a specific color in the image is represented. By normalizing the spatial distance between the groups of superheat to the overall image size to represent the spatial relationship between different groups, the spatial distribution of the global color can be represented because the distribution of the quantized color can be considered in the entire image. do.

다음은 도 4, 도 6 및 도 7을 참고로 하여, 모양 특징 추출 단계(40)을 상세히 설명한다.Next, the shape feature extraction step 40 will be described in detail with reference to FIGS. 4, 6 and 7.

본 발명에서는 불변 모멘트를 사용하여 모양 특징을 추출하는 다음과 같은 2가지 방법을 채택한다.The present invention employs the following two methods of extracting shape features using invariant moments.

첫번째, 기존의 불변 모멘트를 변형시켜 만든 향상된 불변 모멘트(Improved Moment Invariants; IMI)를 이용한 모양 특징 추출 방법은 크게 모폴로지 연산 단계(41), 물체 윤곽선 추출 단계(42) 및 전체 윤곽에 대한 IMI 계산 단계(43)를 포함한다.First, the shape feature extraction method using improved constant moment invariants (IMI), which is made by transforming existing constant moments, is largely used in the morphology calculation step (41), the object contour extraction step (42), and the IMI calculation step for the entire contour. (43).

상기 IMI 계산이란 물체의 윤곽선에 해당하는 화소들만을 대상으로 연산을 행하는 것이다. 따라서, IMI를 이용하여 영상내의 물체의 모양 특징을 추출하기 위하여는 우선 물체의 윤곽선을 찾아야 하는데, 본 발명에서는 물체의 윤곽선을 찾기 위하여 모폴로지 연산자(morphology operator)를 사용하여 모폴로지 연산(41)을 수행한다. 그 다음, 상기 연산값을 이용하여 물체의 윤곽선을 추출(42)하면, 그후, 상기 추출된 윤곽선을 전체 윤곽에 대한 IMI 계산 단계(43)를 거쳐 7개의 계수로 표현되는 전체적인 물체의 윤곽선을 추출한다.The IMI calculation is to perform calculation on only pixels corresponding to the contour of the object. Therefore, in order to extract shape features of an object in an image using IMI, first, an outline of an object must be found. In the present invention, a morphology operation 41 is performed using a morphology operator to find the outline of an object. do. Then, the contour of the object is extracted (42) using the operation value, and then the contour of the entire object represented by seven coefficients is extracted through the IMI calculation step 43 for the extracted contour. do.

한편, 상기 첫번째 모양 특징 추출단계에서 IMI를 사용하는 경우, 영상내 물체의 전체적인 윤곽을 살펴보는데는 유용한 면이 있지만 각 칼라마다의 모양 특징을 반영하지 못한다는 단점을 여전히 지니고 있기 때문에, 우위(dominant) 칼라의 개별적인 윤곽을 살펴보기 위하여는 각 칼라별 불변 모멘트를 추출할 필요성이 생기게 되었다.On the other hand, when IMI is used in the first shape feature extraction step, it is useful to look at the overall outline of an object in the image, but still has the disadvantage that it does not reflect the shape feature of each color. In order to examine the individual contours of colors, it is necessary to extract the constant moments of each color.

따라서, 본 발명은 두번째 모양 특징 추출 방법으로서, 우위 칼라별 불변 모멘트 계산 단계를 더 포함한다.Therefore, the present invention further includes the step of calculating the invariant moment for each dominant color as the second shape feature extraction method.

우위 칼라의 수를 결정하는 단계(30) 및 우위 칼라에 대한 비교 행렬 생성의 예가 도 7(c) 및 도 7(e)에 예시된다. 우위 칼라의 수 결정은 상기 도 6(c)에 도시된 NICO 행렬에서 히스토그램이 높은 그룹을 사용자가 임의로 정한 3개로 한 경우(도 7(e)), 상기 히스토그램이 높은 그룹순으로 GICO 행렬을 정열한 후(도 7(C) 참조), 우위 칼라의 수를 사용자가 임의로 정한 3개로 한 경우 생성된 GICO 행렬의 예가 도 7(d)에 도시된다. 이렇게 우위 칼라만을 사용함으로써 영상내의 모든 칼라 정보를 사용하지 않고 미리 정한 수의 주요한 칼라 정보만을 가지고 비교 분석할 수 있도록 하였다.An example of determining 30 the number of dominant colors and generating a comparison matrix for the dominant color is illustrated in Figs. 7 (c) and 7 (e). To determine the number of dominant colors, in the NICO matrix shown in FIG. 6 (c), if the group having the highest histogram is three arbitrarily determined by the user (FIG. 7 (e)), the GICO matrix is arranged in the order of the group having the highest histogram. After that (see Fig. 7 (C)), an example of the generated GICO matrix is shown in Fig. 7D when the number of superior colors is three arbitrarily determined by the user. By using only the superior color, it is possible to compare and analyze only the predetermined number of important color information without using all the color information in the image.

따라서, 도 4에 도시된 바와 같이, 상기 우위 칼라별 불변 모멘트는 상술한 NICO 행렬을 이용한 칼라 특징 추출 단계에서 사용자에 의해 미리 정해진 수의 우위 칼라를 결정(30)한 후, 이를 바탕으로 각 우위 칼라별 불변 모멘트 계산(44)을 통해 생성되며, 그 계수는 우위 칼라 수마다 생성되어 우위 칼라 수(Cdom)*7 의 수가 된다. 따라서, 상기 IMI를 사용했을 때와 마찬가지로 영상내의 물체의 회전, 이동 및 축척에 불변한 모양 특징을 각 칼라의 수만큼 추출할 수 있게 된다.Accordingly, as shown in FIG. 4, the invariant moment for each superior color is determined 30 by the user in the color feature extraction step using the NICO matrix described above. It is generated through the invariant moment calculation 44 for each color, and the coefficient is generated for each number of the leading colors to become the number of the leading color numbers C dom * 7. Therefore, as in the case of using the IMI, it is possible to extract a shape feature that is invariant to the rotation, movement, and scale of an object in the image by the number of colors.

다음은 상술한 칼라 특징 추출 방법의 2가지와 모양 특징의 추출 방법의 2가지의 조합으로 이루어지는 칼라 및 모양 특징 정합 방법에 관하여 도 4 및 도 5를 참고로 설명한다.Next, a color and shape feature matching method comprising a combination of two of the above-described color feature extraction method and two of the shape feature extraction method will be described with reference to FIGS. 4 and 5.

먼저, 칼라 특징 정합 방법을 살펴보면, 검색될 영상인 질의 영상으로부터 상술한 영상 입력 단계 및 칼라 특징 추출 단계를 거쳐서 질의 영상에 관한 칼라특징인 NICO 및 GICO 행렬을 추출하면, 이 행렬 성분값과 영상 데이타베이스내에 저장된 영상의 NICO 및 GICO 행렬의 성분값의 비교를 행한다.First, referring to the color feature matching method, the NICO and GICO matrices, which are the color features of the query image, are extracted from the query image, which is the searched image, through the above-described image input step and color feature extraction step. The component values of the NICO and GICO matrices of the video stored in the base are compared.

각각의 행렬의 대각 성분값과 비대각 성분값에 대한 가중치 W1및 W2를 주고 다음과 같은 수학식 4와 수학식 5를 통해 질의 영상의 행렬 성분과 영상 데이타베이스내의 영상의 행렬 성분값 비교를 행하기 위해 유크리디언 거리 연산을 행하게 된다.Given the weights W 1 and W 2 for the diagonal and non-diagonal component values of each matrix, and comparing the matrix component values of the query image with the matrix component values in the image database through Equations 4 and 5 as follows. A Euclidean distance calculation is performed to perform.

(만약 i=j이면) (If i = j)

(만약 i≠j이면) (If i ≠ j)

여기서, W1, W2는 가중치이고, Q는 질의 영상, I는 영상 데이타베이스내의 영상을 나타내며, λij는 NICO 행렬과 GICO 행렬의 성분값을 나타낸다.는 NICO 행렬의 성분값간 비교로부터 생성된 칼라 정보의 결과이고,는 GICO 행렬의 성분값간 비교로부터 생성된 칼라 정보의 결과이다. 행렬의 대각 성분값과 비대각 성분값에 대한 각각의 가중치 W1, W2는 사용자가 임의로 지정할 수 있도록 하였다.Here, W 1 and W 2 are weights, Q is a query image, I is an image in an image database, and λ ij is a component value of a NICO matrix and a GICO matrix. Is the result of the color information generated from the comparison between the component values of the NICO matrix, Is the result of the color information generated from the comparison between the component values of the GICO matrix. The weights W 1 and W 2 for the diagonal and non-diagonal component values of the matrix can be assigned by the user.

에 있어서, 가중치 W1을 가중치 W2보다 크게 할 경우, 영상내에서 영상 전체의 칼라 구성비에 비중을 두는 경우가 되고, 그 반대의 경우 영상내의 각 칼라의 구성비보다 양자화된 각 칼라의 그룹간의 공간적인 관계에 더 비중을 두는 경우가 된다. 따라서, 검색하고자 하는 대상과 목적에 따라서 각각의 가중치를 적절하게 줌으로써 검색의 효율을 증대시킬 수 있게 된다. In the case where the weight W 1 is greater than the weight W 2 , the weight is given to the color composition ratio of the entire image in the image, and vice versa, the space between groups of colors of each color quantized than the composition ratio of each color in the image. More emphasis is placed on relationships. Accordingly, the efficiency of the search can be increased by appropriately giving the respective weights according to the object and the object to be searched.

에 있어서, 가중치 W1을 가중치 W2보다 크게 할 경우, 영상내에서 각 그룹간의 공간적 분포에 비중을 두는 경우가 되고, 그 반대의 경우 각 칼라 그룹간의 공간적 거리에 더 비중을 두는 것이 된다. In the case where the weight W 1 is larger than the weight W 2 , the weight distribution is given to the spatial distribution between the groups in the image, and vice versa, the weight distribution W 1 is more important to the spatial distance between the color groups.

결국, 본 발명의 칼라 특징 정합 방법은 질의 영상과 저장된 영상의 칼라 특징에 대한 거리(distance)를 계산하는 NICO 행렬 및 GICO 행렬 성분값 비교 단계(50 및 60) 및 상기 디스턴스값에 사용자 입력에 의한 가중치 W1및 W2가 곱해지는 가중치 부여 단계(51 및 61)로 구성된다.As a result, the color feature matching method of the present invention comprises the steps of comparing the NICO matrix and the GICO matrix component values (50 and 60) for calculating the distances of the color features of the query image and the stored image, and by the user input. It consists of weighting steps 51 and 61 where the weights W 1 and W 2 are multiplied.

다음은, 모양 특징 정합 방법을 살펴보면, 검색될 영상인 질의 영상으로부터 상술한 칼라 특징 추출 단계(40) 및 우위 칼라 결정 단계(30)를 거쳐서 질의 영상에 관한 모양 특징인 IMI 및 우위 칼라에 대한 불변 모멘트를 추출하면, 이들 값과 영상 데이타베이스내에 저장된 영상의 IMI 및 우위 칼라의 불변 모멘트 값의 비교를 행한다.Next, referring to the shape feature matching method, the invariant for the IMI and the superior color, which are the shape features of the query image, is passed through the above-described color feature extraction step 40 and the superior color determination step 30 from the query image as the image to be searched. When the moment is extracted, these values are compared with the constant moment values of the IMI and the dominant color of the image stored in the image database.

다음의 수학식 6에 의해서 질의 영상과 영상 데이타베이스내의 영상의 IMI계수값 비교, 및 다음과 같은 수학식 7에 의해서 질의 영상과 영상 데이타베이스내의 영상의 우위 칼라별 불변 모멘트 계수값 비교를 행하기 위해서 각각의 계수값의 유클리디언 거리 연산을 행하게 된다.Comparing the IMI coefficient values of the query image and the image in the image database by Equation 6 below, and comparing the constant moment coefficient values of the superior color of the superior image of the query image and the image in the image database by Equation 7 below. Euclidean distance calculation of each coefficient value is performed.

여기서,,는 각각의 질의 영상과 영상 데이타베이스내의 영상에 해당하는 IMI 계수들이고,는 IMI 계수들간의 비교로부터 나온 모양 정보의 결과이다.here, , Are IMI coefficients corresponding to each query image and the image in the image database, Is the result of the shape information from the comparison between the IMI coefficients.

여기서,,는 각각 질의 영상과 영상 데이타베이스내의 영상에 해당하는 불변 모멘트(Moment Invariants) 계수들이며, Cdom은 우위 칼라의 수이다.는 각 우위 칼라별 불변 모멘트 계수들간의 비교로부터 나온 모양 정보의 결과이다.here, , Are Invariant coefficients corresponding to the query image and the image in the image database, respectively, and C dom is the number of dominant colors. Is the result of the shape information from the comparison between the constant moment coefficients for each dominant color.

따라서, 본 발명의 모양 특징 정합 방법은 질의 영상과 저장된 영상의 모양 특징에 관한 불변 모멘트 계수값을 비교하는 IMI 계수값 비교 단계(70), 우위 칼라별 불변 모멘트 계수값 비교 단계(80) 및 상기 계수값에 사용자 입력에 의한 가중치 w3및 w4가 곱해지는 가중치 부여 단계(71 및 81)로 구성된다.Accordingly, the shape feature matching method according to the present invention includes an IMI coefficient value comparison step 70 for comparing invariant moment coefficient values for shape features of a query image and a stored image, a comparison of invariant moment coefficient values for each superior color 80, and the And weighting steps 71 and 81 in which the coefficient values are multiplied by the weights w 3 and w 4 by the user input.

또한, 본 발명에서는 상기 칼라 및 모양 특징 정합 결과인 4가지 결과값을 서로 조합하여 최종 검색 결과 영상을 출력 하기 위한 단계로서 칼라 및 모양 특징 정합 유사도 결정 단계(90)를 더 포함한다.In addition, the present invention further includes a color and shape feature matching similarity determining step 90 as a step for outputting a final search result image by combining the four result values that are the color and shape feature matching results with each other.

상기 결정 단계(90)는 질의 영상(Q)와 데이타베이스내의 영상(H)와의 유사도를 통합 유사도를 구하는 다음의 수학식 8을 통해 계산되며, 이 결과를 바탕으로 최종 검색 영상을 출력하게 된다.The determining step 90 combines the similarity between the query image Q and the image H in the database. Calculated by Equation 8 below, the final search image is output based on the result.

여기서,,는 칼라 정보의 결과이며,,는 모양 정보의 결과로부터 연산된 것이며,는 칼라와 모양 정보를 합한 통합 유사도를 나타낸다. 또한, w1, w2, w3및 w4는 각각 NICO 행렬, GICO 행렬, IMI 및 우위 칼라별 불변 모멘트 계산 결과에 대한 가중치를 나타낸다.here, , Is the result of color information, , Is computed from the result of the shape information, Represents the combined similarity of the sum of the color and shape information. In addition, w 1 , w 2 , w 3, and w 4 represent weights for the NICO matrix, the GICO matrix, the IMI, and the invariant moment calculation results according to the dominant colors, respectively.

따라서, 본 발명의 칼라 및 모양 특징 정합 방법은 상술한 4가지 정합 방법의 조합 결과, 그 전체적인 유사도가 높은 영상을 결과 영상으로 나타내게 된다.Accordingly, the color and shape feature matching method of the present invention results in a combination of the four matching methods described above, resulting in an image with high overall similarity.

본 발명에 따르는 칼라 영상 검색 방법은 칼라 정보와 모양 정보를 동시에 고려한 복합적인 특징 벡타가 사용되며, 이 특징 벡타 사용을 위해 비균등 양자화 방법인 엘로이드-맥스(Lloyd-Max) 양자화기를 적용하여 효율적인 칼라 양자화를 하고, 양자화를 거친 후 생성된 칼라 그룹간의 공간적 분포 상황을 고려하기 위하여 NICO 행렬 및 GICO 행렬을 적용하여 칼라 정보를 기반으로 한 검색 효율을 증대시켰다. 또한, 모양 정보를 획득하기 위해서 향상된 불변 모멘트(IMI) 및 우위 칼라별 불변 모멘트를 사용함으로써 연산량을 크게 줄이면서 검색 효율을 증대시켰다.In the color image retrieval method according to the present invention, a complex feature vector considering both color and shape information is used, and an efficient non-uniform quantization method, the Lloyd-Max quantizer, is used for the feature vector. In order to consider the spatial distribution between color groups generated after color quantization and quantization, the NICO matrix and the GICO matrix are applied to increase the search efficiency based on color information. In addition, by using the improved invariant moment (IMI) and the invariant moment for each dominant color to obtain shape information, the computational efficiency is greatly reduced and the search efficiency is increased.

따라서 본 발명에 따르는 영상 검색 방법에 의하면 종래 영상 검색 방법에 비교하여 원영상 뿐만 아니라 영상내의 물체의 회전, 이동, 잡음 첨가 및 감마 보정값등에 의해 변형된 영상에 대해서도 향상된 검색 결과를 얻을 수 있게 된다.Therefore, according to the image retrieval method according to the present invention, compared to the conventional image retrieval method, it is possible to obtain an improved retrieval result not only for the original image but also for the image modified by rotation, movement, noise addition, and gamma correction values of objects in the image. .

Claims (15)

칼라 영상으로부터 특징 벡타를 추출하는 방법에 있어서,In the method for extracting the feature vector from the color image, HSI 칼라 공간내의 각 축에 대하여, 상기 칼라 영상의 화소에 대한 비균등 양자화를 통해 상기 화소의 칼라 그룹을 생성하고, 생성된 상기 각 그룹에 대한 히스토그램을 계산하여, 상기 칼라 영상의 칼라 특징 벡타인 NICO 및 GICO 행렬을 추출하는 칼라 특징 추출 단계;For each axis in an HSI color space, a color group of the pixels is generated through non-uniform quantization of the pixels of the color image, and a histogram for each of the generated groups is calculated to produce a color feature vector of the color image. Color feature extraction step of extracting NICO and GICO matrices; 상기 칼라 특징 추출 단계에서 생성된 상기 NICO 행렬로부터 우위 칼라의 수를 결정하는 단계; 및Determining the number of leading colors from the NICO matrix generated in the color feature extraction step; And 상기 칼라 영상내의 물체의 윤곽선에 해당하는 화소들을 대상으로 향상된 불변 모멘트(IMI) 계산을 통해 상기 물체의 전체적인 윤곽선을 추출하고, 미리 결정된 상기 우위 칼라의 수를 기초로 해서, 각각의 우위 칼라별 불변 모멘트를 계산하여, 상기 우위 칼라의 개별적인 윤곽선을 추출하는 모양 특징 추출 단계The entire contour of the object is extracted through an improved constant moment (IMI) calculation for the pixels corresponding to the contour of the object in the color image, and based on the predetermined number of the superior colors, the invariance for each superior color. Shape feature extraction step of extracting individual contours of the superior color by calculating a moment 를 포함하는 특징 벡타 추출 방법.Characteristic vector extraction method comprising a. 제1항에 있어서, 상기 칼라 특징 추출 단계는,The method of claim 1, wherein the color feature extraction step, HSI 칼라축으로 이루어지는 HSI 칼라 공간내에서, 상기 칼라 영상의 전체 화소에 대한 다수의 칼라 그룹을 비균등하게 할당하는 비균등 양자화 단계,An uneven quantization step of unevenly allocating a plurality of color groups for all pixels of the color image in an HSI color space consisting of an HSI color axis, 상기 HSI 축에 대해 할당된 각각의 상기 칼라 그룹에 속하는 화소가 이와 대응하는 칼라의 전체 화소에 속하는 확률을 계산하여 각각의 상기 HSI 축에 대한 히스토그램을 생성하는 단계, 및Generating a histogram for each HSI axis by calculating a probability that a pixel belonging to each of the color groups allocated for the HSI axis belongs to all pixels of a color corresponding thereto; and 상기 양자화된 칼라 그룹의 경계상에서 이웃하는 화소들의 비율을 나타내는 NICO 행렬 및 상기 양자화된 각각의 칼라 그룹에 해당하는 화소가 전체 칼라 영상에서 차지하는 비율을 나타내는 GICO 행렬을 생성하는 단계Generating a NICO matrix indicating a ratio of neighboring pixels on the boundary of the quantized color group and a GICO matrix indicating a ratio of pixels corresponding to each of the quantized color groups in a full color image; 를 포함하는 특징 벡타 추출 방법.Characteristic vector extraction method comprising a. 제1항에 있어서, 상기 모양 특징 추출 단계는,The method of claim 1, wherein the extracting the shape feature comprises: 상기 칼라 영상내의 물체의 윤곽선을 찾기 위하여 모폴로지 연산자를 사용하여 모폴로지 연산을 수행하는 모폴로지 연산 단계,A morphology calculation step of performing a morphology operation using a morphology operator to find the contour of the object in the color image; 상기 모폴로지 연산 결과로부터 칼라 영상내의 상기 물체의 윤곽선을 추출하는 단계,Extracting an outline of the object in a color image from the morphology calculation result; 상기 물체의 윤곽선에 해당하는 화소들을 이용하여 향상된 불변 모멘트(IMI)를 계산하여 상기 물체의 전체적인 윤곽선을 추출하는 단계, 및Extracting an overall contour of the object by calculating an improved constant moment (IMI) using pixels corresponding to the contour of the object, and 미리 정해진 상기 우위 칼라별 불변 모멘트를 계산하는 단계Calculating a predetermined invariant moment for each dominant color 를 포함하는 특징 벡타 추출 방법.Characteristic vector extraction method comprising a. 제2항에 있어서, 상기 비균등 양자화 단계는 비균등 양자화를 위해 엘로이드-맥스 양자화기(Lloyd-Max Quantizer)를 사용하는 특징 벡타 추출 방법.3. The method of claim 2, wherein the non-uniform quantization step uses an Lloyd-Max Quantizer for non-uniform quantization. 제2항에 있어서, 상기 HSI 각 축에 대한 히스토그램 생성 단계는 칼라 그룹을 각각 상기 H축에서 4개, S축 및 I축에서 각각 2개로 할당하여 모두 16개의 칼라 그룹으로 할당하는 특징 벡타 추출 방법.3. The method of claim 2, wherein the histogram generation for each axis of the HSI is performed by assigning four color groups to each of the H-axis and two each to the S-axis and the I-axis. . 상기 제2항에 있어서, 상기 NICO 행렬 생성 단계는, 상기 칼라 양자화후 칼라 영상의 분할된 그룹에 대해 레이블링을 하는 단계,The method of claim 2, wherein the generating of the NICO matrix comprises: labeling a divided group of color images after the color quantization; 상기 각 칼라 그룹의 경계에 해당하는 화소들에 대한 이웃 화소들의 그룹 번호를 확인하고, 그 그룹 번호 수를 카운트하는 단계,Identifying a group number of neighboring pixels for pixels corresponding to the boundary of each color group, and counting the number of the group numbers; 상기 행렬의 대각 성분값에 전체 화소에 대한 자신이 속하는 그룹에 해당하는 화소의 비율을 대입하는 단계,Substituting a ratio of pixels corresponding to a group to which all pixels belong to a diagonal component value of the matrix; 상기 행렬의 비대각 성분값에 각 그룹들에 대해 이웃하는 그룹들의 전체 화소에 대한 비율을 대입하는 단계, 및Substituting the non-diagonal component values of the matrix with respect to the total pixels of neighboring groups for each group, and 주어진 그룹 수 만큼의 상기 행렬의 대각 성분값과 비대각 성분값으로 이루어진 정방 행렬을 생성하는 단계를 포함하는 특징 벡타 추출 방법.Generating a square matrix of diagonal and non-diagonal component values of the matrix by a given number of groups. 상기 제2항에 있어서, 상기 GICO 행렬 생성 단계는,The method of claim 2, wherein the generating the GICO matrix, 상기 칼라 양자화를 거친 후, 주어진 영상의 분할된 칼라 그룹에 대한 레이블링을 하는 단계,After the color quantization, labeling a segmented color group of a given image; 상기 분할된 각 그룹에 해당하는 화소들의 좌표값을 기초로 해서 각 화소들의 좌표값에 대한 평균값과 분산값을 계산하는 단계,Calculating an average value and a variance value of the coordinate values of the pixels based on the coordinate values of the pixels corresponding to the divided groups; 상기 행렬의 대각 성분값에 상기 계산된 분산값을 대입하는 단계,Substituting the calculated variance into the diagonal component values of the matrix; 상기 행렬의 비대각 성분값에 각 그룹간의 평균 좌표값에 대한 시티-블럭 디스턴스(city-block distance)로 정규화한 값을 대입하는 단계, 및Substituting the normalized value of the non-diagonal component value of the matrix with a city-block distance for an average coordinate value between groups; and 상기 주어진 그룹 수만큼의 행렬의 대각 성분값과 비대각 성분값으로 이루어지는 정방 행렬을 생성하는 단계를 포함하는 특징 벡타 추출 방법.And generating a square matrix composed of diagonal and non-diagonal component values of the matrix by the given number of groups. 제7항에 있어서, 상기 평균값과 상기 분산값은 수학식 1과 2로 구해지는 특징 벡타 추출 방법으로서, 상기 수학식 1과 2는 다음과 같으며The method of claim 7, wherein the average value and the variance value are calculated by Equations 1 and 2, wherein Equations 1 and 2 are as follows. [수학식 1][Equation 1] [수학식 2][Equation 2] 여기서, Mi는 i번째 그룹에 해당하는 화소들의 좌표값에 대한 평균값이고, σ2은 i번째 그룹에 해당하는 화소들의 좌표값에 대한 분산값이며, Ri는 i번째 그룹에 속하는 화소들의 집합을 나타내며, Ni는 Ri에 속하는 화소들의 수이고, f(k, l)은 해당 화소들의 x, y 좌표값인 것을 특징으로 하는 특징 벡타 추출 방법.Here, M i is an average value of coordinates of pixels corresponding to the i th group, σ 2 is a variance value of coordinate values of pixels corresponding to the i th group, and R i is a set of pixels belonging to the i th group N i is the number of pixels belonging to R i , and f (k, l) is the x, y coordinate value of the corresponding pixels. 제7항에 있어서, 상기 시티-블럭 디스턴스를 정규화한 값은 수학식 3으로부터 구해지는 특징 벡타 추출 방법으로서, 상기 수학식 3은 다음과 같으며The method of claim 7, wherein the value of normalizing the city-block distance is obtained from Equation 3, wherein Equation 3 is as follows. [수학식 3][Equation 3] 여기서, MR(x,y), MC(x,y)는 GICO 행렬의 열에 해당하는 그룹의 좌표 평균값과 행에 해당하는 좌표 평균값을 나타내며, NC, NR은 영상의 행 방향과 열 방향의 크기를 나타내는 것을 특징으로 하는 특징 벡타 추출 방법.Here, M R (x, y) and M C (x, y) represent the coordinate mean value of the group corresponding to the column of the GICO matrix and the coordinate mean value corresponding to the row, and N C , N R represent the row direction and column of the image. Characteristic vector extraction method, characterized in that indicating the size of the direction. 제3항에 있어서, 상기 우위 칼라별 불변 모멘트는 그 계수가 우위 칼라 수마다 생성되어 우위 칼라 수(Cdom)*7 의 수가 되는 특징 벡타 추출 방법.4. The method according to claim 3, wherein the constant moment for each superior color has a coefficient generated for each superior color so that the number of superior colors C dom * 7 is obtained. 칼라 영상에서의 특징 벡타를 사용하여 검색될 질의 영상과 영상 데이타베이스내에 저장된 영상의 정합을 수행하는 영상 검색 방법에 있어서,An image retrieval method for performing matching of a query image to be retrieved using a feature vector in a color image and an image stored in an image database, HSI 칼라 공간내의 각 축에 대하여, 상기 칼라 영상의 화소에 대한 비균등 양자화를 통해 상기 화소의 칼라 그룹을 생성하고, 생성된 상기 각 그룹에 대한 히스토그램을 계산하여, 상기 칼라 영상의 칼라 특징 벡타인 NICO 및 GICO 행렬을 추출하는 칼라 특징 추출 단계;For each axis in an HSI color space, a color group of the pixels is generated through non-uniform quantization of the pixels of the color image, and a histogram for each of the generated groups is calculated to produce a color feature vector of the color image. Color feature extraction step of extracting NICO and GICO matrices; 상기 칼라 특징 추출 단계에서 생성된 상기 NICO 행렬로부터 우위 칼라의 수를 결정하는 단계;Determining the number of leading colors from the NICO matrix generated in the color feature extraction step; 상기 칼라 영상내의 물체의 윤곽선에 해당하는 화소들만을 대상으로 향상된 불변 모멘트(IMI) 계산을 통해 상기 물체의 전체적인 윤곽선을 추출하고, 미리 결정된 상기 우위 칼라의 수를 기초로 해서, 각각의 우위 칼라별 불변 모멘트를 계산하여, 상기 우위 칼라의 개별적인 윤곽선을 추출하는 모양 특징 추출 단계;The entire contour of the object is extracted through an improved constant moment (IMI) calculation for only pixels corresponding to the contour of the object in the color image, and based on the predetermined number of the superior colors, for each superior color A shape feature extraction step of extracting individual contours of the superior color by calculating invariant moments; 상기 칼라 특징 추출 단계에서 추출된 질의 영상의 NICO 및 GICO 행렬 성분값과 영상 데이타 베이스내에 저장된 영상의 NICO 및 GICO 행렬 성분값 비교를 행하는 단계;Comparing the NICO and GICO matrix component values of the query image extracted in the color feature extraction step with the NICO and GICO matrix component values of the image stored in the image database; 상기 모양 특징 추출 단계에서 생성된 질의 영상의 상기 IMI 계수값 및 상기 우위 칼라별 불변 모멘트 계수값과 영상 데이타베이스내에 저장된 영상의 IMI 계수값 및 우위 칼라별 불변 모멘트 계수값의 비교를 행하는 단계; 및Comparing the IMI coefficient value and the invariant moment coefficient value for each of the dominant colors with the IMI coefficient value and the invariant moment coefficient value for each dominant color of the image stored in an image database; And 상기 각각의 칼라 및 모양 특징 비교 결과 값 4가지를 서로 조합하여 상기 질의 영상과 상기 영상 데이타베이스내의 영상과의 유사도를 결정하여 최종 검색 결과 영상을 결정하는 칼라 및 모양 특징 정합 유사도 결정 단계Color and shape feature matching similarity determination step of determining the final search result image by determining similarity between the query image and the image in the image database by combining the four color and shape feature comparison result values. 를 포함하는 영상 검색 방법.Image search method comprising a. 제11항에 있어서, 상기 NICO 및 GICO 행렬 성분값 비교는 수학식 4와 5에 의해 각각의 행렬의 성분값에 대한 유클리디언 거리 연산을 통해 수행되는 영상 검색 방법으로서, 상기 수학식 4와 5는 다음과 같으며The method of claim 11, wherein the NICO and GICO matrix component values are compared by Euclidean distance calculation of the component values of the respective matrices by Equations 4 and 5. Is [수학식 4][Equation 4] (i= j) (i = j) [수학식 5][Equation 5] (i≠j) (i ≠ j) 여기서, W1, W2는 상기 각각의 행렬의 대각 성분과 비대각 성분에 대한 가중치이며, Q는 질의 영상, I는 영상 데이타베이스내의 영상을 나타내며, λij는 NICOO 행렬과 GICO 행렬의 성분값을 나타내고,는 NICO 행렬의 성분값들간 비교로부터 생성된 칼라 정보의 결과이고,는 GICO 행렬의 성분값들간 비교로부터 생성된 칼라 정보의 결과를 나타내는 것을 특징으로 하는 영상 검색 방법.Where W 1 and W 2 are weights for the diagonal and non-diagonal components of each matrix, Q is the query image, I is the image in the image database, and λ ij is the component value of the NICOO matrix and the GICO matrix. Indicates Is the result of the color information generated from the comparison between the component values of the NICO matrix, Is a result of the color information generated from the comparison between the component values of the GICO matrix. 제11항에 있어서, 상기 IMI 계수값 및 우위 칼라별 불변 모멘트 계수값 비교는 수학식 6과 7에 의해 각각의 상기 계수값에 대한 유클리디언 거리 연산을 통해 수행되는 영상 검색 방법으로서, 상기 수학식 6과 7은 다음과 같으며12. The method of claim 11, wherein the comparison of the IMI coefficients and the constant moment coefficient values for each dominant color is performed through Euclidean distance calculation for each of the coefficient values according to Equations 6 and 7. Equations 6 and 7 are [수학식 6][Equation 6] [수학식 7][Equation 7] 여기서,,는 각각의 질의 영상과 영상 데이타베이스내의 영상에 해당하는 IMI 계수들이고,는 IMI 계수값들간의 비교로부터 나온 모양 정보의 결과이며,here, , Are IMI coefficients corresponding to each query image and the image in the image database, Is the result of the shape information from the comparison between the IMI coefficient values, ,는 각각 질의 영상과 영상 데이타베이스내의 영상에 해당하는 불변 모멘트 계수들이며, Cdom은 우위 칼라의 수이고.는 각 우위 칼라별 불변 모멘트 계수값들간의 비교로부터 나온 모양 정보의 결과를 나타내는 것을 특징으로 하는 영상 검색 방법. , Are constant moment coefficients corresponding to the query image and the image in the image database, respectively, where C dom is the number of dominant colors. Is a result of shape information resulting from comparison between invariant moment coefficient values for each dominant color. 제11항에 있어서, 상기 각각의 4가지 칼라 및 모양 특징 비교 결과 값을 서로 조합하여 최종 검색 결과 영상을 결정하기 전, 사용자가 임의로 상기 비교 결과값에 그 중요도를 결정하기 위하여 각각의 가중치 w1,w2, w3및 w4를 부여하는 단계를 더 포함하는 영상 검색 방법.12. The method according to claim 11, wherein before the user determines a final search result image by combining the four color and shape feature comparison result values with each other, each weight w 1 for the user to arbitrarily determine the importance of the comparison result value. and giving w 2 , w 3, and w 4 . 제11항 내지 제14항 중 어느 한 항에 있어서, 상기 칼라 및 모양 특징 비교 결과인 4가지 값을 서로 조합하여 최종 검색 결과 영상을 결정하기 위한 칼라 및 모양 특징 정합 유사도 결정은 수학식 8에 의해 수행되는 영상 검색 방법으로서, 상기 수학식 8은 다음과 같으며The method according to any one of claims 11 to 14, wherein the color and shape feature matching similarity determination for determining the final search result image by combining the four values that are the result of the color and shape feature comparison are determined by Equation (8). As an image retrieval method performed, Equation 8 is as follows. [수학식 8][Equation 8] 여기서,,는 NICO 및 GICO 행렬 성분값 비교로부터 생성된 칼라 정보의 결과이며,,는 IMI 계수값 및 우위 칼라별 불변 모멘트 계수값들간 비교로부터 생성된 모양 정보의 결과이고, 또한, w1, w2, w3및 w4는 각각 NICO 행렬, GICO 행렬, IMI 및 우위 칼라별 불변 모멘트 계산 결과에 대한 가중치를 나타내며,는 칼라정보와 모양 정보를 합한 통합 유사도를 나타내는 것을 특징으로 하는 영상 검색 방법.here, , Is the result of color information generated from the comparison of NICO and GICO matrix component values, , Is the result of the shape information generated from the comparison between the IMI coefficient values and the invariant moment coefficient values by the dominant color, and w 1 , w 2 , w 3 and w 4 are the invariants by NICO matrix, GICO matrix, IMI and dominant color, respectively. Represents the weight for the moment calculation result, Is an integrated similarity sum of color information and shape information.
KR1019990031192A 1999-07-30 1999-07-30 A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors KR100323364B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990031192A KR100323364B1 (en) 1999-07-30 1999-07-30 A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990031192A KR100323364B1 (en) 1999-07-30 1999-07-30 A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors

Publications (2)

Publication Number Publication Date
KR20010011701A KR20010011701A (en) 2001-02-15
KR100323364B1 true KR100323364B1 (en) 2002-02-19

Family

ID=19605674

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990031192A KR100323364B1 (en) 1999-07-30 1999-07-30 A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors

Country Status (1)

Country Link
KR (1) KR100323364B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100671099B1 (en) * 1999-09-06 2007-01-17 주식회사 팬택앤큐리텔 Method for comparing similarity of two images and method and apparatus for searching images using the same

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100364753B1 (en) 1999-11-19 2002-12-16 엘지전자 주식회사 Method of quantization of bin value of color histogram
KR100761417B1 (en) * 2006-03-16 2007-09-27 주식회사 씬멀티미디어 Indexing and searching method for multimedia database using dominant color descriptor modified to vector expression
KR101302573B1 (en) * 2012-02-20 2013-09-02 건국대학교 산학협력단 Image retrieval system using interior descriptors and contour descriptors
KR101859402B1 (en) * 2017-12-14 2018-05-18 주식회사 딥스 The object tracking and lane changing vehicles detection method between linked cameras in tunnel
US10534948B1 (en) 2019-03-18 2020-01-14 Capital One Services, Llc Optimizing detection of images in relation to targets based on colorspace transformation techniques
US10509991B1 (en) 2019-03-18 2019-12-17 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light
US10496911B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light
US10496862B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light
US10523420B1 (en) 2019-04-18 2019-12-31 Capital One Services, Llc Transmitting encoded data along transmission mediums based on colorspace schemes
US10614635B1 (en) 2019-07-25 2020-04-07 Capital One Services, Llc Augmented reality system with color-based fiducial marker
US10867226B1 (en) 2019-11-04 2020-12-15 Capital One Services, Llc Programmable logic array and colorspace conversions
US10878600B1 (en) 2019-12-10 2020-12-29 Capital One Services, Llc Augmented reality system with color-based fiducial marker utilizing local adaptive technology
US11302036B2 (en) 2020-08-19 2022-04-12 Capital One Services, Llc Color conversion between color spaces using reduced dimension embeddings

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100671099B1 (en) * 1999-09-06 2007-01-17 주식회사 팬택앤큐리텔 Method for comparing similarity of two images and method and apparatus for searching images using the same

Also Published As

Publication number Publication date
KR20010011701A (en) 2001-02-15

Similar Documents

Publication Publication Date Title
US6584221B1 (en) Method for image retrieval with multiple regions of interest
JP5236785B2 (en) Color image search method, color image search apparatus, color image search system, and computer executable program
US6477269B1 (en) Method and system for searching for images based on color and shape of a selected image
KR100323364B1 (en) A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors
US20030086627A1 (en) Method and apparatus for searching for and retrieving colour images
Sajjad et al. Integrating salient colors with rotational invariant texture features for image representation in retrieval systems
JPH10503307A (en) Image recognition device
US20070070365A1 (en) Content-based image retrieval based on color difference and gradient information
Shih et al. An intelligent content-based image retrieval system based on color, shape and spatial relations
US20060182347A1 (en) Image retrieval method and apparatus independent of illumination change
Chang et al. Deformed trademark retrieval based on 2D pseudo-hidden Markov model
KR20030005908A (en) apparatus and method for representative feature extraction of objects and, its application to content-based image retrieval
JP2001525959A (en) Image search method and system
CN109299295B (en) Blue printing layout database searching method
You et al. The technique of color and shape-based multi-feature combination of trademark image retrieval
CN116415210A (en) Image infringement detection method, device and storage medium
Hung et al. A content-based image retrieval system integrating color, shape and spatial analysis
Almeida et al. SIFT applied to CBIR
WO1999017250A1 (en) Image comparing system
Kulkarni Natural language based fuzzy queries and fuzzy mapping of feature database for image retrieval
Arjunan et al. Image Classification in CBIR systems with color histogram features
Chalechale et al. An abstract image representation based on edge pixel neighborhood information (EPNI)
Hong et al. Region-of-interest based flower images retrieval
Bhatia Hierarchical clustering for image databases
Kim et al. Content-based image retrieval method using color and shape features

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080102

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee