KR100323364B1 - A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors - Google Patents
A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors Download PDFInfo
- Publication number
- KR100323364B1 KR100323364B1 KR1019990031192A KR19990031192A KR100323364B1 KR 100323364 B1 KR100323364 B1 KR 100323364B1 KR 1019990031192 A KR1019990031192 A KR 1019990031192A KR 19990031192 A KR19990031192 A KR 19990031192A KR 100323364 B1 KR100323364 B1 KR 100323364B1
- Authority
- KR
- South Korea
- Prior art keywords
- color
- image
- matrix
- pixels
- nico
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 239000013598 vector Substances 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 86
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000013139 quantization Methods 0.000 claims abstract description 26
- 239000003086 colorant Substances 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 abstract description 11
- 238000007781 pre-processing Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 내용 기반 영상 검색 시스템의 전처리 과정인 특징 추출 과정에서 칼라(color) 정보와 모양(shape) 정보를 동시에 고려한 특징 벡타를 이용하는 칼라 영상의 칼라 및 모양 특징 추출 방법 및 이들 특징 벡타를 사용하여 영상간 정합을 수행하는 영상 검색 방법에 관한 것이다. 칼라 영상의 칼라 특징 추출 방법은 칼라 영상의 비균등 양자화 및 NICO(Neighborhood Information of Color Histogram)행렬 및 GICO(Global Information of Color Histogram)행렬 생성을 통해 달성되며, 칼라 영상의 모양 특징 추출 방법은 영상내 물체의 전체 윤곽만을 고려하는 향상된 불변 모멘트(Improved Invariants Moments: IMI) 및 우위(dominant) 칼라의 각 그룹별 불변 모멘트를 계산을 통해 달성되고, 상기 추출 방법을 활용하여 데이타 베이스내에 저장된 영상과 질의 영상을 비교 정합하는 영상 검색 방법은 NICO행렬과 GICO행렬의 성분값 비교를 통해 칼라 정보의 정합과 향상된 불변 모멘트 및 우위(dominant) 칼라의 각 그룹별 불변 모멘트의 계수값을 비교하여 모양 정보의 정합을 통해 각각의 비교값으로 질의 영상의 유사도를 결정하게 된다. 따라서, 본 발명은 영상내의 잡음의 첨가, 감마 보정값의 변화에 의한 칼라 히스토그램(histogram)의 자체를 변형시키는 경우에 대해서도 더욱 향상된 검색 효율을 달성할 수 있게 된다..The present invention provides a method of extracting color and shape features of a color image using feature vectors that simultaneously consider color and shape information in a feature extraction process, which is a preprocessing process of a content-based image retrieval system, and using these feature vectors. An image retrieval method for performing inter-image registration. The color feature extraction method of color image is achieved through non-uniform quantization of color image and generation of Neighborhoodhood of Color Histogram (NICO) matrix and Global Information of Color Histogram (GICO) matrix. Improved Invariants Moments (IMI) considering only the entire outline of the object and the invariant moments of each group of the dominant color are achieved by calculating and using the extraction method, images and query images stored in the database The image retrieval method that compares and matches the shape information by comparing the color information matching and the coefficients of the constant moments of each group of the improved constant moment and the dominant color by comparing the component values of the NICO matrix and the GICO matrix. Through the comparison values, the similarity of the query image is determined. Therefore, the present invention can achieve more improved search efficiency even when the color histogram itself is modified by the addition of noise in the image and the change of the gamma correction value.
Description
본 발명은 내용 기반 영상 검색 시스템의 전처리 과정에서 칼라 정보와 모양 정보를 동시에 고려한 특징 벡타를 사용하는 영상 검색 방법에 관한 것으로, 좀 더 상세하게는 칼라 영상으로부터 칼라 정보와 모양 정보를 동시에 고려한 특징 벡타를 추출하는 방법, 및 특징 벡타를 사용하여 영상 데이타베이스내에 저장된 영상과 검색될 질의 영상간의 칼라 및 모양 특징의 정합을 수행하는 영상 검색 방법에 관한 것이다.The present invention relates to an image retrieval method using a feature vector that simultaneously considers color and shape information in a preprocessing process of a content-based image retrieval system, and more particularly, to a feature vector that simultaneously considers color and shape information from color images And an image retrieval method for matching color and shape features between an image stored in an image database and a query image to be retrieved using a feature vector.
최근 멀티미디어 기술 발달과 더불어 데이타 입력 장치인 스캐너와 대용량의 저장 장치의 보급으로 인해, 많은 영상들이 획득되고 저장된다. 이러한 결과로 인해, 많은 영상 데이타 베이스들이 생성되며, 다양한 용도로 사용되고 있다. 통상,이러한 데이타 베이스들은 많은 수의 영상들로 구성되기 때문에 사용자가 원하는 영상을 찾는데 상당한 어려움이 따른다. 따라서, 데이타 베이스로부터 영상을 검색하는 효율적이면서도 자동적인 검색 알고리즘이 요구된다.Due to the recent development of multimedia technology, a large number of images are acquired and stored due to the spread of a scanner and a large storage device, which are data input devices. As a result of this, many image databases are generated and used for various purposes. Typically, these databases are composed of a large number of images, which leads to considerable difficulty in finding a desired image. Therefore, there is a need for an efficient and automatic retrieval algorithm for retrieving images from a database.
초기의 검색 시스템에서는 입력된 키워드를 사용하는 텍스트를 기반으로 한 영상 검색이 주류를 이루고 있었으나, 이러한 방법은 몇 가지 문제점을 내포하고 있다. 첫째로, 데이타베이스내의 영상에 대해서 검색 질의어로 사용하는 키워드를 설정할 때, 사용자 개인의 주관성이 포함되기 때문에 고유한 키워드를 설정할 수 없는 경우가 있다. 또한 검색시 사용자가 주어진 영상에 대한 고유의 키워드를 기억해야 하는 단점도 지니고 있다.In the early retrieval system, image retrieval based on text using the input keyword has been mainstream, but this method has some problems. First, when setting a keyword to be used as a search query for an image in a database, a unique keyword may not be set because user subjectivity is included. In addition, the search has a disadvantage that the user must remember a unique keyword for a given image.
따라서 보다 일반적인 경우에 있어서, 내용을 기반으로 한 영상 검색 방법이 요구되며, 이와 관련된 여러 방법들이 연구되고 있다.Therefore, in a more general case, an image retrieval method based on contents is required, and various methods related thereto have been studied.
내용 기반 검색 시스템의 일반적인 예가 도 1에 예시된다. 우선, 영상 저장 과정에서는 스캐너가 입력 영상을 디지탈화하며, 디지탈화된 영상의 특징을 추출하는 전처리 과정을 거친후, 각 영상의 특징에 대한 인덱싱을 하여 모든 영상을 영상 데이타베이스내에 저장한다. 한편, 영상 검색 과정에서는 질의 영상이 스캐너로 입력되면, 특징 추출 과정인 전처리 과정을 거친후 영상 데이타베이스내에 저장된 영상의 특징들과 비교되고 가장 유사한 영상을 찾는 질의 처리 과정을 거치게 된다. 그 결과, 최종 검색 결과 영상이 나오게 된다. 여기서, 영상 특징의 추출 및 질의 처리 과정은 예를들어 PC상의 프로그램을 통해 수행된다.A general example of a content based retrieval system is illustrated in FIG. First, in the image storage process, the scanner digitizes the input image, undergoes a preprocessing process to extract the features of the digitized image, and then indexes the features of each image to store all the images in the image database. In the image retrieval process, when a query image is input to a scanner, the image is processed through a preprocessing process, which is a feature extraction process, and compared with the features of the image stored in the image database. As a result, the final search result image is displayed. Here, the extraction and query processing of the image feature is performed through a program on a PC, for example.
한편, 내용 기반 검색 방법에서 가장 중요한 관건은 각각의 영상이나 물체를기술하는데 사용되는 특징의 집합을 어떻게 선택하느냐이다. 현재까지 연구된 영상의 특징은 칼라(Color), 모양(Shape) 및 결(texture) 등을 들 수 있는데, 이 중에서 칼라 특징은 영상내에서의 물체의 이동(translation), 회전(rotation) 및 축척(scale)에 불변한다는 장점을 지니고 있기 때문에 칼라 특징을 기반으로 한 영상 검색 방법이 광범위하게 연구되고 있다.On the other hand, the most important issue in the content-based retrieval method is how to select a set of features used to describe each image or object. The characteristics of the image studied so far include color, shape, and texture, among which the color characteristics are the translation, rotation, and scale of objects in the image. Because of the invariant advantage of scale, image retrieval methods based on color features have been extensively studied.
칼라 영상으로부터 칼라 특징을 추출하는 방법을 활용한 종래의 내용 기반 영상 검색 방법은 다음과 같다.A conventional content-based image retrieval method using a method of extracting color features from a color image is as follows.
스와인 등(M.J.Swain 및 D.H.Ballad, 'Color Indexing', International Journal of Computer Vision, Vol. 7, no.1, page 11-32, 1991)은 칼라 히스토그램 인터섹션(color histogram intersection) 방법을 제시하였는데, 이 방법에서는 RGB(Red Green Blue) 축으로 이루어지는 칼라 공간내에서 각각의 축을 16개의 그룹(bin)으로 나누어 전체적으로 2048개의 그룹을 생성한후, 각 그룹에 해당하는 히스토그램을 비교함으로써 데이타베이스내에 저장된 영상과 검색될 질의 영상의 정합을 시도하였다.Swain et al. (MJSwain and DHBallad, 'Color Indexing', International Journal of Computer Vision, Vol. 7, no.1, page 11-32, 1991) proposed a method of color histogram intersection. In this method, 2048 groups are generated by dividing each axis into 16 groups (bins) in a color space consisting of RGB (Red Green Blue) axes, and then stored in the database by comparing the histograms corresponding to each group. An attempt was made to match an image with a query image to be retrieved.
그러나 이 방법은 비교의 단순함이 장점인 반면에 너무 세심하게 나눈 그룹으로 인해 잡음에 민감하며 또한 정합시 연산량이 많은 단점을 가지고 있다.However, this method has the advantage of simplicity of comparison, while it is sensitive to noise due to too careful grouping and also has a large amount of computation when matching.
메트리 등(B.M.Mehtre, M.S.Kankanhail, A.D.Narsimhalu 및 G.C.Man, 'Color Matching for Image Retrieval', Pattern Recognition Lett., Vol.16, page 325-331, 1995)은 기준 칼라 테이블(reference color table) 방법을 이용하였는데, 이 방법에서는 영상의 칼라를 27개의 그룹으로 나누어 각 그룹끼리 유클리디언거리(Euclidean Distance)로서 정합을 시도하였다. 스트릿커 등(M.Stricker 및 M.Orengo, 'Similarity of Color Image', Proceeding of SPIE 2420, page 381-392, 1995)은 상기 히스토그램 인터섹션 방법에서는 고려하지 않은 시각적 유사도를 고려하기 위해 누적 히스토그램(cumulative histogram) 방법을 사용하였다.Methri et al. (BMMehtre, MSKankanhail, ADNarsimhalu and GCMan, 'Color Matching for Image Retrieval', Pattern Recognition Lett., Vol. 16, pages 325-331, 1995) refer to the reference color table method. In this method, the color of the image was divided into 27 groups, and each group tried to match each other as the Euclidean distance. Streeter et al. (M.Stricker and M.Orengo, 'Similarity of Color Image', Proceeding of SPIE 2420, page 381-392, 1995) describe cumulative histograms to account for visual similarities not considered in the histogram intersection method. cumulative histogram) method.
하지만 이러한 방법들에서 사용된 칼라 특징은 영상내에서의 물체의 기하학적인 변형에는 비교적 안정된 반응을 하지만, 잡음의 첨가나 감마 보정(gamma correction)값의 변화와 같은 칼라 히스토그램 자체를 변화시키는 요인에 대해서는 매우 민감한 반응을 일으키게 된다. 즉, 카메라 센서나 스캐너등으로 장면(scene)이나 물체(object)등의 디지탈화된 영상 이미지를 얻을때 실제적으로는 각기 다른 환경(viewing condition)에서 얻어지기 때문에 미세한 잡음(distortion)이 존재하여 이들 영상 이미지를 정확히 재생하기 어렵게 된다. 특히, 칼라 영상 취득시에 사용되어지는 기기에 따른 감마값이 다르기 때문에 이러한 감마값의 보정을 통해야지만 정확한 히스토그램 비교 방법이 이루어질 수 있다. 일반적으로 영상 획득은 스캐너를 통해서 얻어지고, 이 경우에 스캐너에 사용되는 소프트웨어에 의해서 감마 보정값이 결정된다. 하지만 이미 획득된 영상에 대해서는 이러한 감마 보정값에 대한 정보를 얻을 수 없기 때문에 감마값 보정은 실제적으로 불가능하다.However, the color features used in these methods have a relatively stable response to geometric deformation of the object in the image, but for the factors that change the color histogram itself, such as the addition of noise or the change in the gamma correction value. It causes a very sensitive reaction. In other words, when a digitalized image image of a scene or an object is obtained by a camera sensor or a scanner, it is actually obtained in different viewing conditions, so there are minute noises. It becomes difficult to play back images correctly. In particular, since the gamma value is different according to the device used to acquire the color image, the gamma value can be corrected only by correcting the gamma value. In general, image acquisition is obtained through a scanner, in which case the gamma correction value is determined by software used in the scanner. However, the gamma value correction is practically impossible because the information on the gamma correction value cannot be obtained for the already acquired image.
또한 다른 목적으로 전처리된 영상이 데이타베이스화되어 저장된다면, 이 경우 사용된 감마 보정값은 알 수 없게 된다. 따라서, 스캐너에 입력되는 영상이 어떤 감마값에 의해서 보정되었는지 알 수 없기 때문에 어떠한 감마 보정값에도 어느 정도 안정되게 동작할 수 있는 영상 검색 알고리즘이 필요하게 되었다. 참고로,동일 영상에 대한 서로 다른 감마 보정값하에서 얻어지는 영상의 히스토그램의 변화를 도 2에 나타낸다.In addition, if a preprocessed image is stored in a database for other purposes, the gamma correction value used in this case is unknown. Therefore, it is not possible to know which gamma value the image input to the scanner is corrected. Therefore, there is a need for an image retrieval algorithm capable of operating stably to any gamma correction value. For reference, a change in the histogram of an image obtained under different gamma correction values for the same image is shown in FIG. 2.
또한, 칼라 정보는 상술한 칼라 특성 자체를 변화시키는 요인 이외에도 물체의 위치나 영상의 구성 등 공간 정보를 표현할 수 없는 단점도 내포하고 있다.In addition to the above factors that change the color characteristics themselves, the color information also has a disadvantage in that spatial information such as the position of an object or the configuration of an image cannot be represented.
따라서, 이러한 칼라 특징만을 사용했을 때의 단점을 극복할 수 있는 칼라 정보의 특징중 하나가 모양 특징이며, 이 모양 특징을 사용함으로써 칼라 특징을 변화시키는 요인에 의해 변화된 칼라 히스토그램 정보를 어느 정도 보완할 수 있다. 특히, 질의 대상이 상표(trade mark)인 경우에는 단순한 칼라와 더불어 다양한 형태를 지닌 물체들로 구성되어 있기 때문에 칼라 정보와 모양 정보의 결합이 더욱 필요하게 된다.Therefore, one of the characteristics of color information that can overcome the disadvantages of using only such a color feature is a shape feature, and by using this shape feature, the color histogram information changed by a factor that changes the color feature is somewhat compensated for. Can be. In particular, when a query target is a trademark, since a combination of simple colors and objects having various shapes is required, a combination of color information and shape information is required.
칼라 및 모양 정보를 사용한 영상 검색 방법으로서 제인 등(A.K.Jain 및 A.Vailaya, 'Image Retrieval Using Color and Shape', Pattern Recognition, Vol.29,no.8, page 1233-1244, 1996)은 상기 스와인 등의 영상 특징 추출 방법을 약간 변형시킨 칼라 히스토그램 인터섹션 방법과 모양 정보를 위한 방향 히스토그램 인터섹션 방법을 사용하였다. 제인의 영상 검색 방법을 도 3을 통해 설명한다.As an image retrieval method using color and shape information, Jane et al. (AKJain and A.Vailaya, 'Image Retrieval Using Color and Shape', Pattern Recognition, Vol. 29, no. 8, page 1233-1244, 1996) The color histogram intersection method which slightly modified the image feature extraction method such as phosphorus and the directional histogram intersection method for shape information were used. Jane's image retrieval method will be described with reference to FIG.
R, G 및 B 축으로 이루어지는 칼라 공간 내에서 각 축에 대해 각각 16개의 그룹으로 입력된 영상을 나누는 균등 양자화를 거쳐 나누어진 48개의 그룹에 대해 히스토그램을 계산하여 칼라 히스토그램 생성하고 나누어진 48개의 그룹 각각의 히스토그램을 서로 비교하여 칼라 특징을 추출하며, 캐니 경계선 검출기(Canny Edge Detector)를 사용하여 입력된 영상의 경계선을 추출하고 36개의 그룹에 대해경계선 방향 히스토그램을 계산하여 경계선 히스토그램 생성하고 36개의 그룹 각각의 히스토그램을 서로 비교하여 모양 특징을 추출하며, 영상 데이타 베이스내에 저장된 영상들의 칼라 및 모양 특징과 질의 영상의 칼라 및 모양 특징의 거리를 계산하여 영상의 정합을 수행하는 질의 처리 단계를 통해 최종 검색된 결과 영상을 출력하는 영상 검색 방법이 개시된다.Color histograms are generated by calculating histograms for 48 groups divided by equal quantization, dividing the input image into 16 groups for each axis in the color space consisting of the R, G, and B axes. Color histories are extracted by comparing the histograms with each other, and the edges of the input image are extracted using the Canny Edge Detector, and boundary histograms are generated by calculating boundary line histograms for 36 groups. The shape features are extracted by comparing the histograms with each other, and the final search is performed through the query processing step of performing image matching by calculating the distance between the color and shape features of the images stored in the image database and the color and shape features of the query images. An image retrieval method for outputting a resultant image is disclosed. .
그러나 상기 방법은 영상의 칼라 정보에 모양 정보를 추가하여 검색의 효율은 높였지만, 종래의 칼라 정보를 이용한 방법과 유사하게 균등 양자화기(Uniform Quantizer)를 통해 생성된 그룹간의 단순한 히스토그램 비교 방법을 사용하였기 때문에 칼라 히스토그램 자체를 변화시키는 요인에 대해서는 민감한 반응을 나타내는 단점이 있다. 또한 모양 정보를 추출하는 방법으로서 캐니 경계선 검출기를 이용하여 경계선의 방향 히스토그램을 사용하였기 때문에 영상 내의 물체의 이동에는 변화가 없지만 물체의 회전에는 상당히 민감한 반응을 보이는 단점을 가지고 있다.However, the method adds shape information to the color information of the image to increase the search efficiency. However, similar to the conventional method using the color information, a simple histogram comparison method between groups generated by a uniform quantizer is used. Because of this, there is a disadvantage in that a sensitive response is given to the factors that change the color histogram itself. In addition, since the direction histogram of the boundary line is used as a method of extracting the shape information, the movement of the object in the image does not change, but it has a disadvantage that it is very sensitive to the rotation of the object.
한편, 종래 영상의 모양 특징을 추출하는 방법으로써 가장 널리 사용되던 불변 모멘트(Moment Invariants), 체인 코드(Chain Code), 저나이크 모멘트(Zernike Moments), 퓨리어 묘사(Fourier Descriptor) 등 중에서 불변 모멘트는 영상내에서 물체의 회전(rotation), 이동(translation), 축척(scale)등에 불변한 장점을 가지면서 단일 특징을 사용한 경우 다른 방법들 보다 비교 우위를 가지고 있으나, 상기 불변 모멘트는 영상내의 물체 내부와 윤곽선(contour)에 해당하는 모든 화소들을 대상으로 연산을 수행하기 때문에 연산량이 많다는 문제점이 있었다.Meanwhile, among the most widely used invariant moments, chain codes, Zernike moments, Fourier Descriptors, etc. When using a single feature with invariant advantages in rotation, translation, scale, etc. of an object in the image, it has a comparative advantage over other methods. Since arithmetic operations are performed on all pixels corresponding to a contour, there is a problem in that a large amount of computation is performed.
본 발명에 따른 칼라 영상으로부터 칼라 정보 및 모양 정보를 동시에 고려한 특징 벡타를 추출하는 방법은, HSI(Hue, Saturation 및 Intensity) 칼라 공간내에서 각각의 축에 대하여 칼라 영상의 화소에 대한 비균등 양자화를 통해 화소의 칼라 그룹을 생성하고, 생성된 각 그룹에 대한 히스토그램을 계산하여, 칼라 영상의 칼라 특징 벡타인 NICO(Neighborhood Information of Color Histogram) 행렬 및 GICO(Global Information of Color Histogrm) 행렬을 추출하는 칼라 특징 추출 단계; 칼라 특징 추출 단계에서 생성된 상기 NICO 행렬로부터 우위 칼라의 수를 결정하는 단계; 칼라 영상내의 물체의 윤곽선에 해당하는 화소들을 대상으로 향상된 불변 모멘트(Improved Invariant Moment:IMI) 계산을 통해 물체의 전체적인 윤곽선을 추출하고, 미리 결정된 우위 칼라수를 기초로 해서 우위 칼라별 불변 모멘트를 게산하여 우위 칼라의 개별적인 윤곽선을 추출하는 모양 특징 추출 단계; 칼라 특징 추출 단계에서 추출된 질의 영상의 NICO 및 GICO 행렬 성분값과 영상 데이타베이스내에 저장된 영상의 NICO 및 GICO 행렬 성분값 비교를 행하는 단계; 모양 특징 추출 단계에서 생성된 질의 영상의 IMI 계수값 및 우위 칼라별 불변 모멘트 계수값의 비교를 행하는 단계; 및 상술한 칼라 및 모양 특징 비교 결과값 4가지를 서로 조합하여 질의 영상과 영상 데이타베이스내의 영상과의 유사도를 결정하여 최종 검색 영상을 결정하기 위한 칼라 및 모양 특징 정합 유사도 결정 단계를 포함한다.A method of extracting feature vectors that simultaneously considers color and shape information from color images according to the present invention is to perform non-uniform quantization of pixels of color images with respect to each axis in HSI (Hue, Saturation and Intensity) color space. A color group of pixels is generated and a histogram for each of the generated groups is calculated, and a color information vector of a color image vector of a neighboring information of color histogram (NICO) matrix and a global information of color histogrm (GICO) matrix is extracted. Feature extraction step; Determining the number of superior colors from the NICO matrix generated in the color feature extraction step; Improved Invariant Moment (IMI) for the pixels corresponding to the contour of the object in the color image to extract the overall contour of the object, and calculate the constant moment for each dominant color based on the predetermined number of dominant colors. A shape feature extraction step of extracting individual contours of the superior color; Comparing the NICO and GICO matrix component values of the query image extracted in the color feature extraction step with the NICO and GICO matrix component values of the image stored in the image database; Comparing the IMI coefficient values and the invariant moment coefficient values for each dominant color of the query image generated in the shape feature extraction step; And determining the similarity between the query image and the image in the image database by combining the four color and shape feature comparison result values described above with each other to determine a final search image.
본 발명의 하나의 목적은 입력된 영상에 대한 특징을 추출하는 전처리 과정에서 칼라 정보와 모양 정보를 동시에 고려한 복합적인 특징 벡타를 추출하여 이용할 수 있는 내용 기반 영상 검색 방법을 제공하는 것이다.One object of the present invention is to provide a content-based image retrieval method that can extract and use a complex feature vector that simultaneously considers color and shape information in a preprocessing process for extracting features of an input image.
본 발명의 다른 목적은 영상의 칼라 특징을 추출할 때, 비균등 양자화 방법인 엘로이드-맥스 양자화기(Lloyd-Max Quantizer)를 이용한 효율적인 칼라 양자화, 및 양자화된 칼라의 공간적 분포 상황을 고려하기 위한 NICO 행렬 및 GICO 행렬을 이용하여, 종래 검색 방법의 문제점인 잡음의 첨가나 콤마 보정값의 변화와 같은 칼라 히스토그램 자체를 변화시키는 요인에 대해서 유동적으로 대처할 수 있으며 오차를 줄여 칼라 영상 검색 효율을 증대시킬 수 있는 칼라 영상의 칼라 특징 추출 방법 및 이를 활용한 영상 검색 방법을 제공하는 것이다.Another object of the present invention is to consider efficient color quantization using a non-uniform quantization method, Lloyd-Max Quantizer, and spatial distribution of quantized colors when extracting color features of an image. By using the NICO matrix and the GICO matrix, it is possible to flexibly cope with the factors that change the color histogram itself, such as noise addition or comma correction, which is a problem of the conventional search method. It is to provide a method for extracting color features of a color image, and an image retrieval method using the same.
본 발명의 또 다른 목적은 영상의 모양 특징을 추출할 때, 영상 내 물체의 전체 윤곽을 고려하는 향상된 불변 모멘트(IMI), 및 우위 칼라의 각 그룹별 모양을 고려하는 불변 모멘트 비교 방법을 이용하여, 종래 검색 방법상의 문제점인 영상 내 물체의 회전에 대해서도 안정되게 작용하면서 적은 연산량으로 전체적인 윤곽을 나타낼 수 있으며 선택적으로 주요 칼라 성분만의 공간적 정보를 이용한 비교를 가능케 하는 모양 특징 추출 방법 및 이를 활용한 영상 검색 방법을 제공하는 것이다.Another object of the present invention is to use an improved invariant moment (IMI) that takes into account the entire contour of an object in the image, and an invariant moment comparison method that considers the shape of each group of dominant colors when extracting shape features of an image. In addition, the shape feature extraction method can be used to stabilize the rotation of an object in an image, which is a problem of the conventional retrieval method, and the overall contour can be represented with a small amount of computation. It is to provide a video search method.
도 1은 일반적인 내용 기반 검색 시스템을 나타내는 블럭도.1 is a block diagram illustrating a general content based retrieval system.
도 2는 동일 영상에서 서로 다른 감마 보정값하에서 얻어지는 영상의 히스토그램의 변화를 나타낸 그래프.2 is a graph showing a change in the histogram of an image obtained under different gamma correction values in the same image.
도 3은 영상의 칼라 및 모양 정보를 사용하는 종래의 영상 검색 방법을 나타낸 블럭도.3 is a block diagram illustrating a conventional image retrieval method using color and shape information of an image.
도 4는 본 발명에 따르는 칼라 영상의 칼라 및 모양 특징 추출 방법을 나타내는 블럭도.4 is a block diagram showing a color and shape feature extraction method of a color image according to the present invention;
도 5는 본 발명에 따르는 도 4의 칼라 및 모양 특징 추출 방법을 활용한 영상 검색 방법의 블럭도.5 is a block diagram of an image retrieval method utilizing the color and shape feature extraction method of FIG. 4 in accordance with the present invention.
도 6은 본 발명에 따르는 NICO 행렬 생성을 나타낸 예시도.6 illustrates an NICO matrix generation in accordance with the present invention.
도 7은 본 발명에 따르는 GICO 행렬 생성을 나타낸 예시도.7 is an exemplary view showing a GICO matrix generation in accordance with the present invention.
〈도면의 주요 부분에 대한 부호의 설명〉<Explanation of symbols for main parts of drawing>
10 : 영상 입력 단계10: video input step
20 : 칼라 특징 추출 단계20: color feature extraction step
30 : 우위 칼라의 수 결정 단계30: Determining the Number of Dominant Collars
40 : 모양 특징 추출 단계40: Shape Feature Extraction Step
50 : GICO 행렬 성분값 비교 단계50: GICO matrix component value comparison step
60 : NICO 행렬 성분값 비교 단계60: NICO matrix component value comparison step
70 : IMI 계수값 비교 단계70: IMI count value comparison step
80 : 우위 칼라별 불변 모멘트 비교 단계80: invariant moment comparison step for each superior color
90 : 칼라 및 모양 특징 정합 유사도 결정 단계90: step of determining similarity of color and shape feature registration
100 : 결과 영상100: result image
도 4은 본 발명에 따르는 칼라 영상의 칼라 및 모양 특징 추출 방법을 나타내는 개략적인 블럭도이다.4 is a schematic block diagram illustrating a method of extracting color and shape features of a color image according to the present invention.
본 발명의 칼라 및 모양 특징 추출 방법은, 질의 영상이 스캐너로 입력되어 디지탈화되는 영상 입력 단계(10), 입력된 디지탈 영상 신호로부터 영상의 칼라 특징 벡타인 NICO 및 GICO 행렬을 생성하여 추출하는 칼라 특징 추출 단계(20), 상기칼라 특징 추출 단계중 생성된 NICO 행렬로부터 우위 칼라의 수를 결정하는 단계(30) 및 입력된 디지탈 영상 신호로부터 영상의 모양 특징 벡타인 향상된 불변 모멘트(IMI) 및 우위 칼라별 불변 모멘트를 계산하여 추출하는 모양 특징 추출 단계(40)로 구성된다.In the color and shape feature extraction method of the present invention, an image input step 10 in which a query image is input to a scanner and digitized, a color feature for generating and extracting color feature vector NICO and GICO matrices of an image from the input digital image signal Extraction step 20, determining the number of dominant colors from the NICO matrix generated during the color feature extraction step 30, and shape feature vectors of the image from the input digital image signal Enhanced Constant Moment (IMI) and dominant color Shape feature extraction step 40 for calculating and extracting the constant moment of the star.
도 6 및 도 7은 상기 NICO 행렬 및 GICO 행렬의 생성 예를 나타낸 예시도이다. 본 발명에 따르는 칼라 특징 추출 단계(20)을 도 4, 도 6 및 도 7을 참고로 하여 살펴보면, 비균등 양자화 방식을 채택한다. 이는 RGB 칼라 공간에 한정하여 접근했던 종래의 방법과 달리, 인간의 시각적 인식 방법에 유사하며 각 축이 시각적으로 독립적인 HSI(Hue, Saturation 및 Intensity) 칼라 공간내에서 영상 신호의 양자화를 기초로 하여 HSI 칼라 공간상에서 각 축에 대하여 양자화를 통해 그룹을 생성하고자 하는 것이다.6 and 7 illustrate examples of generating the NICO matrix and the GICO matrix. Looking at the color feature extraction step 20 according to the present invention with reference to Figs. 4, 6 and 7, a non-uniform quantization scheme is adopted. This approach is similar to the human visual recognition method, and is based on the quantization of the image signal in the HSI (Hue, Saturation and Intensity) color space, which is similar to the human visual recognition method. We want to create groups through quantization for each axis in HSI color space.
본 발명에 따르는 칼라 특징 추출 단계(20)는 칼라 양자화 단계(21), 히스토그램 생성 단계(22), 및 NICO 및 GICO 행렬 생성 단계를 포함한다.The color feature extraction step 20 according to the present invention comprises a color quantization step 21, a histogram generation step 22, and a NICO and GICO matrix generation step.
칼라 양자화 단계(21)는 입력된 영상 신호를 미리 정해놓은 그룹이 아니라 화소의 확률 분포를 고려하여 그룹을 생성시키는 비균등 양자화 단계로서, 비균등화 양자화를 위한 예로서 엘로이드-맥스 양자화기(Lloyd-Max Quantizer)를 사용한다. 상기 양자화기는 HSI 각 축에 대해 독립적으로 적용되어 각 축에서의 평균 제곱 오차(Mean Square Error)를 최소화하도록 최적화하여 효율적인 구분(partitioning)이 가능하게 한다. 특히, 상기 비균등 양자화 단계는 HSI 칼라 공간에서 축의 구분을 할 때, 다른 두 축에 비해 H축 성분이 인간의 시각적 체계에 민감하게 반응하기 때문에 더 세밀하게 나누었다. 그 결과 H축에 대해서는 4개, S축 및 I축에 대해서는 각각 2개의 그룹으로 나누어서 모두 16개의 그룹을 생성한다.The color quantization step 21 is a non-uniform quantization step of generating a group by considering a probability distribution of pixels rather than a predetermined group of input image signals. As an example for non-equalization quantization, the Lloyd-Max quantizer (Lloyd) Max Quantizer). The quantizer is applied independently for each HSI axis to optimize the mean square error in each axis to enable efficient partitioning. In particular, the non-uniform quantization step was further divided because the H-axis component is more sensitive to the human visual system than the other two axes when the axis is divided in the HSI color space. As a result, all 16 groups are generated by dividing into four groups for the H axis and two groups for the S and I axes.
HSI 축에 대한 히스토그램 생성 단계(22)는 16개 그룹에 대한 히스토그램을 계산하는 단계로서, 입력된 영상의 전체 화소중에서 상기 HSI 각 축에 대해 구분된 그룹에 속하는 화소의 비율을 계산하여 전체 화소에 대한 해당 칼라가 속하는 확률을 구하는 것이다.The histogram generation step 22 for the HSI axis is a step of calculating the histogram for the 16 groups. The ratio of pixels belonging to the divided groups for each HSI axis among all the pixels of the input image is calculated for all the pixels. It is to find the probability that the corresponding color belongs to.
또한, 본 발명의 칼라 특징 추출 방법은 비균등 양자화된 그룹간의 공간적 분포 상황을 고려함으로써 유사한 히스토그램을 갖는 경우라 할지라도 구별할 수 있는 2가지 방법으로서 NICO(Neighborhood Information of COlor histgram)행렬 생성 단계(23) 및 GICO(Global Information of COlor histogram) 행렬 생성 단계(24)를 더 포함한다.In addition, the color feature extraction method of the present invention has two methods that can be distinguished even if they have similar histograms by considering the spatial distribution of unequalized quantized groups. 23) and generating a global information of color histogram (GICO) matrix (24).
먼저, 양자화된 그룹의 경계상에 있는 화소들과 이웃하는 화소들의 비율을 계산하는 NICO 행렬 생성 단계(23)는 다음과 같은 단계로 세분화된다.First, the NICO matrix generation step 23 for calculating the ratio of pixels on the boundary of the quantized group to neighboring pixels is subdivided into the following steps.
① 칼라 양자화 과정을 거친 후, 주어진 영상의 분할된 그룹에 대한 레이블링(labeling) 단계,① After a color quantization process, a labeling step for a divided group of a given image,
② 각 그룹의 경계에 해당하는 화소들에 대한 이웃 화소들의 그룹 번호를 확인하고, 그 그룹 번호의 수를 계산하는 단계,(2) checking the group numbers of neighboring pixels for the pixels corresponding to the boundary of each group, and calculating the number of the group numbers;
③ 전체 화소에 대한 자신의 그룹에 해당하는 화소의 비율을 계산하여 행렬의 대각 성분값에 각각 대입하는 단계,(3) calculating a ratio of pixels corresponding to a group of all pixels and substituting them into diagonal component values of the matrix;
④ 각 그룹들에 대해 이웃하는 그룹들의 전체 화소에 대한 비율을 계산하여행렬의 비대각 성분값에 각각 대입하는 단계, 및④ calculating ratios for all pixels of neighboring groups for each group and substituting the non-diagonal component values of the matrix, respectively, and
⑤ 주어진 그룹 수 만큼의 상기 행렬의 대각 성분값과 비대각 성분값으로 이루어진 정방 행렬을 생성하는 단계.Generating a square matrix of diagonal and non-diagonal component values of the matrix by a given number of groups.
도 6은 NICO 행렬의 생성 예를 나타낸다. 레이블링된 후의 영상의 예는 도 6(a), 이를 바탕으로 생성된 NICO 행렬은 도 6(c), 도 6(a)에 도시된 영상 영역의 일부분을 확대하여 이웃하는 화소들의 관계를 도 6(b)에 각각 나타낸다.6 shows an example of generating a NICO matrix. An example of an image after being labeled is shown in FIG. 6 (a), and the NICO matrix generated based on this is enlarged a part of the image area shown in FIGS. 6 (c) and 6 (a) to show the relationship between neighboring pixels. It shows in (b), respectively.
도 6(c)의 밑줄친 성분값들의 계산을 설명하면, 먼저, 대각 성분값은 레이블링된 각 그룹 번호를 카운트하여, 그 수와 전체 영역의 그룹 번호 수의 비를 계산하여 얻어지고, 비대각 성분값은 도 6(b)에 도시된 레이블링된 한 영역의 경계에 해당하는 화소의 이웃하는 화소, 즉 4와 이웃하는(4-neighborhood) 2, 5, 6 화소의 그룹 번호를 카운트하고, 그 수와 전체 영역에 대한 그룹 번호 수의 비를 구함으로써 얻어진다.Referring to the calculation of the underlined component values in Fig. 6 (c), first, a diagonal component value is obtained by counting each labeled group number, calculating a ratio of the number and the number of group numbers of the entire area, and making a non-diagonal angle. The component value counts the group number of neighboring pixels, i.e., 4 and 2, 5, 6 neighboring pixels of the pixel corresponding to the border of one labeled region shown in FIG. 6 (b), and It is obtained by obtaining the ratio of the number and the number of group numbers for the whole area.
상기와 같이 생성된 NICO 행렬은, 그 대각 성분이 양자화된 그룹간의 히스토그램을 나타내고, 행렬의 비대각 성분이 레이블링된 후 영상에서 열과 행으로된 화소의 그룹들이 이웃하는 경우 그 그룹들의 히스토그램을 나타낸다. 따라서, 본 발명에 따라 생성된 NICO 행렬은 영상내의 공간에서 각 칼라 그룹간의 공간적인 관련성, 즉 이웃하는 화소들만의 관련성을 고려하는 칼라의 로컬(local)한 공간적 분포를 나타낼 수 있다.The NICO matrix generated as described above represents a histogram between groups in which the diagonal component is quantized, and when the groups of pixels in columns and rows in the image are adjacent after the non-diagonal components of the matrix are labeled, the histograms of the groups. Accordingly, the NICO matrix generated according to the present invention may represent a local spatial distribution of colors in consideration of the spatial relationship between each color group in the space in the image, that is, only the neighboring pixels.
결국, 상기와 같은 NICO 행렬을 통하여 기존의 히스토그램 기법을 살리면서 공간상의 각 그룹간의 연관성을 고려할 수 있게 된다.As a result, it is possible to consider the association between each group in space while utilizing the existing histogram method through the NICO matrix as described above.
두번째 행렬 생성 단계로서, 양자화된 각 그룹에 해당하는 화소 좌표의 분산값 및 평균값의 차이를 이용한 GICO 행렬 생성단계(24)는 다음과 같은 단계로 세분화된다.As a second matrix generation step, the GICO matrix generation step 24 using the difference between the variance value and the average value of pixel coordinates corresponding to each quantized group is subdivided into the following steps.
① 칼라 양자화를 거친 후, 주어진 영상의 분할된 그룹에 대한 레이블링 단계,(1) after color quantization, a labeling step for a segmented group of a given image,
② 분할된 각 그룹에 해당하는 화소들의 좌표값을 다음과 같은 수학식 1 및 2를 통해 각 화소들의 좌표값에 대한 평균값과 분산값을 계산하는 단계,② calculating the average value and the variance value of the coordinate values of each pixel through the following equations 1 and 2 for the coordinate values of the pixels corresponding to each divided group;
여기서, Mi는 i번째 그룹에 해당하는 화소들의 좌표값에 대한 평균값, σ2은 i번째 그룹에 해당하는 화소들의 좌표값에 대한 분산값이다. Ri는 i번째 그룹에 속하는 화소들의 집합을 나타내며, Ni는 Ri에 속하는 화소들의 수이고, f(k, l)은 해당 화소들의 x, y 좌표값이다.Here, M i is an average value of the coordinate values of the pixels corresponding to the i-th group, and σ 2 is a variance value of the coordinate values of the pixels corresponding to the i-th group. R i represents a set of pixels belonging to the i-th group, N i is the number of pixels belonging to R i , and f (k, l) is an x, y coordinate value of the corresponding pixels.
③ 수학식 2에서 구한 분산값을 행렬의 대각 성분에 대입하는 단계,③ substituting the variance value obtained in Equation 2 into the diagonal component of the matrix,
④ 각 그룹에 대해 수학식 1에서 구한 값을 다음과 같은 수학식 3에 대입하여 각 그룹간의 평균 좌표값에 대한 시티-블럭 디스턴스(city-block distance)를 정규화한 값을 행렬의 비대각 성분에 대입하는 단계, 및④ By substituting the value obtained from Equation 1 for each group into Equation 3 as follows, the value normalized to the city-block distance for the average coordinate value between each group is converted to the non-diagonal component of the matrix. Assigning, and
여기서, MR(x,y), MC(x,y)는 GICO 행렬의 열에 해당하는 그룹의 좌표 평균값과 행에 해당하는 좌표 평균값을 나타내며, NC, NR은 영상의 행 방향과 열 방향의 크기를 나타낸다.Here, M R (x, y) and M C (x, y) represent the coordinate mean value of the group corresponding to the column of the GICO matrix and the coordinate mean value corresponding to the row, and N C , N R represent the row direction and column of the image. Indicates the magnitude of the direction.
⑤ 주어진 그룹 수만큼의 행렬의 대각 성분과 비대각 성분으로 이루어지는 정방 행렬을 생성하는 단계.Generating a square matrix consisting of diagonal and non-diagonal components of the matrix by the given number of groups.
도 7은 GICO 행렬의 생성 예를 나타낸다. 양자화 과정을 거친후 레이블링된 영상의 예는 도 7(a), 이를 바탕으로 생성된 GICO 행렬은 도 7(b)에 나타낸다.7 shows an example of generating a GICO matrix. An example of a labeled image after the quantization process is shown in FIG. 7 (a), and a GICO matrix generated based on this is shown in FIG. 7 (b).
따라서 상기와 같이 생성된 GICO 행렬은, 그 행렬의 대각 성분이 레이블링된 각 그룹의 좌표값의 분산값을 나타내어 영상내 특정 색상의 공간적 분포를 나타내도록 하였고, 비대각 성분값이 레이블링된 영상에서 행과 열로 된 그룹간 공간적 거리를 전체 영상 크기로 정규화하여 서로 다른 그룹간의 공간적 관련성을 나타내도록 함으로써, 양자화된 칼라가 영상 전체에서 차지하는 분포를 고려할 수 있기 때문에 글로벌(global)한 칼라의 공간적 분포를 나타내게 된다.Therefore, the GICO matrix generated as described above represents a variance of the coordinate values of each group whose diagonal components are labeled so that the spatial distribution of a specific color in the image is represented. By normalizing the spatial distance between the groups of superheat to the overall image size to represent the spatial relationship between different groups, the spatial distribution of the global color can be represented because the distribution of the quantized color can be considered in the entire image. do.
다음은 도 4, 도 6 및 도 7을 참고로 하여, 모양 특징 추출 단계(40)을 상세히 설명한다.Next, the shape feature extraction step 40 will be described in detail with reference to FIGS. 4, 6 and 7.
본 발명에서는 불변 모멘트를 사용하여 모양 특징을 추출하는 다음과 같은 2가지 방법을 채택한다.The present invention employs the following two methods of extracting shape features using invariant moments.
첫번째, 기존의 불변 모멘트를 변형시켜 만든 향상된 불변 모멘트(Improved Moment Invariants; IMI)를 이용한 모양 특징 추출 방법은 크게 모폴로지 연산 단계(41), 물체 윤곽선 추출 단계(42) 및 전체 윤곽에 대한 IMI 계산 단계(43)를 포함한다.First, the shape feature extraction method using improved constant moment invariants (IMI), which is made by transforming existing constant moments, is largely used in the morphology calculation step (41), the object contour extraction step (42), and the IMI calculation step for the entire contour. (43).
상기 IMI 계산이란 물체의 윤곽선에 해당하는 화소들만을 대상으로 연산을 행하는 것이다. 따라서, IMI를 이용하여 영상내의 물체의 모양 특징을 추출하기 위하여는 우선 물체의 윤곽선을 찾아야 하는데, 본 발명에서는 물체의 윤곽선을 찾기 위하여 모폴로지 연산자(morphology operator)를 사용하여 모폴로지 연산(41)을 수행한다. 그 다음, 상기 연산값을 이용하여 물체의 윤곽선을 추출(42)하면, 그후, 상기 추출된 윤곽선을 전체 윤곽에 대한 IMI 계산 단계(43)를 거쳐 7개의 계수로 표현되는 전체적인 물체의 윤곽선을 추출한다.The IMI calculation is to perform calculation on only pixels corresponding to the contour of the object. Therefore, in order to extract shape features of an object in an image using IMI, first, an outline of an object must be found. In the present invention, a morphology operation 41 is performed using a morphology operator to find the outline of an object. do. Then, the contour of the object is extracted (42) using the operation value, and then the contour of the entire object represented by seven coefficients is extracted through the IMI calculation step 43 for the extracted contour. do.
한편, 상기 첫번째 모양 특징 추출단계에서 IMI를 사용하는 경우, 영상내 물체의 전체적인 윤곽을 살펴보는데는 유용한 면이 있지만 각 칼라마다의 모양 특징을 반영하지 못한다는 단점을 여전히 지니고 있기 때문에, 우위(dominant) 칼라의 개별적인 윤곽을 살펴보기 위하여는 각 칼라별 불변 모멘트를 추출할 필요성이 생기게 되었다.On the other hand, when IMI is used in the first shape feature extraction step, it is useful to look at the overall outline of an object in the image, but still has the disadvantage that it does not reflect the shape feature of each color. In order to examine the individual contours of colors, it is necessary to extract the constant moments of each color.
따라서, 본 발명은 두번째 모양 특징 추출 방법으로서, 우위 칼라별 불변 모멘트 계산 단계를 더 포함한다.Therefore, the present invention further includes the step of calculating the invariant moment for each dominant color as the second shape feature extraction method.
우위 칼라의 수를 결정하는 단계(30) 및 우위 칼라에 대한 비교 행렬 생성의 예가 도 7(c) 및 도 7(e)에 예시된다. 우위 칼라의 수 결정은 상기 도 6(c)에 도시된 NICO 행렬에서 히스토그램이 높은 그룹을 사용자가 임의로 정한 3개로 한 경우(도 7(e)), 상기 히스토그램이 높은 그룹순으로 GICO 행렬을 정열한 후(도 7(C) 참조), 우위 칼라의 수를 사용자가 임의로 정한 3개로 한 경우 생성된 GICO 행렬의 예가 도 7(d)에 도시된다. 이렇게 우위 칼라만을 사용함으로써 영상내의 모든 칼라 정보를 사용하지 않고 미리 정한 수의 주요한 칼라 정보만을 가지고 비교 분석할 수 있도록 하였다.An example of determining 30 the number of dominant colors and generating a comparison matrix for the dominant color is illustrated in Figs. 7 (c) and 7 (e). To determine the number of dominant colors, in the NICO matrix shown in FIG. 6 (c), if the group having the highest histogram is three arbitrarily determined by the user (FIG. 7 (e)), the GICO matrix is arranged in the order of the group having the highest histogram. After that (see Fig. 7 (C)), an example of the generated GICO matrix is shown in Fig. 7D when the number of superior colors is three arbitrarily determined by the user. By using only the superior color, it is possible to compare and analyze only the predetermined number of important color information without using all the color information in the image.
따라서, 도 4에 도시된 바와 같이, 상기 우위 칼라별 불변 모멘트는 상술한 NICO 행렬을 이용한 칼라 특징 추출 단계에서 사용자에 의해 미리 정해진 수의 우위 칼라를 결정(30)한 후, 이를 바탕으로 각 우위 칼라별 불변 모멘트 계산(44)을 통해 생성되며, 그 계수는 우위 칼라 수마다 생성되어 우위 칼라 수(Cdom)*7 의 수가 된다. 따라서, 상기 IMI를 사용했을 때와 마찬가지로 영상내의 물체의 회전, 이동 및 축척에 불변한 모양 특징을 각 칼라의 수만큼 추출할 수 있게 된다.Accordingly, as shown in FIG. 4, the invariant moment for each superior color is determined 30 by the user in the color feature extraction step using the NICO matrix described above. It is generated through the invariant moment calculation 44 for each color, and the coefficient is generated for each number of the leading colors to become the number of the leading color numbers C dom * 7. Therefore, as in the case of using the IMI, it is possible to extract a shape feature that is invariant to the rotation, movement, and scale of an object in the image by the number of colors.
다음은 상술한 칼라 특징 추출 방법의 2가지와 모양 특징의 추출 방법의 2가지의 조합으로 이루어지는 칼라 및 모양 특징 정합 방법에 관하여 도 4 및 도 5를 참고로 설명한다.Next, a color and shape feature matching method comprising a combination of two of the above-described color feature extraction method and two of the shape feature extraction method will be described with reference to FIGS. 4 and 5.
먼저, 칼라 특징 정합 방법을 살펴보면, 검색될 영상인 질의 영상으로부터 상술한 영상 입력 단계 및 칼라 특징 추출 단계를 거쳐서 질의 영상에 관한 칼라특징인 NICO 및 GICO 행렬을 추출하면, 이 행렬 성분값과 영상 데이타베이스내에 저장된 영상의 NICO 및 GICO 행렬의 성분값의 비교를 행한다.First, referring to the color feature matching method, the NICO and GICO matrices, which are the color features of the query image, are extracted from the query image, which is the searched image, through the above-described image input step and color feature extraction step. The component values of the NICO and GICO matrices of the video stored in the base are compared.
각각의 행렬의 대각 성분값과 비대각 성분값에 대한 가중치 W1및 W2를 주고 다음과 같은 수학식 4와 수학식 5를 통해 질의 영상의 행렬 성분과 영상 데이타베이스내의 영상의 행렬 성분값 비교를 행하기 위해 유크리디언 거리 연산을 행하게 된다.Given the weights W 1 and W 2 for the diagonal and non-diagonal component values of each matrix, and comparing the matrix component values of the query image with the matrix component values in the image database through Equations 4 and 5 as follows. A Euclidean distance calculation is performed to perform.
여기서, W1, W2는 가중치이고, Q는 질의 영상, I는 영상 데이타베이스내의 영상을 나타내며, λij는 NICO 행렬과 GICO 행렬의 성분값을 나타낸다.는 NICO 행렬의 성분값간 비교로부터 생성된 칼라 정보의 결과이고,는 GICO 행렬의 성분값간 비교로부터 생성된 칼라 정보의 결과이다. 행렬의 대각 성분값과 비대각 성분값에 대한 각각의 가중치 W1, W2는 사용자가 임의로 지정할 수 있도록 하였다.Here, W 1 and W 2 are weights, Q is a query image, I is an image in an image database, and λ ij is a component value of a NICO matrix and a GICO matrix. Is the result of the color information generated from the comparison between the component values of the NICO matrix, Is the result of the color information generated from the comparison between the component values of the GICO matrix. The weights W 1 and W 2 for the diagonal and non-diagonal component values of the matrix can be assigned by the user.
에 있어서, 가중치 W1을 가중치 W2보다 크게 할 경우, 영상내에서 영상 전체의 칼라 구성비에 비중을 두는 경우가 되고, 그 반대의 경우 영상내의 각 칼라의 구성비보다 양자화된 각 칼라의 그룹간의 공간적인 관계에 더 비중을 두는 경우가 된다. 따라서, 검색하고자 하는 대상과 목적에 따라서 각각의 가중치를 적절하게 줌으로써 검색의 효율을 증대시킬 수 있게 된다. In the case where the weight W 1 is greater than the weight W 2 , the weight is given to the color composition ratio of the entire image in the image, and vice versa, the space between groups of colors of each color quantized than the composition ratio of each color in the image. More emphasis is placed on relationships. Accordingly, the efficiency of the search can be increased by appropriately giving the respective weights according to the object and the object to be searched.
에 있어서, 가중치 W1을 가중치 W2보다 크게 할 경우, 영상내에서 각 그룹간의 공간적 분포에 비중을 두는 경우가 되고, 그 반대의 경우 각 칼라 그룹간의 공간적 거리에 더 비중을 두는 것이 된다. In the case where the weight W 1 is larger than the weight W 2 , the weight distribution is given to the spatial distribution between the groups in the image, and vice versa, the weight distribution W 1 is more important to the spatial distance between the color groups.
결국, 본 발명의 칼라 특징 정합 방법은 질의 영상과 저장된 영상의 칼라 특징에 대한 거리(distance)를 계산하는 NICO 행렬 및 GICO 행렬 성분값 비교 단계(50 및 60) 및 상기 디스턴스값에 사용자 입력에 의한 가중치 W1및 W2가 곱해지는 가중치 부여 단계(51 및 61)로 구성된다.As a result, the color feature matching method of the present invention comprises the steps of comparing the NICO matrix and the GICO matrix component values (50 and 60) for calculating the distances of the color features of the query image and the stored image, and by the user input. It consists of weighting steps 51 and 61 where the weights W 1 and W 2 are multiplied.
다음은, 모양 특징 정합 방법을 살펴보면, 검색될 영상인 질의 영상으로부터 상술한 칼라 특징 추출 단계(40) 및 우위 칼라 결정 단계(30)를 거쳐서 질의 영상에 관한 모양 특징인 IMI 및 우위 칼라에 대한 불변 모멘트를 추출하면, 이들 값과 영상 데이타베이스내에 저장된 영상의 IMI 및 우위 칼라의 불변 모멘트 값의 비교를 행한다.Next, referring to the shape feature matching method, the invariant for the IMI and the superior color, which are the shape features of the query image, is passed through the above-described color feature extraction step 40 and the superior color determination step 30 from the query image as the image to be searched. When the moment is extracted, these values are compared with the constant moment values of the IMI and the dominant color of the image stored in the image database.
다음의 수학식 6에 의해서 질의 영상과 영상 데이타베이스내의 영상의 IMI계수값 비교, 및 다음과 같은 수학식 7에 의해서 질의 영상과 영상 데이타베이스내의 영상의 우위 칼라별 불변 모멘트 계수값 비교를 행하기 위해서 각각의 계수값의 유클리디언 거리 연산을 행하게 된다.Comparing the IMI coefficient values of the query image and the image in the image database by Equation 6 below, and comparing the constant moment coefficient values of the superior color of the superior image of the query image and the image in the image database by Equation 7 below. Euclidean distance calculation of each coefficient value is performed.
여기서,,는 각각의 질의 영상과 영상 데이타베이스내의 영상에 해당하는 IMI 계수들이고,는 IMI 계수들간의 비교로부터 나온 모양 정보의 결과이다.here, , Are IMI coefficients corresponding to each query image and the image in the image database, Is the result of the shape information from the comparison between the IMI coefficients.
여기서,,는 각각 질의 영상과 영상 데이타베이스내의 영상에 해당하는 불변 모멘트(Moment Invariants) 계수들이며, Cdom은 우위 칼라의 수이다.는 각 우위 칼라별 불변 모멘트 계수들간의 비교로부터 나온 모양 정보의 결과이다.here, , Are Invariant coefficients corresponding to the query image and the image in the image database, respectively, and C dom is the number of dominant colors. Is the result of the shape information from the comparison between the constant moment coefficients for each dominant color.
따라서, 본 발명의 모양 특징 정합 방법은 질의 영상과 저장된 영상의 모양 특징에 관한 불변 모멘트 계수값을 비교하는 IMI 계수값 비교 단계(70), 우위 칼라별 불변 모멘트 계수값 비교 단계(80) 및 상기 계수값에 사용자 입력에 의한 가중치 w3및 w4가 곱해지는 가중치 부여 단계(71 및 81)로 구성된다.Accordingly, the shape feature matching method according to the present invention includes an IMI coefficient value comparison step 70 for comparing invariant moment coefficient values for shape features of a query image and a stored image, a comparison of invariant moment coefficient values for each superior color 80, and the And weighting steps 71 and 81 in which the coefficient values are multiplied by the weights w 3 and w 4 by the user input.
또한, 본 발명에서는 상기 칼라 및 모양 특징 정합 결과인 4가지 결과값을 서로 조합하여 최종 검색 결과 영상을 출력 하기 위한 단계로서 칼라 및 모양 특징 정합 유사도 결정 단계(90)를 더 포함한다.In addition, the present invention further includes a color and shape feature matching similarity determining step 90 as a step for outputting a final search result image by combining the four result values that are the color and shape feature matching results with each other.
상기 결정 단계(90)는 질의 영상(Q)와 데이타베이스내의 영상(H)와의 유사도를 통합 유사도를 구하는 다음의 수학식 8을 통해 계산되며, 이 결과를 바탕으로 최종 검색 영상을 출력하게 된다.The determining step 90 combines the similarity between the query image Q and the image H in the database. Calculated by Equation 8 below, the final search image is output based on the result.
여기서,,는 칼라 정보의 결과이며,,는 모양 정보의 결과로부터 연산된 것이며,는 칼라와 모양 정보를 합한 통합 유사도를 나타낸다. 또한, w1, w2, w3및 w4는 각각 NICO 행렬, GICO 행렬, IMI 및 우위 칼라별 불변 모멘트 계산 결과에 대한 가중치를 나타낸다.here, , Is the result of color information, , Is computed from the result of the shape information, Represents the combined similarity of the sum of the color and shape information. In addition, w 1 , w 2 , w 3, and w 4 represent weights for the NICO matrix, the GICO matrix, the IMI, and the invariant moment calculation results according to the dominant colors, respectively.
따라서, 본 발명의 칼라 및 모양 특징 정합 방법은 상술한 4가지 정합 방법의 조합 결과, 그 전체적인 유사도가 높은 영상을 결과 영상으로 나타내게 된다.Accordingly, the color and shape feature matching method of the present invention results in a combination of the four matching methods described above, resulting in an image with high overall similarity.
본 발명에 따르는 칼라 영상 검색 방법은 칼라 정보와 모양 정보를 동시에 고려한 복합적인 특징 벡타가 사용되며, 이 특징 벡타 사용을 위해 비균등 양자화 방법인 엘로이드-맥스(Lloyd-Max) 양자화기를 적용하여 효율적인 칼라 양자화를 하고, 양자화를 거친 후 생성된 칼라 그룹간의 공간적 분포 상황을 고려하기 위하여 NICO 행렬 및 GICO 행렬을 적용하여 칼라 정보를 기반으로 한 검색 효율을 증대시켰다. 또한, 모양 정보를 획득하기 위해서 향상된 불변 모멘트(IMI) 및 우위 칼라별 불변 모멘트를 사용함으로써 연산량을 크게 줄이면서 검색 효율을 증대시켰다.In the color image retrieval method according to the present invention, a complex feature vector considering both color and shape information is used, and an efficient non-uniform quantization method, the Lloyd-Max quantizer, is used for the feature vector. In order to consider the spatial distribution between color groups generated after color quantization and quantization, the NICO matrix and the GICO matrix are applied to increase the search efficiency based on color information. In addition, by using the improved invariant moment (IMI) and the invariant moment for each dominant color to obtain shape information, the computational efficiency is greatly reduced and the search efficiency is increased.
따라서 본 발명에 따르는 영상 검색 방법에 의하면 종래 영상 검색 방법에 비교하여 원영상 뿐만 아니라 영상내의 물체의 회전, 이동, 잡음 첨가 및 감마 보정값등에 의해 변형된 영상에 대해서도 향상된 검색 결과를 얻을 수 있게 된다.Therefore, according to the image retrieval method according to the present invention, compared to the conventional image retrieval method, it is possible to obtain an improved retrieval result not only for the original image but also for the image modified by rotation, movement, noise addition, and gamma correction values of objects in the image. .
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019990031192A KR100323364B1 (en) | 1999-07-30 | 1999-07-30 | A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019990031192A KR100323364B1 (en) | 1999-07-30 | 1999-07-30 | A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20010011701A KR20010011701A (en) | 2001-02-15 |
KR100323364B1 true KR100323364B1 (en) | 2002-02-19 |
Family
ID=19605674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019990031192A KR100323364B1 (en) | 1999-07-30 | 1999-07-30 | A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100323364B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100671099B1 (en) * | 1999-09-06 | 2007-01-17 | 주식회사 팬택앤큐리텔 | Method for comparing similarity of two images and method and apparatus for searching images using the same |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100364753B1 (en) | 1999-11-19 | 2002-12-16 | 엘지전자 주식회사 | Method of quantization of bin value of color histogram |
KR100761417B1 (en) * | 2006-03-16 | 2007-09-27 | 주식회사 씬멀티미디어 | Indexing and searching method for multimedia database using dominant color descriptor modified to vector expression |
KR101302573B1 (en) * | 2012-02-20 | 2013-09-02 | 건국대학교 산학협력단 | Image retrieval system using interior descriptors and contour descriptors |
KR101859402B1 (en) * | 2017-12-14 | 2018-05-18 | 주식회사 딥스 | The object tracking and lane changing vehicles detection method between linked cameras in tunnel |
US10534948B1 (en) | 2019-03-18 | 2020-01-14 | Capital One Services, Llc | Optimizing detection of images in relation to targets based on colorspace transformation techniques |
US10509991B1 (en) | 2019-03-18 | 2019-12-17 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light |
US10496911B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light |
US10496862B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light |
US10523420B1 (en) | 2019-04-18 | 2019-12-31 | Capital One Services, Llc | Transmitting encoded data along transmission mediums based on colorspace schemes |
US10614635B1 (en) | 2019-07-25 | 2020-04-07 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker |
US10867226B1 (en) | 2019-11-04 | 2020-12-15 | Capital One Services, Llc | Programmable logic array and colorspace conversions |
US10878600B1 (en) | 2019-12-10 | 2020-12-29 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker utilizing local adaptive technology |
US11302036B2 (en) | 2020-08-19 | 2022-04-12 | Capital One Services, Llc | Color conversion between color spaces using reduced dimension embeddings |
-
1999
- 1999-07-30 KR KR1019990031192A patent/KR100323364B1/en not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100671099B1 (en) * | 1999-09-06 | 2007-01-17 | 주식회사 팬택앤큐리텔 | Method for comparing similarity of two images and method and apparatus for searching images using the same |
Also Published As
Publication number | Publication date |
---|---|
KR20010011701A (en) | 2001-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6584221B1 (en) | Method for image retrieval with multiple regions of interest | |
JP5236785B2 (en) | Color image search method, color image search apparatus, color image search system, and computer executable program | |
US6477269B1 (en) | Method and system for searching for images based on color and shape of a selected image | |
KR100323364B1 (en) | A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors | |
US20030086627A1 (en) | Method and apparatus for searching for and retrieving colour images | |
Sajjad et al. | Integrating salient colors with rotational invariant texture features for image representation in retrieval systems | |
JPH10503307A (en) | Image recognition device | |
US20070070365A1 (en) | Content-based image retrieval based on color difference and gradient information | |
Shih et al. | An intelligent content-based image retrieval system based on color, shape and spatial relations | |
US20060182347A1 (en) | Image retrieval method and apparatus independent of illumination change | |
Chang et al. | Deformed trademark retrieval based on 2D pseudo-hidden Markov model | |
KR20030005908A (en) | apparatus and method for representative feature extraction of objects and, its application to content-based image retrieval | |
JP2001525959A (en) | Image search method and system | |
CN109299295B (en) | Blue printing layout database searching method | |
You et al. | The technique of color and shape-based multi-feature combination of trademark image retrieval | |
CN116415210A (en) | Image infringement detection method, device and storage medium | |
Hung et al. | A content-based image retrieval system integrating color, shape and spatial analysis | |
Almeida et al. | SIFT applied to CBIR | |
WO1999017250A1 (en) | Image comparing system | |
Kulkarni | Natural language based fuzzy queries and fuzzy mapping of feature database for image retrieval | |
Arjunan et al. | Image Classification in CBIR systems with color histogram features | |
Chalechale et al. | An abstract image representation based on edge pixel neighborhood information (EPNI) | |
Hong et al. | Region-of-interest based flower images retrieval | |
Bhatia | Hierarchical clustering for image databases | |
Kim et al. | Content-based image retrieval method using color and shape features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20080102 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |