KR100609178B1 - Content-based multimedia searching method using color distortion data - Google Patents

Content-based multimedia searching method using color distortion data Download PDF

Info

Publication number
KR100609178B1
KR100609178B1 KR1020000012546A KR20000012546A KR100609178B1 KR 100609178 B1 KR100609178 B1 KR 100609178B1 KR 1020000012546 A KR1020000012546 A KR 1020000012546A KR 20000012546 A KR20000012546 A KR 20000012546A KR 100609178 B1 KR100609178 B1 KR 100609178B1
Authority
KR
South Korea
Prior art keywords
color
information
distortion
feature
weight
Prior art date
Application number
KR1020000012546A
Other languages
Korean (ko)
Other versions
KR20010091161A (en
Inventor
김현준
이진수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020000012546A priority Critical patent/KR100609178B1/en
Publication of KR20010091161A publication Critical patent/KR20010091161A/en
Application granted granted Critical
Publication of KR100609178B1 publication Critical patent/KR100609178B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4652Extraction of features or characteristics of the image related to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Abstract

본 발명은 내용 기반 멀티미디어 검색에 있어서,  The present invention is a content-based multimedia search,
멀티미디어 데이터의 칼라 왜곡 정보를 자동 추출한 후 이를 기반으로 하여 칼라 관련 특징소에 대한 가중치를 자동 설정함으로써 검색 성능을 높일 수 있는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법과, 칼라 왜곡 정보 추출방법 및 이와 같이 추출된 칼라왜곡정보를 포함하는 멀티미디어 데이터 생성 방법에 관한 것이다.Content-based multimedia retrieval method using color distortion information that can improve search performance by automatically extracting color distortion information of multimedia data and then automatically setting weights for color-related features, and method for extracting color distortion information The present invention relates to a method for generating multimedia data including color distortion information extracted as described above.
또한, 칼라 왜곡 정보에 따라 칼라 관련 특징소에 대한 가중치를 적용함에 있어서 특징소 또는 특징소 요소의 왜곡 민감도에 따라 그 가중치 적용을 달리하도록 하기 위한 왜곡 민감도를 추출하는 방법에 관한 것으로, 왜곡 정보의 구체적인 색상 정보와 강도(왜곡 정도; intensity) 정보를 모두 분석, 이용하며, 특징소간의 가중치 뿐만 아니라 특징 요소들간의 가중치 까지도 자동으로 최적 설정함으로써 매우 효과적인 멀티미디어 데이터 검색 방법을 제시하고 아울러, 조명이나 디바이스 특성에 의한 칼라 왜곡 문제를 해결하고자 하는 것이다.In addition, the present invention relates to a method of extracting a distortion sensitivity for applying a weight to a color-related feature according to color distortion information so that the weight is applied according to the distortion sensitivity of the feature or the element. It analyzes and uses both specific color information and intensity information, and automatically optimizes not only the weights between the features but also the weights among the feature elements, thereby presenting a very effective multimedia data retrieval method, as well as lighting or device This is to solve the problem of color distortion due to characteristics.
멀티미디어, 검색, 왜곡Multimedia, search, distortion

Description

칼라 왜곡 정보를 이용한 내용기반 멀티미디어 데이터 검색 방법{CONTENT-BASED MULTIMEDIA SEARCHING METHOD USING COLOR DISTORTION DATA}Content-based multimedia data retrieval method using color distortion information {CONTENT-BASED MULTIMEDIA SEARCHING METHOD USING COLOR DISTORTION DATA}
도 1a 및 도 1b는 원래의 영상과 특정 조명에 의해서 변형된 영상에서 추출된 두개의 칼라 특징 정보를 비교하기 위한 히스토그램을 나타낸 것으로, 도 1a는 칼라 히스토그램이며, 도 1b는 텍스쳐 히스토그램을 나타낸 도면.1A and 1B show a histogram for comparing two color feature information extracted from an original image and an image deformed by a specific illumination. FIG. 1A is a color histogram, and FIG. 1B is a texture histogram.
도 2는 본 발명에 있어서, 멀티미디어 검색 방법의 실행수순을 나타낸 플로우챠트.2 is a flowchart showing an execution procedure of a multimedia retrieval method according to the present invention.
도 3a와 도 3b는 히스토그램 정보와 지역 대표 칼라 정보의 칼라 왜곡전과 후를 대비하기 위한 것으로, 도 3a는 칼라 히스토그램을 도 3b는 지역 대표 칼라 정보를 나타낸 도면.3A and 3B are for contrasting before and after color distortion of histogram information and local representative color information, FIG. 3A is a color histogram, and FIG. 3B is a representative local color information.
도 4는 본 발명에 있어서, 칼라 왜곡 정보 추출 실행수순을 나타낸 플로우챠트.4 is a flowchart showing a procedure for extracting color distortion information in the present invention.
도 5는 본 발명의 칼라 왜곡 정보를 기반으로 특징소 가중치를 자동 설정하여 검색했을 경우와 그렇지 않을 경우에 대한 대비를 나타낸 도면.FIG. 5 is a diagram illustrating a contrast between when the feature weight is automatically set and searched based on the color distortion information of the present invention, and when it is not.
도 6은 본 발명에 있어서, 멀티미디어 데이터의 칼라 왜곡 정보를 이용한 멀티미디어 검색의 또 다른 예를 나타낸 플로우챠트.6 is a flowchart showing still another example of multimedia retrieval using color distortion information of multimedia data in the present invention.
도 7은 본 발명에 있어서, 멀티미디어 이미지 데이터 구조를 나타낸 블록도. 7 is a block diagram showing a multimedia image data structure according to the present invention;
본 발명은 내용기반 멀티미디어 검색에 관한 것으로, 멀티미디어 데이터의 칼라 왜곡 정보를 자동 추출한 후 이를 기반으로 하여 칼라 관련 특징소에 대한 가중치를 자동 설정함으로써 검색 성능을 높일 수 있는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법 및 멀티미디어 데이터 생성 방법에 관한 것이다.
또한, 칼라 왜곡 정보에 따라 칼라 관련 특징소에 대한 가중치를 적용함에 있어서 특징소 또는 특징소 요소의 왜곡 민감도에 따라 그 가중치 적용을 달리하도록 하기 위한 왜곡 민감도를 추출하는 방법에 관한 것이다.
The present invention relates to a content-based multimedia retrieval, content-based multimedia using color distortion information that can improve the search performance by automatically extracting color distortion information of multimedia data and automatically setting weights for color-related features based on the same. A search method and a method for generating multimedia data.
In addition, the present invention relates to a method of extracting a distortion sensitivity for applying a weight to a color-related feature according to color distortion information so that the weight is applied according to the distortion sensitivity of the feature or the element.
삭제delete
최근 들어 내용기반으로 멀티미디어 데이터를 검색하기 위한 연구가 많이 진행되고 있다. 내용 기반 멀티미디어 검색에서 주로 사용되는 특징소로는 칼라, 텍스쳐, 모양 정보 등이 사용되는데 이들 중 칼라 정보가 가장 중요한 정보로 볼 수있다.Recently, many researches for retrieving multimedia data based on contents have been conducted. Color, texture, and shape information are used as the main features of content-based multimedia retrieval. Among them, color information is the most important information.
하지만 칼라 정보의 경우, 데이터 주변의 조명이나 영상 취득 디바이스 특성 등으로 인해 쉽게 왜곡될 수 있는 단점이 있다. However, in the case of color information, there is a disadvantage that it may be easily distorted due to illumination around data or characteristics of an image acquisition device.
즉, 같은 영상이라도 서로 다른 디바이스로 영상을 취득하거나 다른 조명 아래에서 취득했을 경우, 사람이 인지할 때에는 비슷한 영상이나 컴퓨터가 분석한 칼라 정보는 상이하게 나타날 수 있는데, 이러한 왜곡은 멀티미디어 데이터 검색 성 능에 매우 좋지 못한 영향을 미치게 되는 것이다. In other words, even when the same image is acquired by different devices or under different lighting, similar images or color information analyzed by a computer may appear differently when a person recognizes them. It will have a very bad effect.
이러한 이유로 최근에는 이러한 조명에 영향받지 않고 검색을 하기 위한 연구가 많이 진행되고 있으며, 이러한 대부분의 기존 기술에서는 조명 등에 의해 왜곡이 쉽게 일어날 수 있는 칼라 요소를 무시하여 검색하는 방법을 사용하고 있다. For this reason, a lot of researches have recently been conducted to search without being influenced by such lighting, and most of the existing techniques use a method of ignoring color elements that can easily be distorted by lighting.
예를 들어 밝기에 무관하게 검색을 하고 싶으면 칼라 요소 중 밝기 요소를 사용하지 않고 검색을 하고, 특정 색상을 포함한 조명에 무관하게 검색을 하고 싶으면 색상 요소를 사용하지 않고 검색을 하는 방법을 취한다. For example, if you want to search irrespective of the brightness, you can search without using the brightness element among the color elements. If you want to search irrespective of the lighting including a specific color, you can search without using the color element.
하지만 이렇게 특정 칼라 요소를 무시하여 검색하는 방법은 주어진 정보를 단지 사용하지 않을 뿐 칼라의 왜곡을 정확히 반영하지 않기 때문에 전반적으로 낮은 검색 성능을 나타낼 수 밖에없다.However, this method of ignoring a specific color element does not use the given information and does not accurately reflect the distortion of the color, resulting in low overall search performance.
즉, 조명과 무관하게 전체적으로 낮은 성능을 가져올 수 있는 문제점을 지니고 있다. 만일 조명이나 디바이스 특성상 발생하는 칼라 왜곡 특성을 분석하여, 이를 이용, 각 데이터마다 해당 특성에 알맞은 왜곡 보상 방법을 취한다면 보다 높은 검색 성능을 얻을 수 있을 것이다. That is, there is a problem that can bring a low overall performance regardless of lighting. If the color distortion characteristic generated due to lighting or device characteristics is analyzed and the distortion compensation method appropriate to the characteristic is applied to each data, higher search performance may be obtained.
최근에는 내용 기반 멀티미디어 검색에 사용되는 특징소 들을 각 멀티미디어마다 서로 다른 가중치로 설정하여 최적의 검색 결과를 얻으려는 연구들이 발표되고 있다. Recently, researches have been made to obtain optimal search results by setting features used for content-based multimedia retrieval at different weights for each multimedia.
여기서 가중치란 각 특징소, 또는 특징소 내 특징 요소들의 중요도를 의미하는 것으로서 멀티미디어 데이터마다 가장 검색을 잘 할 수 있는 특징정보일수록 높은 가중치를 두고 검색을 하는 것이다. Here, the weight refers to the importance of each feature or feature elements within the feature, and the feature information that can be searched best for each multimedia data is searched with a higher weight.
이와 같은 방법은 이론적으로 매우 높은 성능을 기대할 수 있으나 자동으로 최적의 가중치를 얻는 효과적인 방법은 아직까지 발표되지 않고 있다. Such a method can theoretically expect very high performance, but an effective method of automatically obtaining an optimal weight has not been published.
본 발명은 상기와 같은 조명이나 디바이스 특성에 의한 칼라 왜곡 문제를 해결하기 위하여 안출된 것으로, 멀티미디어의 칼라 정보를 왜곡 시킬 수 있는 왜곡 정보를 자동으로 분석하여, 이를 이용, 각 데이터마다 최적의 가중치를 자동 설정하여 검색할 수 있는 방법과 이러한 개념의 실시를 위한 데이터 생성 방법을 제공하는 것을 목적으로 한다.The present invention has been devised to solve the color distortion problem caused by the lighting and device characteristics, and automatically analyzes distortion information that can distort the color information of the multimedia, and uses the optimal weight for each data. It is an object of the present invention to provide a method that can be automatically set and searched, and a data generation method for implementing such a concept.
또한, 본 발명에서는 왜곡 정보의 구체적인 색상 정보와 강도(왜곡 정도; intensity) 정보를 모두 분석, 이용하며, 특징소간의 가중치 뿐만 아니라 특징 요소들간의 가중치 까지도 자동으로 최적 설정함으로써 매우 효과적인 멀티미디어 데이터 검색 방법을 제공하는 것을 목적으로 한다.In addition, the present invention analyzes and uses both specific color information and intensity (intensity) information of the distortion information, and automatically sets optimally not only the weights between the elements but also the weights among the feature elements. The purpose is to provide.
본 발명의 칼라 왜곡 정보를 이용한 내용기반 멀티미디어 검색 방법은,Content-based multimedia retrieval method using the color distortion information of the present invention,
칼라 왜곡 정보를 추출하는 단계와, 추출된 칼라 왜곡 정보를 사용하여 내용 기반 멀티미디어 검색에 사용되는 특징소, 또는 특징소 요소의 가중치를 설정하는 단계와, 설정된 가중치를 적용하여 멀티미디어 데이터를 검색하는 단계를 포함하는 것을 특징으로 한다. 칼라 왜곡 정보의 칼라 값 또는 이들 값의 조합으로 이루어지는 정보임을 특징으로 한다. 그리고, 상기 칼라 왜곡 정보는 칼라 왜곡 강도를 나타내는 값이거나, 칼라 왜곡 정보의 칼라 값 또는 이들 값의 조합으로 이루어지는 정보임을 특징으로 한다.
또한, 이때의 칼라 왜곡 정보의 칼라 값은 색상(Hue) 정보임을 특징으로 한다.
그리고, 상기 (b) 단계에서, 상기 칼라 왜곡 정보를 사용한 특징소, 또는 특징소 요소의 가중치 조정은 특징소, 또는 특징소 요소가 갖는 왜곡 민감도(; 칼라 왜곡 정보에 의해 원래의 특징 정보 값이 변형되는 정도를 표현)에 따라서 그 가중치를 자동으로 설정하도록 함을 특징으로 한다.
Extracting color distortion information, setting a weighting factor or feature element used for content-based multimedia retrieval using the extracted color distortion information, and retrieving multimedia data by applying the set weights. Characterized in that it comprises a. Characterized in that it is a color value of the color distortion information or a combination of these values. The color distortion information may be a value indicating color distortion intensity, or information including color values of the color distortion information or a combination of these values.
In addition, the color value of the color distortion information at this time is characterized in that the (Hue) information.
In the step (b), the weight adjustment of the feature or the feature element using the color distortion information may be performed by adjusting the distortion sensitivity of the feature or the feature element; The weight is automatically set according to the degree of deformation).
삭제delete
삭제delete
삭제delete
그리고, 상기와 같은 칼라 왜곡 정보를 추출하여 내용 기반 멀티미디어 검색방법을 구현하고자 함에 있어서, 상기의 칼라 왜곡 정보 추출 방법은, In addition, in order to implement the content-based multimedia retrieval method by extracting the color distortion information as described above, the method of extracting the color distortion information,
이미지를 N*M 개의 부분 영역으로 분할하는 단계와, 분할된 모든 이미지 영역에 대해 각 영역별로 순도가 일정 임계치 이하인 픽셀들의 평균 색도(HUE) 값과 평균 색도 값에 참여한 픽셀의 색도값에 대한 분산을 구하는 단계와, 분산이 일정 임계치 이하를 만족하는 영역만을 대상으로 각 영역에서 구해진 평균 색도값들을 재평균하고 재 평균에 참여한 평균 색도값들의 분산을 구하는 단계와, 상기 단계에서 색도값 재평균에 참여한, 분산이 일정 임계치 이하를 만족하는 영역들이 이미지 전체에서 차지하는 비율을 칼라 왜곡의 강도로 지정하고, 재평균된 평균 색도값들을 칼라 왜곡 정보의 색도 값으로 지정하는 단계를 포함하는 것을 특징으로 한다.Dividing the image into N * M subregions, and dispersing the chromaticity values of the pixels participating in the average chromaticity (HUE) values and the average chromaticity values of pixels whose purity is below a certain threshold for each of the divided image regions. Recalculating the average chromaticity values obtained in each region only for the regions where the variance satisfies the predetermined threshold or less, and obtaining the variance of the average chromaticity values participating in the re-averaging; And designating, as a color distortion intensity, the proportion of the regions where the variance satisfying the predetermined threshold or less occupies the entire image, and specifying the re-averaged average chromaticity values as the chromaticity values of the color distortion information. .
한편, 이와 같은 칼라 왜곡 정보를 추출하여, 칼라 왜곡 정보에 따라 가중치를 자동설정하여 검색할 수 있도록 하기 위한 멀티미디어 데이터 생성 방법은, 검색에 사용되는 하나 이상의 특징소들을 갖는 특징 정보와, 칼라 왜곡 정보를 포함하는 것을 특징으로 한다.Meanwhile, the multimedia data generating method for extracting such color distortion information and automatically setting and searching the weight according to the color distortion information includes feature information having one or more features used for searching and color distortion information. Characterized in that it comprises a.
삭제delete
삭제delete
그리고, 상기 칼라 왜곡 정보는 칼라 왜곡 강도, 또는 칼라 왜곡 정보의 색도 정보, 또는 이들간의 조합으로 구성됨을 특징으로 한다.The color distortion information may include color distortion intensity, chromaticity information of color distortion information, or a combination thereof.
또한, 상기 왜곡 민감도는, 칼라 왜곡이 일어나지 않은 데이터 표본 집단을 준비하는 단계와, 칼라 왜곡이 일어난 데이터의 표본 집단을 준비하는 단계와, 서로 다른 표본집단에 속해있는 같은 데이터에 대해, 해당 특징소 또는 특징 요소를 기준으로 유사도를 측정하는 과정과, 측정된 유사도들을 평균하는 단계와, 평균 유사도에 반비례하게 왜곡 민감도를 설정하도록 하는 단계의 실행수순을 통해 추출되는 것을 특징으로 한다.In addition, the distortion sensitivity is characterized by the steps of preparing a data sample group without color distortion, preparing a sample group of data with color distortion, and for the same data belonging to different sample groups, Alternatively, the method may be performed through a procedure of measuring similarity based on feature elements, averaging the measured similarities, and setting distortion sensitivity in inverse proportion to the average similarity.
삭제delete
삭제delete
이와 같은 특징을 갖는 본 발명은 궁극적으로 조명, 디바이스 특성 등으로 인한 칼라 왜곡 정보에 의해 발생하는 멀티미디어 검색 성능 저하를 막고 보다 높은 검색 성능을 제공하기 위한 방법에 대한 것이다.
이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 실시예가 상세히 설명된다.
The present invention having such a feature is directed to a method for ultimately preventing higher multimedia retrieval performance caused by color distortion information due to lighting, device characteristics and the like and providing higher retrieval performance.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
먼저, 본 발명의 개념과 특징에 대해 설명하면 다음과 같다. First, the concept and features of the present invention will be described.
칼라 왜곡은 다음과 같은 이유로 발생할 수 있다.Color distortion can occur for the following reasons.
(a). 조명에 의한 왜곡 : 특정 밝기와 칼라를 갖는 조명에 의한 칼라 왜곡으로서 이미지의 부분 영역만이 왜곡될 수도 있고 전체가 왜곡될 수도 있다.(a). Distortion caused by illumination: Color distortion caused by illumination having a specific brightness and color, which may distort only a partial region of the image or distort the whole.
(b). 디바이스 특성에 의한 왜곡 : 디지털 카메라 등 영상 취득 수단의 특성 상 포함되는 왜곡 정보로서 이미지 전체가 왜곡된다. (b). Distortion by Device Characteristics: The entire image is distorted as distortion information included in the characteristics of the image acquisition means such as a digital camera.
예를 들어 같은 장면이라도 촬영에 사용된 디지털 카메라에 따라 전체가 푸른 톤이거나 붉은 톤으로 다른 칼라가 나타날 수 있다.For example, even the same scene may appear blue or red in different colors depending on the digital camera used for shooting.
(c). 인코더 특성에 의한 왜곡 : 같은 영상 취득 수단이거나, 왜곡이 없는 영상 취득 수단을 사용하더라도, 취득된 영상을 파일로 저장하기 위한 인코더의 알고리즘 특성상 칼라가 왜곡될 수 있다. 이경우 대부분의 왜곡 특성은 디바이스 특성에 의한 왜곡의 그것과 같다.(c). Distortion by Encoder Characteristics: Even when the same image acquisition means or the image acquisition means without distortion is used, the color may be distorted due to the algorithm characteristic of the encoder for storing the acquired image as a file. In this case, most of the distortion characteristics are the same as those of the distortion due to the device characteristics.
(d). 칼라 필터에 의한 왜곡 : 디지털 카메라 등 영상 취득 수단에서 영상 취득 시, 칼라 필터를 사용함으로써 칼라가 왜곡될 수 있다. 칼라 필터는 카메라 자체의 기능이거나 사용자가 원할 때 첨가될 수 있는 기능일 수 있다.(d). Distortion by Color Filter: When an image is acquired by an image acquisition means such as a digital camera, the color may be distorted by using a color filter. The color filter may be a function of the camera itself or a function that may be added when the user desires.
상기에서 기술한 (a)내지(d)에서와 같은 이유로 칼라의 왜곡이 발생할 수 있게 되는 데, 이중 조명에 의한 부분 왜곡은 보상하기 어려운 문제로 여겨지고 있다. Color distortion may occur for the same reason as in (a) to (d) described above, and partial distortion by double illumination is considered to be difficult to compensate.
하지만 이 경우 전체 영역이 왜곡 되는 것이 아니므로 왜곡에 의한 검색 성능 저하 정도도 다른 것에 비해 크지 않을 수 있다. However, in this case, since the entire area is not distorted, the search performance deterioration due to the distortion may not be as large as that of the other ones.
다른 원인에 의해 이미지 전체가 왜곡되었을 때에는 왜곡 패턴이 이미지 전체에 비슷하게 나타나므로 이러한 특성을 이용해 왜곡 정보를 추출할 수 있다. When the entire image is distorted due to other causes, the distortion pattern appears similar to the entire image, so the distortion information can be extracted using this characteristic.
즉, 어떠한 칼라에 의해 어느 정도 왜곡되었는지에 대한 정보를 취득할 수 있는데, 이것과 함께 다음 기술될 칼라 왜곡에 대한 특성을 이용하면 칼라 왜곡에 의한 검색 성능 저하를 막을 수 있게 되는 것이다. That is, information about how much color is distorted by which color can be obtained. In addition to this, by using the characteristic of color distortion to be described next, it is possible to prevent a decrease in search performance due to color distortion.
기존 기술에서 기술하였듯이 칼라, 텍스쳐 등 멀티미디어 특성 정보를 이용하여 내용 기반으로 검색을 하는 기술들이 많이 소개되어 왔다. As described in the existing technology, many techniques for searching based on content using multimedia characteristic information such as color and texture have been introduced.
이러한 내용 기반 검색에 사용되는 특징 정보들이 칼라 왜곡이 발생했을 때 미치는 영향 정도를 왜곡 민감도라고 정의한다. The degree of influence of feature information used for content-based retrieval when color distortion occurs is defined as distortion sensitivity.
즉, 왜곡 민감도가 큰 특징 정보일수록 칼라 왜곡이 발생했을 때 영향 받는 정도가 심하여 검색 성능시 오류를 발생할 확률이 높아 진다. 이러한 왜곡 민감도를 기준으로 특징소들의 특성을 나열하면 다음과 같다.In other words, the feature information with a large distortion sensitivity is more affected when color distortion occurs, and thus the probability of error in search performance increases. The characteristics of the features based on the distortion sensitivity are listed as follows.
(a1). 특징소들 중에서 칼라와 관련된 특징소 그룹의 왜곡 민감도는 다른 특징소 그룹의 왜곡 민감도보다 크다. 따라서, 칼라 왜곡이 발생했을 때 칼라와 관련된 특징소 그룹을 이용한 이미지 검색 성능은 저하될 확률이 크다.(a1). Among the features, the distortion sensitivity of the color-related group of features is greater than the distortion sensitivity of other feature groups. Therefore, when color distortion occurs, image retrieval performance using color-related feature groups is likely to be degraded.
(b1). 칼라와 관련된 특징소 그룹 중에서 칼라 정보 자체에 의존하는 특징 정보일수록 왜곡 민감도가 크다. (b1). Among the feature groups related to colors, the feature information which depends on the color information itself has a higher distortion sensitivity.
예를 들어 칼라 히스토그램은 이미지 전체에 나타나는 픽셀들의 칼라 분포를 나타내는 것으로서, 칼라 정보만을 포함하는 칼라 자체에 의존적인 특징 정보라고 할 수 있다. For example, the color histogram represents a color distribution of pixels appearing in the entire image, and may be referred to as feature information dependent on the color itself including only color information.
그러므로, 이러한 정보는 칼라 왜곡이 발생했을 때 칼라 히스토그램의 변형 또한 커서 검색에 사용하기 어렵다. Therefore, this information is difficult to use for cursor retrieval even when color distortion occurs.
이에 반해 지역 대표 칼라 등은 상대적으로 왜곡 민감도가 작다.In contrast, regional representative colors, etc., have relatively low distortion sensitivity.
지역 대표 칼라는 이미지를 N*M 영역으로 나눈 후 각 영역별로 대표 칼라를 표현한 칼라 정보로서, 만일 영역에 대표할만한 칼라가 존재하지 않을 경우에는 'Undefined' 로 정의된다. The local representative color is color information representing a representative color for each area after dividing an image into N * M areas, and is defined as 'Undefined' if there is no representative color in the area.
또한, 유사도 측정 시에는 같은 위치의 영역의 대표칼라끼리 비교하게 되는데, 이와 같이 지역 대표 칼라를 이용한 유사도 측정은 칼라 자체 이외에 같은 영역이어야 된다는 제한조건이 더 포함된다. In addition, when the similarity is measured, the representative colors of the areas of the same location are compared with each other. As described above, the similarity measurement using the local representative color further includes a constraint that the same area is used in addition to the color itself.
따라서 지역 대표 칼라는 칼라 왜곡이 발생하더라도 'Undefined'로 정의된 영역은 영향을 받지 않고, 또한 같은 칼라라도 다른 영역에서 나타나있을 경우에는 원래부터 매칭이 되지 않으므로 또한 왜곡에 영향을 받지 않는다. Therefore, even if the color distortion occurs, the area defined as 'Undefined' is not affected, and if the same color is displayed in another area, the area is not matched from the original, and thus is not affected by the distortion.
이와 같이, 이러한 정보는 같은 지역에 같은 칼라가 매칭되어야만 유사도가 증가하므로, 칼라가 왜곡되었더라도, 같은 지역이라는 또 다른 정보를 같이 사용하므로 영향 정도가 반감되는 것이다. As such, since the similarity increases only when the same color is matched to the same region, even if the color is distorted, the degree of influence is halved because another information of the same region is used together.
(c1). 칼라는 크게 R,G,B 상대비교 값을 나타내는 색도(Hue), 순색에 얼마나 가까운가를 나타내는 순도(Chroma), 밝기(Brightness)로 표현된다.(c1). The color is largely expressed as Hue representing R, G, and B relative comparison values, Chroma indicating brightness, and brightness.
컴퓨터에서 표현하는 색좌표는 일반적으로 RGB를 사용하지만, 검색시에는 RGB 색좌표가 색좌표 특성상 검색 성능이 떨어지므로 HSV등 색도, 순도, 밝기 등의 의미를 지닌 축으로 구성된 다른 색좌표로 변환하여 사용한다. The color coordinates represented by the computer generally use RGB, but when searching, the RGB color coordinates are inferior in performance due to the characteristics of the color coordinates. Therefore, the color coordinates are converted to other color coordinates composed of axes such as chromaticity, purity, and brightness.
따라서 칼라 왜곡이 발생했을 때 이들 색도, 순도, 밝기가 얼마만큼 변하느냐에 따라서 검색 성능이 많이 차이나게 되는데, 특히 색도 정보는 이들 칼라 요소중 가장 중요한 요소이다. Therefore, when color distortion occurs, the search performance varies greatly depending on how much the chromaticity, purity, and brightness change. In particular, chromaticity information is the most important factor among these color elements.
칼라 왜곡을 일으킨 조명 등의 왜곡 칼라 정보를 정확히 추출할 수만 있다면 왜곡된 이미지에서 추출된 왜곡 칼라 정보를 제하기만 하면 정확한 원래의 칼라로 복원할 수 있지만, 일반적으로 왜곡 칼라 정보를 색도, 순도, 밝기 모두 정확히 추출하기란 매우 어렵다. If you can accurately extract the distortion color information such as the lighting that caused the color distortion, you can restore the correct original color simply by subtracting the distortion color information extracted from the distorted image. It is very difficult to extract all the brightness accurately.
따라서 본 발명에서는 왜곡 칼라 정보의 색도를 추출하는 방법을 제시하고 이의 강도를 추출하고자 한다.Therefore, the present invention proposes a method of extracting chromaticity of distortion color information and extracts its intensity.
왜곡 칼라의 색도 정보만을 이용할 경우에는 왜곡 칼라의 순도와 밝기는 모두 일정한 상수로 가정한다. 이와 같이 특정 색도를 가지는 왜곡 칼라에 의해 원래의 칼라가 왜곡될 때에는 다음과 같은 왜곡 민감도의 특징이 있다.When only chromaticity information of a distortion color is used, both purity and brightness of the distortion color are assumed to be constants. Thus, when the original color is distorted by the distortion color having a specific chromaticity, the following distortion sensitivity is characterized.
같은 칼라 특징소라도 칼라의 순도에 따라 색도의 왜곡 민감도가 달라진다.Even with the same color feature, the distortion sensitivity of the chromaticity varies depending on the purity of the color.
즉, 순도가 낮을수록 칼라 왜곡에 의한 색도의 변형 정도는 매우 커진다. 이를 증명하기에 앞서 이들 각 요소를 계산하는 식을 살펴보면 다음과 같다.In other words, the lower the purity, the greater the degree of deformation of the chromaticity due to color distortion. Before we prove this, let's look at the equation for calculating each of these elements.
max = MAX(R,G,B)max = MAX (R, G, B)
min = MIN(R,G,B)min = MIN (R, G, B)
색도 (Hue = H) :Chromaticity (Hue = H):
if(max == min) H is not definedif (max == min) H is not defined
elseelse
{{
if(R==max)H=((double)(G-B)/(double)(max-min));       if (R == max) H = ((double) (G-B) / (double) (max-min));
else       else
{{
if(G==max) H=(2.0+(double)(B-R)/(double)(max-min));if (G == max) H = (2.0+ (double) (B-R) / (double) (max-min));
elseelse
{{
if(B==max) H=(4.0+(double)(R-G)/(double)(max-min));if (B == max) H = (4.0+ (double) (R-G) / (double) (max-min));
}}
}}
H*=60;H * = 60;
if(H<0.0) H+=360;if (H <0.0) H + = 360;
}}
순도 (chroma)Purity (chroma)
chroma = max min;chroma = max min;
밝기 (brightness)Brightness
Brightness = (max + min)/2 Brightness = (max + min) / 2
상기 식을 이용하여 특정 칼라 왜곡 정보가 영향을 미쳤다고 가정하고, 각 요소별로 영향 정도를 계산해 보면, 먼저 다음 빨간색의 칼라 왜곡 정보가 다음 영 역들에게 영향을 미쳤다고 가정할 경우, Using the above equation, it is assumed that specific color distortion information has influenced, and when calculating the degree of influence for each element, if it is assumed that the next red color distortion information has influenced the following areas,
칼라 왜곡 정보 RGB(50, 0, 0)Color Distortion Information RGB (50, 0, 0)
색도 (0), 순도 (50), 밝기 (25)Chromaticity (0), Purity (50), Brightness (25)
칼라 영역 1 : RGB (0, 0, 0)Color area 1: RGB (0, 0, 0)
색도 (무색), 순도 (0), 밝기 (0)Chromaticity (Colorless), Purity (0), Brightness (0)
칼라 영역 2 : RGB (200,200, 200)Color area 2: RGB (200, 200, 200)
색도 (무색), 순도 (0), 밝기 (200)Chromaticity (Colorless), Purity (0), Brightness (200)
칼라 영역 3 : RGB (150, 100, 100)Color area 3: RGB (150, 100, 100)
색도 (0), 순도 (50), 밝기 (125)Chromaticity (0), Purity (50), Brightness (125)
칼라 영역 4 : RGB (100, 100, 150)Color area 4: RGB (100, 100, 150)
색도 (240), 순도 (50), 밝기 (125)Chromaticity (240), Purity (50), Brightness (125)
각 칼라 영역이 칼라 왜곡 정보에 의해 영향 받은 이후의 변형된 칼라는 다음과 같으며 이들의 색도, 순도, 밝기를 살펴보면 다음과 같다.The deformed colors after each color area is affected by the color distortion information are as follows and their chromaticity, purity, and brightness are as follows.
칼라 영역 1 : RGB (50, 0, 0) Color area 1: RGB (50, 0, 0)
색도 (0), 순도 (50), 밝기 (25)Chromaticity (0), Purity (50), Brightness (25)
칼라 영역 2 : RGB (250,200, 200)Color area 2: RGB (250, 200, 200)
색도 (0), 순도 (50), 밝기 (225) Chromaticity (0), Purity (50), Brightness (225)
칼라 영역 3 : RGB (200, 100, 100)Color area 3: RGB (200, 100, 100)
색도 (0), 순도 (100), 밝기 (150)Chromaticity (0), Purity (100), Brightness (150)
칼라 영역 4 : RGB (150, 100, 150)Color area 4: RGB (150, 100, 150)
색도 (300), 순도 (50), 밝기 (125)Chromaticity (300), Purity (50), Brightness (125)
칼라 영역 1과 2에서 알 수 있듯이 같은 순도를 지닌 영역일 때, 색도와 밝기, 순도의 변화는 밝기와 관계없이 일정하다. As can be seen in the color areas 1 and 2, when the area has the same purity, the change of chromaticity, brightness, and purity is constant regardless of the brightness.
즉, 칼라 영역1과 2는 같은 순도(0)이지만 밝기가 다르다. 하지만 칼라 왜곡 이후 색도, 순도, 밝기의 변화 정도는 두 영역이 모두 일치했다. 여기서 중요한 것은 색도의 변화이다. That is, the color regions 1 and 2 have the same purity (0) but different brightness. However, after color distortion, the degree of change in chromaticity, purity, and brightness matched both areas. The key here is the change in chromaticity.
색도는 이미지 검색 중에서 가장 중요한 요소로서, 칼라 왜곡에 의해 변형되었을 때 가장 큰 영향을 줄 수 있다. 낮은 순도를 지닌 칼라 영역 1과 2는 칼라 왜곡 정보가 지닌 색도 정보를 바로 반영하였다. Chromaticity is the most important factor in image retrieval and can have the greatest effect when deformed by color distortion. The low purity color regions 1 and 2 directly reflected the chromaticity information of the color distortion information.
즉, 빨간색 조명이 왔을 때 색도는 바로 빨간색으로 변형되었다. 이는 어두운 색이나 밝은 색이나 상관없이 낮은 순도 영역에서 발생하는 현상이다. 게다가 아주 미세한 빨간색 조명이 오더라도 아주 낮은 순도 영역은 바로 빨간색으로 색도가 변형된다. That is, when the red light came on, the chromaticity immediately changed to red. This occurs in low purity areas, whether dark or light. What's more, even the tiniest red light comes, the very low purity areas turn red immediately.
이는 RGB 각 요소를 이용하여 색도를 구하는 식을 살펴보면 쉽게 알 수 있다. 색도란 RGB 요소의 상대적 비율에 의해 결정되는데, 순도가 낮을수록 각 요소의 포함률이 낮으므로, 칼라 왜곡 정보에 의해 새로운 RGB 요소가 포함될 때. 각 요소의 상대적 비율이 쉽게 바뀔 수 있기 때문이다. This can be easily seen by looking at the equation for obtaining chromaticity using each element of RGB. Chromaticity is determined by the relative proportions of RGB elements. The lower the purity, the lower the coverage of each element, so that when new RGB elements are included by color distortion information. This is because the relative proportions of each element can be easily changed.
이에 반해서, 앞의 예에서 알 수 있듯이 상대적으로 높은 순도를 지닌 영역(칼라 영역 3,4)은 원래의 색도에 따라 색도 변화 정도가 다 다름을 알 수 있다.On the contrary, as shown in the previous example, it can be seen that the areas of relatively high purity (color areas 3 and 4) vary in degree of chromaticity depending on the original chromaticity.
(d1). 위 예를 통해 알 수 있는 또 다른 특징은 색도에 따라서 색도 왜곡 정도가 다르다는 것이다. (d1). Another feature that can be seen from the above example is that the degree of chromaticity distortion varies depending on the chromaticity.
위 예에서 칼라 영역 3은 칼라 왜곡 정보와 같은 색도를 지니고 있으므로 색도의 변화가 없었다. 이에 반해 칼라 영역 4는 전혀 다른 푸른색 색도를 지니고 있었으나 칼라 왜곡 정보에 의해 보라색으로 색도 변화가 발생하였다. In the above example, color region 3 has the same chromaticity as color distortion information, so there is no change in chromaticity. On the other hand, color region 4 had a completely different blue chromaticity, but the chromaticity changed to purple due to color distortion information.
즉, 칼라 왜곡 정보가 지닌 색도와 유사한 색도를 지닌 칼라일수록 색도의 왜곡 정도가 적은 것을 알 수 있다.In other words, it can be seen that a color having a chromaticity similar to that of color distortion information has a smaller degree of distortion of chromaticity.
앞서 기술한 왜곡 민감도가 큰 특징 정보일수록 칼라 왜곡 정보가 포함되었을 때, 검색시 좋지 못한 결과를 가져올 수 있다. 따라서 검색 시 이러한 정보는 상대적으로 낮은 가중치를 사용하여 검색하는 것이 좋은 결과를 가져올 수 있다. 상기 기술한 왜곡 민감도 특성을 사용하여 특징 정보의 가중치를 설정하는 방법은 다음과 같이 네가지로 고려된다.As the feature information having the above-mentioned distortion sensitivity is larger, when the color distortion information is included, it may have a bad result when searching. Therefore, this information can be searched with a relatively low weight. The method for setting the weight of the feature information using the distortion sensitivity characteristic described above is considered as follows.
(a2). 왜곡 민감도에 따른 특징소의 가중치 보정 : 왜곡 민감도에 따라 검색에 사용하는 특징소들의 가중치를 조정하는 것으로, 이는 다음과 같이 두 가지로 세분화 된다.(a2). Weight correction of features according to distortion sensitivity: Adjusts the weights of the features used in the search according to the distortion sensitivity, which are divided into two parts as follows.
첫째, 왜곡 민감도에 따른 특징소 군의 가중치 보정 : 검색에 사용되는 특징 소들을 칼라 관련 특징소 그룹과 기타 그룹으로 구분하여, 칼라 왜곡 정보가 포함되었을 때, 칼라 관련 특징소 그룹은 상대적으로 낮은 가중치로 설정하는 것이다.First, weight correction of a feature group according to distortion sensitivity: The feature group used in the search is classified into color-related feature groups and other groups, and when the color distortion information is included, the color-related feature group has a relatively low weight. Is set to.
이때 가중치의 조정 정도는 칼라 왜곡 정보의 강도에 따라 다르게 설정한다.At this time, the degree of adjustment of the weight is set differently according to the strength of the color distortion information.
즉, 강도가 클수록 고정 정도도 이에 비례하여 설정한다. 칼라 왜곡 정보의 강도를 구하는 방법은 이후에 설명하기로 한다.In other words, the greater the strength, the greater the degree of fixation. A method of obtaining the intensity of the color distortion information will be described later.
둘째, 왜곡 민감도에 따른 칼라 정보의 가중치 보정 : 검색에 사용되는 칼라 관련 특징소들 중 상대적으로 왜곡 민감도가 큰 특징소의 가중치를 다른 특징소의 가중치에 비해 낮게 설정하는 것이다. Second, weight correction of color information according to distortion sensitivity: The weight of a feature having a relatively high distortion sensitivity among color-related features used for searching is set lower than that of other features.
즉, 같은 칼라 관련 특징소 그룹일경우에도 왜곡 민감도에 따라 각 칼라 관련 특징소의 가중치를 달리 설정하고자 하는 것이다.That is, even in the same color-related feature group, the weight of each color-related feature is set differently according to the distortion sensitivity.
이후 본 발명의 예에서는 칼라 관련 특징소로서 칼라 히스토그램과 지역 대표 칼라를 사용하였는데, 칼라 히스토그램의 왜곡 민감도가 지역 대표 칼라의 왜곡 민감도보다 크므로 칼라 히스토그램을 상대적으로 낮은 가중치를 설정한다. In the following example, the color histogram and the local representative color are used as color-related features. Since the distortion sensitivity of the color histogram is greater than the distortion sensitivity of the local representative color, a relatively low weight is set for the color histogram.
(b2). 왜곡 민감도에 따른 칼라 요소의 가중치 보정 : 칼라 요소별로 칼라 왜곡 정보에 의해 색도가 변형되는 왜곡 민감도에 따라 그 가중치를 다르게 설정하는 것이다. 이는 다음과 같이 두 가지로 세분화된다.(b2). Weight correction of color elements according to distortion sensitivity: The weight is set differently according to the distortion sensitivity at which chromaticity is transformed by color distortion information for each color element. It is divided into two parts as follows.
첫째, 순도에 따른 칼라 요소의 가중치 보정 : 칼라 관련 특징소에서 사용되는 칼라 요소들 중 상대적으로 낮은 순도를 지닌 칼라 요소가 높은 순도를 지닌 칼라 요소보다 왜곡 민감도가 크므로 낮은 가중치를 설정하는 것이다. First, weight weight correction of color elements according to purity: Among the color elements used in the color-related features, the lower weight is set because the color element having relatively lower purity is more sensitive to distortion than the color element having higher purity.
둘째, 색도에 따른 칼라 요소의 가중치 보정 : 칼라 왜곡 정보와 유사한 색도를 지닌 칼라 영역은 색도의 변화가 거의 없으나, 그렇지 않은 칼라 영역의 색도 변화는 상대적으로 크게 나타났다. Second, weight correction of color elements according to chromaticity: In the color region with chromaticity similar to the color distortion information, there is almost no change in chromaticity, but the chromaticity change in color region that is not is relatively large.
즉, 칼라 왜곡 정보의 색도와 다른 색도를 지닌 칼라 영역일수록 색도의 왜곡 정도는 크므로, 칼라 왜곡 정보의 색도와 다른 색도를 지닌 칼라 요소일수록 낮은 가중치를 설정한다.That is, since a color region having a chromaticity different from that of the color distortion information is larger in chromaticity distortion, a lower weight is set for a color element having a chromaticity different from that of the color distortion information.
이와 같이, 세분화된 네 가지 유형의 가중치 보정은 칼라 왜곡의 강도(intensity)에 비례하여 적용한다. 즉 칼라 왜곡의 강도가 크면 가중치 보정 정도는 더욱 크게 설정한다. 이와 같은 개념을 이용하여 가중치 보정을 식으로 표현하면 다음과 같다.As such, the four types of refined weighting corrections are applied in proportion to the intensity of the color distortion. In other words, if the intensity of color distortion is large, the weight correction degree is set larger. Using this concept, the weight correction is expressed as follows.
new_Weight=original_Weight+((average_Sensibility-Sensibility(i))×Intensity))new_Weight = original_Weight + ((average_Sensibility-Sensibility (i)) × Intensity))
; new_Weight : 가중치 보상에 의해 갱신된 새로운 가중치; new_Weight: new weight updated by weight compensation
original_Weight : 원래의 가중치   original_Weight: original weight
average_Sensibility : 모든 특징소들의 평균 왜곡 민감도  average_Sensibility: average distortion sensitivity of all features
Sensibility(i) : i번째 특징소의 왜곡 민감도  Sensibility (i): Distortion Sensitivity of the i th Feature
Intensity : 칼라 왜곡 정보의 강도  Intensity: intensity of color distortion information
상기 식은 특징소의 가중치 보정을 예로 하였는데 특징소 요소의 가중치 보정도 같은 방법으로 행할 수 있다.In the above formula, the weight correction of the feature is taken as an example, and the weight correction of the feature element can be performed in the same manner.
이와 같이 칼라 왜곡의 강도에 비례한 가중치 보정을 위해서는 칼라 왜곡의 강도를 자동으로 추출할 수 있어야 하는데 칼라 왜곡의 강도는 칼라 왜곡 정보를 추출하면서 같이 추출될 수 있다. As described above, in order to correct the weight proportional to the intensity of the color distortion, the intensity of the color distortion should be automatically extracted. The intensity of the color distortion may be extracted together while extracting the color distortion information.
다음은 칼라 왜곡 정보를 추출하는 방법을 기술하고 있다. The following describes a method of extracting color distortion information.
(a3). 이미지를 N*M 개의 부분 영역으로 분할하고, (a3). Split the image into N * M subregions,
(b3). 분할된 모든 영역에 대해 각 영역별로 순도가 일정 임계치 이하인 픽셀들의 평균 색도(HUE) 값과 평균 색도 값에 참여한 픽셀의 색도값에 대한 분산을 구한 후, (b3). After calculating the variance of the average chromaticity (HUE) value of pixels whose purity is below a certain threshold for each divided region and the chromaticity values of pixels participating in the average chromaticity value,
(c3). 분산이 일정 임계치 이하를 만족하는 영역만을 대상으로 각 영역에서 구해진 평균 색도값들을 재평균하고 재 평균에 참여한 평균 색도값들의 분산을 구하여, (c3). By re-averaging the average chromaticity values obtained in each region only in the region where the variance satisfies the predetermined threshold or less, and obtaining the variance of the average chromaticity values participating in the re-average,
(d3). 상기에서 색도값 재평균에 참여한, 분산이 일정 임계치 이하를 만족하는 영역들이 이미지 전체에서 차지하는 비율을 칼라 왜곡의 강도로 지정하고, 재평균된 평균 색도값들을 칼라 왜곡 정보의 색도 값으로 지정한다. (d3). In the above, the proportion of the areas of the entire image that the variance is less than a certain threshold, participating in the chromatic value re-average is designated as the intensity of the color distortion, and the re-averaged average chromaticity values are designated as the chromaticity value of the color distortion information.
이와 같은 방법으로, 칼라 왜곡 정보의 색도 값과 강도를 추출할 수 있으며, 이들 값을 이용하여 상기에서 설명한 (a2),(b2)의 네 가지 유형의 가중치 보정을 수행할 수 있다.In this manner, chromaticity values and intensities of the color distortion information can be extracted, and the four types of weight corrections (a2) and (b2) described above can be performed using these values.
앞서 설명한 모든 방법은 특징소, 또는 특징소 요소의 왜곡 민감도를 기준으로 가중치를 보정하고 있는데 왜곡 민감도는 멀티미디어 데이터의 표본집단으로부터 다음과 같은 방법으로 구해질 수 있다.All the above-described methods correct weights based on the distortion sensitivity of a feature or a feature element, and the distortion sensitivity can be obtained from the sample group of the multimedia data in the following manner.
(a4). 칼라 왜곡이 일어나지 않은 데이터 표본 집단과, (a4). The data sample population without color distortion,
(b4). 칼라 왜곡이 일어난 데이터의 표본 집단을 준비하여, (b4). By preparing a sample of data in which color distortion has occurred,
(c4). 서로 다른 표본집단에 속해있는 같은 데이터에 대해, 해당 특징소 또는 특징 요소를 기준으로 유사도를 측정하고, (c4). For the same data in different sample groups, measure similarity based on that feature or feature element,
(d4). 측정된 유사도들을 평균하여, (d4). Averaging the measured similarities,
(e4). 평균 유사도에 반 비례하게 왜곡 민감도를 설정하도록 한다.(e4). Set the distortion sensitivity in inverse proportion to the average similarity.
이와 같이 설명되는 본 발명에 대한 특징과 개념들을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. When described in detail with reference to the accompanying drawings, features and concepts for the present invention described as follows.
도 1a 및 도 1b는 원래의 영상과 특정 조명에 의해서 변형된 영상에서 추출된 두개의 칼라 특징 정보를 비교하기 위한 히스토그램을 나타낸 것으로, 도 1a는 칼라 히스토그램이며, 도 1b는 텍스쳐 히스토그램을 나타낸 것이다. 1A and 1B show a histogram for comparing two color feature information extracted from an original image and an image modified by a specific illumination. FIG. 1A is a color histogram, and FIG. 1B shows a texture histogram.
두개의 그래프로부터 원래의 칼라 영상 정보가 조명에 의해 영향을 받아 왜곡된 것을 알 수 있다. From the two graphs, it can be seen that the original color image information is affected by illumination and distorted.
도 1a에서 보면 조명과 같은 분위기 칼라에 의해 칼라 정보가 오른쪽 쉬프트(sfift)된 즉, 왜곡된 것을 볼 수 있으며, 따라서 앞서 설명한 바와 같이 검색 성능을 저하시킨다. In FIG. 1A, it can be seen that the color information is shifted to the right due to an atmosphere color such as illumination, that is, distorted, thus deteriorating search performance as described above.
이와 같이 분위기 칼라에 의해 멀티미디어의 칼라가 왜곡되었을 때에는 칼라 정보에 대한 신뢰성이 떨어지므로 칼라 이외의 정보를 보다 중요한 정보로서 고려하여야 좋은 검색 결과를 얻을 수 있다. In this way, when the color of the multimedia is distorted by the atmosphere color, the reliability of the color information is deteriorated. Therefore, a good search result can be obtained by considering information other than the color as more important information.
도 1b는 원래의 영상과 같은 조명에 의해서 변형된 영상에서 추출된 두개의 텍스트 정보를 비교해 준다. 두개의 그래프로부터 칼라 정보와는 달리 텍스트 정보 는 조명에 의해 크게 변형되지 않았음을 알 수 있다. FIG. 1B compares two pieces of text information extracted from an image modified by the same illumination as the original image. Unlike the color information from the two graphs, it can be seen that the text information is not significantly modified by the illumination.
이것은 칼라 정보의 경우 조명에 의해 칼라 자체가 변형되지만, 텍스트는 칼라가 변형돼도 상대적인 칼라의 차이에 대한 패턴 정보만을 포함하므로 조명에 의해 변형되지 않기 때문이다. This is because, in the case of color information, the color itself is deformed by the illumination, but the text is not deformed by the illumination because the color includes only the pattern information about the difference of the relative color.
이와 같이 칼라 이외의 정보는 분위기 칼라에 의해 크게 왜곡되지 않으므로, 분위기 칼라에 의해 왜곡된 멀티미디어의 검색시 칼라 정보에 비해 상대적으로 텍스트와 같은 정보를 보다 중요한 정보로서 고려할 경우 좋은 검색 결과를 얻을 수 있다. Since the information other than the color is not greatly distorted by the atmosphere color, when searching for multimedia distorted by the atmosphere color, when the information such as text is considered more important than the color information, a good search result can be obtained. .
다시 말하면 조명에 의해 칼라가 심하게 변형되었을 때에는 텍스트 등 조명에 영향 받지 않는 정보를 좀 더 신뢰할 수 있으므로 그러한 정보에 보다 많은 가중치를 주어 검색하는 것이 검색 성능을 높일 수 있다. In other words, when the color is severely deformed by lighting, information that is not affected by lighting, such as text, is more reliable, so that searching by giving more weight to such information can improve search performance.
도 2는 본 발명 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색방법의 실행수순을 나타낸 플로우챠트이다.2 is a flowchart illustrating an execution procedure of a content-based multimedia retrieval method using the present invention color distortion information.
본 예에서는 이미지 검색을 예로 하여 설명한다.In this example, an image search will be described as an example.
먼저 참조 이미지의 칼라 왜곡 정보를 추출하게 된다.First, color distortion information of a reference image is extracted.
칼라 왜곡 정보는 검색 과정에서 추출될 수도 있으나 칼라 히스토그램과 같은 다른 특징소의 추출과정과 함께 추출되어 질 수 있다. The color distortion information may be extracted during the retrieval process but may be extracted together with the extraction process of other features such as a color histogram.
이와 같이 특징소 추출 과정에서 칼라 왜곡 정보가 추출될 경우, 이 정보는 다른 특징소와 함께 멀티미디어 묘사 정보로서 기록된 후 검색시 사용된다. When color distortion information is extracted in the feature extraction process as described above, this information is recorded together with other features as multimedia description information and used for retrieval.
다음 참조 이미지와 비교할 대상 이미지를 선택한다. 대상 이미지는 일반적 으로 시스템이 대상 데이터 베이스에서 자동으로 설정한다. 대상 이미지가 선택되면 대상 이미지의 칼라 왜곡 정보를 추출한다.Select the target image to compare with the next reference image. The target image is usually set up automatically by the system in the target database. When the target image is selected, color distortion information of the target image is extracted.
이후, 참조 이미지와 대상 이미지의 칼라 왜곡 정보를 사용하여 검색에 사용될 특징소 간의 가중치를 조절한다. Then, the weight between the feature to be used for the search is adjusted using the color distortion information of the reference image and the target image.
이때 참조 이미지의 칼라 왜곡 정보만으로 가중치를 설정할 수도 있고 참조 이미지와 대상 이미지의 칼라 왜곡 정보를 모두 고려하여 가중치를 설정할 수도 있다.At this time, the weight may be set only by the color distortion information of the reference image, or the weight may be set in consideration of both the color distortion information of the reference image and the target image.
본 예에서는 참조이미지의 칼라 왜곡 정보만을 이용하여 가중치를 설정하는 것을 예로 하였다. In this example, the weight is set using only the color distortion information of the reference image.
특징소 간의 가중치는 칼라 왜곡 정도가 심할수록 칼라 이외의 특징소에 보다 많은 가중치를 할당한다.As the weights between the features become more severe, the more weights are assigned to the features other than the colors.
즉, 왜곡 민감도에 따른 특징소 군의 가중치를 보정하고자 하는 것으로, 가중치가 할당되면 할당된 가중치를 적용하여 대상 이미지와 참조 이미지간의 유사도를 측정한다. That is, the weight of the feature group according to the distortion sensitivity is corrected. When the weight is assigned, the similarity between the target image and the reference image is measured by applying the assigned weight.
가중치를 이용한 두 이미지의 유사도 측정은 다음의 수학식 1과 같이 행할 수 있다. The similarity measurement of the two images using the weight may be performed as in Equation 1 below.
Figure 112000004812986-pat00001
Figure 112000004812986-pat00001
sim(i) : i번째 특징소를 이용한 유사도sim (i): Similarity using the i th feature
Wi : i번째 특징소의 가중치Wi: weight of i th feature
Vr(i) : 참조이미지의 i번째 특징소 값(벡터)Vr (i): i-th feature value (vector) of the reference image
Vt(i) : 대상이미지의 i번째 특징소 값(벡터) Vt (i): i-th feature value (vector) of the target image
유사도 측정이 끝나면 다음 대상 이미지를 선택한다. After measuring the similarity, select the next target image.
이러한 과정을 반복하여 모든 이미지에 대해 본 과정이 끝나면 정렬 단계로 들어간다. Repeat this process for all the images, and when the process is over, you enter the alignment step.
정렬 단계에서는 측정된 유사도를 기준으로 유사도가 가장 높은 순서로 대상 이미지들을 나열한다. 이로서 이미지 검색을 완료한다.In the sorting step, the target images are listed in the order of highest similarity based on the measured similarity. This completes the image search.
이와 같이 이미지 검색을 실행하게 된다. In this way, image search is performed.
상기 도 2에서 설명한 바와 같이, 특징소에 따른 가중치 보정은 해당 특징소가 칼라 왜곡 정보에 의해 얼마나 많이 왜곡되느냐에 따라 가중치를 설정하는 왜곡 민감도에 따른 특징소의 가중치 보정을 수행하는 것이다. As described above with reference to FIG. 2, weight correction according to a feature is to perform weight correction of a feature according to a distortion sensitivity that sets a weight depending on how much the feature is distorted by the color distortion information.
이와 같이 왜곡 민감도에 따른 가중치 보정은 다음 두가지의 경우가 있다. 첫번째는 상기 도 2에서 설명한 특징소 군의 가중치 조정이다. Thus, there are two cases of weight correction according to the distortion sensitivity. The first is weight adjustment of the feature group described with reference to FIG. 2.
즉, 칼라와 관련된 특징소, 텍스쳐와 관련된 특징소 등 각 특징소가 나타내는 정보의 종류에 따라 특징소의 그룹을 나누고, 각 그룹 단위로 왜곡 민감도가 큰 특징소 그룹의 가중치를 상대적으로 낮게 설정하는 것이다. That is, groups of features are divided according to the type of information represented by each feature, such as a feature related to color and a feature related to texture, and the weight of a feature group having a high distortion sensitivity in each group unit is set relatively low. .
대부분의 경우 칼라와 관련된 특징소들은 왜곡 민감도가 크므로 칼라 왜곡 정보가 포함될 경우 상대적으로 낮은 가중치를 갖게 된다. In most cases, color-related features have high distortion sensitivity, so that color distortion information has a relatively low weight.
두번째는 같은 칼라 관련 특징소 그룹안에 속한 특징소라도 왜곡 민감도를 각각 다르게 보고 이에 따라 좀 더 세부적으로 가중치를 결정하는 왜곡 민감도에 따른 칼라 정보의 가중치 보정이다. The second is weight correction of color information according to distortion sensitivity that sees distortion sensitivity differently and decides weight in detail even if the components belong to the same color related feature group.
본 발명에서 소개하는 실시예에서는 칼라 히스토그램 정보와 지역 대표 칼라 정보를 사용하고 있는데, 이 경우 칼라 히스토그램 정보가 지역 대표 칼라 정보에 비해 좀 더 큰 왜곡 민감도를 나타낸다.In the embodiment introduced in the present invention, color histogram information and local representative color information are used. In this case, the color histogram information shows more distortion sensitivity than the local representative color information.
도 3a, 도 3b는 이를 나타낸 것으로, 가로축의 Recall은 검색으로 보여준 이미지를 얼마나 많이 찾아내는 가를 나타낸 것이고, 세로축의 Precision은 보여준 이미지중 얼마나 정확한 이미지가 포함되어있는 가를 나타내는 것이다.3A and 3B illustrate this, Recall on the horizontal axis shows how many images are shown by a search, and Precision on the vertical axis shows how accurate an image is shown.
도 3a에 나타낸 바와 같은, 칼라 히스토그램이란 이미지의 픽셀들에서 나타난 칼라의 분포를 보여주는 정보이며, 도 3b에 나타나는 지역 대표 칼라 정보란 이미지를 M*N 개의 영역으로 나눈 뒤 각 영역에서 해당 영역을 대표할 수 있는 대표 칼라 한 값으로 표현한 것을 의미한다. As shown in FIG. 3A, a color histogram is information showing color distribution in pixels of an image, and region representative color information shown in FIG. 3B is a region represented by each region after dividing an image into M * N regions. It is represented by one representative color value.
즉, 이미지마다 M*N 개의 대표 칼라값으로 이루어진 특징소가 된다. That is, it becomes a feature consisting of M * N representative color values for each image.
도 3a와 도 3b는 각각의 특징소를 사용하여 검색할 때, 칼라 왜곡 정보에 의한 성능 저하를 보여준다. 3A and 3B show performance degradation due to color distortion information when searching using respective features.
도 3a에서 나타나듯이 칼라 히스토그램 사용시 칼라 왜곡 정보에 의한 검색 성능 저하가 지역 대표 칼라 정보를 사용하는 것보다 크므로 왜곡 민감도가 크다고 할 수 있다. As shown in FIG. 3A, when the color histogram is used, the degradation of the search performance due to the color distortion information is greater than that of the region representative color information.
따라서 칼라 왜곡 정보가 포함될 경우 칼라 히스토그램보다 지역 대표 칼라 정보에 상대적으로 큰 가중치를 부여하여 검색함으로써 검색 성능을 높일 수 있다.Therefore, when the color distortion information is included, the search performance can be improved by giving a relatively large weight to the local representative color information than the color histogram.
본 시스템의 실시예에서는 특징소로서 칼라 히스토그램, 지역 대표 칼라, 텍스쳐 히스토그램, 지역 대표 텍스쳐 정보를 사용하였는데, 칼라 왜곡이 발생하였을 때 조정된 특징소 가중치의 관계는 다음과 같다.In the embodiment of the system, the color histogram, the local representative color, the texture histogram, and the local representative texture information are used as the feature. The relationship between the feature weights adjusted when the color distortion occurs is as follows.
[특징소 가중치 관계][Feature Weighting Relationship]
텍스쳐 히스토그램 = 지역 대표 텍스쳐 > 지역 대표 칼라 > 칼라 히스토그램Texture Histogram = Regional Representative Texture> Regional Representative Color> Color Histogram
도 4는 칼라 왜곡 정보를 추출하는 방법의 실행과정을 나타낸 플로우챠트이다.4 is a flowchart illustrating an execution process of a method of extracting color distortion information.
이미지를 N*M개의 지역 영역으로 분할한 후, 분할된 모든 지역 영역에 대해서, 순도(크로마)가 일정 임계치(Th1) 이하인 픽셀들의 Hue를 평균하고, 이 때 평균에 참여한 픽셀의 색도(Hue)의 분산(Var)을 구한다. After dividing an image into N * M regional regions, for all divided regional regions, the Hue of pixels whose purity (chroma) is below a certain threshold Th1 is averaged, and the chromaticity of the pixels participating in the average (Hue) Find the variance of.
이때 계산된 Hue 분산(Var)이 일정 임계치(Th2) 이하이면, 이 평균 Hue를 칼라 왜곡 정보의 후보로서 저장한다. If the calculated Hue variance Var is less than or equal to the predetermined threshold Th2, this average Hue is stored as a candidate for color distortion information.
모든 분할된 지역에 대해 이 과정이 끝나면 저장된 평균 hue들을 다시 재 평균하여 구해진 최종 평균 hue가 칼라 왜곡 정보의 색상이 되고, 이때 칼라 왜곡 정보의 후보로서 저장된 지역 영역의 수가 전체 영역 수에서 차지하는 비율이 칼라 왜곡 정보의 강도가 된다.After this process is completed for all the divided regions, the final average hue obtained by re-averaging the stored average hues becomes the color of the color distortion information, and the ratio of the number of stored region areas as a candidate of the color distortion information to the total number of regions is This is the strength of the color distortion information.
앞서 설명하였듯이 칼라 왜곡 정보 추출 시 칼라 왜곡 정보의 강도( intensity)를 구할 수 있는데 본 발명에서는 칼라 왜곡 정보에 의한 가중치 조절 시 이러한 강도 정보를 반영하여 수행한다. As described above, when the color distortion information is extracted, the intensity of the color distortion information can be obtained. In the present invention, the weight information is adjusted by the color distortion information.
예를 들어 칼라 왜곡 정보가 포함되었을 때 상대적인 특징소 가중치는 다음 식과 같이 특징소의 왜곡 민감도에 반비례하고 가중치 보상 정도는 왜곡 정보의 강도에 비례하게 된다.For example, when the color distortion information is included, the relative feature weights are inversely proportional to the distortion sensitivity of the feature, and the weight compensation degree is proportional to the strength of the distortion information.
도 5는 칼라 왜곡 정보를 기반으로 특징소 가중치를 자동 설정하여 검색했을 경우와 그렇지 않을 경우에 대한 대비를 나타낸 것으로, 칼라 왜곡 정보를 기반으로 특징소 가중치를 자동 설정하여 검색했을 때 왜곡된 이미지를 대상으로 검색한 결과, 본 발명에 의해 검색 성능이 30% 이상 증가되었음을 알 수 있다.FIG. 5 illustrates contrast between when the feature weight is automatically set based on color distortion information and when it is not retrieved. The image is distorted when the feature weight is automatically set based on the color distortion information. As a result of the search, it can be seen that the search performance is increased by 30% or more according to the present invention.
도 6은 멀티미디어 데이터의 칼라 왜곡 정보를 이용한 멀티미디어 검색의 또 다른 예를 나타낸 플로우챠트로서, 6 is a flowchart illustrating still another example of a multimedia search using color distortion information of multimedia data.
멀티미디어의 칼라 정보가 조명등의 영향으로 왜곡될 때 왜곡 정도는 칼라의 순도(크로마)에 따라 다르게 느껴진다. When the color information of multimedia is distorted under the influence of lighting, the degree of distortion is different depending on the purity (chroma) of the color.
예를 들어 순색의 경우 분위기 칼라에 의해 왜곡되더라도 사람이 인지할 수 있는 차이는 미세하나, 흰색과 같은 순도가 적은 색의 경우에는 그 차이가 상대적으로 심하게 느껴진다. For example, in the case of pure color, even if it is distorted by the atmosphere color, the difference that humans can perceive is minute, but in the case of less pure color such as white, the difference is relatively severe.
따라서 이 경우 순도가 낮은 색일수록 왜곡이 심하다고 가정하여 가중치를 낮은 값으로 정하여 검색하면 왜곡에 의한 검색 오류를 줄일 수 있다. Therefore, in this case, the lower the purity, the more severe the distortion, assuming that the weight is set to a low value search can reduce the search error caused by the distortion.
즉, 순도에 따른 칼라 요소의 가중치 보정을 수행하는 것이다. 마찬가지로 색도에 따른 칼라 요소의 가중치 보정을 수행할 수 있다.That is, weight correction of color elements according to purity is performed. Similarly, weight correction of color elements according to chromaticity may be performed.
이와 같이 칼라 요소의 가중치 보정은 일반적으로 칼라 요소간의 차이를 구하여 유사도 측정시 가중치 매트릭스의 곱에 의해 이루어진다. As described above, weight correction of color elements is generally obtained by multiplying the weight matrix by measuring the difference between the color elements.
일반적인 칼라 유사도 측정은 다음과 같이 모두 1값을 갖는 Identity matrix of order I(= Ii) 를 사용한다.A typical color similarity measure uses an identity matrix of order I (= Ii) with all 1s as follows:
Figure 112000004812986-pat00002
Figure 112000004812986-pat00002
반면 가중치가 순도나 색도에 의해 보정이 되었을 때 다음과 같이 가중치 값에 따라 다른 매트릭스를 사용하여 유사도를 측정한다.On the other hand, when the weight is corrected by purity or chromaticity, similarity is measured using a different matrix according to the weight value as follows.
Figure 112000004812986-pat00003
Figure 112000004812986-pat00003
도 7은 이와 같이 칼라 왜곡 정보를 이용한 멀티미디어 검색을 구현하기 위한 이미지 데이터 구조를 나타낸 것으로, 7 illustrates an image data structure for implementing a multimedia search using color distortion information as described above.
본 구성예에서는 멀티미디어 검색을 위한 특징 정보로서 칼라 히스토그램, 지역 대표 칼라 정보, 텍스쳐 히스토그램, 지역 대표 텍스쳐 정보를 사용하였으며, 이들 네개의 특징 정보 외에 칼라 왜곡 정보를 더 포함하고 있다. In this configuration example, color histogram, local representative color information, texture histogram, and local representative texture information are used as feature information for multimedia retrieval. In addition to these four feature information, color distortion information is further included.
상기 칼라 왜곡 정보는 칼라 왜곡에 영향을 준 칼라가 어떤 칼라인지를 나타내는 왜곡 칼라 정보와, 이러한 왜곡 칼라 정보가 얼마만큼 영향을 주는지 강도를 나타내는 왜곡 강도 정보로 이루어져 있다. The color distortion information is composed of distortion color information indicating which color has affected color distortion, and distortion intensity information indicating how much such distortion color information affects.
도 7의 실시예에 제한받지 않고, 칼라 왜곡 정보로서 왜곡 강도 정보나 왜곡 칼라 정보 중 하나만 포함하거나 둘 다 포함할 수 있도록 다양하게 실시할 수 있다.The present invention is not limited to the embodiment of FIG. 7, and may be variously implemented to include only or both of distortion intensity information and distortion color information as color distortion information.
이상에서와 같은 칼라 왜곡정보를 이용하여 그 가중치를 자동 설정하고, 그 가중치를 이용하여 멀티미디어 검색 방법을 적용하게 되면, 조명이나 디바이스 특성상 삽입된 칼라 왜곡 정보에 의해 이미지 칼라 정보가 왜곡 됨으로써 나타나는 검색 성능의 저하를 막을 수 있는 효과를 가지고 있다. When the weight is automatically set by using the color distortion information as described above, and the multimedia search method is applied using the weight, the search performance is indicated by distorting the image color information by the color distortion information inserted due to lighting or device characteristics. It has the effect of preventing the fall of.
특히, 본 발명은 특징소의 가중치를 자동으로 설정할 수 있는 알고리즘을 제시하고 있으므로 검색시 사용자의 노력 없이 효과적인 검색을 수행할 수 있다.In particular, the present invention proposes an algorithm that can automatically set the weight of the feature, it is possible to perform an effective search without the user's effort when searching.
또한, 본 발명은 칼라 정보가 왜곡되었을 때 단순히 칼라 정보를 사용하지 않거나 가중치를 고정적으로 줄이는 것 대신, 같은 칼라 정보라도 그 왜곡 민감도를 계산하여 가장 최적화된 가중치를 설정하므로써, 보다 높은 검색 효과를 가져올 수 있다. In addition, the present invention instead of simply not using color information or fixedly reducing weight when color information is distorted, by calculating the distortion sensitivity of the same color information and setting the most optimized weight, a higher search effect can be obtained. Can be.
또한, 칼라 왜곡 정보의 강도(intensity)를 추출하여 이에 비례한 가중치 조 절을 행함으로써 칼라 왜곡 보상 시 발생할 수 있는 과보상이나 미보상 등의 오류를 막을 수 있다.In addition, by extracting the intensity of the color distortion information and adjusting the weight proportionally, an error such as overcompensation or non-compensation that may occur during color distortion compensation may be prevented.

Claims (15)

  1. 내용 기반 멀티미디어 검색 시스템에 있어서,In the content-based multimedia retrieval system,
    (a) 칼라 왜곡 정보를 추출하는 단계와,(a) extracting color distortion information;
    (b) 상기 (a) 단계에서 추출된 칼라 왜곡 정보를 사용하여 내용 기반 멀티미디어 검색에 사용되는 특징소, 또는 특징소 요소의 가중치를 설정하는 단계와,(b) using the color distortion information extracted in step (a) to set a feature or weight of the feature element used for content-based multimedia retrieval;
    (c) 상기 (b) 단계에서 설정된 가중치를 적용하여 멀티미디어 데이터를 검색하는 과정으로 이루어짐을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법(c) Content-based multimedia retrieval method using color distortion information characterized in that the process of retrieving the multimedia data by applying the weight set in step (b)
  2. 제1항에 있어서,The method of claim 1,
    상기 칼라 왜곡 정보는 칼라 왜곡 강도를 나타내는 값이거나, 칼라 왜곡 정보의 칼라 값 또는 이들 값의 조합으로 이루어지는 정보임을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법. The color distortion information is a value indicating the color distortion intensity, or a color value of the color distortion information, or a combination of these values, the content-based multimedia retrieval method using color distortion information.
  3. 제2항에 있어서,The method of claim 2,
    칼라 왜곡 정보의 칼라 값은 색상(Hue) 정보임을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.The color value of the color distortion information is a content-based multimedia retrieval method using color distortion information, characterized in that the (Hue) information.
  4. 제1항에 있어서,The method of claim 1,
    상기 (b) 단계에서, 칼라 왜곡 정보를 사용한 특징소, 또는 특징소 요소의 가중치 조정은 특징소, 또는 특징소 요소가 갖는 왜곡 민감도 값이 클수록 낮은 가중치를 갖는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.In the step (b), the weight adjustment of the feature or the feature element using the color distortion information has a lower weight as the distortion sensitivity value of the feature or the feature element has a lower weight. Content-based multimedia retrieval method.
  5. 제1항에 있어서,The method of claim 1,
    상기 (b) 단계에서, 칼라 왜곡 정보를 사용한 특징소, 또는 특징소 요소의 가중치 조정은, 칼라 관련 특징소 그룹과 비 칼라 관련 특징소 그룹으로 나누고, 이들 중 칼라 관련 특징소 그룹과 비 칼라 관련 특징소 그룹의 왜곡 민감도를 고려하여 칼라 관련 특징소 그룹의 가중치를 비 칼라 관련 특징소 그룹에 비해 상대적으로 낮게 설정하도록 하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.In step (b), weight adjustment of a feature or a feature element using color distortion information is divided into a color related feature group and a non-color related feature group, and among these, a color related feature group and a non-color related feature. A method for content-based multimedia retrieval using color distortion information, wherein the weight of a color-related feature group is set to be relatively low compared to a non-color-related feature group in consideration of the distortion sensitivity of the feature group.
  6. 제5항에 있어서,The method of claim 5,
    상기 칼라 관련 특징소 그룹은 칼라 히스토그램과 지역 대표 칼라 정보이며, 상기 비 칼라 관련 특징소 그룹은 텍스쳐나 모양 정보임을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.The color-related feature group is color histogram and local representative color information, and the non-color related feature group is texture or shape information.
  7. 제5항에 있어서,The method of claim 5,
    상기 칼라 왜곡 정보를 사용한 가중치 조정은, 검색에 사용되는 칼라 관련 특징소들 중 상대적으로 왜곡 민감도가 큰 특징소의 가중치를 다른 특징소의 가중치에 비해 낮게 설정하는 것을 특징으로 하며,The weight adjustment using the color distortion information is characterized in that the weight of the feature having a relatively high distortion sensitivity among the color-related features used for the search is set lower than the weight of the other features,
    이때의 왜곡 민감도는 칼라 관련 특징소가 칼라 정보 자체에 의존하는 정도에 비례하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.The distortion sensitivity at this time is a content-based multimedia retrieval method using color distortion information, characterized in that the color-related features are proportional to the degree of dependence on the color information itself.
  8. 제5항에 있어서,The method of claim 5,
    상기 칼라 관련 특징소로서 칼라 히스토그램과 지역 대표 칼라를 사용하고, 칼라 히스토그램의 왜곡 민감도가 지역 대표 칼라의 왜곡 민감도보다 크다고 설정하여, 칼라 히스토그램을 지역대표 칼라 보다 상대적으로 낮은 가중치를 설정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.A color histogram and a local representative color are used as the color related features, and the distortion sensitivity of the color histogram is set to be greater than the distortion sensitivity of the local representative color, and the color histogram is set to have a lower weight than the local representative color. Content-based multimedia retrieval method using color distortion information.
  9. 제4항 또는 제5항에 있어서,The method according to claim 4 or 5,
    상기 칼라 왜곡 정보를 사용한 가중치 조정은, 칼라 관련 특징소에서 사용되는 칼라 요소들 중 상대적으로 낮은 순도를 지닌 칼라 요소가, 높은 순도를 지닌 칼라 요소보다 왜곡 민감도가 커지게 됨을 감안하여 낮은 순도를 지닌 칼라요소일수록 낮은 가중치로 설정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.The weight adjustment using the color distortion information has a low purity in consideration of the fact that a color element having a relatively low purity among color elements used in a color related feature has a higher distortion sensitivity than a color element having a high purity. Content-based multimedia retrieval method using color distortion information, characterized in that the lower the weight is set to the color element.
  10. 제4항 또는 제5항에 있어서,The method according to claim 4 or 5,
    상기 칼라 왜곡 정보를 사용한 가중치 조정은, 칼라 관련 특징소에서 사용되는 칼라 요소들 중 칼라 왜곡 정보의 색도와 다른 색도를 지닌 칼라 영역일수록 색도의 왜곡 정도가 커지게 됨을 감안하여, 칼라 왜곡 정보의 색도와 다른 색도를 지닌 칼라 요소일수록 낮은 가중치로 설정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법. In the weight adjustment using the color distortion information, the chromaticity of the color distortion information is increased as a color region having a chromaticity different from the chromaticity of the color distortion information among color elements used in the color related feature increases. Content-based multimedia retrieval method using color distortion information characterized in that the lower the weight is set to the color element having a different chromaticity.
  11. 제4항 또는 제5항에 있어서,The method according to claim 4 or 5,
    상기 특징소 또는 특징소 요소의 왜곡 민감도는 칼라 왜곡 정보가 포함된 데이터와 포함되어 있지 않은 데이터를 대상으로 해당 특징소, 또는 특징소 요소별로 그 값을 비교한 후 그 평균 변형 정도에 비례하여 결정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.The distortion sensitivity of the feature or element is determined in proportion to the average degree of deformation after comparing the value of each feature or feature element with data including color distortion information and data not included therein. Content-based multimedia retrieval method using color distortion information characterized in that.
  12. 칼라 왜곡 정보를 이용하여 내용 기반 멀티미디어 검색방법을 구현하고자 함에 있어서,In order to implement a content-based multimedia retrieval method using color distortion information,
    (a) 이미지를 N*M 개의 부분 영역으로 분할하는 단계와,(a) dividing the image into N * M subregions,
    (b) 상기 (a) 단계에서 분할된 모든 이미지 영역에 대해 각 영역별로 순도가 일정 임계치 이하인 픽셀들의 평균 색도(HUE) 값과 평균 색도 값에 참여한 픽셀의 색도값에 대한 분산을 구하는 단계와,(b) obtaining variances of average chromaticity (HUE) values of pixels having a purity below a predetermined threshold for each image region divided in step (a) and chromaticity values of pixels participating in the average chromaticity value;
    (c) 상기 (b) 단계에서 구해진 분산에 대해 상기 분산이 일정 임계치 이하를 만족하는 영역만을 대상으로 각 영역에서 구해진 평균 색도값들을 재평균하는 단계와,(c) re-averaging the average chromaticity values obtained in each area only in the areas where the variance satisfies a predetermined threshold or less with respect to the variance obtained in step (b);
    (d) 상기 (c) 단계에서 색도값 재평균에 참여한, 분산이 일정 임계치 이하를 만족하는 영역들이 이미지 전체에서 차지하는 비율을 칼라 왜곡의 강도로 지정하고, 재평균된 평균 색도값들을 칼라 왜곡 정보의 색도 값으로 지정하는 단계를,(d) designating the ratio of the area of the image as the intensity of the color distortion to the areas in which the variance satisfying the predetermined threshold or less, which participated in the chromaticity value re-averaging in step (c), as the color distortion information. To specify the chromaticity value of,
    포함하는 것을 특징으로 하는 칼라 왜곡 정보 추출 방법Color distortion information extraction method comprising a
  13. 칼라 왜곡 정보를 이용하여 내용 기반 멀티미디어 검색방법을 구현하고자 함에 있어서,In order to implement a content-based multimedia retrieval method using color distortion information,
    (a) 칼라 왜곡이 일어나지 않은 데이터 표본 집단을 준비하는 단계와, (a) preparing a data sample population without color distortion;
    (b) 칼라 왜곡이 일어난 데이터의 표본 집단을 준비하는 단계와,(b) preparing a sample of data for which color distortion has occurred,
    (c) 상기 (a) 및 (b) 단계의 서로 다른 표본집단에 속해있는 같은 데이터에 대해, 해당 특징소 또는 특징 요소를 기준으로 유사도를 측정하는 단계와,(c) measuring similarity of the same data belonging to different sample groups of steps (a) and (b) based on the corresponding feature or feature element;
    (d) 상기 (c) 단계에서 측정된 유사도들을 평균하는 단계와,(d) averaging the similarities measured in step (c);
    (e) 상기 (d) 단계에서 평균한 평균 유사도에 반 비례하게 왜곡 민감도를 설정하는 단계를(e) setting the distortion sensitivity in inverse proportion to the average similarity averaged in step (d).
    포함하는 것을 특징으로 하는 왜곡 민감도 추출 방법.Distortion sensitivity extraction method comprising the.
  14. 칼라 왜곡 정보를 추출하고, 상기 추출된 칼라 왜곡 정보에 따라 가중치를 자동설정하여 데이터를 검색할 수 있도록 하는 멀티미디어 검색 시스템에 있어서,A multimedia retrieval system for extracting color distortion information and retrieving data by automatically setting weights according to the extracted color distortion information,
    검색에 사용되는 하나 이상의 특징소들을 갖는 특징정보를 생성하는 단계,Generating feature information having one or more features used for searching,
    멀티미디어 데이터의 칼라 왜곡을 표현하는 칼라 왜곡 정보를 생성하여 상기 특징정보와 함께 해당 멀티미디어를 묘사하는 정보로 기록하는 단계; 를 포함하는 것을 특징으로 하는 멀티미디어 데이터 생성 방법.Generating color distortion information representing color distortion of multimedia data and recording the information with the feature information to describe the multimedia; Multimedia data generation method comprising a.
  15. 제14항에 있어서,The method of claim 14,
    상기 칼라 왜곡 정보는 칼라 왜곡 강도, 또는 칼라 왜곡 정보의 색도 정보, 또는 이들간의 조합으로 구성됨을 특징으로 하는 멀티미디어 데이터 생성 방법.And the color distortion information comprises color distortion intensity, chromaticity information of color distortion information, or a combination thereof.
KR1020000012546A 2000-03-13 2000-03-13 Content-based multimedia searching method using color distortion data KR100609178B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000012546A KR100609178B1 (en) 2000-03-13 2000-03-13 Content-based multimedia searching method using color distortion data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020000012546A KR100609178B1 (en) 2000-03-13 2000-03-13 Content-based multimedia searching method using color distortion data
US09/802,979 US6782125B2 (en) 2000-03-13 2001-03-12 Content-based multimedia retrieval method

Publications (2)

Publication Number Publication Date
KR20010091161A KR20010091161A (en) 2001-10-23
KR100609178B1 true KR100609178B1 (en) 2006-08-02

Family

ID=19654698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000012546A KR100609178B1 (en) 2000-03-13 2000-03-13 Content-based multimedia searching method using color distortion data

Country Status (2)

Country Link
US (1) US6782125B2 (en)
KR (1) KR100609178B1 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100595064B1 (en) * 2000-05-19 2006-07-03 엘지전자 주식회사 Content-based multimedia searching method using color distortion data
US6671402B1 (en) * 2000-12-15 2003-12-30 America Online, Inc. Representing an image with weighted joint histogram
US6522779B2 (en) * 2000-12-15 2003-02-18 America Online, Inc. Representing an image with a posterized joint histogram
US6522780B1 (en) * 2000-12-15 2003-02-18 America Online, Inc. Indexing of images and/or text
JP4336950B2 (en) * 2003-05-15 2009-09-30 富士ゼロックス株式会社 Image processing device
US7590310B2 (en) 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
US7499060B2 (en) * 2005-03-21 2009-03-03 Microsoft Corporation Robust interactive color editing
JP4529888B2 (en) * 2005-12-07 2010-08-25 ブラザー工業株式会社 Image processing apparatus, image processing method, and image processing program
KR101330637B1 (en) * 2007-05-15 2013-11-18 삼성전자주식회사 Method and apparatus for searching video and video information, and system performing the method
CN102307310B (en) * 2011-08-23 2014-10-29 威盛电子股份有限公司 Image depth estimation method and device
US8897553B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
US8750613B2 (en) 2011-12-13 2014-06-10 The Nielsen Company (Us), Llc Detecting objects in images using color histograms
US8897554B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Video comparison using color histograms

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
US6643387B1 (en) * 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
US6373979B1 (en) * 1999-01-29 2002-04-16 Lg Electronics, Inc. System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination

Also Published As

Publication number Publication date
KR20010091161A (en) 2001-10-23
US20010028739A1 (en) 2001-10-11
US6782125B2 (en) 2004-08-24

Similar Documents

Publication Publication Date Title
Irons et al. Texture transforms of remote sensing data
US6081276A (en) Method and apparatus for creating a color name dictionary and for querying an image by color name
US7436997B2 (en) Light source estimating device, light source estimating method, and imaging device and image processing method
US7791649B2 (en) Apparatus, medium, and method with automatic white balance control
US7215791B2 (en) Color quantization and similarity measure for content based image retrieval
US7146041B2 (en) Method and apparatus for correcting white balance, method for correcting density and recording medium on which program for carrying out the methods is recorded
CN1193315C (en) Color cast detection and removal in digital images
JP4251719B2 (en) Robust tracking system for human faces in the presence of multiple persons
Stetson DAOPHOT: A computer program for crowded-field stellar photometry
US7747074B2 (en) Selection of decorative picture suitable for input picture
US5557688A (en) Method of extracting characteristic image data and color data conversion device for image processing apparatus
Song et al. Color to gray: Visual cue preservation
Mojsilovic A computational model for color naming and describing color composition of images
Finlayson et al. Shades of gray and colour constancy
US7826660B2 (en) Digital image exposure correction
US8548257B2 (en) Distinguishing between faces and non-faces
US8355574B2 (en) Determination of main object on image and improvement of image quality according to main object
Weeks et al. Color segmentation in the hsi color space using the k-means algorithm
US7519219B2 (en) Method and program for correcting facial image and recording medium
US7522314B2 (en) Image sharpening
US20120176507A1 (en) Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
Soriano et al. Making saturated facial images useful again
US7519236B2 (en) Image retrieval
Berns The science of digitizing paintings for color-accurate image archives: a review
EP0932114B1 (en) A method of and apparatus for detecting a face-like region

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee