KR100430264B1 - Multimedia query and retrieval system using progressive histogram - Google Patents
Multimedia query and retrieval system using progressive histogram Download PDFInfo
- Publication number
- KR100430264B1 KR100430264B1 KR20000070690A KR20000070690A KR100430264B1 KR 100430264 B1 KR100430264 B1 KR 100430264B1 KR 20000070690 A KR20000070690 A KR 20000070690A KR 20000070690 A KR20000070690 A KR 20000070690A KR 100430264 B1 KR100430264 B1 KR 100430264B1
- Authority
- KR
- South Korea
- Prior art keywords
- histogram
- multimedia
- information
- bins
- importance
- Prior art date
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명은 멀티미디어 객체 검색을 위한 특징정보로 히스토그램을 이용할 때, 특히 칼라 히스토그램을 이용한 멀티미디어 검색 시스템에서, 칼라 히스토그램의 전송시에 히스토그램 전송 순서상, 앞부분만 이용하더라도 높은 검색 성능을 보장하도록 각 멀티미디어 마다 그 특성에 맞게 최적화된 점진적 칼라 히스토그램을 구성하는 방법과 이를 이용한 멀티미디어 검색방법에 관한 것이다.When the histogram is used as feature information for multimedia object retrieval, in particular, in a multimedia retrieval system using a color histogram, each multimedia can be guaranteed to ensure high retrieval performance even if only the first part is used in the histogram transmission sequence when the color histogram is transmitted. The present invention relates to a method of constructing a progressive color histogram optimized for the characteristics and a multimedia retrieval method using the same.
최근에 소개된 내용기반 멀티미디어 검색 기술들의 대부분은 칼라 정보를 사용하고 있다. 특히 칼라 히스토그램은 가장 많이 사용되는 특징 정보이다. 칼라 히스토그램이란 이미지 등의 멀티미디어 데이터의 칼라 분포를 나타내는 정보로서, 칼라 공간을 어떻게 양자화하느냐에 따라서 히스토그램의 빈(bin) 수가 결정된다.Most of the recently introduced content-based multimedia retrieval technologies use color information. In particular, the color histogram is the most used feature information. The color histogram is information representing color distribution of multimedia data such as an image, and the number of bins of the histogram is determined by how the color space is quantized.
일반적으로 양자화를 보다 세밀하게 행하여 많은 칼라 빈으로 표현할 경우에 검색 성능은 증가하지만, 히스토그램 크기가 증가하므로 검색 시간이 많이 걸리는 단점이 있고, 특히 네트워크를 통한 검색 시에는 네트워크 용량에 따라서 히스토그램 크기가 중요한 요소로 작용될 수 있다.In general, when quantization is performed in more detail and expressed in many color bins, the search performance is increased, but the search time is increased because the histogram size is increased. Especially, when searching through a network, the histogram size is important according to the network capacity. Can act as an element
또한 네트워크의 장애 등으로 인하여, 검색하고자 하는 데이터의 히스토그램이 전송되다가 특정 부분에서 중단될 경우에는 이미 전송된 히스토그램의 일부만으로 검색을 행하면 검색 성능이 저하되는 문제점이 있다.In addition, when a histogram of data to be searched is transmitted due to a failure of a network or the like and is interrupted at a specific part, the search performance is deteriorated when the search is performed using only a part of the transmitted histogram.
본 발명에서는 멀티미디어 검색을 위한 히스토그램을 구성하는 각 빈을 중요한 순서로 나열하여 구성하고 중요한 빈 순서대로 전송함으로써, 히스토그램의 전송이 중단되더라도 이미 그 전까지 전송 받은 히스토그램만을 사용하여 검색이 가능하도록 하는, 점진적 히스토그램을 이용한 멀티미디어 검색방법에 기반한다.In the present invention, each bin constituting the histogram for multimedia retrieval is arranged in an important order and transmitted in the order of the important bins, so that even if the histogram is interrupted, only the histogram already received before can be retrieved. Based on the multimedia retrieval method using histogram.
본 발명에서는 멀티미디어 객체마다 해당 객체의 특성에 맞게 최적화된 점진적 히스토그램을 구성하여 이를 이용한 멀티미디어 검색 방법을 제시한다.The present invention proposes a multimedia retrieval method by constructing a progressive histogram optimized for the characteristics of a corresponding object for each multimedia object.
본 발명에서는 멀티미디어의 특성을 고려하여 중요도 순서로 재순서화한 점진적 히스토그램을 구성하고, 중요도 순서로 재순서화하여 멀티미디어 특성에 맞게최적화된 점진적 히스토그램을 이용해서 멀티미디어 검색을 수행하는 방법을 제시한다.The present invention proposes a method for constructing a progressive histogram reordered in order of importance in consideration of the characteristics of multimedia, and performing a multimedia search using a progressive histogram optimized for multimedia characteristics by reordering in order of importance.
도1은 본 발명을 설명하기 위한 히스토그램 빈 전송 스트림을 나타낸 도면1 is a diagram illustrating a histogram empty transport stream for explaining the present invention.
도2는 본 발명에서 히스토그램의 재순서 정보를 구하는 방법의 제1실시예를 나타낸 플로우차트Fig. 2 is a flowchart showing a first embodiment of the method for obtaining the histogram reordering information in the present invention.
도3은 본 발명에서 히스토그램의 재순서 정보를 구하는 방법의 제2실시예를 나타낸 플로우차트Fig. 3 is a flowchart showing a second embodiment of the method for obtaining the histogram reordering information in the present invention.
도4는 본 발명에서 히스토그램과 재순서 정보로 구성된 멀티미디어 객체의 특징정보 구조를 나타낸 도면4 is a diagram showing a feature information structure of a multimedia object composed of a histogram and reordering information according to the present invention.
본 발명은 멀티미디어 멀티미디어 객체 검색을 위하여 히스토그램을 사용할 때, 히스토그램 빈 순서를 중요도 순서에 따라 나열해서, 중요도가 높은 순서대로 전송함으로써, 히스토그램 전송시 전송이 중단되더라도 기 전송받은 히스토그램(일부 히스토그램)만을 사용해서 멀티미디어 객체 검색이 가능하도록 한 점진적 히스토그램을 이용한 멀티미디어 검색방법을 기반으로 한다.When the histogram is used to retrieve a multimedia multimedia object, the histogram bins are arranged in order of importance and transmitted in the order of high importance, so that only the received histogram (some histograms) is used even when the histogram is stopped. It is based on a multimedia retrieval method using a progressive histogram that enables multimedia object retrieval.
히스토그램을 구성하는 각 빈을 중요한 순서로 나열하는 방법은 다량의 멀티미디어 데이터들의 히스토그램을 통계적으로 분석하여 얻을 수도 있다. 그렇지만, 멀티미디어 데이터들은 매우 다양하기 때문에 특정한 멀티미디어 그룹에서는 매우 중요한 빈이라고 하더라도, 이 빈이 다른 멀티미디어 그룹에서는 별로 중요하지 않은 빈일 수도 있다.The method of arranging each bin of the histogram in the order of importance may be obtained by statistically analyzing the histogram of a large amount of multimedia data. However, because the multimedia data is so diverse, even though it is a very important bin in a particular multimedia group, it may be a bin that is not important in other multimedia groups.
따라서 각 멀티미디어 데이터의 특성을 반영하여 각 멀티미디어 데이터 마다 최적화된 다른 빈순서로 구성된 히스토그램을 사용함으로써 보다 높은 검색 성능을 얻을 수 있다.Therefore, a higher retrieval performance can be obtained by using a histogram composed of different bin orders optimized for each multimedia data to reflect the characteristics of each multimedia data.
본 발명에서는 멀티미디어 데이터 마다 해당 객체의 특성에 맞게 최적화된 점진적 히스토그램을 구성하는 방법을 제시하고, 이를 이용한 멀티미디어 검색 방법을 제시한다.The present invention proposes a method of constructing a progressive histogram optimized for characteristics of a corresponding object for each multimedia data, and proposes a multimedia retrieval method using the same.
즉, 본 발명은 앞서 기술한 바와 같이, 멀티미디어 객체 검색을 위하여 히스토그램의 일부분만으로 비교 검색하더라도 높은 검색 성능을 가능하게 하는데 그 목적이 있다.That is, as described above, an object of the present invention is to enable a high search performance even when comparing and searching only a part of the histogram for searching a multimedia object.
먼저, 점진적 히스토그램에 대해서 설명한다.First, the progressive histogram will be described.
점진적 히스토그램은 멀티미디어 특징정보로서 히스토그램, 예를 들면 칼라 히스토그램의 빈 순서를 중요도가 높은 순서대로 재순서화하고, 이렇게 재순서화된 히스토그램을 중요도가 높은 순서대로 전송하는 것을 의미한다.Progressive histograms are multimedia feature information which means that the bin order of histograms, for example, color histograms, is reordered in order of importance, and the reordered histograms are transmitted in order of importance.
점진적 히스토그램은 데이터의 히스토그램 전송 시, 중간에 전송이 중단되었을 경우에도 이미 전송 받은 부분만으로 검색이 이루어질 수 있게 하고, 또 이 일부분의 히스토그램을 이용하더라도 높은 검색 성능을 보장할 수 있게 한다.Progressive histograms allow the search to be performed only on the part that has already been sent, even if the transmission is interrupted in the middle of the data, and even when using the part of the histogram, high search performance can be guaranteed.
왜냐하면 먼저 전송된 빈이 더 중요한 빈이기 때문에, 이 일부의 빈을 이용해서도 어느 정도의 멀티미디어 객체 검색이 가능하기 때문이다.Because the first transmitted bean is the more important one, some of the beans can be used to retrieve some amount of multimedia objects.
한편, 데이터를 가지고 있는 서버측에서 검색의 목적과 클라이언트의 환경, 네트워크의 환경에 따라 히스토그램의 일부를 전송할 것인지, 또는 전부를 전송할 것인지를 결정함으로써, 각 경우마다 최적의 검색을 수행할 수 있는 장점이 있다.On the other hand, it is possible to perform an optimal search in each case by deciding whether to send a part or all of the histogram according to the purpose of the search, the environment of the client, and the environment of the network. There is this.
예를 들어 검색 용도가 대략의 비슷한 류의 데이터 검색인 경우이거나, 네트워크 환경이 매우 좋지 않을 경우에는 검색할 데이터의 히스토그램은 전체가 아닌 일부만을 전송함으로써, 최소한의 검색 성능을 보장하면서도 네트워크 환경에 무리가 가지 않게 검색을 수행할 수 있다. 반대로 네트워크, 또는 컴퓨터 환경이 매우 좋고 매우 정확한 검색을 원할 경우에는 히스토그램 전체를 전송할 수 있다.For example, if the purpose of the search is to search for roughly the same kind of data, or if the network environment is not very good, the histogram of the data to be searched will be transferred to the network environment while guaranteeing minimal search performance by transmitting only a part of the data instead of the whole. The search can be performed without going. Conversely, if the network or computer environment is very good and you want a very accurate search, you can send the entire histogram.
앞에서 기술한 유용한 기능을 제공하기 위해서는 히스토그램을 구성하는 각빈들을 앞에서부터 N(N < 전체 히스토그램의 빈 갯수) 개만으로 검색하더라도 그 검색의 성능 저하가 적도록 히스토그램을 최적화하는 것이 필요하다.In order to provide the useful functions described above, it is necessary to optimize the histogram so that even if each bin constituting the histogram is searched by N (N <number of bins in the total histogram) from the front, the performance of the search is reduced.
그렇게 하기 위하여 히스토그램을 중요한 빈, 즉 검색에 보다 많은 영향을 주는 빈일수록 앞에다 위치시킴으로써 히스토그램을 재구성해야 된다. 이와 같은 빈의 재 순서화는 멀티미디어의 종류와 관계없이 공통적으로 적용할 수 있도록 통계적 방법을 사용할 수도 있으나, 이 경우에는 멀티미디어 마다 각기 다른 고유의 특성을 반영하지 못하므로 그 성능에는 어느 정도 한계가 있다.To do so, we need to reconstruct the histogram by placing the histogram in front of the more important bins, that is, the bins that affect the search more. Such a reordering of bins may use a statistical method so that they can be applied in common regardless of the type of multimedia, but in this case, the multimedia does not reflect the unique characteristics of the multimedia.
따라서, 보다 최적화된 점진적 히스토그램을 생성하려면, 각 멀티미디어 객체마다 그 특성에 맞는 다른 점진적 히스토그램을 생성해서 이 것을 이용해야만 각 멀티미디어 객체에 최적화된 검색이 이루어질 수 있게 된다.Therefore, in order to generate a more optimized progressive histogram, an optimized search for each multimedia object can be achieved only by using a different progressive histogram for each multimedia object that matches its characteristics.
여기서 그 특성에 맞는 다른 점진적 히스토그램이라 함은 멀티미디어 마다의 특성을 고려하여 중요도 순으로 재 순서화한 히스토그램을 의미한다. 즉, 멀티미디어의 특성을 반영하여 특성에 따라 재순서화한 히스토그램이며, 따라서 이 경우 히스토그램을 구성하는 빈들의 순서는 각 멀티미디어 객체마다 다르다.Here, the other gradual histogram corresponding to the characteristic means a histogram reordered in order of importance in consideration of the characteristics of each multimedia. That is, the histogram is reordered according to the characteristics to reflect the characteristics of the multimedia. Therefore, the order of the beans constituting the histogram is different for each multimedia object.
도1은 앞서 기술한 점진적 히스토그램에 대한 용도를 기술하기 한 것이다.Figure 1 describes the use for the gradual histogram described above.
질의 이미지를 사용한 이미지 검색에서 도1에서처럼 질의 이미지에 해당하는 히스토그램(101)이 전송 중에 전체가 도착하기 전에 중단되어 P1까지만 수신되었다고 가정하자. 클라이언트에서는 수신된 P1까지만의 히스토그램을 사용하여 대상 이미지의 히스토그램(102)에 대해 같은 위치에 있는 빈들만을 사용하여 유사도를 계산한다. 이와 같이 히스토그램의 일부만을 사용하더라도 어느 정도의 검색 성능을보장함으로써 보다 효과적인 검색을 가능하게 한다.In the image search using the query image, assume that the histogram 101 corresponding to the query image is interrupted before the whole arrives during transmission and received only up to P1. The client calculates the similarity using only the bins in the same position relative to the histogram 102 of the target image using the histogram up to the received P1. As such, even if only a part of the histogram is used, the search performance is guaranteed to be more effective.
이와 같이 최적화된 점진적 히스토그램을 구성하기 위해서는 먼저 각 멀티미디어 마다 그 객체를 비교 검색하는 관점에서 각 빈들의 중요도를 구할 수 있어야 한다. 이와 같이 각 멀티미디어의 빈들의 중요도는 사용자 피드백을 이용하여 구하거나 미리 그룹화되었을 경우 그룹 정보를 이용하여 구할 수 있다.In order to construct an optimized progressive histogram, it is necessary to first obtain the importance of each bean in terms of comparing and searching the objects for each multimedia. In this way, the importance of the bins of each multimedia can be obtained by using user feedback or when grouped in advance, by using group information.
먼저, 사용자 피드백을 이용한 방법을 설명한다.First, a method using user feedback will be described.
사용자 피드백이란 해당 객체를 질의로 하여 비슷한 객체를 검색하고자 할 때, 검색 결과로부터 사용자가 유사한 객체와 유사하지 않은 객체에 대한 정보를 피드백으로서 시스템에 알려주는 행위를 말한다.User feedback refers to the act of informing the system as a feedback of information about an object that is not similar to a similar object from a search result when a user searches for a similar object by querying the corresponding object.
예를 들어 이미지 검색의 경우, 초기 검색 결과에서 사용자가 찾고자 하는 이미지와 비슷한 이미지와 그렇지 않은 이미지가 무엇인지를 시스템에 사용자가 전달한다(사용자 피드백). 이렇게 사용자 피드백을 받은 시스템은 사용자가 유사하다 혹은 유사하지 않다고 피드백준 정보를 사용하여 해당 객체의 히스토그램을 구성하는 각 빈의 중요도를 계산할 수 있다.For example, in the case of an image search, the user tells the system what image in the initial search results is similar to what the user is looking for and what is not (user feedback). The system receiving the user feedback can calculate the importance of each bean constituting the histogram of the object using the feedback information that the user is similar or dissimilar.
빈i 의 중요도(wi)를 구하는 방법은 다음과 같다.How to obtain the importance (w i) of the bin i as follows.
wi= afI(i) + bfR(i).w i = af I (i) + bf R (i).
여기서, a,b는 상수이고, fI(i) = (pmi)/qvi(빈 i에 대한 유사 이미지(들)간의 유사성), fR(i) = pmi×qvi(빈 i에 대한 비유사 이미지(들)간의 비유사성), p,q는 상수이고, mi는 해당 이미지 그룹 내에서의 빈 i값들의 평균, vi는 해당 이미지 그룹 내에서의 빈 i값들의 분산이다.Where a, b are constants, f i (i) = (pm i ) / qv i (similarity between similar image (s) for bin i), f R (i) = pm i x qv i (bin i Dissimilarity between dissimilar image (s) for, p, q is a constant, m i is the mean of the bin i values in the image group, v i is the variance of the bin i values in the image group .
상기와 같은 빈 i의 중요도(wi)에서, 피드백된 이미지가 유사 이미지들만이거나 또는 비유사 이미지들만일 경우 상수 a, b 중 하나를 0으로 세팅함으로써 각 요소의 중요도를 구할 수 있다.If the importance (w i) of the bin i as described above, if the feedback of the image or only the similar image or a non-similar image by setting one of the constants a, b to zero can be determined the importance of each element.
도2는 히스토그램의 일부만을 이용하더라도 검색 성능이 크게 저하되지 않도록 하기 위하여, 사용자 피드백을 이용한 히스토그램의 재 순서 정보를 구하는 순서를 보여준다.FIG. 2 shows a procedure for obtaining reordering information of the histogram using user feedback in order not to significantly reduce search performance even if only a part of the histogram is used.
이 방법에서는, 사용자 피드백으로부터 재순서화 하고자 하는 객체의 유사 객체들에 대한 정보를 받은 후, 히스토그램의 각 빈별로 다른 유사 객체들의 해당 빈과의 유사도를 측정한다. 이렇게 계산된 유사도에 비례하여 각 빈의 중요도가 증가되며, 모든 유사 객체들에 대해 이와 같은 중요도 학습이 모든 빈에 대해 계산되면, 모든 빈들의 중요도가 큰 순서로 빈의 재순서화 정보를 계산한다.In this method, after receiving information about similar objects of an object to be reordered from user feedback, the similarity of the corresponding similar objects of other similar objects with each bin is measured for each bin of the histogram. The importance of each bin is increased in proportion to the calculated similarity, and when the importance learning is calculated for all the beans for all similar objects, the reordering information of the beans is calculated in the order of importance of all the beans.
도2를 상세하게 설명한다.2 will be described in detail.
단계 201은 초기 검색 결과에 대한 사용자로부터의 피드백(유사하다 혹은 유사하지 않다)를 받는 단계이다. 단계 202는 사용자 피드백에 따른 유사/비유사 멀티미디어 객체 정보를 취득하는 단계이다. 그 다음 단계 203에서는 첫번째 유사/비유사 멀티미디어 객체를 대상 객체로 지정하고, 다음 단계 204에서는 I빈=0으로 설정한다. 그리고, 다음 단계 205에서는 질의 객체와 대상 객체의 I번째 히스토그램빈값을 비교해서 유사도(Si)를 측정하고, I빈의 중요도 값을 그 유사도(Si) 만큼 증가시킨다(단계 206). 상기 유사도 측정과 측정된 유사도 만큼 I빈의 중요도값을 증가시키는 일련의 과정을 I가 전체 빈수에 달할 때 까지 반복한다(단계 207, 208).Step 201 is a step of receiving feedback (similar or dissimilar) from the user about the initial search result. Step 202 is a step of acquiring similar / unlike multimedia object information according to user feedback. Next, in step 203, the first pseudo / similar multimedia object is designated as the target object, and in step 204, I bin = 0 is set. In a next step 205, the similarity (Si) is measured by comparing the I-th histogram bin value of the query object and the target object, and the importance value of the I bin is increased by the similarity (Si) (step 206). The similarity measurement and a series of steps of increasing the importance value of the I bin by the measured similarity are repeated until I reaches the total number of bins (steps 207 and 208).
위와같이 해서 해당 객체에 대한 I빈의 중요도값을 생성 완료하고, 다음 객체가 더 없으면 상기 구한 중요도 순서로 히스토그램 순서정보를 설정하고(단계 209, 210), 다음 객체가 더 있으면 대상 객체를 다음 유사/비유사 객체로 세팅하고는 I빈=0 부터 시작해서 유사도(Si)의 측정과 중요도값 생성단계를 반복한다(단계 209, 211).As above, the importance value of the bean is generated for the object, and if there is no next object, the histogram order information is set in the order of importance obtained above (steps 209 and 210). Set as a non-similar object and repeat the steps of measuring the similarity (Si) and generating the importance value starting from I bin = 0 (steps 209 and 211).
다음, 그룹화 정보를 이용하는 방법을 설명한다.Next, a method of using the grouping information will be described.
보다 효율적인 멀티미디어 검색을 위해 각 멀티미디어 객체마다 같은 클래스에 속하는 다른 멀티미디어 객체들의 그룹 정보가 포함될 수 있다. 또는 특정 데이터 베이스 내에 속하는 멀티미디어 객체들을 사전에 같은 클래스끼리 그룹화해서 놓을 수도 있다. 이와 같이 같은 클래스의 그룹에 대한 정보가 있을 경우에는 이 정보를 사용하여 각 빈의 중요도를 자동으로 구할 수 있다. 즉, 같은 클래스에 속하는 멀티미디어 객체들은 상기 기술한 사용자 피드백에서 유사 객체로 피드백된 정보와 동일하므로, 이들 객체의 히스토그램을 상기 중요도(wi) 계산방법을 적용하여 같은 방법으로 빈의 중요도를 구할 수 있다.For more efficient multimedia retrieval, each multimedia object may include group information of other multimedia objects belonging to the same class. Alternatively, multimedia objects belonging to a specific database may be grouped in the same class in advance. If you have information about groups of the same class, you can use this information to automatically determine the importance of each bean. That is, since the multimedia objects belonging to the same class are the same as the information fed back to the similar object in the above-described user feedback, the importance of the bin can be obtained by applying the histogram of these objects to the method of calculating the importance (w i ). have.
도3은 히스토그램의 재 순서 정보를 구하는 또 다른 방법으로 사용자 피드백대신 그룹화 정보를 사용하는 방법의 순서를 보여준다. 이 방법에서는, 재순서화하고자 하는 객체의 유사 객체들에 대한 정보를 이미 사전에 이루어진 그룹 정보로부터 받는다(단계 301). 이후의 과정은 상기 도2에서 설명한 방법과 동일하게 이루어진다.3 shows a sequence of a method of using grouping information instead of user feedback as another method of obtaining reordering information of the histogram. In this method, information about similar objects of the object to be reordered is received from previously made group information (step 301). Subsequent processes are performed in the same manner as described in FIG.
즉, 재순서화 하고자 하는 객체의 유사 객체들에 대한 정보를 이미 사전에 이루어진 그룹 정보로부터 받아서, 유사/비유사 멀티미디어 객체정보를 취득하고(단계 302), 첫번째 유사/비유사 멀티미디어 객체를 대상 객체로 지정하고(단계 303), I=0부터 N까지의 히스토그램 빈값의 유사도를 측정항 해당 I빈의 중요도 값을 유사도(Si) 만큼 증가시키고(단계 304∼308), 다음 객체가 더 없으면 상기 구한 중요도 순서로 히스토그램 순서정보를 설정하고(단계 309, 210), 다음 객체가 더 있으면 위 단계(304)부터 반복한다(단계 309, 211).That is, information about similar objects of the object to be reordered is received from the previously made group information, and similar / unlike multimedia object information is obtained (step 302), and the first similar / unlike multimedia object is used as the target object. (Step 303), the similarity of the histogram bin values from I = 0 to N is increased by increasing the importance value of the corresponding I bin by the similarity (Si) (steps 304 to 308). The histogram order information is set in the order (steps 309 and 210), and if there are more next objects, the process is repeated from the step 304 (steps 309 and 211).
이와 같이 생성된 히스토그램을 사용하여 서로 비교 검색하기 위해서는 어떤 중요도에 따라 어떤 순서로 빈이 재순서화 되었는가를 나타내는 순서 정보를 가지고 있어야만 한다.In order to compare and search each other using the generated histogram, it must have ordering information indicating in which order the beans are reordered according to their importance.
예를 들어 두개의 이미지의 유사도를 히스토그램을 사용하여 계산할 경우를 살펴보자. 이 경우에 두 히스토그램의 순서가 서로 다르므로, 서로 매핑(mapping)되는 빈들끼리 비교할 수 있기 위해서는 빈 순서 정보를 히스토그램의 특성 정보로서 가지고 있어야 한다. 그래야만, 히스토그램의 순서가 다르다고 할지라도 어떤 중요도에 따라 재순서화된 빈들끼리 비교가 가능할 것이기 때문이다.For example, consider a histogram that calculates the similarity between two images. In this case, since the order of the two histograms are different from each other, in order to be able to compare the beans mapped with each other, the bin order information should be included as the characteristic information of the histogram. That way, even if the histograms are in a different order, they will be able to compare the reordered beans according to their importance.
도4는 히스토그램과 재순서 정보로 구성된 멀티미디어 객체의 특징 정보 구조를 보여준다. 멀티미디어 객체의 특징 정보구조(400)가 그 멀티미디어의 특징정보로서 히스토그램 정보(401)와, 상기 히스토그램 각 빈의 순서가 어떤 중요도에 따라 나열되어 있는가를 나타내는 재순서 정보구조(402)를 가지고 있다.4 shows a feature information structure of a multimedia object composed of a histogram and reordering information. The feature information structure 400 of the multimedia object has histogram information 401 as the feature information of the multimedia, and a reordering information structure 402 indicating the importance of the order of each bin of the histogram.
여기서 재순서 정보는 히스토그램 각 빈의 순서가 나열되어 있는 1차원 매트릭스 형태이다.Here, the reordering information is in the form of a one-dimensional matrix in which the order of each bin of the histogram is listed.
본 발명은 칼라 히스토그램을 이용한 멀티미디어 검색에 있어서, 각 멀티미디어 객체마다 그 특성에 최적화된 점진적 히스토그램을 사용함으로써, 히스토그램의 일부분만으로 비교 검색하더라도 높은 검색 성능을 가능하도록 하는 효과가 있다. 특히 본 발명은 객체마다 다른 특성을 점진적 히스토그램의 재 순서 정보에 고려함으로써, 매우 높은 성능은 물론 객체 중심의 검색 서비스를 제공한다.According to the present invention, in the multimedia search using a color histogram, by using a progressive histogram optimized for each characteristic of each multimedia object, even if only a part of the histogram is compared and searched, high search performance can be achieved. In particular, the present invention provides an object-oriented search service as well as a very high performance by considering the characteristics that differ from object to object in the progressive histogram.
Claims (10)
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20000070690A KR100430264B1 (en) | 2000-11-25 | 2000-11-25 | Multimedia query and retrieval system using progressive histogram |
| DE1174804T DE1174804T1 (en) | 2000-07-21 | 2001-07-20 | Method for searching multimedia data with progressive histograms |
| US09/908,733 US7039255B2 (en) | 2000-07-21 | 2001-07-20 | Method for searching multimedia using progressive histogram |
| EP01117580A EP1174804A3 (en) | 2000-07-21 | 2001-07-20 | Method for searching multimedia using progressive histogram |
| CNB011206527A CN100511216C (en) | 2000-07-21 | 2001-07-23 | Method for searching multimedia using progressive histogram |
| JP2001221430A JP3701888B2 (en) | 2000-07-21 | 2001-07-23 | Multimedia search method using progressive histogram |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20000070690A KR100430264B1 (en) | 2000-11-25 | 2000-11-25 | Multimedia query and retrieval system using progressive histogram |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020040977A KR20020040977A (en) | 2002-05-31 |
| KR100430264B1 true KR100430264B1 (en) | 2004-05-04 |
Family
ID=19701476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20000070690A KR100430264B1 (en) | 2000-07-21 | 2000-11-25 | Multimedia query and retrieval system using progressive histogram |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100430264B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100722938B1 (en) * | 2005-12-30 | 2007-05-30 | 엠텍비젼 주식회사 | Portable terminal for having virtual key-pad and text input method |
| KR101033334B1 (en) * | 2010-03-22 | 2011-05-09 | 김이경 | Disposable spoon and chopsticks support |
-
2000
- 2000-11-25 KR KR20000070690A patent/KR100430264B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20020040977A (en) | 2002-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5542089A (en) | Method and apparatus for estimating the number of occurrences of frequent values in a data set | |
| US6108647A (en) | Method, apparatus and programmed medium for approximating the data cube and obtaining approximate answers to queries in relational databases | |
| US6285995B1 (en) | Image retrieval system using a query image | |
| US8688705B1 (en) | Large scale machine learning systems and methods | |
| US5694593A (en) | Distributed computer database system and method | |
| US20100318522A1 (en) | Method of searching multimedia data | |
| US7392242B1 (en) | Query costing in a multidimensional database | |
| JP3701888B2 (en) | Multimedia search method using progressive histogram | |
| KR20010081894A (en) | Multimedia Query System And Histogram Converting System Based On Contents | |
| CN110309336A (en) | Image search method, device, system, server and storage medium | |
| US20100299337A1 (en) | Computer System for Processing a Query | |
| JP2001167118A (en) | Device and method for retrieving picture, and storage medium with similar picture retrieving program recorded thereon | |
| US20070076961A1 (en) | Image compression data processing method, and image compression data processing apparatus | |
| KR20040005895A (en) | Image retrieval using distance measure | |
| CN101777064A (en) | Image searching system and method | |
| CN105843956A (en) | Paging query method and system | |
| CN112822051B (en) | Service acceleration method based on service perception | |
| US5414837A (en) | System for determining and returning frequenly requested information by an alternate path in a distributed database | |
| CN111045988B (en) | File searching method, device and computer program product | |
| KR20010066745A (en) | Color Space Quantization Descriptor | |
| CN111930794A (en) | Statistical index coding normalization management system and method | |
| KR100430264B1 (en) | Multimedia query and retrieval system using progressive histogram | |
| CN115151877A (en) | Information processing apparatus and information processing method | |
| Balke et al. | On real-time top k querying for mobile services | |
| US20080082516A1 (en) | System for and method of searching distributed data base, and information management device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20110328 Year of fee payment: 8 |
|
| LAPS | Lapse due to unpaid annual fee |