KR20100048626A

KR20100048626A - The system and method of searching multimedia data including multiple precision

Info

Publication number: KR20100048626A
Application number: KR1020080107878A
Authority: KR
Inventors: 김태훈; 조민수
Original assignee: (주)올라웍스
Priority date: 2008-10-31
Filing date: 2008-10-31
Publication date: 2010-05-11
Also published as: KR101054815B1

Abstract

PURPOSE: A system and a method of searching multimedia data including multiple precision are provided to supply an accurate search result for the multimedia data having higher search request possibility. CONSTITUTION: A control unit(10) manages the interface between a search service user and a CP(Content Provider) server, and distributes the request for storage and searching of the database of 1st and 2nd searching servers(20,30). The 1st search server provides the search service for the multimedia data having higher search request possibility, and the 2nd search server provides the search service for the multimedia data having lower search request possibility.

Description

System for providing multimedia data retrieval service with multi precision and its providing method {The System and Method of Searching Multimedia Data Including Multiple Precision}

본 발명은 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템 및 그 제공 방법에 관한 것으로, 특히 검색요청 가능성이 높은 멀티미디어 데이터에 대해서는 SIMD 프로세서와 반도체 메모리를 구비하여 빠른 검색 결과를 얻을 수 있는 제1검색서버를 통해 검색 서비스를 제공하고, 상대적으로 검색요청 가능성이 낮은 멀티미디어 데이터에 대해서는 기존의 CPU 프로세서와 비휘발성 저장장치를 구비하여 많은 양의 데이터베이스를 대상으로 한 검색 결과를 얻을 수 있는 제2검색서버를 통해 검색 서비스를 제공함으로써, 멀티미디어 데이터의 검색 서비스 제공에 있어서 질적(빠른 검색 속도, 정확한 검색 결과), 양적(풍부한 데이터베이스)으로 향상된 효과를 가지는 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템 및 그 제공 방법에 대한 것이다.The present invention relates to a multi-precision multimedia data retrieval service providing system and a method for providing the same. Particularly, a multimedia retrieval system including a SIMD processor and a semiconductor memory for a high retrieval request can be obtained. A second search server that provides search services through the server, and provides a search result for a large amount of databases with a conventional CPU processor and a nonvolatile storage device for multimedia data that is relatively unlikely to be requested. System for providing multimedia data retrieval service with multi-precision (Quick Search Speed, Accurate Search Result) and quantitative (Rich Database) in providing multimedia data retrieval service by providing retrieval serviceIt will be on the ball way.

종래의 멀티미디어 데이터의 검색 방법은, 멀티미디어 데이터들을 feature vector로 변환하여 상기 변환된 feature vector들의 벡터차의 절대값이 적은 두 멀티미디어 데이터를 유사한 데이터로 인식하는 방법에 의한다.The conventional method of retrieving multimedia data is to convert multimedia data into a feature vector and to recognize two multimedia data having a small absolute value of the vector difference of the transformed feature vectors as similar data.

먼저, 검색의 대상이 되는 멀티미디어 데이터들을 feature vector로 변환하여 검색서버의 데이터베이스에 저장한다. 상기 데이터베이스에 저장된 feature vector들을 {v₁, v₂, v₃,…,v_n}이라고 하자.First, the multimedia data to be searched are converted into feature vectors and stored in the database of the search server. The feature vectors stored in the database are {v ₁ , v ₂ , v ₃ ,... , v _n }.

이후, 검색 서비스 사용자에 검색하고자 하는 query 데이터를 feature vector로 변환한다. 상기 query 데이터가 변환된 feature vector를 v_q라고 하자.After that, the query data to be searched by the search service user is converted into a feature vector. Let v _q be the feature vector to which the query data is converted.

이 때, 데이터베이스에 저장된 멀티미디어 데이터 중에서 상기 query 데이터와 가장 유사한 K개의 멀티미디어 데이터를 검색한다라고 하면, 상기 데이터베이스에 저장된 상기 feature vector들 {v₁, v₂, v₃,…,v_n}의 각 v_i와 v_q의 차 ∥v_i- v_q∥를 모두 계산하여 가장 값이 작은 K개의 v_i를 선택하여 제공할 수 있다.In this case, if the K multimedia data most similar to the query data is searched among the multimedia data stored in the database, the feature vectors {v ₁ , v ₂ , v ₃ ,... The difference between each v _i and v _q of v _n }, v _i -v _q ∥ can be calculated to provide the smallest K v _i .

다만, 이러한 종래의 검색 방법은, 멀티미디어 데이터의 feature vector가 일반적으로 high-dimension vector이므로 상기 데이터베이스에 저장된 상기 feature vector들 {v₁, v₂, v₃,…,v_n} 모두에 대해서 상기 연산을 하는 것은 너무나도 많은 연산시간이 소요된다는 문제점이 있다.However, in the conventional search method, since the feature vector of the multimedia data is generally a high-dimension vector, the feature vectors {v ₁ , v ₂ , v ₃ ,... , v _n } There is a problem that it takes too much calculation time for the above operation.

상기의 문제점을 해결하기 위하여 나타난 방법이 approximate solution이다. 상기 approximate solution은 여러 가지 방법들이 알려져 있으나, 이러한 방법들은 공지기술이고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들에게 자명한 사항이므로 모두 소개할 필요는 없으므로, 여기서는 대표적인 방법들을 소개하도록 한다. The method shown to solve the above problem is an approximate solution. The approximate solution is known in a number of ways, but these methods are well-known and obvious to those of ordinary skill in the art, so it is not necessary to introduce all, so here is a representative method.

먼저, 상기 v_i를 low dimesion vector로 낮추어서 r_i로 변환한다. 이후, 상기 각 r_i와 v_q를 low dimesion vector로 낮추어서 변환한 r_q의 차 ∥r_i- r_q∥가 가장 작게 되는 M(≥K)개의 low dimesion vector를 검색한다. 이렇게 검색된 low dimesion vector set인 {r_n1, r_n2, r_n3,…,r_nK}에 대응되는 high dimesion vector set {v_n1, v_n2, v_n3,…,v_nK}가 1차적인 검색 결과가 된다. 1차적인 검색 결과인 {v_n1, v_n2, v_n3,…,v_nK} set 중에서 더 정확한 검색 결과 K(≤M)개를 산출하기 위해, ∥v_ni- v_q∥가 최소가 되는 K개의 v_i를 선택하여 검색 결과로서 제공할 수 있다.First, the v _i is lowered to a low dimesion vector and converted into r _i . Then, each of the r _i and v _q to a low dimesion vector of lowering the transformation r _q car ∥r _i - retrieves _q r ∥ is the M (≥K) being smaller of low dimesion vector. The searched low dimesion vector set {r _n1 , r _n2 , r _n3 ,... , r _nK } corresponding to the high dimesion vector set {v _n1 , v _n2 , v _n3 ,... , v _nK } is the primary search result. The primary search results {v _n1 , v _n2 , v _n3 ,... , v _nK } In order to calculate K (≤M) more accurate search results among sets, K v _i , where V _ni − v _q ∥, can be selected and provided as a search result.

이러한 approximate solution은 거대 데이터베이스(large database)에 있어서 검색 서비스를 제공하기 위한 현실적인 방안이 된다고 할 수 있다. 그러나, approximate solution이므로 이러한 검색 결과는 종래의 검색 방법에 비해 정확성 측면을 담보할 수 없다. 즉, 상기 근사적인 방법에 의한 검색 결과보다 실제로는 더 v_q에 가까운 v_i를 놓치는 경우가 존재한다. 실제로, 가장 효율적이고 효과적인 approximate solution의 하나인 LSH(Locality Sensitive Hashing)의 경우에도, (검색엔진이 찾은 정답의 수)/(데이터베이스에 포함된 실제 정답의 수)의 비율인 recall rate가 50%가 되지 아니한다.(reference 1 참조)This approximate solution can be said to be a realistic way to provide search services in large databases. However, because of the approximate solution, these search results cannot guarantee accuracy compared to the conventional search methods. That is, there is a case where v _i, which is closer to v _q , is actually missed than the search result by the approximate method. In fact, even in the case of LSH (Locality Sensitive Hashing), which is one of the most efficient and effective approximate solutions, the recall rate, which is the ratio of the number of correct answers found by the search engine to the number of actual correct answers in the database, (See reference 1)

즉, 종래의 방법은 정확성은 담보되지만 연산 속도의 측면에서 한계가 있고, 이를 개선한 approximate solution은 연산 속도의 측면은 개선하였으나 정확성이 담보되지 못한다는 문제가 있었다.In other words, the conventional method is guaranteed accuracy, but has a limitation in terms of computational speed, and the improved approximate solution has a problem in that the accuracy of computation is improved but not guaranteed.

또한, K-D tree나 R-tree 등의 자료구조를 이용해서 효율적으로 검색을 처리하는 방법들도 존재한다(reference 2 참조). 그러나, 상기의 방법들 또한 데이터의 demension이 높아지면 효율성이 현저히 떨어진다는 문제가 있다.There are also ways to efficiently handle searches using data structures such as K-D trees or R-trees (see reference 2). However, the above methods also suffer from the problem that the efficiency decreases significantly when the data demension increases.

* reference 1 : * reference 1:

http://people.csail.mit.edu/torralba/publications/cvpr2008.pdfhttp://people.csail.mit.edu/torralba/publications/cvpr2008.pdf

* reference 2 : reference 2:

http://www.vldb2007.org/program/slides/s950-lv.pdfhttp://www.vldb2007.org/program/slides/s950-lv.pdf

본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 하나의 목적은 멀티미디어 데이터를 검색요청 가능성이 높은 멀티미디어 데이터와 상대적으로 검색요청 가능성이 낮은 멀티미디어 데이터로 구분하여, 검색요청 가능성이 높은 멀티미디어 데이터에 대해서는 상기 종래 기술 중 approximate solution을 사용하지 아니하는 방법을 채택한 제1검색서버를 통해서, 검색요청 가능성이 낮은 멀티미디어 데이터에 대해서는 approximate solution을 사용한 방법을 채택한 제2검색서버를 통해서 검색 서비스를 제공함으로써, 검색요청 가능성이 높은 멀티미디어 데이터에 대한 정확한 검색 결과를 제공하고 검색요청 가능성이 낮은 멀티미디어 데이터에 대한 빠른 검색 결과를 제공하는 멀티미디어 데이터의 검색 서비스 제공 시스템 및 그 제공 방법을 제공하는 것이다.The present invention is to solve the above-mentioned problems of the prior art, one object of the present invention is to divide the multimedia data into a high possibility of the search request and multimedia data relatively low search request, it is possible to search Search service through a first search server employing a method that does not use the approximate solution of the prior art for high multimedia data, and a second search server employing a method using an approximate solution for multimedia data with low likelihood of requesting a search. The present invention provides a system for providing a multimedia data retrieval service that provides an accurate search result for multimedia data that is likely to be searched and provides a quick search result for multimedia data that is less likely to be searched. To provide.

본 발명의 다른 목적은, 검색요청 가능성이 높은 멀티미디어 데이터에 대해서는 SIMD 프로세서와 반도체 메모리를 구비하여 빠른 검색 결과를 얻을 수 있는 제1검색서버를 통해 검색 서비스를 제공하고, 상대적으로 검색요청 가능성이 낮은 멀티미디어 데이터에 대해서는 기존의 CPU 프로세서와 비휘발성 저장장치를 구비하여 많은 양의 데이터베이스를 대상으로 한 검색 결과를 얻을 수 있는 제2검색서버를 통해 검색 서비스를 제공함으로써, 멀티미디어 데이터의 검색 서비스 제공에 있어서 질적(빠른 검색 속도), 양적(풍부한 데이터베이스)으로 향상된 효과를 가지는 멀티미디어 데이터의 검색 서비스 제공 시스템 및 그 제공 방법을 제공하는 것이 다.Another object of the present invention is to provide a search service through a first search server that can obtain a fast search result by providing a SIMD processor and a semiconductor memory for multimedia data with a high possibility of search request, and relatively low search request probability In the case of providing multimedia data retrieval service by providing a search service through a second search server having a conventional CPU processor and a nonvolatile storage device to obtain a search result for a large amount of databases. The present invention provides a system for providing a multimedia data retrieval service having a qualitative (fast retrieval speed) and a quantitative (rich database) and a method of providing the same.

즉, 본 발명의 목적은, 빠르고 정확한 검색 결과를 제공하고, 풍부한 데이터베이스에 대한 검색 서비스를 제공할 수 있는 멀티미디어 데이터의 검색 서비스 제공 시스템 및 그 제공 방법을 제공하는 것이다.That is, an object of the present invention is to provide a search service providing system for multimedia data and a method for providing the same, which can provide a fast and accurate search result and provide a search service for a rich database.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 적어도 하나 이상의 제1검색서버, 적어도 하나 이상의 제2검색서버 및 적어도 하나 이상의 제어장치를 포함하는 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템으로서, 최신 업로드된 원본 멀티미디어 데이터를 수신하여 feature vector로 변환하여 제1벡터를 생성하고 상기 제1벡터를 근사화하여 제2벡터를 생성하며, 검색 서비스 사용자로부터 검색 기준 데이터를 포함하는 검색 요청 데이터를 수신한 경우 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성하고 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하는 제어장치; 상기 제어장치로부터 상기 제1벡터를 수신하여 저장하고, 상기 저장된 복수의 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하여 제1검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제1검색서버; 및 상기 제어장치로부터 상기 제2벡터를 수신하여 저장하고, 상기 저장된 복수의 제2벡터들 중 상기 제2검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하여 제2검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제2검색서버;를 포함하되, 상기 제어장치는 상기 전송된 제1 및 제2검색결과 데이터에 의해 검색 결과를 작성하여 상기 검색 서비스 사용자에게 제공하는 것을 특징으로 한다.The multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the multi-precision including at least one or more first search server, at least one or more second search server and at least one control device A system for providing a multimedia data retrieval service, comprising: receiving a latest uploaded original multimedia data, converting it into a feature vector, generating a first vector, approximating the first vector, and generating a second vector; A control device for generating a first search reference vector by converting the search reference data into a feature vector and generating a second search reference vector by approximating the first search reference vector when receiving search request data including data; Receives and stores the first vector from the control device, searches for a first vector having a smaller absolute value between the first search reference vector and the vector difference among the plurality of stored first vectors, and then stores the first search result data. A first search server for creating and transmitting to the control device; And receiving and storing the second vector from the control device, searching for a second vector having a smaller absolute value of the second difference between the second search reference vector and the vector among the plurality of stored second vectors, and performing a second search result. And a second search server for creating data and transmitting the data to the control device, wherein the control device creates a search result based on the transmitted first and second search result data and provides the search service user to the search service user. It is done.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는, 상기 제1벡터의 저장시 저장용량이 부족한 경우 먼저 저장된 순으로 기존에 저장된 제1벡터를 삭제하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval server, if the storage capacity when the storage of the first vector is insufficient first stored in the first stored order; It is characterized by deleting one vector.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는, 상기 제1벡터의 저장시 저장용량이 부족한 경우 LRU(least recently used) 알고리즘에 의해 검색 빈도가 낮은 순으로 기존에 저장된 제1벡터를 삭제하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval server includes a LRU (least recently used) algorithm when the storage capacity of the first vector is insufficient. By deleting the first vector stored in the order of the search frequency is low.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제어장치는, 최신 업로드된 원본 멀티미디어 데이터를 수신하는 원본 데이터 수신부; 검색 서비스 사용자로부터 검색 기준 데이터를 포함하는 사용자 검색 요청 데이터를 수신하고, 상기 사용자 검색 요청에 대응되는 검색 결과를 상기 검색 서비스 사용자에게 제공하는 서비스 사용자 인터페이스부; 상기 수신한 원본 멀티미디어 데이터를 feature vector로 변환하여 제1벡터를 생성하고 상기 제1벡터를 근사화하여 제2벡터를 생성하며, 상기 사용자 검색 요청 데이터를 수신한 경우 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성하고 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하는 feature vector 변환부; 상기 제1벡터를 상기 제1검색서버로 전송 하고 상기 제2벡터를 상기 제2검색서버로 전송하며, 상기 제1검색서버로 상기 제1검색기준벡터를 전송하고, 상기 제2검색서버로 상기 제2검색기준벡터를 전송하며, 상기 검색 요청에 대응되는 제1 및 제2검색결과 데이터를 상기 제1 및 제2검색서버로부터 수신하는 검색서버 인터페이스부; 상기 제1 및 제2검색결과 데이터에 의해 검색 결과를 작성하는 검색 결과 작성부; 및 상기 원본 데이터 수신부, 서비스 사용자 인터페이스부, feature vector 변환부, 검색 서버 인터페이스부 및 검색 결과 작성부의 동작을 제어하는 제어부;를 포함하는 것을 특징으로 한다.The multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the control device, the original data receiving unit for receiving the latest uploaded original multimedia data; A service user interface unit receiving user search request data including search reference data from a search service user and providing a search result corresponding to the user search request to the search service user; Converts the received original multimedia data into a feature vector to generate a first vector, approximates the first vector to generate a second vector, and converts the search reference data into a feature vector when the user search request data is received. A feature vector conversion unit generating a first search reference vector and generating a second search reference vector by approximating the first search reference vector; Transmitting the first vector to the first search server, transmitting the second vector to the second search server, transmitting the first search reference vector to the first search server, and transmitting the first vector to the second search server. A search server interface unit which transmits a second search reference vector and receives first and second search result data corresponding to the search request from the first and second search servers; A search result creation unit for creating a search result based on the first and second search result data; And a controller for controlling operations of the original data receiver, a service user interface, a feature vector converter, a search server interface, and a search result generator.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는, 상기 제어장치로부터 상기 제1벡터 및 상기 제1검색기준벡터를 수신하며, 상기 제1검색결과 데이터를 상기 제어장치로 전송하는 인터페이스부; 상기 하나 이상의 제1벡터를 저장하는 메모리부; 상기 메모리부에 저장된 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하는 검색엔진부; 및 상기 인터페이스부, 메모리부 및 검색엔진부의 동작을 제어하는 제어부;를 포함하여 구성되는 것을 특징으로 한다. 이 경우, 상기 제1검색서버는, 상기 제1벡터의 저장시 저장용량이 부족한 경우 먼저 저장된 순으로 기존에 저장된 제1벡터를 삭제하고, 새로 입력된 제1벡터를 상기 메모리부에 저장하는 메모리 업데이트부;를 더 포함하여 구성되는 것을 특징으로 할 수 있고, 상기 제1벡터의 저장시 저장용량이 부족한 경우 LRU(least recently used) 알고리즘에 의해 검색 빈도가 낮은 순으로 기존에 저장된 제1벡터를 삭제하고, 새로 입력된 제1벡터를 상기 메모리부에 저장하는 메모리 업데이트 부;를 더 포함하여 구성되는 것을 특징으로 할 수 있다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval server receives the first vector and the first retrieval reference vector from the control device, An interface unit transmitting first search result data to the control device; A memory unit for storing the one or more first vectors; A search engine unit for searching for a first vector of the first vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the first search reference vector; And a controller for controlling operations of the interface unit, the memory unit, and the search engine unit. In this case, when the storage capacity of the first vector is insufficient, the first search server deletes the previously stored first vector in the order of storage and stores the newly input first vector in the memory unit. It may be characterized in that it comprises a; further comprising, if the storage capacity when the storage of the first vector when the storage capacity is insufficient by the last recently used (LRU) algorithm to search the previously stored first vector in the order of low frequency And a memory update unit which deletes and stores the newly input first vector into the memory unit.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제2검색서버는, 상기 제어장치로부터 상기 제2벡터 및 상기 제2검색기준벡터를 수신하며, 상기 제2검색결과 데이터를 상기 제어장치로 전송하는 인터페이스부; 상기 하나 이상의 제2벡터를 저장하는 데이터베이스부; 상기 메모리부에 저장된 제2벡터들 중 상기 제2검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하는 검색엔진부; 및 상기 인터페이스부, 데이터베이스부 및 검색엔진부의 동작을 제어하는 제어부;를 포함하여 구성되는 것을 특징으로 한다.In a multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the second retrieval server receives the second vector and the second retrieval reference vector from the control device, An interface unit for transmitting second search result data to the control device; A database unit storing the one or more second vectors; A search engine unit for searching for a second vector of the second vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the second search reference vector; And a controller for controlling operations of the interface unit, the database unit, and the search engine unit.

이와 같은 목적을 달성하기 위한 본 발명의 또다른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 적어도 하나 이상의 제1검색서버, 적어도 하나 이상의 제2검색서버 및 적어도 하나 이상의 제어장치를 포함하는 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템으로서, 최신 업로드된 원본 멀티미디어 데이터를 수신하여 feature vector로 변환하여 제1벡터를 생성하고, 검색 서비스 사용자로부터 검색 기준 데이터를 포함하는 검색 요청 데이터를 수신한 경우 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성하고, 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하는 제어장치; 상기 제어장치로부터 상기 제1벡터를 수신하여 저장하되 상기 제1벡터의 저장시 저장용량이 부족한 경우 먼저 저장된 순으로 기존에 저장된 제1벡터를 근사화한 제2벡터를 생성하여 상기 제2검색서버로 전송 후 상기 기존에 저장된 제1벡터 를 삭제하며, 상기 저장된 복수의 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하여 제1검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제1검색서버; 및 상기 제1검색서버로부터 상기 제2벡터를 수신하여 저장하고, 상기 저장된 복수의 제2벡터들 중 상기 제2검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하여 제2검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제2검색서버;를 포함하되, 상기 제어장치는 상기 전송된 제1 및 제2검색결과 데이터에 의해 검색 결과를 작성하여 상기 검색 서비스 사용자에게 제공하는 것을 특징으로 한다.Another multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object is a multiple, including at least one first search server, at least one second search server and at least one control device A search service providing system for multimedia data with high precision, wherein the latest uploaded original multimedia data is received and converted into a feature vector to generate a first vector, and a search request data including search reference data is received from a search service user. A control device for generating a first search reference vector by converting the search reference data into a feature vector, and generating a second search reference vector by approximating the first search reference vector; Receive and store the first vector from the control device, but when the storage capacity of the first vector is insufficient, first generate a second vector approximating the previously stored first vector in the order of storage to the second search server. After the transmission, the previously stored first vector is deleted, and the first search result data is searched by searching for a first vector having a small absolute value between the first search reference vector and the vector difference among the plurality of stored first vectors. A first search server for creating and transmitting to the control device; And receiving and storing the second vector from the first search server, and searching for a second vector having an absolute value of a vector difference smaller than the second search reference vector among the plurality of stored second vectors. And a second search server for creating search result data and transmitting the search result data to the control device, wherein the control device generates a search result based on the transmitted first and second search result data and provides the search service user. It is characterized by.

이와 같은 목적을 달성하기 위한 본 발명의 또다른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 적어도 하나 이상의 제1검색서버, 적어도 하나 이상의 제2검색서버 및 적어도 하나 이상의 제어장치를 포함하는 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템으로서, 최신 업로드된 원본 멀티미디어 데이터를 수신하여 feature vector로 변환하여 제1벡터를 생성하고, 검색 서비스 사용자로부터 검색 기준 데이터를 포함하는 검색 요청 데이터를 수신한 경우 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성하고, 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하는 제어장치; 상기 제어장치로부터 상기 제1벡터를 수신하여 저장하되 상기 제1벡터의 저장시 저장용량이 부족한 경우 LRU(least recently used) 알고리즘에 의해 검색 빈도가 낮은 순으로 기존에 저장된 제1벡터를 근사화한 제2벡터를 생성하여 상기 제2검색서버로 전송 후 상기 기존에 저장된 제1벡터를 삭제하며, 상기 저장된 복수 의 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하여 제1검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제1검색서버; 및 상기 제1검색서버로부터 상기 제2벡터를 수신하여 저장하고, 상기 저장된 복수의 제2벡터들 중 상기 제2검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하여 제2검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제2검색서버;를 포함하되, 상기 제어장치는 상기 전송된 제1 및 제2검색결과 데이터에 의해 검색 결과를 작성하여 상기 검색 서비스 사용자에게 제공하는 것을 특징으로 한다.Another multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object is a multiple, including at least one first search server, at least one second search server and at least one control device A search service providing system for multimedia data with high precision, wherein the latest uploaded original multimedia data is received and converted into a feature vector to generate a first vector, and a search request data including search reference data is received from a search service user. A control device for generating a first search reference vector by converting the search reference data into a feature vector, and generating a second search reference vector by approximating the first search reference vector; Receiving and storing the first vector from the control device, but when the storage capacity of the first vector is insufficient, approximating the previously stored first vector in order of low search frequency by a least recently used (LRU) algorithm. A second vector is generated and transmitted to the second search server, and then the first stored vector is deleted, and the first order of the plurality of stored first vectors is smaller in absolute order than the first search reference vector. A first search server for searching for a vector and creating first search result data and transmitting the first search result data to the control apparatus; And receiving and storing the second vector from the first search server, and searching for a second vector having an absolute value of a vector difference smaller than the second search reference vector among the plurality of stored second vectors. And a second search server for creating search result data and transmitting the search result data to the control device, wherein the control device generates a search result based on the transmitted first and second search result data and provides the search service user. It is characterized by.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제어장치는, 최신 업로드된 원본 멀티미디어 데이터를 수신하는 원본 데이터 수신부; 검색 서비스 사용자로부터 검색 기준 데이터를 포함하는 사용자 검색 요청 데이터를 수신하고, 상기 사용자 검색 요청에 대응되는 검색 결과를 상기 검색 서비스 사용자에게 제공하는 서비스 사용자 인터페이스부; 상기 수신한 원본 멀티미디어 데이터를 feature vector로 변환하여 제1벡터를 생성하고, 상기 사용자 검색 요청 데이터를 수신한 경우 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성하고, 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하는 feature vector 변환부; 상기 제1벡터를 상기 제1검색서버로 전송하고, 상기 제1검색서버로 상기 제1검색기준벡터를 전송하고, 상기 제2검색서버로 상기 제2검색기준벡터를 전송하며, 상기 검색 요청에 대응되는 제1 및 제2검색결과 데이터를 상기 제1 및 제2검색서버로부터 수신 하는 검색서버 인터페이스부; 상기 제1 및 제2검색결과 데이터에 의해 검색 결과를 작성하는 검색 결과 작성부; 및 상기 원본 데이터 수신부, 서비스 사용자 인터페이스부, feature vector 변환부, 검색 서버 인터페이스부 및 검색 결과 작성부의 동작을 제어하는 제어부;를 포함하는 것을 특징으로 한다.The multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the control device, the original data receiving unit for receiving the latest uploaded original multimedia data; A service user interface unit receiving user search request data including search reference data from a search service user and providing a search result corresponding to the user search request to the search service user; Converting the received original multimedia data into a feature vector to generate a first vector, and when receiving the user search request data, converting the search reference data into a feature vector to generate a first search reference vector, and generating the first vector. A feature vector conversion unit generating a second search reference vector by approximating the search reference vector; Transmitting the first vector to the first search server, transmitting the first search reference vector to the first search server, transmitting the second search reference vector to the second search server, A search server interface unit for receiving corresponding first and second search result data from the first and second search servers; A search result creation unit for creating a search result based on the first and second search result data; And a controller for controlling operations of the original data receiver, a service user interface, a feature vector converter, a search server interface, and a search result generator.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는, 상기 제어장치로부터 상기 제1벡터 및 상기 제1검색기준벡터를 수신하고, 상기 제2벡터를 상기 제2검색서버로 전송하며, 상기 제1검색결과 데이터를 상기 제어장치로 전송하는 인터페이스부; 상기 하나 이상의 제1벡터를 저장하는 메모리부; 상기 메모리부의 저장용량을 파악하여 상기 제1벡터의 저장시 저장용량이 부족한 경우, 먼저 저장된 순으로 기존에 저장된 제1벡터를 근사화하여 제2벡터를 생성하고, 상기 생성된 제2벡터를 상기제2검색서버로 전송 후, 상기 기존에 저장된 제1벡터를 상기 메모리부에서 삭제하는 메모리 업데이트부; 상기 메모리부에 저장된 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하는 검색엔진부; 및 상기 인터페이스부, 메모리부 및 검색엔진부의 동작을 제어하는 제어부;를 포함하여 구성되는 것을 특징으로 할 수 있다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval server receives the first vector and the first retrieval reference vector from the control device, An interface unit for transmitting a second vector to the second search server and transmitting the first search result data to the control device; A memory unit for storing the one or more first vectors; When the storage capacity of the first vector is insufficient by determining the storage capacity of the memory unit, first, the first vector stored in the stored order is approximated to generate a second vector, and the generated second vector is stored as the second vector. A memory updater which deletes the previously stored first vector from the memory unit after transmitting to the second search server; A search engine unit for searching for a first vector of the first vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the first search reference vector; And a controller for controlling operations of the interface unit, the memory unit, and the search engine unit.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는, 상기 제어장치로부터 상기 제1벡터 및 상기 제1검색기준벡터를 수신하고, 상기 제2벡터를 상기 제2검색서버로 전송하며, 상기 제1검색결과 데이터를 상기 제어장치로 전송하는 인터페이 스부; 상기 하나 이상의 제1벡터를 저장하는 메모리부; 상기 메모리부의 저장용량을 파악하여 상기 제1벡터의 저장시 저장용량이 부족한 경우 LRU(least recently used) 알고리즘에 의해 검색 빈도가 낮은 순으로 기존에 저장된 제1벡터를 근사화하여 제2벡터를 생성하고, 상기 생성된 제2벡터를 상기제2검색서버로 전송 후, 상기 기존에 저장된 제1벡터를 상기 메모리부에서 삭제하는 메모리 업데이트부; 상기 메모리부에 저장된 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하는 검색엔진부; 및 상기 인터페이스부, 메모리부 및 검색엔진부의 동작을 제어하는 제어부;를 포함하여 구성되는 것을 특징으로 할 수 있다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval server receives the first vector and the first retrieval reference vector from the control device, An interface unit for transmitting a second vector to the second search server and transmitting the first search result data to the control device; A memory unit for storing the one or more first vectors; If the storage capacity of the first vector is insufficient by determining the storage capacity of the memory unit, a second vector is generated by approximating the previously stored first vector in the order of low search frequency by a least recently used (LRU) algorithm. A memory update unit which transmits the generated second vector to the second search server and then deletes the previously stored first vector from the memory unit; A search engine unit for searching for a first vector of the first vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the first search reference vector; And a controller for controlling operations of the interface unit, the memory unit, and the search engine unit.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제2검색서버는, 상기 제1검색서버로부터 상기 제2벡터를 수신하며, 상기 제어장치로부터 상기 제2검색기준벡터를 수신하며, 상기 제2검색결과 데이터를 상기 제어장치로 전송하는 인터페이스부; 상기 하나 이상의 제2벡터를 저장하는 데이터베이스부; 상기 메모리부에 저장된 제2벡터들 중 상기 제2검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하는 검색엔진부; 및 상기 인터페이스부, 데이터베이스부 및 검색엔진부의 동작을 제어하는 제어부;를 포함하여 구성되는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the second retrieval server receives the second vector from the first retrieval server, An interface unit for receiving a second search reference vector and transmitting the second search result data to the control device; A database unit storing the one or more second vectors; A search engine unit for searching for a second vector of the second vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the second search reference vector; And a controller for controlling operations of the interface unit, the database unit, and the search engine unit.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는 반도체 메모리에 의한 저장장치 및 SIMD 프로세서를 포함하여 구성되고, 상기 제2검색서버는 하드디스크 를 포함하는 비휘발성 저장장치 및 CPU를 포함하여 구성되며, 상기 제1검색서버는 상기 반도체 메모리에 상기 제1벡터를 저장하고, 상기 제2검색서버는 상기 비휘발성 저장장치에 상기 제2벡터를 저장하며, 상기 제1검색서버는, 상기 SIMD 프로세서의 연산에 의하여 상기 벡터차의 절대값이 작은 순서의 제1벡터를 검색하며, 상기 제2검색서버는, 상기 CPU의 연산에 의하여 상기 벡터차의 절대값이 작은 순서의 제2벡터를 검색하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval server comprises a storage device by a semiconductor memory and a SIMD processor, the second retrieval server And a nonvolatile storage device including a hard disk and a CPU, wherein the first search server stores the first vector in the semiconductor memory, and the second search server stores the second vector in the nonvolatile storage device. Stores a vector, wherein the first search server searches for a first vector in the order of decreasing absolute value of the vector difference by calculation of the SIMD processor, and the second search server searches for the first vector by calculation of the CPU. The second vector is searched in order of decreasing absolute value of the vector difference.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는 반도체 메모리에 의한 저장장치 및 GPGPU 프로세서를 포함하여 구성되고, 상기 제2검색서버는 하드디스크를 포함하는 비휘발성 저장장치 및 CPU를 포함하여 구성되며, 상기 제1검색서버는 상기 반도체 메모리에 상기 제1벡터를 저장하고, 상기 제2검색서버는 상기 비휘발성 저장장치에 상기 제2벡터를 저장하며, 상기 제1검색서버는, 상기 GPGPU 프로세서의 연산에 의하여 상기 벡터차의 절대값이 작은 순서의 제1벡터를 검색하며, 상기 제2검색서버는, 상기 CPU의 연산에 의하여 상기 벡터차의 절대값이 작은 순서의 제2벡터를 검색하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval server comprises a storage device and a GPGPU processor by a semiconductor memory, the second retrieval server And a nonvolatile storage device including a hard disk and a CPU, wherein the first search server stores the first vector in the semiconductor memory, and the second search server stores the second vector in the nonvolatile storage device. And a first search server to search for a first vector in the order of decreasing absolute value of the vector difference by the operation of the GPGPU processor, and the second search server to perform the calculation by the CPU. The second vector is searched in order of decreasing absolute value of the vector difference.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버가 작성하는 상기 제1검색결과 데이터는, 상기 벡터차의 절대값이 작은 순서로 미리 설정된 순위 이내에 해당하는 제1벡터를 포함하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval result data generated by the first retrieval server is pre-arranged in the order that the absolute value of the vector difference is small. And a first vector corresponding to the set rank.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버가 작성하는 상기 제1검색결과 데이터는, 상기 벡터차의 절대값이 미리 설정된 크기 이하에 해당하는 제1벡터를 포함하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval result data generated by the first retrieval server, the absolute value of the vector difference is less than a predetermined size; It characterized in that it comprises a first vector corresponding to.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제어장치는, 상기 제1검색서버로부터 수신한 상기 제1검색결과 데이터가 미리 설정된 기준 개수 이상으로 충족되었는지를 판단하고, 상기 판단 결과 상기 제1검색결과 데이터가 없거나 미리 설정된 기준 개수에 미치지 못하는 경우에만 상기 제2검색기준벡터를 생성하여 상기 제2검색서버로 전송하며, 상기 판단 결과 상기 제1검색결과 데이터가 미리 설정된 기준 개수 이상으로 충족된 경우에는 상기 제1검색서버로부터 수신한 제1검색결과 데이터만으로 검색 결과를 작성하여 상기 검색 서비스 사용자에게 제공하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the control device, the first search result data received from the first search server meets more than a predetermined reference number; The second search reference vector is generated and transmitted to the second search server only when the first search result data is missing or does not reach a predetermined number of criteria, and the determination results the first search. When the result data meets or exceeds a predetermined reference number, the search result is generated only by the first search result data received from the first search server and provided to the search service user.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는 2 이상의 하위검색서버로 구성되며, 상기 각 하위검색서버는 상기 원본 멀티미디어 데이터의 업데이트 시기를 기준으로 분류된 저장 시(時)구간에 해당하는 제1벡터를 나누어 저장하되, 상기 저장 시(時)구간은 현재 시점을 기준으로 가까울수록 짧은 시(時)구간을 갖는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval server is composed of two or more sub retrieval server, each sub retrieval server is to update the original multimedia data The first vector corresponding to the storage time period classified based on the time period is divided and stored, and the storage time period has a shorter time period as the current time is closer to the current time period. .

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는 2 이상 하위검색서버로 구성되며, 상기 각 하위검색서버는 LRU(least recently used) 알고리즘에 의해 상기 원본 멀티미디어 데이터의 검색 빈도를 기준으로 분류된 제1벡터를 나누어 저장하되, 상기 검색 빈도가 높은 제1벡터들을 저장한 하위검색서버일수록 적은 개수의 제1벡터를 저장하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention, the first retrieval server is composed of two or more sub retrieval servers, and each sub retrieval server is LRU (least recently used). A first vector classified based on a search frequency of the original multimedia data is divided and stored by an algorithm, but a lower number of first vectors storing the first vectors having the higher search frequency stores fewer first vectors. do.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는 2 이상의 하위검색서버로 구성되며, 상기 각 하위검색서버는 상기 원본 멀티미디어 데이터의 업데이트 시기를 기준으로 분류된 저장 시(時)구간에 해당하는 제1벡터를 나누어 저장하되, 상기 제1검색서버는 상기 저장 시(時)구간이 현재 시점을 기준으로 가까울수록 더 많은 개수의 하위검색서버를 포함하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention for achieving the above object, the first retrieval server is composed of two or more sub retrieval server, each sub retrieval server is to update the original multimedia data The first search server divides and stores a first vector corresponding to a storage time period classified based on time, and the first search server stores a larger number of sub-searches as the storage time period is closer to the current time point. It characterized in that it comprises a server.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 상기 제1검색서버는 2 이상 하위검색서버로 구성되며, 상기 각 하위검색서버는 LRU(least recently used) 알고리즘에 의해 상기 원본 멀티미디어 데이터의 검색 빈도를 기준으로 분류된 제1벡터를 나누어 저장하되, 상기 제1검색서버는 상기 검색 빈도가 높은 제1벡터들을 저장한 하위검색서버일수록 더 많은 개수의 하위검색서버를 포함하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service providing system of the present invention, the first retrieval server is composed of two or more sub retrieval servers, and each sub retrieval server is LRU (least recently used). A first vector classified based on a search frequency of the original multimedia data is stored by an algorithm, and the first search server is a lower search server storing the first vectors having the high search frequency. It characterized in that it comprises a server.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 적어도 하나 이상의 제1검색서버, 적어도 하나 이상의 제2검색서버 및 적어도 하나 이상의 제어장치를 포함하는 시스템에 의한 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법으로서, 상기 제어장치가, 최신 업로드된 원본 멀티미디어 데이터를 수신하여 feature vector로 변환하여 제1벡터를 생성하고, 상기 제1벡터를 근사화하여 제2벡터를 생성하는 제1단계; 상기 제1검색서버가 상기 제1벡터를 수신하여 저장하고, 상기 제2검색서버가 상기 제2벡터를 수신하여 저장하는 제2단계; 상기 제어장치가, 검색 서비스 사용자로부터 검색 기준 데이터를 포함하는 검색 요청 데이터를 수신한 경우 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성하여 상기 제1검색서버로 전송하는 제3단계; 상기 제1검색서버가, 상기 저장된 복수의 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하여 제1검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제4단계; 상기 제어장치가, 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하여 상기 제2검색서버로 전송하는 제5단계; 상기 제2검색서버가, 상기 저장된 복수의 제2벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하여 제2검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제6단계; 및 상기 제어장치가, 상기 전송된 제1 및 제2검색결과 데이터에 의한 검색 결과를 상기 검색 서비스 사용자에게 제공하는 제7단계;를 포함하는 것을 특징으로 한다.The multi-precision multimedia data retrieval service method of the present invention for achieving the above object is a multi-system by a system including at least one or more first search server, at least one or more second search server and at least one control device. A method of retrieving multimedia data with high precision, the control apparatus receiving the latest uploaded original multimedia data and converting it into a feature vector to generate a first vector, and approximating the first vector to generate a second vector. First step; A second step in which the first search server receives and stores the first vector, and the second search server receives and stores the second vector; When the control device receives the search request data including the search reference data from the user of the search service, converting the search reference data into a feature vector to generate a first search reference vector and transmits it to the first search server; step; The first search server searches for a first vector of a sequence in which the absolute value of the vector difference is smaller than the first search reference vector among the plurality of stored first vectors, to create first search result data, and to the controller. Transmitting a fourth step; A fifth step of the control apparatus approximating the first search reference vector to generate a second search reference vector and transmit the generated second search reference vector to the second search server; The second search server searches for a second vector of an order in which the absolute value of the vector difference and the first search reference vector are smaller among the plurality of stored second vectors, to generate second search result data, and to the controller. A sixth step of transmitting; And a seventh step of providing, by the control apparatus, the search result based on the transmitted first and second search result data to the search service user.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 상기 제2단계에서, 상기 제1검색서버는 상기 제1벡터의 저장시 저장용량이 부족한 경우 먼저 저장된 순으로 기존에 저장된 제1벡터를 삭제하는 것을 특징으로 한다.The multi-precision multimedia data retrieval service method of the present invention for achieving the above object, in the second step, the first retrieval server when the storage capacity of the first vector when the storage capacity is insufficient first stored in order It is characterized in that the previously stored first vector is deleted.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 상기 제2단계에서, 상기 제1검색서버는 상기 제1벡터의 저장시 저장용량이 부족한 경우 LRU(least recently used) 알고리즘에 의해 검색 빈도가 낮은 순으로 기존에 저장된 제1벡터를 삭제하는 것을 특징으로 한다.The multi-precision multimedia data retrieval service method of the present invention for achieving the above object, in the second step, the first retrieval server when the storage capacity of the first vector when the storage capacity is insufficient LRU (least recently used) the first vector stored in the order of low search frequency is deleted by the algorithm.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 적어도 하나 이상의 제1검색서버, 적어도 하나 이상의 제2검색서버 및 적어도 하나 이상의 제어장치를 포함하는 시스템에 의한 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법으로서, 상기 제어장치가, 최신 업로드된 원본 멀티미디어 데이터를 수신하여 feature vector로 변환하여 제1벡터를 생성하는 제1단계; 상기 제1검색서버가 상기 제1벡터를 수신하여 저장하되, 상기 제1벡터의 저장시 저장용량이 부족한 경우 먼저 저장된 순으로 기존에 저장된 제1벡터를 근사화한 제2벡터를 생성하여 상기 제2검색서버로 전송 후 상기 기존에 저장된 제1벡터를 삭제하고, 상기 제2검색서버는 상기 전송된 제2벡터를 수신하여 저장하는 제2단계; 상기 제어장치가, 검색 서비스 사용자로부터 검색 기준 데이터를 포함하는 검색 요청 데이터를 수신한 경우 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성하여 상기 제1검색서버로 전송하는 제3단계; 상기 제1검색서버가, 상기 저장된 복수의 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하여 제1검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제4단계; 상기 제어장치가, 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하여 상기 제2검색서버로 전송하는 제5단 계; 상기 제2검색서버가, 상기 저장된 복수의 제2벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하여 제2검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제6단계; 및 상기 제어장치가, 상기 전송된 제1 및 제2검색결과 데이터에 의한 검색 결과를 상기 검색 서비스 사용자에게 제공하는 제7단계;를 포함하는 것을 특징으로 한다.The multi-precision multimedia data retrieval service method of the present invention for achieving the above object is a multi-system by a system including at least one or more first search server, at least one or more second search server and at least one control device. CLAIMS 1. A search service method for multimedia data with high precision, comprising: a first step of the control device receiving a latest uploaded original multimedia data and converting it into a feature vector to generate a first vector; The first search server receives the first vector and stores the first vector. However, when the storage capacity of the first vector is insufficient, the first search server generates a second vector approximating the previously stored first vector in the order of storing the first vector. A second step of deleting the previously stored first vector after transmission to a search server, and receiving and storing the transmitted second vector; When the control device receives the search request data including the search reference data from the user of the search service, converting the search reference data into a feature vector to generate a first search reference vector and transmits it to the first search server; step; The first search server searches for a first vector of a sequence in which the absolute value of the vector difference is smaller than the first search reference vector among the plurality of stored first vectors, to create first search result data, and to the controller. Transmitting a fourth step; A fifth step of the control apparatus approximating the first search reference vector to generate a second search reference vector and transmit the generated second search reference vector to the second search server; The second search server searches for a second vector of an order in which the absolute value of the vector difference and the first search reference vector are smaller among the plurality of stored second vectors, to generate second search result data, and to the controller. A sixth step of transmitting; And a seventh step of providing, by the control apparatus, the search result based on the transmitted first and second search result data to the search service user.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 적어도 하나 이상의 제1검색서버, 적어도 하나 이상의 제2검색서버 및 적어도 하나 이상의 제어장치를 포함하는 시스템에 의한 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법으로서, 상기 제어장치가, 최신 업로드된 원본 멀티미디어 데이터를 수신하여 feature vector로 변환하여 제1벡터를 생성하는 제1단계; 상기 제1검색서버가 상기 제1벡터를 수신하여 저장하되, 상기 제1벡터의 저장시 저장용량이 부족한 경우 LRU(least recently used) 알고리즘에 의해 검색 빈도가 낮은 순으로 기존에 저장된 제1벡터를 근사화한 제2벡터를 생성하여 상기 제2검색서버로 전송 후 상기 기존에 저장된 제1벡터를 삭제하고, 상기 제2검색서버는 상기 전송된 제2벡터를 수신하여 저장하는 제2단계; 상기 제어장치가, 검색 서비스 사용자로부터 검색 기준 데이터를 포함하는 검색 요청 데이터를 수신한 경우 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성하여 상기 제1검색서버로 전송하는 제3단계; 상기 제1검색서버가, 상기 저장된 복수의 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하여 제1검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제4 단계; 상기 제어장치가, 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하여 상기 제2검색서버로 전송하는 제5단계; 상기 제2검색서버가, 상기 저장된 복수의 제2벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하여 제2검색결과 데이터를 작성하고 상기 제어장치로 전송하는 제6단계; 및 상기 제어장치가, 상기 전송된 제1 및 제2검색결과 데이터에 의한 검색 결과를 상기 검색 서비스 사용자에게 제공하는 제7단계;를 포함하는 것을 특징으로 한다.The multi-precision multimedia data retrieval service method of the present invention for achieving the above object is a multi-system by a system including at least one or more first search server, at least one or more second search server and at least one control device. CLAIMS 1. A search service method for multimedia data with high precision, comprising: a first step of the control device receiving a latest uploaded original multimedia data and converting it into a feature vector to generate a first vector; The first search server receives the first vector and stores the first vector, but when the storage capacity of the first vector is insufficient, the first search server stores the first vector in the order of low search frequency by a least recently used (LRU) algorithm. Generating an approximated second vector, transmitting the second vector to the second search server, deleting the previously stored first vector, and the second search server receiving and storing the transmitted second vector; When the control device receives the search request data including the search reference data from the user of the search service, converting the search reference data into a feature vector to generate a first search reference vector and transmits it to the first search server; step; The first search server searches for a first vector of a sequence in which the absolute value of the vector difference is smaller than the first search reference vector among the plurality of stored first vectors, to create first search result data, and to the controller. A fourth step of transmitting; A fifth step of the control apparatus approximating the first search reference vector to generate a second search reference vector and transmit the generated second search reference vector to the second search server; The second search server searches for a second vector of an order in which the absolute value of the vector difference and the first search reference vector are smaller among the plurality of stored second vectors, to generate second search result data, and to the controller. A sixth step of transmitting; And a seventh step of providing, by the control apparatus, the search result based on the transmitted first and second search result data to the search service user.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 상기 제1검색서버는 반도체 메모리에 의한 저장장치 및 SIMD 프로세서를 포함하여 구성되고, 상기 제2검색서버는 하드디스크를 포함하는 비휘발성 저장장치 및 CPU를 포함하여 구성되며, 상기 제2단계에 있어서, 상기 제1검색서버는 상기 반도체 메모리에 상기 제1벡터를 저장하고, 상기 제2검색서버는 상기 비휘발성 저장장치에 상기 제2벡터를 저장하며, 상기 제4단계에 있어서, 상기 벡터차의 절대값이 작은 순서의 제1벡터 검색은 상기 SIMD 프로세서의 연산에 의하며, 상기 제6단계에 있어서, 상기 상기 벡터차의 절대값이 작은 순서의 제1벡터 검색은 상기 CPU의 연산에 의하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service method of the present invention for achieving the above object, the first retrieval server comprises a storage device by a semiconductor memory and a SIMD processor, the second retrieval server is hard And a nonvolatile storage device including a disk and a CPU, wherein in the second step, the first search server stores the first vector in the semiconductor memory, and the second search server stores the nonvolatile memory. Storing the second vector in a storage device, and in the fourth step, searching for the first vector in the order of decreasing absolute value of the vector difference is performed by the SIMD processor, and in the sixth step, the The first vector search in the order of decreasing absolute value of the vector difference is based on the calculation of the CPU.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 상기 제4단계에서 상기 제1검색서버가 작성하는 상기 제1검색결과 데이터는, 상기 벡터차의 절대값이 작은 순서로 미리 설정된 순위 이내에 해당하는 제1벡터를 포함하는 것을 특징으로 한다.In order to achieve the above object, in the multi-precision multimedia data retrieval service method of the present invention, the first retrieval result data generated by the first retrieval server in the fourth step is the absolute value of the vector difference. The first vector may be included in a predetermined order in a small order.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 상기 제4단계에서 상기 제1검색서버가 작성하는 상기 제1검색결과 데이터는, 상기 벡터차의 절대값이 미리 설정된 크기 이하에 해당하는 제1벡터를 포함하는 것을 특징으로 한다.In order to achieve the above object, in the multi-precision multimedia data retrieval service method of the present invention, the first retrieval result data generated by the first retrieval server in the fourth step is the absolute value of the vector difference. And a first vector corresponding to a predetermined size or less.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 상기 제4단계와 상기 제5단계 사이에, 상기 제어장치가 상기 제4단계에 의해 수신한 상기 제1검색결과 데이터가 미리 설정된 기준 개수 이상으로 충족되었는지를 판단하는 제4-2단계를 더 포함하고, 상기 제4-2단계에 있어서, 상기 제1검색결과 데이터가 없거나 미리 설정된 기준 개수에 미치지 못하는 경우, 상기 제5단계 이하의 단계를 실행하되, 상기 제4-2단계에 있어서, 상기 제1검색결과 데이터가 미리 설정된 기준 개수 이상으로 충족된 경우, 상기 제5단계 및 제6단계를 거치지 아니하고, 상기 제7단계에 있어서 상기 제어장치는 상기 제1검색결과 데이터만에 의한 검색 결과를 상기 검색 서비스 사용자에게 제공하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service method of the present invention for achieving the above object, the first retrieval received by the control device in the fourth step between the fourth step and the fifth step; In addition, the method further includes a step 4-2 of determining whether the result data is satisfied by the preset reference number or more, and in the step 4-2, when the first search result data is missing or does not reach the preset reference number, In step 4-2, if the first search result data meets or exceeds a predetermined reference number, the fifth and sixth steps are not performed. In the seventh step, the control device provides the search service user with a search result based only on the first search result data.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 상기 제1검색서버는 2 이상의 하위검색서버로 구성되며, 상기 각 하위검색서버는 상기 원본 멀티미디어 데이터의 업데이트 시기를 기준으로 분류된 저장 시(時)구간에 해당하는 제1벡터를 나누어 저장하되, 상기 저장 시(時)구간은 현재 시점을 기준으로 가까울수록 짧은 시(時)구간을 갖는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service method of the present invention, the first retrieval server comprises two or more sub retrieval servers, and each sub retrieval server updates the original multimedia data. The first vectors corresponding to the storage time periods classified based on the data are divided and stored, and the storage time periods are shorter in time as the reference time is closer to the current time point.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 상기 제1검색서버는 2 이상 하위검색서버로 구성되며, 상기 각 하위검색서버는 LRU(least recently used) 알고리즘에 의해 상기 원본 멀티미디어 데이터의 검색 빈도를 기준으로 분류된 제1벡터를 나누어 저장하되, 상기 검색 빈도가 높은 제1벡터들을 저장한 하위검색서버일수록 적은 개수의 제1벡터를 저장하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service method of the present invention, the first retrieval server is composed of two or more sub retrieval servers, and each sub retrieval server is a LRU (least recently used) algorithm. The first vectors classified based on the search frequency of the original multimedia data are divided and stored, and a lower number of first vectors stored in the first search vectors storing the first vectors having a higher search frequency store fewer first vectors. .

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 상기 제1검색서버는 2 이상의 하위검색서버로 구성되며, 상기 각 하위검색서버는 상기 원본 멀티미디어 데이터의 업데이트 시기를 기준으로 분류된 저장 시(時)구간에 해당하는 제1벡터를 나누어 저장하되, 상기 제1검색서버는 상기 저장 시(時)구간이 현재 시점을 기준으로 가까울수록 더 많은 개 수의 하위검색서버를 포함하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service method of the present invention, the first retrieval server comprises two or more sub retrieval servers, and each sub retrieval server updates the original multimedia data. The first search server divides and stores the first vector corresponding to the storage time period classified based on the data, and the first search server stores more sub-searches as the storage time period is closer to the current time point. It characterized in that it comprises a server.

이와 같은 목적을 달성하기 위한 본 발명의 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 방법은, 상기 제1검색서버는 2 이상 하위검색서버로 구성되며, 상기 각 하위검색서버는 LRU(least recently used) 알고리즘에 의해 상기 원본 멀티미디어 데이터의 검색 빈도를 기준으로 분류된 제1벡터를 나누어 저장하되, 상기 제1검색서버는 상기 검색 빈도가 높은 제1벡터들을 저장한 하위검색서버일수록 더 많은 개수의 하위검색서버를 포함하는 것을 특징으로 한다.In the multi-precision multimedia data retrieval service method of the present invention, the first retrieval server is composed of two or more sub retrieval servers, and each sub retrieval server is a LRU (least recently used) algorithm. The first vector classified according to the search frequency of the original multimedia data is divided and stored, wherein the first search server is a lower search server that stores the first vectors having the high search frequency. Characterized in that it comprises a.

상기와 같은 구성을 가지는 본 발명에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템 및 그 제공 방법은, 멀티미디어 데이터를 검색요청 가능성이 높은 멀티미디어 데이터와 상대적으로 검색요청 가능성이 낮은 멀티미디어 데이터로 구분하여, 검색요청 가능성이 높은 멀티미디어 데이터에 대해서는 상기 종래 기술 중 approximate solution을 사용하지 아니하는 방법을 채택한 제1검색서버를 통해서, 검색요청 가능성이 낮은 멀티미디어 데이터에 대해서는 approximate solution을 사용한 방법을 채택한 제2검색서버를 통해서 검색 서비스를 제공함으로써, 검색요청 가능성이 높은 멀티미디어 데이터에 대한 정확한 검색 결과를 제공하고 검색요청 가능성이 낮은 멀티미디어 데이터에 대한 빠른 검색 결과를 제공할 수 있는 효과가 있다.The multi-precision multimedia data retrieval service providing system and method for providing the same according to the present invention having the above-described configuration may be classified into multimedia data having a high retrieval request and multimedia data having a low retrieval request. The second search employing the method using the approximate solution for the multimedia data that is unlikely to be searched through the first search server adopting the method of not using the approximate solution of the prior art for the multimedia data that is likely to be searched. By providing a search service through a server, it is possible to provide accurate search results for multimedia data having a high likelihood of a search request and to provide fast search results for multimedia data having a low likelihood of a search request.

또한, 검색요청 가능성이 높은 멀티미디어 데이터에 대해서는 SIMD 프로세서와 반도체 메모리를 구비하여 빠른 검색 결과를 얻을 수 있는 제1검색서버를 통해 검색 서비스를 제공하고, 상대적으로 검색요청 가능성이 낮은 멀티미디어 데이터에 대해서는 기존의 CPU 프로세서와 비휘발성 저장장치를 구비하여 많은 양의 데이터베이스를 대상으로 한 검색 결과를 얻을 수 있는 제2검색서버를 통해 검색 서비스를 제공함으로써, 멀티미디어 데이터의 검색 서비스 제공에 있어서 질적(빠른 검색 속도), 양적(풍부한 데이터베이스)으로 향상된 효과를 가진다.In addition, it provides a search service through a first search server that can obtain fast search results by providing a SIMD processor and a semiconductor memory for multimedia data that is highly likely to be searched, and the existing data for multimedia data that is relatively unlikely to be searched. It provides qualitative (quick search speed in providing multimedia data retrieval service by providing retrieval service through a second retrieval server equipped with a CPU processor and a nonvolatile storage device capable of obtaining a search result for a large amount of databases. ), Quantitatively (rich database) has an improved effect.

따라서, 본 발명에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템 및 그 제공 방법은, 빠르고 정확한 검색 결과를 제공하고, 풍부한 데이터베이스에 대한 검색 서비스를 제공할 수 있는 멀티미디어 데이터의 검색 서비스 제공 시스템 및 그 제공 방법을 제공할 수 있다.Accordingly, the present invention provides a multi-precision multimedia data retrieval service providing system and a method for providing the multi-precision multimedia data retrieval service that can provide a quick and accurate retrieval result and provide a retrieval service for a rich database. The provision method can be provided.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템의 전체 구성을 도시한 구성도이다.1 is a block diagram showing the overall configuration of a system for providing a search service for multimedia data with multiple precisions according to an embodiment of the present invention.

본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, 제어장치(10), 제1검색서버(20) 및 제2검색서버(30)을 포함하여 구성된다. 상기 멀티미디어 데이터의 검색 서비스 제공 시스템에는 검색 서비스 사용자(40)가 상기 제어장치(10)에 TCP/IP 등의 인터넷 프로토콜을 통하여 접속할 수 있다. 또한 상기 제어장치(10)는 멀티미디어 데이터를 제공하는 CP(Contents Provider) 서버로부터 원본 멀티미디어 데이터를 수신하기 위한 채널을 구성할 수 있다.The search service providing system for multimedia data with multiple precisions according to an embodiment of the present invention includes a control device 10, a first search server 20, and a second search server 30. The search service user 40 may access the control device 10 through the Internet protocol such as TCP / IP. In addition, the control device 10 may configure a channel for receiving original multimedia data from a Contents Provider (CP) server that provides multimedia data.

상기 제어장치(10)는 검색 서비스 사용자 및 CP 서버와의 인터페이스를 담당하고, 상기 제1검색서버(20) 및 제2검색서버(30)의 데이터베이스 저장 및 검색 요청을 검색요청 가능성에 따라 분배하는 기능을 수행한다.The control device 10 is responsible for the interface with the search service user and the CP server, and distributes the database storage and search requests of the first search server 20 and the second search server 30 according to the search request possibility Perform the function.

상기 제1검색서버(20)는 검색요청 가능성이 높은 멀티미디어 데이터에 대한 검색 서비스를 제공하는 기능을 수행한다. 여기서 검색요청 가능성의 고저 기준은, 업데이트된 시기가 현재시점에서 가까울수록, 또는 LRU(least recently used) 알고리즘에 의해 검색 빈도가 높을수록 검색요청 가능성이 높다고 할 것이다.The first search server 20 performs a function of providing a search service for multimedia data having a high possibility of search request. Here, the high criterion of the search request possibility is that the closer the updated time is to the current time, or the higher the search frequency by the LRU (least recently used) algorithm, the higher the search request probability.

상기 LRU(least recently used) 알고리즘은 cache 알고리즘의 한가지 예로서, 상기 cache 알고리즘에는 상기 LRU 외에도, MRU(Most Recently Used) 알고리즘이나 Direct-mapped Cache 등의 다양한 방법이 존재한다. 따라서 본 발명의 보호범위는 상기 실시예와 같이 LRU(least recently used) 알고리즘을 이용하여 검색요청 가능성을 판단하는 시스템 및 방법에만 미치는 것이 아니라, MRU(Most Recently Used) 알고리즘이나 Direct-mapped Cache 등의 당업자가 용이하게 채택할 수 있는 알고리즘에 의한 시스템 및 방법에도 본 발명의 보호범위는 미치는 것이라 할 것이다.The least recently used (LRU) algorithm is one example of a cache algorithm. In addition to the LRU, there are various methods such as a most recently used (MRU) algorithm or a direct-mapped cache. Therefore, the protection scope of the present invention is not limited only to the system and method for determining the possibility of a search request using a least recently used (LRU) algorithm as in the above embodiment, but also to a MRU (Most Recently Used) algorithm or a direct-mapped cache. The scope of protection of the present invention will also extend to systems and methods by algorithms that can be readily adopted by those skilled in the art.

상기 제2검색서버(30)는 검색요청 가능성이 상대적으로 낮은 멀티미디어 데이터에 대한 검색 서비스를 제공하는 기능을 수행한다.The second search server 30 performs a function of providing a search service for multimedia data having a relatively low likelihood of a search request.

일반적으로 검색 서비스를 제공하는 시스템의 데이터베이스는 시간이 지남에 따라 점점 방대해지는데 비하여 실제로 검색이 요청되는 데이터는 일부 데이터에 집중되므로, 검색요청 가능성이 높은 데이터에 대해서는 빠른 검색 결과를 제공하는 것이 중요하고, 검색요청 가능성이 낮은 데이터에 대해서는 데이터베이스의 저장 용량이 큰 것이 중요하다.In general, the database of a system that provides a search service is getting larger over time, but the data actually being searched is concentrated on some data, so it is important to provide fast search results for data that is likely to be requested. However, for data with low likelihood of retrieval requests, it is important that the database has a large storage capacity.

따라서 본 발명에 의한 제1검색서버(20)는 저장용량이 작더라도 빠르고 정확한 검색 결과를 제공하는 것이 요구되고, 제2검색서버(30)는 상대적으로 큰 저장용량을 구비할 것이 요구된다.Therefore, the first search server 20 according to the present invention is required to provide fast and accurate search results even if the storage capacity is small, and the second search server 30 is required to have a relatively large storage capacity.

상기와 같은 요구사항을 충족시키기 위하여, 본 발명에 의한 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템은, SIMD 프로세서 및 반도체 메모리를 구비한 제1검색서버(20)를 포함한다.In order to satisfy the requirements as described above, the system for providing a search service for multimedia data with multiple precisions according to the present invention includes a first search server 20 having a SIMD processor and a semiconductor memory.

SIMD 프로세서란 Single Instruction Multiple Data를 뜻하는 것으로, CPU를 비롯한 일반적인 마이크로프로세서가 다양한 기능을 수행하기 위해 많은 명령어를 수행할 수 있도록 설계된 것에 반해, 극히 적은 명령어를 가지고 있으면서 한번에 여러 개의 데이터를 처리할 수 있도록 설계된 프로세서를 의미한다. 예를 들어, Intel의 MMX 프로세서나 그래픽카드에 사용되는 GPU(graphics processing unit) 프로세서등이 SIMD 프로세서의 일종이다. GPU 프로세서의 경우, 3D 데이터의 랜더링 등을 위하여 사칙연산 등의 매우 단순한 명령어만 필요하나 연산이 필요한 데이터의 숫자가 매우 방대하므로 한번에 여러 개의 데이터를 처리하는 것이 필요하다. 본 발명에서 필요한 멀티미디어 데이터의 검색에도 벡터차를 구하는 단순한 연산이 매우 방대한 개수로 요구되므로 상기와 같은 GPU를 포함하는 SIMD 프로세서를 채용할 경우 매우 효율적이다.SIMD processor stands for Single Instruction Multiple Data. While a microprocessor, such as a CPU, is designed to execute many instructions to perform various functions, it can process multiple data at once with very few instructions. Means a processor designed to do so. For example, Intel's MMX processor or graphics processing unit (GPU) processor used in graphics cards is a type of SIMD processor. In the case of the GPU processor, only a very simple instruction such as arithmetic operation is required for rendering 3D data, but the number of data required for operation is very large, and thus it is necessary to process several data at once. In the search for multimedia data required by the present invention, since a simple operation for obtaining a vector difference is required in a very large number, it is very efficient to employ a SIMD processor including the GPU as described above.

상기의 SIMD 프로세서 이외에도, 상기 제1검색서버(20)는 GPGPU 프로세서 및 반도체 메모리를 구비함으로서 구현될 수 있다. 상기 GPGPU(General-Purpose computing on Graphics Processing Units: 그래픽 처리 장치를 통한 일반 목적의 컴퓨팅)는 상기 SIMD 프로세서의 일종인 GPU로부터 유래하였으나, 상기의 General-Purpose computing으로 발전될 가능성이 있는바, 향후 프로세서에 더 많은 기 능(Instruction)이 추가될 가능성이 있으므로 엄밀히는 SIMD 프로세서의 범주에 완전히 포함되는 것은 아니다. 상기 GPGPU 프로세서는 컴퓨터 그래픽스를 위한 계산만 다루는 GPU를 사용하여 CPU에 전통적으로 관리했던 응용 프로그램들의 계산을 수행하는 기술이다. 현재 프로그래밍할 수 있는 단계에 이미 이르렀으며, 저렴한 비용으로 본원 발명과 같은 대량의 데이터를 병렬처리할 수 있는 가장 강력한 연산처리장치라고 할 것이다.In addition to the SIMD processor, the first search server 20 may be implemented by including a GPGPU processor and a semiconductor memory. The General-Purpose Computing on Graphics Processing Units (GPGPU) originated from the GPU, which is a kind of the SIMD processor, but may be developed into the General-Purpose computing. There is a possibility that more instruction will be added to it, so it is not strictly included in the category of SIMD processors. The GPGPU processor is a technology for performing calculations of applications that have been traditionally managed in the CPU by using a GPU that deals only with calculations for computer graphics. It has already reached the stage of programmable programming, and will be called the most powerful arithmetic unit capable of parallel processing large amounts of data like the present invention at low cost.

나아가, 그 저장장치로서 엑세스 속도나 전송 속도가 빠른 반도체 메모리, 예를 들어 DRAM, SRAM 또는 RDRAM 등을 사용한다. 그 이유는 디스크를 이용하면 데이터 엑세스와 전송 속도가 메모리 내에서의 데이터 엑세스와 전송 속도보다 현저히 느리기 때문에 전체적인 검색서버의 성능을 저해하기 때문이다.Further, as the storage device, a semiconductor memory having a high access speed or a high transfer speed, for example, DRAM, SRAM or RDRAM, is used. The reason for this is that using disks slows down the overall search server performance because data access and transfer rates are significantly slower than data access and transfer rates in memory.

다만, 반도체 메모리의 경우 하드디스크 등의 저장장치에 비해 저장 용량의 한계 또는 비용적인 측면에서의 한계가 있으므로, 검색서버 전체를 반도체 메모리로 구성하는 것은 매우 비효율적이다. 따라서, 검색요청 가능성이 낮은 멀티미디어 데이터에 대한 검색 서비스를 제공하기 위해서, 본 발명의 검색 서비스 제공시스템은 하드디스크 등의 저장장치를 포함하는 제2검색서버(30)를 포함한다.However, since the semiconductor memory has a limitation in terms of storage capacity or cost in comparison with a storage device such as a hard disk, it is very inefficient to configure the entire search server as a semiconductor memory. Therefore, in order to provide a search service for multimedia data with low likelihood of a search request, the search service providing system of the present invention includes a second search server 30 including a storage device such as a hard disk.

상기 제1검색서버(20)에서의 멀티미디어 데이터의 검색 방법은 상기에서 살핀 바와 같은 근사화하지 아니한 feature vector의 벡터차를 이용한 방법에 의한다. 상기의 방법은 approximate solution에 비해 검색 정확도는 높으나 처리속도가 낮다는 문제점이 있으나, 본 발명에 의한 검색 서비스 제공 시스템은 SIMD 프로세서(GPGPU 포함) 및 반도체 메모리를 이용하는바 상기와 같은 처리속도의 문제점이 해결된다.The multimedia data retrieval method in the first retrieval server 20 is based on a method using a vector difference of a feature vector not approximated as described above. The above method has a problem that the search accuracy is higher than the approximate solution but the processing speed is low, but the search service providing system according to the present invention uses a SIMD processor (including GPGPU) and a semiconductor memory. Resolved.

상기 제2검색서버(30)에서의 멀티미디어 데이터의 검색 방법은 상기에서 살핀 바와 같은 approximate solution에 의한다. 상기 제2검색서버(30)에 저장된 멀티미디어 데이터는 그 양이 방대하여 종래의 방법에 의할 경우 현실적으로 신속한 검색이 불가능하기 때문이다.The searching method of the multimedia data in the second search server 30 is based on the approximate solution as described above. This is because the multimedia data stored in the second search server 30 is so large that it is impossible to search quickly in a conventional manner.

이상에서 도 1을 통해 본 발명에 의한 다중 정밀도를 가진 멀티미디어 검색 서비스 제공 시스템의 개략적인 개념을 설명하였다.In the above, the schematic concept of the multi-precision multimedia search service providing system according to the present invention has been described with reference to FIG. 1.

이하 도 2 내지 도 14를 통해서 상기의 다중 정밀도를 가진 멀티미디어 검색 서비스 제공 시스템 및 그 제공 방법에 대한 구체적인 실시예를 살펴본다.Hereinafter, a detailed embodiment of the multi-precision multimedia search service providing system and its providing method will be described with reference to FIGS. 2 through 14.

도 2는 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 방법을 나타낸 신호흐름도이다.2 is a signal flow diagram illustrating a method for providing a search service for multimedia data with multiple precisions according to an embodiment of the present invention.

본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 방법은, 도 2의 점선으로 구획된 바와 같이, 크게 저장단계와 검색단계로 나뉘어진다.According to an embodiment of the present invention, a method for providing a multi-precision multimedia data search service is largely divided into a storage step and a search step, as divided by a dotted line of FIG. 2.

상기 저장단계는, 최신 업로드된 원본 멀티미디어 데이터를 feature vector로 변환하여 제1검색서버 및 제2검색서버에 저장하는 단계, 즉 검색서버의 데이터베이스화 단계이다. 상기 검색단계는, 검색 서비스 사용자의 검색 요청이 있는 경우 상기 검색 요청에 대응한 검색 결과를 제공하는 단계이다.The storing step is a step of converting the latest uploaded original multimedia data into a feature vector and storing the same in a first search server and a second search server, that is, in a database of the search server. The search step is a step of providing a search result corresponding to the search request when a search service user requests a search.

먼저, 상기 저장 단계에 대해 살펴본다.First, the storage step will be described.

상기 제어장치(10)는 CP 서버에 최신 업로드된 원본 멀티미디어 데이터를 수신한다(S100). 여기서 상기 CP 서버는 상기 제어장치(10)와 물리적으로 각각 독립된 장치로 구성될 수도 있고, 하나의 시스템에 포함되어 구성될 수도 있다. 이후, 상기 제어장치(10)는 상기 수신한 원본 멀티미디어 데이터를 feature vector로 변환하여 제1벡터를 생성하고(S110), 상기 생성된 제1벡터를 상기 제1검색서버(20)로 전송한다(S120).The control device 10 receives the original multimedia data uploaded to the CP server (S100). Here, the CP server may be configured as a device physically independent of the control device 10, or may be included in one system. Thereafter, the control device 10 converts the received original multimedia data into a feature vector to generate a first vector (S110), and transmits the generated first vector to the first search server 20 ( S120).

상기 제1벡터를 수신한 상기 제1검색서버(20)는 상기 제1벡터를 저장하며, 이 경우 저장용량이 부족한 경우 기존 저장된 제1벡터를 삭제하는 단계를 수행한다(S130). 상기 S130 단계의 구체적인 내용은 도 3의 순서도에 잘 나타나 있으므로, 하기에서 도 3과 함께 설명하기로 한다.Upon receiving the first vector, the first search server 20 stores the first vector. In this case, when the storage capacity is insufficient, the first search server 20 deletes the previously stored first vector (S130). Details of the step S130 are well illustrated in the flowchart of FIG. 3, and will be described below with reference to FIG. 3.

상기 S110 단계에서 상기 제1벡터를 생성한 상기 제어장치(10)는, 상기 제1벡터를 근사화하여 제2벡터를 생성한다(S170). 상기의 근사화 방법은 앞서 설명한 종래 기술의 approximate solution을 이용할 수 있다. 다만, 본 발명의 기술적 범위는 앞서 예시된 방법에 한정되는 것이 아니라, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들에게 자명한 사항에 해당하는 근사화 방법을 모두 포함한다.In operation S110, the control device 10 generating the first vector generates a second vector by approximating the first vector (S170). The approximation method may use the above-described approximate solution of the prior art. However, the technical scope of the present invention is not limited to the method exemplified above, but includes all of the approximation methods corresponding to the matters obvious to those skilled in the art.

상기 제어장치(10)는, 상기 생성된 제2벡터를 상기 제2검색서버로 전송하고(S180), 상기 제2검색서버는 상기 제2벡터를 저장한다(S190). 이로써 저장단계는 종료된다. 다만, 이러한 저장 단계는 이후의 검색단계와는 무관하게 원본 멀티미디 어 데이터가 새로이 수신될 때마다 상기의 과정이 반복된다. 이를 통해 상기 제1검색서버(20) 및 제2검색서버(30)는 계속하여 갱신(update)될 수 있다.The control device 10 transmits the generated second vector to the second search server (S180), and the second search server stores the second vector (S190). This ends the storing step. However, this storing step is repeated every time the original multimedia data is newly received, regardless of a later searching step. Through this, the first search server 20 and the second search server 30 may be updated continuously.

이하, 상기 검색 단계에 대해 살펴본다.Hereinafter, the searching step will be described.

상기 제어장치(10)는 상기 검색 서비스 사용자(40)로부터 검색 요청 데이터를 수신한다(S200). 상기 검색 요청 데이터에는 query 데이터(이하 '검색 기준 데이터')가 포함되는데, 상기 제어장치(10)는 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성한다(S210). 상기 제어장치(10)는 상기 생성된 제1검색기준벡터를 상기 제1검색서버(20)로 전송한다(S220).The control device 10 receives the search request data from the search service user 40 (S200). The search request data includes query data (hereinafter, 'search criteria data'), and the control apparatus 10 generates the first search criteria vector by converting the search criteria data into a feature vector (S210). The control device 10 transmits the generated first search reference vector to the first search server 20 (S220).

상기 제1검색기준벡터를 수신한 상기 제1검색서버(20)는 데이터베이스에 저장된 제1벡터들 중에서 상기 수신한 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하여 제1검색결과 데이터를 작성한다(S230). 즉, 상기 제1검색서버(20)가 작성하는 상기 제1검색결과 데이터는, 상기 벡터차의 절대값이 작은 순서로 미리 설정된 순위 이내에 해당하는 제1벡터들로 구성될 수 있다. 상기 제1검색서버(20)는 상기 작성된 제1검색결과 데이터를 상기 제어장치(10)로 전송한다(S240).The first search server 20 receiving the first search reference vector searches for a first vector of the first vectors stored in a database in a sequence of smaller absolute values of the received first search reference vector and the vector difference. The first search result data is created (S230). That is, the first search result data generated by the first search server 20 may be composed of first vectors that fall within a preset order in order of decreasing absolute value of the vector difference. The first search server 20 transmits the created first search result data to the control device 10 (S240).

이와는 달리, 상기 제1검색서버(20)가 작성하는 상기 제1검색결과 데이터는, 상기 벡터차의 절대값이 미리 설정된 크기(threshold) 이하에 해당하는 제1벡터들로 구성될 수 있다. 이러한 실시예에 따르면, 예를 들어 목표한 검색 결과가 K개인 경우, 상기 벡터차의 절대치가 threshold값 이하인 제1벡터가 M(<K)개인 경우 K-M개 만큼의 검색 결과를 제2검색서버(30)를 통해 얻을 수 있다.Alternatively, the first search result data generated by the first search server 20 may be configured of first vectors whose absolute value of the vector difference is equal to or less than a predetermined threshold. According to this embodiment, for example, when the target search result is K, when the first vector having M (<K) whose absolute value of the vector difference is less than or equal to the threshold value, the KM search results are obtained by the second search server ( 30).

상기 S210 단계에서 상기 제1검색기준벡터를 생성한 상기 제어장치(10)는, 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성한다(S310). 상기 제어장치(10)는 상기 생성된 제2검색기준벡터를 상기 제2검색서버(30)로 전송한다(S320).In operation S210, the control device 10 generating the first search reference vector generates a second search reference vector by approximating the first search reference vector (S310). The control device 10 transmits the generated second search reference vector to the second search server 30 (S320).

상기 제2검색기준벡터를 수신한 상기 제2검색서버(30)는 데이터베이스에 저장된 제2벡터들 중에서 상기 수신한 제2검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하여 제2검색결과 데이터를 작성한다(S330). 상기 제2검색서버(30)는 상기 작성된 제2검색결과 데이터를 상기 제어장치(10)로 전송한다(S340).The second search server 30 that receives the second search reference vector searches for a second vector in the order of the absolute value of the vector difference between the received second search reference vector and the second vectors stored in a database. The second search result data is created (S330). The second search server 30 transmits the created second search result data to the control device 10 (S340).

상기 제어장치(10)는 상기 수신한 제1검색결과 데이터 및 제2검색결과 데이터를 분석, 가공하여 상기 검색 서비스 사용자에게 검색 결과를 제공(S410)함으로써 본 발명에 따른 멀티미디어 데이터의 검색 서비스는 완료된다. 상기 검색 결과는 검색 서비스 제공 시스템과 CP 서버의 구체적인 구성에 따라 달라질 수 있다. 상기 검색 서비스 제공 시스템이 상기 CP 서버와 직접 연동되는 경우라면, 상기 검색결과 데이터에 의해 검색된 제1벡터 및 제2벡터에 해당하는 원본 멀티미디어 데이터를 상기 검색 서비스 사용자에게 검색 결과로 직접 제공할 수 있다. 반면, 상기 검색 서비스 제공 시스템이 상기 CP 서버와 독립된 구성을 가지고 있으면서 따로 원본 멀티미디어 데이터를 저장하고 있지 아니한 경우라면, 상기 검색결과 데이터에 의해 검색된 제1벡터 및 제2벡터에 해당하는 원본 멀티미디어 데이터가 존재하는 인터넷상의 URL(uniform resource locator) 등을 하이퍼링크 형식으로 상기 검색 서비스 사용자에게 검색 결과로 제공할 수 있다. 또한, 하이퍼링크와 함께 썸 네일(thumbnail)을 제공하는 구성을 취할 수도 있다.The control device 10 analyzes and processes the received first search result data and second search result data to provide a search result to the search service user (S410), thereby completing a search service of multimedia data according to the present invention. do. The search result may vary depending on a specific configuration of a search service providing system and a CP server. If the search service providing system is directly linked with the CP server, original multimedia data corresponding to the first vector and the second vector searched by the search result data may be directly provided to the search service user as a search result. . On the other hand, if the search service providing system has a configuration independent of the CP server and does not store the original multimedia data separately, the original multimedia data corresponding to the first vector and the second vector searched by the search result data are stored. An existing URL (uniform resource locator) on the Internet may be provided as a search result to the search service user in a hyperlink format. It may also take the configuration to provide a thumbnail with a hyperlink.

도 3은 본 발명의 실시예에 따른 제1검색서버(20)에 포함된 데이터베이스의 제1벡터 저장 및 업데이트 방법을 나타낸 순서도이다.3 is a flowchart illustrating a method of storing and updating a first vector of a database included in the first search server 20 according to an exemplary embodiment of the present invention.

상기 도 1에서 살핀 바와 같이 제1검색서버(20)는 저장용량이 한정되어 있으므로, 계속해서 새로운 제1벡터를 수신한 경우 기존에 저장된 제1벡터들로 인해 저장할 공간이 부족해진다. 따라서, 새로운 제1벡터가 수신된 경우 기존 저장된 제1벡터들 중에서 일부를 삭제하여야 한다.As shown in FIG. 1, since the first search server 20 has a limited storage capacity, when the new first vector is continuously received, the first search server 20 lacks a storage space due to the previously stored first vectors. Therefore, when a new first vector is received, some of the previously stored first vectors should be deleted.

상기 제1검색서버(20)가 새로운 제1벡터를 수신한 경우(S120), 저장용량이 부족한지 판단을 한다(S131). 저장용량이 부족한 경우 삭제대상 제1벡터를 선정한다(S133). 상기 삭제대상 선정 기준은 다음과 같다. 첫째로, 먼저 저장된 순으로 기존에 저장된 제1벡터를 삭제할 수 있다. 일반적으로 최신 데이터일수록 검색요청 가능성이 높기 때문이다. 둘째로, LRU(least recently used) 알고리즘에 의해 검색 빈도가 낮은 순으로 기존에 저장된 제1벡터를 삭제할 수 있다. 과거 검색빈도가 낮다면 앞으로도 검색요청 가능성이 낮다라고 할 수 있기 때문이다.When the first search server 20 receives the new first vector (S120), it is determined whether the storage capacity is insufficient (S131). If the storage capacity is insufficient, the first vector to be deleted is selected (S133). The criteria for selection of deletion targets are as follows. First, the previously stored first vector may be deleted in the order of first saving. In general, the more recent data is, the more likely it is for a search request. Second, the first vector stored previously may be deleted in a descending order of search frequency by a least recently used (LRU) algorithm. If the search frequency is low in the past, the possibility of a search request is low.

상기 제1검색서버(20)는 상기 S133 단계에서 선정된 제1벡터를 삭제하고(S135), 상기 삭제에 의해 확보된 저장공간에 상기 수신한 새로운 제1벡터를 저장한다(S137). 만일 S131 단계에서의 판단에 의해 저장용량이 부족하지 아니한 경우에는 상기 S133, S135 단계를 거칠 필요 없이 상기 수신한 새로운 제1벡터를 저장할 수 있다(S137).The first search server 20 deletes the first vector selected in the step S133 (S135), and stores the received new first vector in the storage space secured by the deletion (S137). If the storage capacity is not insufficient by the determination in step S131, the received new first vector may be stored without having to go through steps S133 and S135 (S137).

도 4는 본 발명의 또다른 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 방법을 나타낸 신호흐름도이다.4 is a signal flow diagram illustrating a method for providing a search service for multimedia data with multiple precisions according to another embodiment of the present invention.

도 4의 실시예가 도 2의 실시예와 다른 점은 저장단계에 있다.4 differs from the embodiment of FIG. 2 in the storing step.

도 2의 실시예는 상기 제어장치(10)가 최신 업로드된 원본 멀티미디어 데이터를 제1벡터 및 제2벡터로 변환하여(S110, S170) 상기 제1검색서버(20) 및 제2검색서버(30)에 각각 전송하여(S120, S180) 저장토록(S130, S190) 하는 구성을 취한다.2, the control apparatus 10 converts the latest uploaded original multimedia data into a first vector and a second vector (S110 and S170), and the first search server 20 and the second search server 30. ) To transmit (S120, S180) to the storage (S130, S190) respectively.

이에 비해, 도 4의 실시예는 상기 제어장치(10)는 상기 최신 업로드된 원본 멀티미디어 데이터를 제1벡터로만 변환하여(S110) 상기 제1검색서버(20)에만 전송한다(S120). 상기 제1검색서버(20)는 상기 수신한 제1벡터를 저장하고, 상기 저장된 제1벡터의 검색요청 가능성이 낮아진 경우에 비로소 제2벡터를 생성한다(S140). 상기 S140 단계의 구체적인 내용은 도 5의 순서도에 잘 나타나 있으므로, 하기에서 도 5과 함께 설명하기로 한다. On the contrary, in the embodiment of FIG. 4, the control apparatus 10 converts the latest uploaded original multimedia data into a first vector only (S110) and transmits only the first search server 20 (S120). The first search server 20 stores the received first vector and generates a second vector only when the possibility of the search request of the stored first vector is low (S140). Details of the step S140 are well illustrated in the flowchart of FIG. 5, and will be described below with reference to FIG. 5.

상기 제1검색서버(20)는 상기 제2검색서버(30)로 상기 생성된 제2벡터를 전송하고(S150), 상기 제2검색서버(30)는 상기 수신한 제2벡터를 저장한다(S190).The first search server 20 transmits the generated second vector to the second search server 30 (S150), and the second search server 30 stores the received second vector ( S190).

S200 단계 이하의 검색 단계에 대해서는 도 2의 실시예와 동일하므로 설명은 생략한다.The search step below step S200 is the same as the embodiment of FIG. 2, and thus description thereof is omitted.

도 5는 본 발명의 실시예에 따른 제1검색서버(20)에 포함된 데이터베이스의 제1벡터의 저장 및 업데이트 방법과 제2벡터의 생성 및 전송 단계를 나타낸 순서도이다.5 is a flowchart illustrating a method of storing and updating a first vector of a database included in a first search server 20 and generating and transmitting a second vector according to an exemplary embodiment of the present invention.

상기 도 1에서 살핀 바와 같이 제1검색서버(20)는 저장용량이 한정되어 있으므로, 계속해서 새로운 제1벡터를 수신한 경우 기존에 저장된 제1벡터들로 인해 저장할 공간이 부족해진다. 따라서, 새로운 제1벡터가 수신된 경우 기존 저장된 제1벡터들 중에서 일부를 삭제하여야 한다. 상기 제1벡터의 삭제시 전체 검색 시스템에서 상기 제1벡터에 해당하는 데이터의 검색이 불가능해지므로, 이를 방지하기 위하여 상기 제1벡터를 근사화한 제2벡터를 생성하여 상기 제2검색서버(30)로 전송하는 과정이 필요하다. 이하에서 살핀다.As shown in FIG. 1, since the first search server 20 has a limited storage capacity, when the new first vector is continuously received, the first search server 20 lacks a storage space due to the previously stored first vectors. Therefore, when a new first vector is received, some of the previously stored first vectors should be deleted. When the first vector is deleted, the data corresponding to the first vector may not be searched in the entire search system. Therefore, in order to prevent this, a second vector approximating the first vector may be generated to generate the second search server 30. ) Is required. Look below.

상기 제1검색서버(20)가 새로운 제1벡터를 수신한 경우(S120), 저장용량이 부족한지 판단을 한다(S141). 저장용량이 부족한 경우 이전대상 제1벡터를 선정한다(S143). 상기 이전대상 선정 기준은 다음과 같다. 첫째로, 먼저 저장된 순으로 기존에 저장된 제1벡터를 이전 및 삭제할 수 있다. 일반적으로 최신 데이터일수록 검색요청 가능성이 높기 때문이다. 둘째로, LRU(least recently used) 알고리즘에 의해 검색 빈도가 낮은 순으로 기존에 저장된 제1벡터를 이전 및 삭제할 수 있다. 과거 검색빈도가 낮다면 앞으로도 검색요청 가능성이 낮다라고 할 수 있기 때문이다.When the first search server 20 receives the new first vector (S120), it is determined whether the storage capacity is insufficient (S141). If the storage capacity is insufficient, the first target vector to be transferred is selected (S143). The criteria for selecting the transfer target are as follows. First, the previously stored first vector may be transferred and deleted in the order of being stored first. In general, the more recent data is, the more likely it is for a search request. Secondly, the first vector stored previously may be deleted and deleted in the order of the lowest search frequency by a least recently used (LRU) algorithm. If the search frequency is low in the past, the possibility of a search request is low.

상기 제1검색서버(20)는 상기 S143 단계에서 선정된 제1벡터를 근사화하여 제2벡터를 생성하고(S145), 상기 이전대상 제1벡터를 삭제한다(S147). 상기 삭제에 의해 확보된 저장공간에 상기 수신한 새로운 제1벡터를 저장한다(S149). 만일 S141 단계에서의 판단에 의해 저장용량이 부족하지 아니한 경우에는 상기 S143 내지 S147 단계를 거칠 필요 없이 상기 수신한 새로운 제1벡터를 저장할 수 있다(S149).The first search server 20 generates a second vector by approximating the first vector selected in step S143 (S145) and deletes the first target vector (S147). The received new first vector is stored in the storage space secured by the deletion (S149). If the storage capacity is not insufficient by the determination in step S141, the received new first vector may be stored without having to go through steps S143 to S147 (S149).

이후 상기 제1검색서버(20)는 상기 생성된 제2벡터를 상기 제2검색서버로 전송한다(S150).Thereafter, the first search server 20 transmits the generated second vector to the second search server (S150).

도 6 및 도 7은 본 발명의 또다른 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 방법을 나타낸 신호흐름도이다.6 and 7 are signal flow diagrams illustrating a method of providing a search service for multimedia data with multiple precisions according to another embodiment of the present invention.

도 5는 제1검색서버(20)에 포함된 데이터베이스의 제1벡터의 저장 및 업데이트 방법과 제2벡터의 생성 및 전송 단계를 나타낸 순서도이다.5 is a flowchart illustrating a method of storing and updating a first vector of a database included in the first search server 20 and generating and transmitting a second vector.

저장 단계에 있어서, 도 6의 저장 단계는 도 2의 실시예에 의한 저장 단계와 동일하고, 도 7의 저장 단계는 도 4의 실시예에 의한 저장 단계와 동일하다. 따라서 설명은 생략하도록 한다.In the storing step, the storing step of FIG. 6 is the same as the storing step according to the embodiment of FIG. 2, and the storing step of FIG. 7 is the same as the storing step according to the embodiment of FIG. 4. Therefore, the description is omitted.

도 6의 실시예와 도 7의 실시예는 검색 단계에 있어서 동일한바, 함께 설명한다.The embodiment of FIG. 6 and the embodiment of FIG. 7 are the same in the search step, and will be described together.

S200 단계 내지 S240 단계까지의 구성은 도 2 및 도 4의 구성과 동일하다. S240 단계에 의하여 상기 제어장치(10)가 제1검색결과 데이터를 수신한 경우, 제1검색결과 데이터를 확인한다(S300). 상기 S300 단계에 대해서는 도 8의 순서도에 상세히 나타내었다.Configurations from steps S200 to S240 are the same as those of FIGS. 2 and 4. When the control device 10 receives the first search result data by the step S240, the first search result data is checked (S300). The step S300 is shown in detail in the flowchart of FIG. 8.

S240단계에 의해 제1검색결과 데이터를 수신(S240)한 상기 제어장치(10)는, 제1검사결과 데이터가 미리 설정된 기준 개수 이상으로 충족되었는지를 판단한 다(S301).The control device 10 that has received the first search result data in step S240 (S240) determines whether the first test result data has been satisfied to be greater than or equal to a predetermined reference number (S301).

상기 S301 단계에서의 판단에 의해 상기 제1검색결과 데이터가 없거나 미리 설정된 기준 개수에 미치지 못하는 경우, 상기 제어장치(10)는 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하고(S310), 상기 생성된 제2검색기준벡터를 상기 제2검색서버로 전송한다(S320). 상기 제어장치(10)는, 제2검색서버로부터 제2검색결과 데이터를 수신하면(S340), 상기 S240 단계에서 수신한 제1검색결과 데이터와 상기 S340 단계에서 수신한 제2검색결과 데이터를 분석, 가공하여 검색 결과를 생성한다(S400).If the first search result data does not exist or does not reach a preset reference number by the determination in step S301, the control device 10 generates a second search reference vector by approximating the first search reference vector ( S310) and transmits the generated second search reference vector to the second search server (S320). When the control device 10 receives the second search result data from the second search server (S340), the control device 10 analyzes the first search result data received in the step S240 and the second search result data received in the step S340. In operation S400, a search result is generated.

만일 S301 단계에서의 판단에 의해 상기 제1검색결과 데이터가 미리 설정된 기준 개수 이상으로 충족된 경우, 상기 제어장치(10)는 상기 S310 내지 S340 단계를 거치지 아니하고 상기 S240 단게에서 수신한 제1검색결과 데이터만을 분석, 가공하여 검색 결과를 생성한다(S400).If the first search result data meets or exceeds a predetermined reference number by the determination in step S301, the control device 10 receives the first search result received in step S240 without passing through steps S310 to S340. Only the data is analyzed and processed to generate a search result (S400).

상기 제어장치(10)는 상기 S400 단계에서 생성된 검색 결과를 상기 검색 서비스 사용자에게 제공(S410)함으로써 본 발명에 따른 멀티미디어 데이터의 검색 서비스는 완료된다.The control device 10 provides the search result generated in the step S400 to the search service user (S410), thereby completing the search service of the multimedia data according to the present invention.

도 9는 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템 중 하나의 구성 요소인 제어장치(10)의 내부 구성을 나타낸 블럭도이다.9 is a block diagram showing an internal configuration of a control device 10 that is one component of a system for providing a service for searching multimedia data with multiple precisions according to an embodiment of the present invention.

상기 제어장치(10)는 원본 데이터 수신부(11), 서비스 사용자 인터페이스 부(12), feature vector 변환부(13), 검색서버 인터페이스부(14), 검색 결과 작성부(15) 및 제어부(16)를 포함하여 구성되는 것을 특징으로 한다.The control apparatus 10 includes an original data receiver 11, a service user interface 12, a feature vector converter 13, a search server interface 14, a search result generator 15 and a controller 16. Characterized in that comprises a.

상기 원본 데이터 수신부(11)는 최신 업로드된 원본 멀티미디어 데이터를 수신하는 기능을 수행한다. 서비스 사용자 인터페이스부(12)는 검색 서비스 사용자로부터 검색 기준 데이터를 포함하는 사용자 검색 요청 데이터를 수신하고, 상기 사용자 검색 요청에 대응되는 검색 결과를 상기 검색 서비스 사용자에게 제공하는 기능을 수행한다. feature vector 변환부(13)는 상기 수신한 원본 멀티미디어 데이터를 feature vector로 변환하여 제1벡터를 생성하고 상기 제1벡터를 근사화하여 제2벡터를 생성하며, 상기 사용자 검색 요청 데이터를 수신한 경우 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성하고 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하는 기능을 수행한다. 검색서버 인터페이스부(14)는 상기 제1벡터를 상기 제1검색서버로 전송하고 상기 제2벡터를 상기 제2검색서버로 전송하며, 상기 제1검색서버로 상기 제1검색기준벡터를 전송하고, 상기 제2검색서버로 상기 제2검색기준벡터를 전송하며, 상기 검색 요청에 대응되는 제1 및 제2검색결과 데이터를 상기 제1 및 제2검색서버로부터 수신하는 기능을 수행한다. 검색 결과 작성부(15)는 상기 제1 및 제2검색결과 데이터에 의해 검색 결과를 작성하는 기능을 수행한다. 제어부(16)는 상기 원본 데이터 수신부, 서비스 사용자 인터페이스부, feature vector 변환부, 검색 서버 인터페이스부 및 검색 결과 작성부의 동작을 제어하는 기능을 수행한다.The original data receiving unit 11 performs a function of receiving the latest uploaded original multimedia data. The service user interface unit 12 receives user search request data including search reference data from a search service user, and provides a search result corresponding to the user search request to the search service user. The feature vector converter 13 converts the received original multimedia data into a feature vector to generate a first vector, approximates the first vector to generate a second vector, and receives the user search request data. The first search reference vector is generated by converting the search reference data into a feature vector, and the second search reference vector is generated by approximating the first search reference vector. The search server interface unit 14 transmits the first vector to the first search server, transmits the second vector to the second search server, and transmits the first search reference vector to the first search server. And transmitting the second search reference vector to the second search server, and receiving first and second search result data corresponding to the search request from the first and second search servers. The search result generator 15 generates a search result based on the first and second search result data. The controller 16 controls the operations of the original data receiver, the service user interface, the feature vector converter, the search server interface, and the search result generator.

도 10은 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템 중 하나의 구성 요소인 제1검색서버(20)의 내부 구성을 나타낸 블럭도이다.FIG. 10 is a block diagram illustrating an internal configuration of a first search server 20 that is one component of a system for providing a search service for multimedia data having multiple precisions according to an embodiment of the present invention.

상기 제1검색서버(20)는 인터페이스부(21), 메모리부(22), 검색엔진부(23) 및 제어부(24)를 포함하여 구성되는 것을 특징으로 한다. 또한 상기 제1검색서버(20)는 메모리 업데이트부(25)를 더 포함하여 구성될 수 있다.The first search server 20 is characterized in that it comprises an interface unit 21, a memory unit 22, a search engine unit 23 and the control unit 24. In addition, the first search server 20 may further include a memory updater 25.

도 2에 해당하는 하나의 실시예에 의하면, 상기 인터페이스부(21)는 상기 제어장치로부터 상기 제1벡터 및 상기 제1검색기준벡터를 수신하며, 상기 제1검색결과 데이터를 상기 제어장치로 전송하는 기능을 수행한다. 상기 메모리부(22)는 상기 하나 이상의 제1벡터를 저장하는 기능을 수행한다. 메모리 업데이트부(25)는 상기 제1벡터의 저장시 저장용량이 부족한 경우 검색요청 가능성이 낮은 순으로(먼저 저장된 순서로 또는 LRU 알고리즘에 의해 검색 빈도가 낮은 순서로) 기존에 저장된 제1벡터를 삭제하고, 새로 입력된 제1벡터를 상기 메모리부에 저장하는 기능을 수행한다. 상기 검색엔진부(23)는 상기 메모리부에 저장된 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하는 기능을 수행한다. 상기 제어부(24)는 상기 인터페이스부, 메모리부, 검색엔진부 및 메모리 업데이트부의 동작을 제어하는 기능을 수행한다.According to one embodiment corresponding to FIG. 2, the interface unit 21 receives the first vector and the first search reference vector from the control device, and transmits the first search result data to the control device. It performs the function. The memory unit 22 stores the one or more first vectors. When the storage capacity of the first vector is insufficient, the memory updater 25 stores the previously stored first vector in the order of low probability of retrieval request (first in the order of storing or low order of retrieval by the LRU algorithm). And deletes the newly inputted first vector into the memory unit. The search engine unit 23 performs a function of searching for a first vector of the first vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the first search reference vector. The controller 24 controls the operations of the interface unit, the memory unit, the search engine unit, and the memory update unit.

도 4에 해당하는 하나의 실시예에 의하면, 상기 인터페이스부(21)는 상기 제어장치로부터 상기 제1벡터 및 상기 제1검색기준벡터를 수신하고, 상기 제2벡터를 상기 제2검색서버로 전송하며, 상기 제1검색결과 데이터를 상기 제어장치로 전송하 는 기능을 수행한다. 상기 메모리부(22)는 상기 하나 이상의 제1벡터를 저장하는 기능을 수행한다. 메모리 업데이트부(25)는 상기 메모리부의 저장용량을 파악하여 상기 제1벡터의 저장시 저장용량이 부족한 경우 검색요청 가능성이 낮은 순으로(먼저 저장된 순서로 또는 LRU 알고리즘에 의해 검색 빈도가 낮은 순서로) 기존에 저장된 제1벡터를 근사화하여 제2벡터를 생성하고, 상기 생성된 제2벡터를 상기 제2검색서버로 전송 후, 상기 기존에 저장된 제1벡터를 상기 메모리부에서 삭제하는 기능을 수행한다. 상기 검색엔진부(23)는 상기 메모리부에 저장된 제1벡터들 중 상기 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하는 기능을 수행한다. 상기 제어부(24)는 상기 인터페이스부, 메모리부, 검색엔진부 및 메모리 업데이트부의 동작을 제어하는 기능을 수행한다.According to an embodiment corresponding to FIG. 4, the interface unit 21 receives the first vector and the first search reference vector from the control device, and transmits the second vector to the second search server. And transmits the first search result data to the control device. The memory unit 22 stores the one or more first vectors. The memory updating unit 25 determines the storage capacity of the memory unit and, when the storage capacity of the first vector is insufficient, the search request probability is low (first stored order or low frequency search by the LRU algorithm). ) Generate a second vector by approximating the previously stored first vector, transmit the generated second vector to the second search server, and then delete the previously stored first vector from the memory unit. do. The search engine unit 23 performs a function of searching for a first vector of the first vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the first search reference vector. The controller 24 controls the operations of the interface unit, the memory unit, the search engine unit, and the memory update unit.

도 11은 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템 중 하나의 구성 요소인 제2검색서버(30)의 내부 구성을 나타낸 블럭도이다.FIG. 11 is a block diagram illustrating an internal configuration of a second search server 30 that is one component of a system for providing a multi-precision multimedia data search service according to an exemplary embodiment of the present invention.

상기 제2검색서버(30)는 인터페이스부(31), 데이터베이스부(32), 검색엔진부(33) 및 제어부(34)를 포함하여 구성되는 것을 특징으로 한다.The second search server 30 is characterized in that it comprises an interface unit 31, a database unit 32, a search engine unit 33 and the control unit 34.

도 2에 해당하는 하나의 실시예에 의하면, 상기 인터페이스부(31)는 상기 제어장치로부터 상기 제2벡터 및 상기 제2검색기준벡터를 수신하며, 상기 제2검색결과 데이터를 상기 제어장치로 전송하는 기능을 수행한다. 상기 데이터베이스부(32)는 상기 하나 이상의 제2벡터를 저장하는 기능을 수행한다. 상기 검색엔진부(33)는 상기 메모리부에 저장된 제2벡터들 중 상기 제2검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하는 기능을 수행한다. 상기 제어부(34)는 상기 인터페이스부, 데이터베이스부 및 검색엔진부의 동작을 제어하는 기능을 수행한다.According to one embodiment corresponding to FIG. 2, the interface unit 31 receives the second vector and the second search reference vector from the control device, and transmits the second search result data to the control device. It performs the function. The database unit 32 stores the one or more second vectors. The search engine unit 33 performs a function of searching for a second vector of the second vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the second search reference vector. The controller 34 performs a function of controlling operations of the interface unit, the database unit, and the search engine unit.

도 4에 해당하는 하나의 실시예에 의하면, 상기 인터페이스부(31)는 상기 제1검색서버로부터 상기 제2벡터를 수신하며, 상기 제어장치로부터 상기 제2검색기준벡터를 수신하며, 상기 제2검색결과 데이터를 상기 제어장치로 전송하는 기능을 수행한다. 상기 데이터베이스부(32)는 상기 하나 이상의 제2벡터를 저장하는 기능을 수행한다. 상기 검색엔진부(33)는 상기 메모리부에 저장된 제2벡터들 중 상기 제2검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하는 기능을 수행한다. 상기 제어부(34)는 상기 인터페이스부, 데이터베이스부 및 검색엔진부의 동작을 제어하는 기능을 수행한다.According to an embodiment corresponding to FIG. 4, the interface unit 31 receives the second vector from the first search server, receives the second search reference vector from the control device, and receives the second vector. The search result data is transmitted to the control device. The database unit 32 stores the one or more second vectors. The search engine unit 33 performs a function of searching for a second vector of the second vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the second search reference vector. The controller 34 performs a function of controlling operations of the interface unit, the database unit, and the search engine unit.

도 12 내지 도 14는 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템의 전체 구성을 나타낸 블럭도이다.12 to 14 are block diagrams showing the overall configuration of a system for providing a service for searching multimedia data with multiple precisions according to an embodiment of the present invention.

도 12는 본 발명의 실시예에 따른 저장단계에 있어서의 신호 흐름을 블럭도 상에 나타낸 것이다.12 is a block diagram showing a signal flow in a storage step according to an embodiment of the present invention.

상기 제어장치(10)는 상기 원본 데이터 수신부(11)를 통해 CP 서버로부터 최신 업로드된 원본 멀티미디어 데이터를 수신한다(S100). 상기 원본 멀티미디어 데이터는 상기 feature vector 변환부(13)로 전달된다(S100).The control device 10 receives the latest uploaded original multimedia data from the CP server through the original data receiving unit 11 (S100). The original multimedia data is transferred to the feature vector converter 13 (S100).

상기 원본 멀티미디어 데이터를 수신한 상기 feature vector 변환부(13)는 상기 수신한 원본 멀티미디어 데이터를 feature vector로 변환하여 제1벡터를 생성하고(S110), 상기 생성된 제1벡터를 상기 검색서버 인터페이스부(14)를 통해 상기 제1검색서버(20)로 전송한다(S120).The feature vector converter 13 receiving the original multimedia data converts the received original multimedia data into a feature vector to generate a first vector (S110), and converts the generated first vector into the search server interface unit. The transmission is transmitted to the first search server 20 through 14 (S120).

상기 제1검색서버(20)는 상기 인터페이스부(21)을 통해 상기 제어장치(10)로부터 상기 제1벡터를 수신한다(S120). 상기 제1벡터는 상기 메모리부(22)로 전달된다(S120). The first search server 20 receives the first vector from the control device 10 through the interface unit 21 (S120). The first vector is transferred to the memory unit 22 (S120).

상기 메모리 업데이트부(25)는 상기 제1벡터의 수신에 의한 상기 제어부(24)의 제어신호(S125)에 따라 상기 메모리부(22)의 저장용량이 부족한지 판단을 한다(S131). 상기 메모리 업데이트부(25)는 저장용량이 부족한 경우 삭제대상 제1벡터를 선정하고 상기 선정 결과를 상기 메모리부(22)에 전달한다(S133). 상기 메모리부(22)는 상기 S133 단계에서 선정된 제1벡터를 삭제하고(S135), 상기 삭제에 의해 확보된 저장공간에 상기 수신한 새로운 제1벡터를 저장한다(S137). 만일 S131 단계에서의 판단에 의해 저장용량이 부족하지 아니한 경우에는 상기 S133, S135 단계를 거칠 필요 없이 상기 수신한 새로운 제1벡터를 저장할 수 있다(S137).The memory updater 25 determines whether the storage capacity of the memory 22 is insufficient according to the control signal S125 of the controller 24 by the reception of the first vector (S131). When the storage capacity is insufficient, the memory updater 25 selects the first vector to be deleted and transmits the selection result to the memory 22 (S133). The memory unit 22 deletes the first vector selected in the step S133 (S135), and stores the received new first vector in the storage space secured by the deletion (S137). If the storage capacity is not insufficient by the determination in step S131, the received new first vector may be stored without having to go through steps S133 and S135 (S137).

또한 상기 feature vector 변환부(13)는 상기 S110 단계에서 제1벡터를 생성한 이후, 상기 제1벡터를 근사화하여 제2벡터를 생성하고(S170), 상기 생성된 제2벡터를 상기 검색서버 인터페이스부(14)를 통해 상기 제2검색서버(30)로 전송한다(S180). In addition, the feature vector converter 13 generates a second vector by approximating the first vector after generating the first vector in step S110 (S170), and converts the generated second vector into the search server interface. The transmission is transmitted to the second search server 30 through the unit 14 (S180).

상기 제2검색서버(30)는 상기 인터페이스부(31)을 통해 상기 제어장치(10)로부터 상기 제2벡터를 수신하고(S180), 상기 제2벡터는 상기 데이터베이스부(32)로 전달된다(S180). 상기 데이터베이스부(32)는 상기 제2벡터를 저장한다(S190). 이로써 저장단계는 종료된다.The second search server 30 receives the second vector from the control device 10 through the interface unit 31 (S180), and the second vector is transmitted to the database unit 32 ( S180). The database unit 32 stores the second vector (S190). This ends the storing step.

도 13은 본 발명의 하나의 실시예에 따른 검색단계에 있어서의 신호 흐름을 블럭도 상에 나타낸 것이다.13 is a block diagram showing a signal flow in a search step according to an embodiment of the present invention.

상기 제1검색서버(20)는 상기 인터페이스부(21)을 통해 상기 제어장치(10)로부터 상기 제1벡터를 수신한다(S120). 상기 제1벡터는 상기 메모리부(22)로 전달된다(S120).The first search server 20 receives the first vector from the control device 10 through the interface unit 21 (S120). The first vector is transferred to the memory unit 22 (S120).

상기 메모리 업데이트부(25)는 상기 제1벡터의 수신에 의한 상기 제어부(24)의 제어신호(S125)에 따라 상기 메모리부(22)의 저장용량이 부족한지 판단을 한다(S141). 상기 메모리 업데이트부(25)는 저장용량이 부족한 경우 이전대상 제1벡터를 선정하고 상기 선정 결과를 상기 메모리부(22)에 전달한다(S143). 상기 메모리 업데이트부(25)는 이 경우 상기 S143 단계에서 선정된 제1벡터를 근사화하여 제 2벡터를 생성한다(S145).The memory updater 25 determines whether the storage capacity of the memory 22 is insufficient according to the control signal S125 of the controller 24 by the reception of the first vector (S141). When the storage capacity is insufficient, the memory updater 25 selects a first target vector to be transferred and transfers the selection result to the memory 22 (S143). In this case, the memory updater 25 generates a second vector by approximating the first vector selected in step S143 (S145).

상기 메모리부(22)는 상기 이전대상 제1벡터를 삭제하고(S147), 상기 삭제에 의해 확보된 저장공간에 상기 수신한 새로운 제1벡터를 저장한다(S149).The memory unit 22 deletes the transfer target first vector (S147), and stores the received new first vector in the storage space secured by the deletion (S149).

이후 상기 메모리 업데이트부(25)는 상기 생성된 제2벡터를 상기 인터페이스부를 통해 상기 제2검색서버로 전송한다(S150).Thereafter, the memory updater 25 transmits the generated second vector to the second search server through the interface unit (S150).

상기 제2검색서버(30)는 상기 인터페이스부(31)을 통해 상기 제1검색서버(20)로부터 상기 제2벡터를 수신하고(S150), 상기 제2벡터는 상기 데이터베이스부(32)로 전달된다(S150). 상기 데이터베이스부(32)는 상기 제2벡터를 저장한다(S190). 이로써 저장단계는 종료된다.The second search server 30 receives the second vector from the first search server 20 through the interface unit 31 (S150), and transfers the second vector to the database unit 32. It becomes (S150). The database unit 32 stores the second vector (S190). This ends the storing step.

도 14는 본 발명의 또다른 실시예에 따른 검색단계에 있어서의 신호 흐름을 블럭도 상에 나타낸 것이다.14 is a block diagram showing a signal flow in a search step according to another embodiment of the present invention.

상기 제어장치(10)는 상기 서비스 사용자 인터페이스부(12)를 통해 상기 검색 서비스 사용자(40)로부터 검색 기준 데이터가 포함된 검색 요청 데이터를 수신하고, 상기 검색 기준 데이터는 feature vector로 변환부(13)로 전달된다(S200).The control device 10 receives the search request data including the search reference data from the search service user 40 through the service user interface unit 12, and the search reference data is converted into a feature vector 13. It is delivered to (S200).

feature vector로 변환부(13)는 상기 검색 기준 데이터를 feature vector로 변환하여 제1검색기준벡터를 생성하고(S210), 상기 검색서버 인터페이스부(14)를 통해 상기 생성된 제1검색기준벡터를 상기 제1검색서버(20)로 전송한다(S220).The feature conversion unit 13 converts the search reference data into a feature vector to generate a first search reference vector (S210), and converts the generated first search reference vector through the search server interface unit 14. It transmits to the first search server 20 (S220).

상기 제1검색서버(20)는 상기 제1검색기준벡터를 상기 인터페이스부(21)을 통해 수신하고, 상기 제1검색기준벡터는 상기 검색엔진부(23)로 전달된다(S220). 상기 검색엔진부(23)는 상기 메모리부(22)에 저장된 제1벡터들 중에서 상기 수신한 제1검색기준벡터와 벡터차의 절대값이 작은 순서의 제1벡터를 검색하여(S225) 제1검색결과 데이터를 작성한다(S230). 상기 작성된 제1검색결과 데이터는 상기 인터페이스부(21)를 통해 상기 제어장치(10)로 전송된다(S240).The first search server 20 receives the first search reference vector through the interface unit 21, and the first search reference vector is transmitted to the search engine unit 23 (S220). The search engine unit 23 searches for a first vector having a smaller absolute value between the received first search reference vector and the vector difference among the first vectors stored in the memory unit 22 (S225). The search result data is created (S230). The created first search result data is transmitted to the control device 10 through the interface unit 21 (S240).

상기 제어장치(10)는 상기 검색서버 인터페이스부(14)를 통해 상기 제1검색결과 데이터를 수신하고, 상기 제어부(16) 및 검색 결과 작성부(15)로 전달한다(S240).The control device 10 receives the first search result data through the search server interface unit 14 and transmits the first search result data to the control unit 16 and the search result preparing unit 15 (S240).

상기 S240 단계에 의하여 상기 제어부(16)가 제1검색결과 데이터를 수신한 경우, 제1검색결과 데이터를 확인한다(S300). 즉, 제1검사결과 데이터가 미리 설정된 기준 개수 이상으로 충족되었는지를 판단한다. 만일 상기 판단에 의해 상기 제1검색결과 데이터가 없거나 미리 설정된 기준 개수에 미치지 못하는 경우, 상기 제어부(16)는 상기 feature vector 변환부(13)에 제2검색기준벡터의 작성을 위한 제어신호를 전송한다(S305).When the control unit 16 receives the first search result data by the step S240, the control unit 16 checks the first search result data (S300). That is, it is determined whether the first inspection result data is satisfied more than a preset reference number. If the first search result data does not exist or does not reach a preset reference number, the control unit 16 transmits a control signal for generating a second search reference vector to the feature vector converter 13. (S305).

상기 제어신호를 수신한 상기 feature vector 변환부(13)는 상기 제1검색기준벡터를 근사화하여 제2검색기준벡터를 생성하고(S310), 상기 생성된 제2검색기준벡터를 상기 검색서버 인터페이스부(14)를 통해 상기 제2검색서버로 전송한다(S320).The feature vector converting unit 13 receiving the control signal generates a second search reference vector by approximating the first search reference vector (S310), and converts the generated second search reference vector into the search server interface unit. The second search server 14 transmits the information to the second search server (S320).

상기 제2검색서버(30)는 상기 제2검색기준벡터를 상기 인터페이스부(31)을 통해 수신하고, 상기 제2검색기준벡터는 상기 검색엔진부(33)로 전달된다(S320). 상기 검색엔진부(33)는 상기 데이터베이스부(32)에 저장된 제2벡터들 중에서 상기 수신한 제2검색기준벡터와 벡터차의 절대값이 작은 순서의 제2벡터를 검색하여(S325) 제2검색결과 데이터를 작성한다(S330). 상기 작성된 제2검색결과 데이터는 상기 인터페이스부(31)를 통해 상기 제어장치(10)로 전송된다(S340).The second search server 30 receives the second search reference vector through the interface unit 31, and the second search reference vector is transmitted to the search engine unit 33 (S320). The search engine unit 33 searches for a second vector having an absolute value between the received second search reference vector and the vector difference among the second vectors stored in the database unit 32 (S325). Search result data is created (S330). The created second search result data is transmitted to the control device 10 through the interface unit 31 (S340).

상기 제어장치(10)는 상기 검색서버 인터페이스부(14)를 통해 상기 제2검색결과 데이터를 수신하고, 상기 검색 결과 작성부(15)로 전달한다(S340).The control device 10 receives the second search result data through the search server interface unit 14 and transmits the second search result data to the search result generator 15 (S340).

상기 검색 결과 작성부(15)는, 상기 S240 단계에서 수신한 제1검색결과 데이터와 상기 S340 단계에서 수신한 제2검색결과 데이터를 분석, 가공하여 검색 결과를 생성한다(S400). 만일 S300 단계에서의 판단에 의해 상기 제1검색결과 데이터가 미리 설정된 기준 개수 이상으로 충족된 경우, 상기 검색 결과 작성부(15)는 상기 S240 단계에서 수신한 제1검색결과 데이터만을 분석, 가공하여 검색 결과를 생성한다(S400).The search result preparing unit 15 analyzes and processes the first search result data received in step S240 and the second search result data received in step S340 to generate a search result (S400). If the first search result data is satisfied by the predetermined number or more by the determination in step S300, the search result creation unit 15 analyzes and processes only the first search result data received in step S240. Generate a search result (S400).

검색 결과 작성부(15)는 상기 S400 단계에서 생성된 검색 결과를 상기 검색 서비스 사용자에게 제공(S410)함으로써 본 발명에 따른 멀티미디어 데이터의 검색 서비스는 완료된다.The search result creation unit 15 provides the search result generated in the step S400 to the search service user (S410), thereby completing the search service of the multimedia data according to the present invention.

도 1은 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템의 전체 구성을 도시한 구성도.1 is a block diagram showing the overall configuration of a system for providing a search service for multimedia data with multiple precisions according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 방법을 나타낸 신호흐름도.2 is a signal flow diagram illustrating a method for providing a search service for multimedia data with multiple precisions according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 제1검색서버에 포함된 데이터베이스의 제1벡터 저장 및 업데이트 방법을 나타낸 순서도.3 is a flowchart illustrating a method of storing and updating a first vector of a database included in a first search server according to an exemplary embodiment of the present invention.

도 4는 본 발명의 또다른 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 방법을 나타낸 신호흐름도.4 is a signal flow diagram illustrating a method for providing a search service for multimedia data with multiple precisions according to another embodiment of the present invention.

도 5는 본 발명의 실시예에 따른 제1검색서버에 포함된 데이터베이스의 제1벡터의 저장 및 업데이트 방법과 제2벡터의 생성 및 전송 단계를 나타낸 순서도.FIG. 5 is a flowchart illustrating a method of storing and updating a first vector of a database included in a first search server and generating and transmitting a second vector according to an embodiment of the present invention. FIG.

도 6은 본 발명의 또다른 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 방법을 나타낸 신호흐름도.6 is a signal flow diagram illustrating a method for providing a search service for multimedia data with multiple precisions according to another embodiment of the present invention.

도 7은 본 발명의 또다른 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 방법을 나타낸 신호흐름도.7 is a signal flow diagram illustrating a method for providing a search service for multimedia data with multiple precisions according to another embodiment of the present invention.

도 8은 본 발명의 실시예에 따른 제2검색기준 벡터 생성 여부 판단 방법을 나타낸 순서도.8 is a flowchart illustrating a method of determining whether a second search criteria vector is generated according to an embodiment of the present invention.

도 9는 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템 중 하나의 구성 요소인 제어장치의 내부 구성을 나타낸 블럭도.9 is a block diagram showing an internal configuration of a control device which is one component of a system for providing a service for searching multimedia data with multiple precisions according to an embodiment of the present invention.

도 10은 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템 중 하나의 구성 요소인 제1검색서버의 내부 구성을 나타낸 블럭도.FIG. 10 is a block diagram illustrating an internal configuration of a first search server that is one component of a system for providing a search service for multimedia data with multiple precisions according to an embodiment of the present invention. FIG.

도 11은 본 발명의 실시예에 따른 다중 정밀도를 가진 멀티미디어 데이터의 검색 서비스 제공 시스템 중 하나의 구성 요소인 제2검색서버의 내부 구성을 나타낸 블럭도.FIG. 11 is a block diagram illustrating an internal configuration of a second search server which is one component of a system for providing a search service for multimedia data with multiple precisions according to an embodiment of the present invention. FIG.

도 12는 본 발명의 실시예에 따른 저장단계에 있어서의 신호 흐름을 블럭도 상에 나타낸 도면.12 is a block diagram showing a signal flow in a storing step according to an embodiment of the present invention.

도 13은 본 발명의 또다른 실시예에 따른 저장단계에 있어서의 신호 흐름을 블럭도 상에 나타낸 도면.13 is a block diagram showing a signal flow in a storing step according to another embodiment of the present invention.

도 14는 본 발명의 실시예에 따른 검색단계에 있어서의 신호 흐름을 블럭도 상에 나타낸 도면.14 is a block diagram showing a signal flow in a searching step according to an embodiment of the present invention.

Claims

Claims [1] A system for providing a multi-precision multimedia data search service including at least one or more first search servers, at least one or more second search servers, and at least one or more control devices.

Receives the latest uploaded original multimedia data and converts it into a feature vector to generate a first vector, approximates the first vector to generate a second vector, and receives search request data including search criteria data from a search service user. A control device for generating a first search reference vector by converting the search reference data into a feature vector and generating a second search reference vector by approximating the first search reference vector;

Receives and stores the first vector from the control device, searches for a first vector having a smaller absolute value between the first search reference vector and the vector difference among the plurality of stored first vectors, and then stores the first search result data. A first search server for creating and transmitting to the control device; And

Receiving and storing the second vector from the control device, searching for a second vector having an absolute value of a vector difference between the second search reference vector and the second search result data among the stored plurality of second vectors; Including; and a second search server for transmitting to the control device;

And the control device generates a search result based on the transmitted first and second search result data and provides the search service user to the search service user.

The method of claim 1, wherein the first search server,

When the storage capacity is insufficient when the first vector is stored, the system for providing a multi-precision multimedia data retrieval service according to claim 1, wherein the previously stored first vectors are deleted.

The method of claim 1, wherein the first search server,

When the storage capacity is insufficient when the first vector is stored, multi-precision multimedia data retrieval service is provided by deleting a first vector stored in the order of low search frequency by a least recently used (LRU) algorithm. system.

The method of claim 1, wherein the control device,

An original data receiver configured to receive the latest uploaded original multimedia data;

A service user interface unit receiving user search request data including search reference data from a search service user and providing a search result corresponding to the user search request to the search service user;

Converts the received original multimedia data into a feature vector to generate a first vector, approximates the first vector to generate a second vector, and converts the search reference data into a feature vector when the user search request data is received. A feature vector conversion unit generating a first search reference vector and generating a second search reference vector by approximating the first search reference vector;

Transmitting the first vector to the first search server, transmitting the second vector to the second search server, transmitting the first search reference vector to the first search server, and transmitting the first vector to the second search server. A search server interface unit which transmits a second search reference vector and receives first and second search result data corresponding to the search request from the first and second search servers;

A search result creation unit for creating a search result based on the first and second search result data; And

And a control unit for controlling operations of the original data receiving unit, the service user interface unit, the feature vector converter, the search server interface unit, and the search result generator.

The method of claim 1, wherein the first search server,

An interface unit for receiving the first vector and the first search reference vector from the control device and transmitting the first search result data to the control device;

A memory unit for storing the one or more first vectors;

A search engine unit for searching for a first vector of the first vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the first search reference vector; And

And a control unit for controlling the operations of the interface unit, the memory unit, and the search engine unit.

The method of claim 5, wherein the first search server,

And a memory update unit which deletes the previously stored first vector and stores the newly input first vector in the memory unit when the storage capacity of the first vector is insufficient. A system for providing a service for retrieving multimedia data with multiple precisions.

The method of claim 5, wherein the first search server,

When the storage capacity of the first vector is insufficient, the first vector stored in the order of low search frequency is deleted by a least recently used (LRU) algorithm, and the newly input first vector is stored in the memory unit. And a memory update unit. The system of claim 1, further comprising: a memory update unit.

The method of claim 1, wherein the second search server,

An interface unit for receiving the second vector and the second search reference vector from the control device and transmitting the second search result data to the control device;

A database unit storing the one or more second vectors;

A search engine unit for searching for a second vector of the second vectors stored in the memory unit in order of decreasing absolute value of the vector difference with the second search reference vector; And

And a controller for controlling operations of the interface unit, the database unit, and the search engine unit.

Receive the latest uploaded original multimedia data and convert it into a feature vector to generate a first vector, and when the search request data including the search criteria data is received from a search service user, the search criteria data is converted into a feature vector A control device for generating a search reference vector and generating a second search reference vector by approximating the first search reference vector;

Receive and store the first vector from the control device, but when the storage capacity of the first vector is insufficient, first generate a second vector approximating the previously stored first vector in the order of storage to the second search server. After the transmission, the previously stored first vector is deleted, and among the plurality of stored first vectors, the first vector is searched in order of decreasing absolute value of the vector difference with the first search reference vector. A first search server for creating and transmitting to the control device; And

Receiving and storing the second vector from the first search server, and searching for a second vector of an order in which the absolute value of the vector difference is smaller than the second search reference vector among the plurality of stored second vectors. And a second search server for generating result data and transmitting the result data to the control device.

And the control device creates a search result based on the transmitted first and second search result data and provides the search service user to the search service user.

Receiving and storing the first vector from the control device, but when the storage capacity of the first vector is insufficient, approximating the previously stored first vector in order of low search frequency by a least recently used (LRU) algorithm. A second vector is generated and transmitted to the second search server, and then the first stored vector is deleted, and the first order of the plurality of stored first vectors is smaller in absolute order than the first search reference vector; A first search server for searching for a vector and creating first search result data and transmitting the first search result data to the control apparatus; And

The method of claim 9 or 10, wherein the control device,

Converting the received original multimedia data into a feature vector to generate a first vector, and when receiving the user search request data, converting the search reference data into a feature vector to generate a first search reference vector, and generating the first vector. A feature vector converter for generating a second search criterion vector by approximating the search criterion vector;

Transmitting the first vector to the first search server, transmitting the first search reference vector to the first search server, transmitting the second search reference vector to the second search server, A search server interface unit for receiving corresponding first and second search result data from the first and second search servers;

The method of claim 9, wherein the first search server,

An interface unit for receiving the first vector and the first search reference vector from the control device, transmitting the second vector to the second search server, and transmitting the first search result data to the control device;

A memory unit for storing the one or more first vectors;

When the storage capacity of the first vector is insufficient by determining the storage capacity of the memory unit, first, the first vector stored in the stored order is approximated to generate a second vector, and the generated second vector is stored as the second vector. A memory updater which deletes the previously stored first vector from the memory unit after transmitting to the second search server;

The method of claim 10, wherein the first search server,

A memory unit for storing the one or more first vectors;

If the storage capacity of the first vector is insufficient by determining the storage capacity of the memory unit, a second vector is generated by approximating the previously stored first vector in the order of low search frequency by a least recently used (LRU) algorithm. A memory update unit which transmits the generated second vector to the second search server and then deletes the previously stored first vector from the memory unit;

The method of claim 9 or 10, wherein the second search server,

An interface unit for receiving the second vector from the first search server, receiving the second search reference vector from the control device, and transmitting the second search result data to the control device;

A database unit storing the one or more second vectors;

The method according to any one of claims 1, 2, 3, 9 and 10,

The first search server includes a storage device by a semiconductor memory and a SIMD processor, and the second search server includes a nonvolatile storage device including a hard disk and a CPU,

The first search server stores the first vector in the semiconductor memory, and the second search server stores the second vector in the nonvolatile storage device.

The first search server searches for the first vector in the order of decreasing absolute value of the vector difference by the operation of the SIMD processor,

And the second search server searches for the second vector in the order of decreasing absolute value of the vector difference by calculation of the CPU.

The method according to any one of claims 1, 2, 3, 9 and 10,

The first search server comprises a storage device by a semiconductor memory and a GPGPU processor, the second search server comprises a nonvolatile storage device including a hard disk and a CPU,

The first search server searches for the first vector in the order of decreasing absolute value of the vector difference by the operation of the GPGPU processor,

The method according to any one of claims 1, 9 and 10,

The first search result data generated by the first search server includes a first vector corresponding to a first vector within a predetermined rank in order of decreasing absolute value of the vector difference. Service delivery system.

The method according to any one of claims 1, 9 and 10,

The first search result data created by the first search server includes a first vector whose absolute value of the vector difference is equal to or less than a preset size. system.

The control apparatus according to any one of claims 1, 2, 3, 9 and 10, wherein the control device comprises:

It is determined whether the first search result data received from the first search server meets or exceeds a predetermined reference number, and the second search only when the first search result data does not exist or does not reach the preset reference number. Generating a search criterion vector and transmitting it to the second search server;

When the first search result data meets or exceeds a predetermined reference number as a result of the determination, a search result is generated using only the first search result data received from the first search server and provided to the search service user. Multi-precision multimedia data retrieval service providing system.

The method according to any one of claims 1, 2, 3, 9 and 10,

The first search server is composed of two or more sub-search server,

Each sub-search server stores the first vector corresponding to the storage time period classified based on the update time of the original multimedia data,

The storage time section is a search time providing system for a multi-precision multimedia data, characterized in that the closer to the current time point has a short time period.

The method according to any one of claims 1, 2, 3, 9 and 10,

The first search server is composed of two or more sub-search server,

Each sub-search server divides and stores a first vector classified based on a search frequency of the original multimedia data by a least recently used (LRU) algorithm.

And a lower retrieval server storing the first vectors having a high frequency of retrieval, wherein a plurality of first vectors are stored.

In any one of claims 1, 2, 3, 9 and 10,

The first search server is composed of two or more sub-search server,

And the first search server includes a greater number of lower search servers as the storage time interval is closer to the current time point.

The method according to any one of claims 1, 2, 3, 9 and 10,

The first search server is composed of two or more sub-search server,

The first search server is a sub-search server that stores the first frequency of the search frequency, the search service providing system for multimedia data having multiple precision, characterized in that the more number of sub-search server.

In the search service method of the multimedia data with multiple precision by a system comprising at least one or more first search server, at least one or more second search server and at least one or more control device,

A first step of the control apparatus receiving the latest uploaded original multimedia data and converting the original multimedia data into a feature vector to generate a first vector, and approximating the first vector to generate a second vector;

A second step in which the first search server receives and stores the first vector, and the second search server receives and stores the second vector;

When the control device receives the search request data including the search reference data from the user of the search service, converting the search reference data into a feature vector to generate a first search reference vector and transmits it to the first search server; step;

The first search server searches for a first vector of a sequence in which the absolute value of the vector difference is smaller than the first search reference vector among the plurality of stored first vectors, to create first search result data, and to the controller. Transmitting a fourth step;

A fifth step of the control apparatus approximating the first search reference vector to generate a second search reference vector and transmit the generated second search reference vector to the second search server;

The second search server searches for a second vector of an order in which the absolute value of the vector difference and the first search reference vector are smaller among the plurality of stored second vectors, to generate second search result data, and to the controller. A sixth step of transmitting; And

And a seventh step of the control device providing the search service user with the search results based on the transmitted first and second search result data.

The method of claim 24,

In the second step, when the storage capacity of the first vector is insufficient, the first search server deletes the previously stored first vector in the order of being stored first. Way.

The method of claim 24,

In the second step, when the storage capacity of the first vector is insufficient, the first search server deletes the previously stored first vector in order of low search frequency by a least recently used (LRU) algorithm. Search service method of multimedia data with multiple precision.

A first step of the control device receiving the latest uploaded original multimedia data and converting it into a feature vector to generate a first vector;

The first search server receives the first vector and stores the first vector. However, when the storage capacity of the first vector is insufficient, the first search server generates a second vector approximating the previously stored first vector in the order of storing the first vector. A second step of deleting the previously stored first vector after transmission to a search server, and receiving and storing the transmitted second vector;

The first search server receives the first vector and stores the first vector, but when the storage capacity of the first vector is insufficient, the first search server stores the first vector in the order of low search frequency by a least recently used (LRU) algorithm. Generating an approximated second vector, transmitting the second vector to the second search server, deleting the previously stored first vector, and the second search server receiving and storing the transmitted second vector;

The method according to any one of claims 24 to 28,

In the second step, the first search server stores the first vector in the semiconductor memory, the second search server stores the second vector in the nonvolatile storage device,

In the fourth step, the first vector search in the order of decreasing absolute value of the vector difference is based on the operation of the SIMD processor,

The method of claim 6, wherein the first vector search in the order of decreasing absolute value of the vector difference is performed by the CPU.

The method according to any one of claims 24 to 28,

The method according to any one of claims 24, 27 and 28,

In the fourth step, the first search result data generated by the first search server includes a first vector corresponding to a first vector within a predetermined rank in order of decreasing absolute value of the vector difference. Service method of retrieving multimedia data.

The method according to any one of claims 24, 27 and 28,

The first search result data generated by the first search server in the fourth step includes a first vector whose absolute value of the vector difference is equal to or less than a predetermined size. How to retrieve data.

The method according to any one of claims 24 to 28,

Between the fourth step and the fifth step, the control device further comprises a step 4-2 of determining whether the first search result data received by the fourth step is more than a predetermined reference number and,

In step 4-2, if the first search result data is missing or does not reach the preset reference number, the step below the fifth step is executed.

In step 4-2, when the first search result data is satisfied by more than a predetermined reference number, the control device may not perform the fifth and sixth steps. A search service method for a multimedia data having multiple precisions, comprising: providing a search result based on search result data only to the search service user.

The method according to any one of claims 24 to 28,

The first search server is composed of two or more sub-search server,

The method of claim 1, wherein the storage time interval has a shorter time interval as the reference time is closer to the current time period.

The method according to any one of claims 24 to 28,

The first search server is composed of two or more sub-search server,

And a lower retrieval server storing the first vectors having a high frequency of retrieval, wherein a smaller number of first vectors are stored.

The method according to any one of claims 24 to 28,

The first search server is composed of two or more sub-search server,

And the first search server includes a greater number of sub-search servers as the storage time interval is closer to the current time point.

The method according to any one of claims 24 to 28,

The first search server is composed of two or more sub-search server,

And the first search server includes a greater number of subsearch servers as the lower search servers storing the first vectors having high search frequencies.