KR20020041898A - Method to search picture data - Google Patents
Method to search picture data Download PDFInfo
- Publication number
- KR20020041898A KR20020041898A KR1020000071561A KR20000071561A KR20020041898A KR 20020041898 A KR20020041898 A KR 20020041898A KR 1020000071561 A KR1020000071561 A KR 1020000071561A KR 20000071561 A KR20000071561 A KR 20000071561A KR 20020041898 A KR20020041898 A KR 20020041898A
- Authority
- KR
- South Korea
- Prior art keywords
- cluster
- searcher
- feature vector
- image
- search engine
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Abstract
Description
본 발명은 화상을 검색하여 동일 또는 유사한 화상을 보다 손쉽게 찾아낼 수 있도록 하는 방법에 관한 것으로서, 보다 상세하게는 인터넷 등에서 제공되는 화상 정보들 중에서 원하는 화상을 찾고자 할 때, 원하는 화상을 선정하는 작업과 화상을 검색하는 작업이 한층 더 수월하고 신속하게 이루어지도록 하여, 검색자가 간단하고 편리하게 원하는 화상을 찾아낼 수 있도록 하는 방법에 관한 것이다.The present invention relates to a method of searching for an image so that the same or similar image can be easily found. More particularly, the present invention relates to an operation of selecting a desired image when searching for a desired image among image information provided from the Internet. The present invention relates to a method for enabling a searcher to find a desired image simply and conveniently by making it easier and faster to search for an image.
이와 같은 화상 검색 서비스는 인터넷에서 많이 제공되고 있는데, 다만 인터넷에서의 사용으로 제한되는 것은 아니라 할 것이나, 이하에서는 인터넷이 이용되어 서비스되는 방법을 기본으로 하여 본 발명을 설명하도록 한다.Many such image retrieval services are provided on the Internet, but will not be limited to use on the Internet. Hereinafter, the present invention will be described based on the method by which the Internet is used.
종래 인터넷 상에서의 검색 서비스는 주로 텍스트(Text)가 키워드로 제공되고, 상기 키워드가 포함되는 유사 자료가 검색되도록 하고 디스플레이되도록 함으로써, 원하는 자료를 인터넷 사용자들이 획득할 수 있도록 하고 있다.Conventionally, the search service on the Internet mainly provides texts as keywords and allows similar materials containing the keywords to be searched and displayed, thereby allowing Internet users to obtain desired materials.
그러나, 이러한 텍스트 기반의 자료 검색 서비스는 최근 멀티미디어 화가 진행됨에 따라 많은 다종 다양한 서비스가 화상으로 제공되는 현실에 비추어 볼 때, 그 성능이 만족스럽지 않아 인터넷 사용자들은 많은 불편을 느껴왔는데, 이러한 불편함을 개선하기 위하여 종래에 제공된 화상 검색 서비스를 제공하는 툴(Tool)로는 아이비엠(IBM) 사가 제공한 큐빅(QBIC)과, 콜럼비아(Columbia) 사의 비디오큐(VideoQ) 라는 검색 엔진이 제공되었는데, 이하 이러한 종래의 화상 검색 서비스를 살펴보도록 한다.However, as the text-based data retrieval service has recently progressed in multimedia, many users have been inconvenient because of its unsatisfactory performance. In order to improve the tool, a search engine called cubic (QBIC) provided by IBM and Columbia's VideoQ provided by IBM is provided. Let's look at the image search service.
도 1은 큐빅의 검색 방법을 설명하는 도면이다.1 is a view for explaining a cubic search method.
도 1을 참조하면, 상기 큐빅은 화상 데이터를 검색할 수 있도록 하기 위한 것으로서, 인터넷 사용자가 자신이 찾고자 하는 화상을 선택하는데, 본 화상에서는 자동차와 사람(1)이 선택되었다.Referring to FIG. 1, the cubic is used to search image data, and an internet user selects an image to be searched for. In this image, a car and a person 1 are selected.
위에서와 같이 인터넷 사용자가 선택한 화상 정보가 서버로 전달되면 적합하다고 판단되는 특성정보 즉, 색상비(Color Percentage)와 모양(Color Lay-out)의 특징값을 하나 이상 선정하여, 이러한 특징값과 유사한 특징값을 갖는 화상을 기존의 화상 정보의 데이터 베이스에서 찾아서 인터넷 사용자에게 제공하게 되는 것이다.As described above, when the image information selected by the Internet user is delivered to the server, one or more characteristic values determined as appropriate, that is, color ratio and color layout, are selected. An image having a feature value is found in a database of existing image information and provided to an Internet user.
그러나, 상술된 바와 같은 큐빅은 화상 중에서 특정한 일 부분 만을 선택할 수 없는 단점이 있고, 또한 화상 전체의 색상비와 모양 등의 특징값이 수치적인 정보로 표현되어 컴퓨터 상에서, 이와 같은 수치적인 정보만이 화상 정보의 검색에 사용됨으로써, 실질적으로 인터넷 사용자가 원하는 화상을 검색할 수는 없는 단점이 있었다.However, the above-mentioned cubic has a disadvantage in that only a specific part of an image cannot be selected, and feature values such as color ratio and shape of the entire image are expressed as numerical information, so only such numerical information is available on a computer. By being used for retrieval of image information, there is a disadvantage in that an internet user cannot substantially retrieve a desired image.
이러한 단점을 개선하기 위하여 종래 제안된 방법을 도 2의 비디오큐의 사용방법을 설명하는 도면을 참조하여 설명하도록 한다.In order to improve this disadvantage, the conventionally proposed method will be described with reference to the drawings illustrating a method of using the video cue of FIG. 2.
도 2를 참조하면, 이는 검색자로 하여금 여러 가지 시각적인 정보조합이나 시공간적인 상관성에 기반한 동화상의 검색을 가능하게 하는 검색전략을 구현하고 있는데, 상기 큐빅은 검색자가 원하는 검색의 객체를 전체 화상 중에서 스케치하여 이를 선택하도록 하고, 선택된 객체에 대한 특징값을 알아내게 되는데, 본 도면에서는 사람(2)이 그 객체로 선택되었다.Referring to FIG. 2, this implements a search strategy that enables a searcher to search a moving image based on various visual information combinations or spatiotemporal correlations. The cubic sketches an object of a search desired by the searcher from the entire image. By selecting it, the feature value for the selected object is found. In this figure, the person 2 is selected as the object.
또한, 이러한 과정을 통하여 알아낸 객체의 특징값과, 화상 정보 데이터 베이스 내에 저장되어 있는 화상들이 자동 영역 분할 알고리즘을 통하여 분할되어 있는 개개 객체의 특징값이 비교되도록 함으로써 유사한 객체가 포함되는 화상 내지는 영상을 검색해낼 수 있게 되는 것이다.In addition, by comparing the feature values of the objects found through this process with the feature values of the individual objects whose images stored in the image information database are divided by the automatic region segmentation algorithm, images or images containing similar objects are included. You will be able to search for.
한편, 상기 자동 분할 영역 알고리즘이라 함은 색상 등의 차이를 퍼센트로 계산하여 객체의 경계선을 구분 짓도록 하는 알고리즘을 말한다.On the other hand, the automatic segmentation algorithm refers to an algorithm for distinguishing the boundary of the object by calculating the difference in color and the like as a percentage.
그러나, 상기 비디오큐 또한 검색자가 원하는 객체가 스케치되도록 함으로써정확히 구분지어야 되는 불편함이 있고, 상세한 스케치의 정보로 인하여 검색엔진과 검색자간의 전송 데이터 양이 방대해 지는 문제점이 있고, 또한 검색자가 전송하는 객체는 수작업으로 스케치되어 전송이 이루어지나 화상 정보 데이터 베이스 내에 저장되어 있는 화상이나 영상들은 자동 영역 분할 알고리즘에 의해서 객체가 분할되도록 함으로써, 객체의 선택에 대한 신뢰도가 저하되는 문제점이 있다.However, the video queue also has the inconvenience that the searcher wants to sketch the desired object accurately, there is a problem that the amount of data transmitted between the search engine and the searcher is huge due to the information of the detailed sketch, and also the searcher transmits Objects are manually sketched and transmitted, but the images or images stored in the image information database are divided by the automatic region segmentation algorithm, thereby reducing the reliability of object selection.
본 발명은 이러한 문제점이 개선되도록 하기 위하여 창출된 것으로서, 화상 정보 데이터 베이스 내에 저장되어 있는 화상 내에서 선택되어진 객체가 계속하여 축적되어, 검색자의 객체 선택 경향이 계속하여 반영되도록 할 수 있어 보다 정확한 객체를 선택할 수 있도록 함으로써, 검색자가 찾고자 하는 객체에 보다 근접하는 화상 자료를 제공할 수 있는 화상 정보 검색 방법을 제공하는 것을 목적으로 한다.The present invention has been created to solve this problem, and the objects selected in the image stored in the image information database can be accumulated continuously, so that the object selection tendency of the searcher can be continuously reflected, thereby making the object more accurate. It is an object of the present invention to provide an image information retrieval method capable of providing image data closer to an object to be searched by the searcher.
도 1은 종래 화상 검색 방법인 큐빅의 검색 방법을 설명하는 도면.BRIEF DESCRIPTION OF THE DRAWINGS The figure explaining the cubic search method which is a conventional image search method.
도 2의 종래 화상 검색 방법인 비디오큐의 사용방법을 설명하는 도면.Fig. 2 is a view for explaining a method of using a video cue which is a conventional image retrieval method.
도 3은 본 발명에 따른 화상 검색 방법의 객체 선택 방법을 설명하는 도면.3 is a view for explaining an object selection method of the image retrieval method according to the present invention;
도 4의 본 발명에 따른 화상 검색 방법의 클러스터를 설명하는 도면.Fig. 4 is a diagram for explaining a cluster of an image retrieval method according to the present invention.
도 5는 본 발명에 따른 화상 정보 검색 방법 설명하는 플로우 차트.5 is a flowchart for explaining an image information retrieval method according to the present invention;
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
3........피 검색객체4........선택 영역3 ............. Search object 4 ........ Selection area
이러한 목적을 달성하기 위하여 본 발명에 따른 화상 검색 방법은 검색자로부터 검색엔진으로 전송되는 데이터 양을 줄이기 위하여 상기 검색자가 검색하고자 하는 객체가 포함되도록 지정한 선택 영역의 좌측 상단과 우측 하단의 특징 벡터가 상기 검색엔진으로 전송되는 제 1 단계; 상기 선택 영역의 특징값과 유사한 객체가 상기 검색엔진의 데이터 베이스에서 검색되는 제 2 단계; 및 상기 제 2 단계에서 검색된 상기 유사한 객체가 상기 검색자에게 전송되는 제 3 단계로 이루어지는 것을 특징으로 하고, 또한 검색자의 인지정보가 활용되도록 하기 위하여 상기 검색자가 객체를 인지하여 지정한 특징 벡터가 검색엔진에 계속 저장되어 군집화된 클러스터가 활용되어 객체가 검색되도록 하는 것을 특징으로 한다.In order to achieve the above object, the image retrieval method according to the present invention includes a feature vector of the upper left and the lower right of the selection area designated to include the object to be searched by the searcher in order to reduce the amount of data transmitted from the searcher to the search engine. A first step transmitted to the search engine; A second step of searching for an object similar to a feature value of the selection area in a database of the search engine; And a third step in which the similar object searched in the second step is transmitted to the searcher, and the feature vector designated by the searcher recognizes the object so that the cognitive information of the searcher is utilized. It is characterized in that the object is searched by being stored in the clustered cluster is utilized.
상기된 바와 같은 본 발명에 따른 화상 정보 검색 방법이 구체적으로 실시되는 방법을 예를 들어 상세히 설명하도록 한다.The method in which the image information retrieval method according to the present invention as described above is specifically implemented will be described in detail, for example.
본 발명에 따른 화상 검색 방법을 그 특징적인 요소에 따라 분류하면, 검색자가 원하는 객체를 선택하여 선택된 객체가 전송되도록 하는 방법과, 전송된 객체가 개개 클러스터의 대표 벡터로 변환되어 검색되는 방법과, 객체를 대표하게 되는 클러스터가 최적화 되는 방법으로 나누어 볼 수 있다.When the image retrieval method according to the present invention is classified according to its characteristic elements, the searcher selects a desired object so that the selected object is transmitted, a method in which the transmitted object is converted into a representative vector of individual clusters, and retrieved; It can be divided into a method of optimizing a cluster that represents an object.
먼저, 검색자가 원하는 객체를 선택하여 이러한 선택값이 전송되는 방법은 특정한 검색자 인터페이스가 이용되어서 실시될 수 있는데 이를 도면을 참조하여 설명하도록 한다.First, a method in which a searcher selects an object and transmits this selection value may be implemented by using a specific searcher interface, which will be described with reference to the drawings.
도 3은 본 발명에 따른 화상 검색 방법의 객체 선택 방법을 설명하는 도면이다.3 is a view for explaining an object selection method of the image retrieval method according to the present invention.
도 3을 참조하면, 본 발명에 있어서 검색자가 화상에서 객체를 선택하는 방법은, 검색자가 화상을 관찰하는 중에 원하는 객체를 발견하고서 이를 지정하는 것은 마우스 등이 이용되어 구역이 설정되도록 되고, 설정된 구역의 구역값은 박스의 범위를 나타내기 충분한 좌측 상단과 우측 하단 지점의 위치의 특정값이 사용되는데, 다만, 좌측 상단과 우측 하단의 지점이 반드시 사용되어야 하는 것은 아니라 할 것이고, 원하는 경우에 따라 다양하게 박스의 형상을 지정할 수 있다.Referring to FIG. 3, in the present invention, the searcher selects an object from an image. The searcher discovers a desired object while observing the image, and designates the object using a mouse or the like. The zone value of is a specific value of the position of the top left and bottom right points sufficient to indicate the extent of the box, provided that the top left and bottom right points are not necessarily used and vary as desired. You can specify the shape of the box.
이러한 박스의 구역값이 표현되는 수학식을 나타내면 다음과 같다.Representation of the equation of the zone value of the box is as follows.
상기 수학식 1에서 살필 수 있는 바와 같이 좌측 상단의 위치(ai)와 우측 하단의 위치(bi)가 벡터로 표현되며, 이를 특징 벡터라 하고 상기 특징 벡터에 관한 정보가 검색 엔진으로 전송되는 것이다.As can be seen in Equation 1, the position (a i ) of the upper left and the position (b i ) of the lower right are represented by a vector, which is called a feature vector and information about the feature vector is transmitted to a search engine. will be.
본 도면에서 검색자가 검색하고자 하는 객체인 피 검색객체(3)는 사람이고, 상기 피 검색객체(3)에 관한 정보를 전송하기 위한 검색자가 선택한 선택 영역(4)은 네모 박스로 표시되어 있다.In this drawing, the searched object 3, which is the object that the searcher wants to search, is a person, and the selection area 4 selected by the searcher for transmitting information about the searched object 3 is indicated by a square box.
이와 같이 피 검색객체(3)가 포함되어 있는 선택영역(4)이 전송되도록 함으로써 검색작업이 실행되도록 하기 위하여, 검색자로부터 검색 엔진으로 전송되는 정보는 상기 수학식 1에서 표현된 바와 같이 박스를 표시하기 위하여 사용된 좌측 상단점과 우측 하단 점의 위치 정보뿐이다.In order for the search operation to be executed by transmitting the selection area 4 including the searched object 3 as described above, the information transmitted from the searcher to the search engine is displayed as shown in Equation 1 above. Only the location information of the upper left point and the lower right point used for display.
이로 인하여, 검색자와 검색 엔진 사이의 트래픽 양이 줄어들게 됨으로 보다 빨리 검색자는 검색결과를 알 수 있게 되는 장점이 있다.As a result, the amount of traffic between the searcher and the search engine is reduced, so that the searcher can know the search result more quickly.
한편, 이와 같은 검색자 인터페이스를 통하여 선택영역(도 3의 4참조)의 위치 정보가 검색 엔진으로 전송되면, 선택 영역(4)이 검색 엔진 상에서 인식되는데, 이를 도 4의 본 발명에 따른 화상 검색 방법의 클러스터를 설명하는 도면을 참조하여 설명하도록 한다.On the other hand, when the position information of the selection area (see 4 in FIG. 3) is transmitted to the search engine through the searcher interface, the selection area 4 is recognized on the search engine, which is an image search according to the present invention of FIG. 4. This will be described with reference to the drawings describing the cluster of methods.
도 4를 참조하면, 이는 상기 선택 영역(4)의 상하로의 위치(수학식 1의 yi1, yi2참조)를 나타내는 도면으로서, 선택 영역(4)이 전체 화상의 상하에서 시작되는 위치를 X축으로 하고, 선택 영역(4)이 전체 화상의 상하에서 끝나는 위치를 Y축으로 하여 도시한 것이다. 그러므로, 모든 객체는 도 4에서 X축의 값보다 높은 곳에 Y축의 값이 위치할 수는 없는 것이다.Referring to FIG. 4, this is a diagram showing the up and down positions of the selection area 4 (see y i1 and y i2 in Equation 1), where the selection area 4 starts up and down the entire image. The X-axis is shown, and the selection area 4 ends up and down of the entire image as the Y-axis. Therefore, the value of the Y-axis may not be located at every position higher than the value of the X-axis in FIG. 4.
마찬가지로, 선택 영역(도 3의 4참조)의 좌우에서의 위치(수학식 1의 xi1, xi2참조)를 나타내는 도면도 도 4와 동일한 형식으로 검색 엔진의 내에서 존재하게 된다.Similarly, a diagram showing positions (see x i1 and x i2 in Equation 1) to the left and right of the selection area (see 4 in FIG. 3) also exists in the search engine in the same format as in FIG. 4.
그런데, 여러 명의 검색자가 동일한 객체를 검색하기 위하여 선택하는 선택 영역(4)의 상기 특징 벡터(수학식 1참조)는 서로 유사한 값을 가지게 되고, 그러므로 하나의 화상에서 선택되는 객체의 특징 벡터는 여러 명이 이를 유사하게 선택함으로 인하여, 계속하여 특징 벡터가 저장되는 경우에는 특정한 객체의 특징 벡터는 일정한 영역에서 서로 모이게 되고, 이러한 군집화된 그룹을 클러스터(Cluster)로 한다.However, the feature vectors (see Equation 1) of the selection area 4 selected by several searchers to search for the same object have similar values to each other, and therefore, the feature vectors of the objects selected from one image are different. When the names are similarly selected, the feature vectors of a specific object are gathered together in a certain area when the feature vectors are continuously stored, and these clustered groups are referred to as clusters.
그렇다면, 하나의 화상에는 여러 개의 검색 객체가 존재하게 되므로 마찬가지로 여러 개의 클러스터가 생성될 수 있게 되고, 이러한 각각의 클러스터는 하나의 검색 객체와 대응된다고 할 수 있다. 또한, 이러한 클러스터는 계층적 구조를 가지게 됨으로써, 여러 개의 클러스터를 모여져 하나의 클러스터가 지정되도록 할 수도 있으며, 이러한 클러스터의 계층적 구조는 연속되어 올라갈 수도 있다.In this case, since several search objects exist in one image, several clusters can be generated, and each of these clusters corresponds to one search object. In addition, such a cluster may have a hierarchical structure, whereby a plurality of clusters may be gathered to designate one cluster, and the hierarchical structure of such clusters may be continuously raised.
한편, 상기 클러스터는 여러 명이 동일한 화상에서 동일한 객체를 검색하기 위하여 선택영역(도 3의 4참조)을 여러 개를 지정하면, 선택 영역에 따른 특징 벡터의 수가 많아져서 클러스터의 규모는 더욱 커지게 되는데, 이와 같이 클러스터가 커지게 되면 클러스터는 클러스터를 대표하는 대표 특징 벡터를 지정할 수 있는데, 하나의 클러스터의 대표 특징 벡터는 클러스터에 존재하는 여러 특징 벡터의 평균값으로 하는 것이 바람직하다.On the other hand, when the cluster designates several selection areas (see 4 in FIG. 3) in order to search for the same object in the same image, the cluster size becomes larger because the number of feature vectors according to the selection area increases. When the cluster grows as described above, the cluster may designate a representative feature vector representing the cluster. The representative feature vector of one cluster may be an average value of various feature vectors present in the cluster.
상기 대표 특징 벡터는 검색자가 검색하고자 하는 객체를 가장 잘 표현할 수 있는 특징 벡터가 될 것이다.The representative feature vector will be a feature vector that can best represent the object to be searched by the searcher.
그리하여, 새로운 검색자가 하나의 클러스터에 근접 또는 포함되는 특징 벡터를 검색 엔진으로 전송하여 검색을 요청하면, 검색 엔진에서는 검색자가 검색하기 위하여 전송한 특징 벡터에 인접한 클러스터의 대표 특징 벡터를 검색하고자 하는 객체의 특징 벡터로 인정하고, 이를 기초로 상기 대표 특징 벡터로 대표되는 객체와 화상 데이터 베이스에 저장되어 있는 화상들 속의 객체의 색상비(Color Percentage)와 모양(Color Lay-out) 등의 특징값이 서로 비교되어 동일 또는 유사한 객체가 검색되도록 하고, 동일 또는 유사한 것으로 검색된 객체가 포함되는 화상들이 검색자에게로 전송되는 것이다.Thus, when a new searcher requests a search by transmitting a feature vector that is adjacent to or included in a cluster to a search engine, the search engine searches for a representative feature vector of a cluster adjacent to the feature vector sent by the searcher for searching. Is recognized as a feature vector, and based on this, feature values such as color percentage and color layout of the object represented by the representative feature vector and the objects stored in the image database are The same or similar objects are compared to each other to be searched for, and images including the searched objects as the same or similar are transmitted to the searcher.
다만, 상기 화상 데이터 베이스에 저장되어 있는 화상들도, 화상을 형성하고 있는 개개의 객체들은 클러스터의 대표 특징 벡터로 지정되어 있는 것에 유의할 필요가 있다.It is to be noted, however, that the images stored in the image database are also designated as the representative feature vector of the cluster.
이와 같이 검색자들이 지정하게 되는 선택 영역(도 3의 4참조)의 특징 벡터가 화상 데이터에 축적되고, 여러 특징 벡터의 대표값으로 지정되는 대표 특징 벡터가 활용되는, 자동 학습을 통한 객체의 표준화로 인하여 보다 유사한 화상이 빠른 시간에 검색될 수 있는 것이다.In this way, the standardization of the object through automatic learning, in which feature vectors of a selection area designated by searchers (see 4 in FIG. 3) are accumulated in image data, and representative feature vectors designated as representative values of various feature vectors are utilized. Because of this, more similar images can be retrieved at a faster time.
이상에서 설명된 바와 같은 객체와 선택 영역과 특징 벡터와 대표 특징 벡터와 클러스터의 관계를 수학식을 바탕으로 다시 한번 설명하도록 한다.The relationship between the object, the selection region, the feature vector, the representative feature vector, and the cluster as described above will be described once again based on the equation.
상기 수학식 2에서, cj는 일정한 하나의 클러스터를 의미하고, rj는 상기 클러스 cj의 대표 특징 벡터를 의미하여, rj가 cj라는 일정 클러스터의 범위에 포함되는 대표 특징 벡터인 것을 의미한다.In Equation 2, c j means one constant cluster, r j means a representative feature vector of the cluster c j , and r j is a representative feature vector included in a range of a given cluster called c j . Means that.
상기 수학식 3에서, zj는 어떤 검색자가 일정 객체를 검색하기 위하여 새로이 지정한 선택 영역(도 3의 4참조)의 특징 벡터이며, rj는 상기 일정 객체가 최근접 또는 포함되는 일정 클러스터 cj의 대표 특징 벡터이고, dmin은 새로이 지정된 선택 영역(4)의 특정 벡터(zj)가 가장 근접하고 있는 일정 클러스터(cj)와의 거리를 의미하게 된다.In Equation 3, z j is a feature vector of a new selection area (see 4 in FIG. 3) designated by a searcher to search for a schedule object, and r j is a schedule cluster c j where the schedule object is nearest or included. D min denotes a distance from the predetermined cluster c j to which the specific vector z j of the newly designated selection region 4 is nearest.
상기 수학식 4에서 t1는 검색엔진에서 사용되도록 하기 위하여 미리 설정된 기준값이고, cn, cj, cj+1은 모두 일정한 클러스터를 의미한다.In Equation 4, t 1 is a reference value preset for use in a search engine, and c n , c j , and c j + 1 all mean constant clusters.
상기 수학식 4의 의미를 풀이하면, 상기 수학식 3을 통하여 정의된 바와 같은 상기 dmin의 값이 미리 검색엔진에 설정되어 있는 기준값(t1)보다 작은 경우에는, 상기 zj는 상기 cj라는 최 근접 클러스터에 포함되는 것으로 이를 선정하고, 상기 dmin의 값이 미리 검색엔진에 설정되어 있는 기준값(t1)보다 큰 경우에는 상기 zj는 상기 cj+1라는 새로운 클러스터를 만들어, 이를 선정하여 상기 클러스터(cj+1)에 자신이 포함되도록 한 다는 것을 의미한다.Solving the meaning of Equation 4, if the value of d min as defined by Equation 3 is smaller than the reference value t 1 set in advance in the search engine, z j is the c j. If the value of d min is greater than the reference value (t 1 ) previously set in the search engine, z j creates a new cluster called c j + 1 . It means that it is selected to include itself in the cluster (c j + 1 ).
이상의 과정을 통하여, 검색자가 일정한 객체를 찾기 위하여 지정한 선택 영역(4)이 미리 검색 엔진 내에 저장된 학습 자료에 의해 수정되도록 하여, 검색자 본인이 검색하고자 했던 객체를 보다 잘 표현할 수 있는 클러스터를 찾아낼 수 있게 되는 것이다.Through the above process, the search area designated by the searcher to find a certain object is modified by learning materials stored in the search engine in advance, so that the searcher can find a cluster that can better express the object to be searched. It will be possible.
또한, 선정된 클러스터의 대표 특징 벡터로 표현되는 객체가, 검색 엔진에서 인식되어 유사한 객체를 기존의 데이터 베이스에서 검색되어 검색자에게 전송되는 것이다.In addition, an object represented by the representative feature vector of the selected cluster is recognized by a search engine, and a similar object is searched in an existing database and transmitted to the searcher.
한편, 새로이 지정되었던 특징 벡터(zj)는 특정 벡터(zj)가 기존의 클러스터(cj)의 군집 내에 포함된다면, 이러한 특징 벡터(zj) 또 다른 특정 벡터로 저장되어, 클러스터(cj)의 대표 특징 벡터(rj)를 구하는데 사용되는 자료로서의 기능도 하게 된다.On the other hand, if the feature vector (z j) the newly specified is included in a cluster of a specific vector (z j) an existing cluster (c j), is stored in this feature vector (z j) Another particular vector, cluster (c It also functions as the data used to find the representative feature vector (r j ) of j ).
지금 까지는, 검색자가 원하는 객체를 지정하는 선택영역(4)의 특징 벡터를 지정하여 이를 이용하여 유사한 객체가 포함되는 화상을 포착해낼 수 있는 방법에 대하여 기술하였다. 이하에서는 이러한 검색 방법을 통하여 보다 개선된 화상이 검색되어 질 수 있는 클러스터의 최적화 방법에 대하여 알아보기로 한다.Until now, a method has been described in which a searcher designates a feature vector of the selection area 4 that designates a desired object and uses this to capture an image including a similar object. Hereinafter, a method of optimizing a cluster in which an improved image can be searched through such a searching method will be described.
상기 수학식 5에서 mi와 mj가 의미하는 것은 일정 클러스터인 ci와 cj를 대표 할 수 있는 대표 벡터로서 대표 특징 벡터가 사용되는 것이 바람직하다.In the above Equation 5, m i and m j mean that a representative feature vector is preferably used as a representative vector capable of representing a predetermined cluster c i and c j .
이상의 조건을 바탕으로 상기 수학식 5를 설명하면, 일정 클러스터인 ci와 cj를 대표 할 수 있는 대표 벡터 mi와 mj의 최 근접 거리를 두 클러스터 ci와 cj의 평균거리 dmean으로 지정한다는 것이다.Referring to Equation (5) based on the above conditions, a certain cluster, c i and c the average distance of the maximum proximity of j is representative of the representative vector m i and m j that the two cluster c i and c j d mean It is specified as.
다만, 이러한 지정이 이루어지기 위해서는 개개의 클러스터 ci와 cj에 포함되어 있는 특징 벡터는 각각이 최소한 하나는 존재하여야 되고, 개개의 클러스터가서로 동일하지 않아야 된다.However, in order for such designation to be made, at least one feature vector included in each cluster c i and c j must exist, and each cluster must not be the same.
상기 수학식 6이 뜻하는 바는 상기 수학식 5를 통하여 정의된 바와 같은 두 클러스터 ci와 cj의 평균거리 dmean이 미리 검색 엔진에 설정되어 있는 t2보다 작다면, 상기 두 클러스터 ci와 cj는 양자가 각각 다른 클러스터로 유지될 수도 있으나 새로운 하나의 클러스터 cj로 정의될 수도 있다는 것이고, t2보다 크다면 두 클러스터 ci와 cj는 서로가 개별적인 클러스터로 유지된다는 것을 의미한다.Equation (6) means that if the mean distance d mean of the two clusters c i and c j as defined in Equation 5 is smaller than t 2 set in advance in the search engine, the two clusters c i And c j may both be maintained in different clusters, but may be defined as a new cluster c j , and if greater than t 2 , both clusters c i and c j mean that they are kept in separate clusters. .
이상에서 설명된 바와 같이, 개별적인 클러스터가 검색자의 인지정보에 기반하여 서로가 유기적인 연관 관계를 맺게 됨으로써, 동일한 화상에 대한 검색 횟수가 증가하여 일정 화상의 특징 클러스터에 포함되는 특징 벡터의 개수가 증가되어 클러스터가 최적화 될수록 검색 엔진은 검색자가 원하는 객체에 보다 근접하는 정확한 객체를 검색해 낼 수 있게 된다.As described above, the individual clusters are organically related to each other based on the cognitive information of the searcher, so that the number of searches for the same image is increased and the number of feature vectors included in the feature cluster of the certain image is increased. As the cluster is optimized, the search engine can find the exact object that is closer to the searcher.
또한, 일정한 기간이 경과되어 화상에 포함되어 있는 객체의 클러스터의 정보가 일정한 수준을 넘어 객체의 검색에 오히려 방해를 일으키는 경우에는 일정한 수만큼 선별적으로 특징 벡터를 삭제시키거나, 대표적인 값만 유지되도록 함으로써 검색결과의 열화를 막을 수 있다.In addition, when a certain period of time elapses and the information of clusters of objects included in the image exceeds a certain level and interferes with the search of the objects, a certain number of feature vectors are selectively deleted or a representative value is maintained. This can prevent deterioration of search results.
이상에서 설명된 바와 같은 화상 정보 검색 방법을 플로우 차트를 참조하여다시 한번 설명하도록 한다.The image information retrieval method as described above will be described once again with reference to the flowchart.
본 발명은 검색자가 객체를 검색하기 위하여 제공한 인지 정보가 계속하여 저장되도록 하여, 클러스터에 저장되어 있는 일정 객체를 표시하는 특징 벡터의 개수가 증가되도록 하여 한층 더 유사한 객체를 빠르게 검색할 수 있도록 구성되어 있는데, 도 5는 본 발명에 따른 화상 정보 검색 방법 설명하는 플로우 차트이다.According to the present invention, the recognition information provided by the searcher for searching for an object is continuously stored, and the number of feature vectors indicating a certain object stored in the cluster is increased so that the user can quickly search for a similar object. 5 is a flowchart for explaining an image information retrieval method according to the present invention.
도 5를 참조하면, 검색자가 검색자 인터페이스를 이용하여 미리 검색자에게 제공된 화상에서 검색하고자 하는 객체를 박스 형태로 선택 영역(도 3의 4참조)을 선정하고(S 110), 상기 검색자 인터페이스는 선정된 선택 영역(4)의 위치를 나타내는 위치 정보를 검색엔진으로 전송하게 된다(S 120). 다만, 상기 단계를 통하여 선택된 선택 영역(4)은 직사각형의 형상으로서, 상기 선택 영역(4)을 표시하는 위치 정보는 좌측 상단의 점과 우측 하단의 점이 활용될 수가 있다.Referring to FIG. 5, a searcher selects a selection area (refer to 4 in FIG. 3) of an object to be searched in an image provided to the searcher using a searcher interface in the form of a box (S110), and the searcher interface. In operation S 120, location information indicating the location of the selected selection area 4 is transmitted to the search engine. However, the selection area 4 selected through the above step may have a rectangular shape, and the upper left point and the lower right point may be used as position information indicating the selection area 4.
상기 단계를 통하여 전송된 선택 영역(4)의 위치정보가 검색 엔진으로 전송된 후에는, 검색자가 선정한 객체가 포함되어 있는 화상에 기존에 또 다른 검색으로 인한 특징 벡터 내지는 클러스터가 존재하는 지의 여부에 대하여 판단되고(S 130), 상기 판단 단계(S 130)를 통하여 기존의 특징 벡터 내지는 클러스터가 있는 것으로 판단되면 기존의 검색으로 인하여 화상에 저장되어 있던 클러스터에 관련된 정보를 호출하게 된다(S 140).After the positional information of the selection area 4 transmitted through the above steps is transmitted to the search engine, whether the feature vector or cluster due to another search exists in the image including the object selected by the searcher already exists. If it is determined that there is an existing feature vector or cluster through the determination step (S 130), information related to the cluster stored in the image is called due to the existing search (S 140). .
상기 호출 단계(S 140)를 통하여 호출된 화상 전체의 클러스터 중에서 선택 영역(4)의 특징 벡터에 근접되는 클러스터가 선정되는데, 상기 클러스터가 선정되는 방법은 상기 수학식 3과 수학식 4에서 설명된 바와 같이, 일정한 기준값(t1)이미리 설정되도록 하여 선택 영역(4)의 특징 벡터와 호출된 모든 클러스터 간의 거리가 기준값(t1)보다 가까운 경우에는 기존에 저장되어 있던 클러스터를 이용하게 되고, 기준값(t1)보다 먼 경우에는 새로운 클러스터를 생성하여 이를 선정하게 된다(S 150).A cluster close to the feature vector of the selection area 4 is selected from the clusters of the entire image called through the calling step S 140. The method of selecting the cluster is described in Equations 3 and 4 above. As described above, if a predetermined reference value t 1 is set in advance and the distance between the feature vector of the selection area 4 and all called clusters is closer than the reference value t 1 , the previously stored cluster is used. If it is farther than the reference value t 1 , a new cluster is created and selected (S 150).
상기 단계(S 150)를 통하여 클러스터가 선정된 후에는 선정된 클러스터를 대표할 수 있는 대표 특징 벡터를 추출하게 되는데, 이러한 대표 특징 벡터는 클러스터에 포함되어 있는 모든 특징 벡터의 평균값이 사용될 수 있고, 또한 상기 대표 특징 벡터는 일정한 선택 영역을 지시함으로써 객체에 관련된 정보도 동시에 포함하게 된다(S 160).After the cluster is selected through the step (S 150), a representative feature vector capable of representing the selected cluster is extracted. The representative feature vector may use an average value of all the feature vectors included in the cluster. In addition, the representative feature vector indicates a certain selection area to simultaneously include information related to the object (S 160).
상기 객체 추출 단계(S 160)를 통하여 추출된 객체 정보는 해당되는 화상의 데이터 베이스에 저장되어 추후의 검색과정에 활용될 수 있게 되는데, 다만 추출된 객체 정보가 데이터 베이스에 저장되는 중에는 새로이 검색 요청된 특징 벡터도 포함이 된다(S 170).The object information extracted through the object extraction step (S 160) may be stored in a database of a corresponding image to be used in a later search process. However, a newly search request is performed while the extracted object information is stored in the database. The included feature vector is also included (S 170).
한편, 상기 클러스터의 존재 여부 판단 단계(S 130)에서 클러스터가 없는 것으로 판단된 경우에는, 새로이 클러스터가 지정이 되고, 또한 검색자가 새로이 지정한 선택 영역의 특징 벡터가 데이터 베이스화 되어 추후의 검색과정에서 활용되는데, 이때에도 검색자가 선정한 특징 벡터에는 객체에 관련된 정보가 동시에 포함된다(S 180).On the other hand, if it is determined in step S 130 that there is no cluster, the cluster is newly designated, and the feature vector of the newly selected selection region is databased and used in a later search process. In this case, the feature vector selected by the searcher simultaneously includes information related to the object (S 180).
또한, 상기 단계들을 통하여 검색자가 결과적으로 선정한 것으로 검색 엔지에 인식된 객체는, 객체의 색상비(Color Percentage)와 모양(Color Lay-out) 등의 특징값이 계산되고 또한 저장된다(S 190).In addition, the object recognized in the search engine as a result selected by the searcher through the above steps, feature values such as color percentage and color layout of the object are calculated and stored (S 190). .
상기 객체의 특징값 계산 단계(S 190)를 통하여 얻어진 특징값은, 데이터 베이스에 기존에 저장되어 있는 여러 화상의 많은 객체의 특징값과 비교되어 유사한 정도가 측정되도록 하여 유사도의 경중에 따라 객체를 선정하게 되고(S 200), 이러한 단계를 통하여 선정된 유사한 객체는 검색자에게로 전송되어 검색자는 원하는 화상 정보를 얻을 수 있게 된다(S 210).The feature value obtained through the feature value calculation step (S 190) of the object is compared with the feature values of many objects of various images previously stored in a database so that the degree of similarity is measured so that the object is determined according to the weight of the similarity. The selected similar object is transmitted to the searcher through this step, so that the searcher can obtain desired image information (S 210).
한편, 상기 화상 정보의 획득 단계(S 210)를 통하여 만족되는 수준의 화상 정보를 얻으면, 모든 화상 정보 검색은 종료가 되지만, 검색자가 자신이 만족할 수 있는 화상 정보를 얻지 못하는 경우에는 피드 백되도록 하여 다시금 상기 객체의 선택 단계(S 110)로 이행하여 원하는 객체를 다시금 블록으로 설정하게 된다(S 220).On the other hand, if image information of a satisfactory level is obtained through the obtaining of the image information (S 210), all image information retrieval is terminated, but if the searcher does not obtain image information that is satisfactory, it is to be fed back. In step S110 of selecting the object, the object is set again as a block (S220).
한편, 이상에서 설명된 바와 같은 화상 정보 검색 방법은 정지된 화상을 기본으로 하여 설명되었으나, 그뿐만 아니라 동영상이라도 동일한 과정을 통하여 동영상을 검색할 수 있게 된다.On the other hand, the image information retrieval method as described above has been described on the basis of the still image, but not only the moving image can be retrieved through the same process.
본 발명은 화상 정보를 검색하기 위하여 검색하고자 하는 객체를 선정할 때, 검색자가 지정하게 되는 객체에 관련된 정보를 검색 엔진 내에 군집화되어 있는 클러스터의 형식으로 데이터 베이스화 하여 이를 저장하고 있다가, 또 다른 검색자가 동일한 객체를 검색하고자 할 때, 활용되도록 하여 보다 좋은 검색 결과를 얻을 수 있도록 하는 것에 특징이 있는 것으로, 본 발명에 대하여 제대로 이해하고 있는 당업자라면 구성요소의 부가나 삭제, 변경으로 본 발명과 동일한 범위에서 또 다른 실시예를 용이하게 만들어 낼 수 있다.In the present invention, when selecting an object to be searched for searching for image information, information related to the object designated by the searcher is stored in a database in the form of clusters clustered in a search engine and stored therein. When a person searches for the same object, it is characterized in that it can be utilized to obtain a better search result. Those skilled in the art having a good understanding of the present invention can add, delete, or modify the same elements as the present invention. Other embodiments can be readily made in the scope.
이상에서 설명된 바와 같은 본 발명에 따른 화상 정보의 검색 방법은, 근래 멀티미디어 문화의 급속한 발달로 인하여 화상 정보가 기하 급수적으로 증가하고 있는 상황에서, 화상 정보의 검색이 보다 신속하게 이루어질 수 있고, 또한 검색자가 검색을 요구한 화상에 근접하는 화상이 보다 효과적으로 검색되어 질 수 있는 효과가 있다.As described above, the retrieval method of image information according to the present invention can be performed more quickly in a situation where image information is increasing exponentially due to the rapid development of multimedia culture. There is an effect that an image close to an image for which the searcher has requested a search can be searched more effectively.
한편, 종래에 검색자가 원하는 객체를 검색하기 위하여 객체를 인지하고서 선택하는 과정의 검색자 인지 정보를 활용할 수 있게 되어, 검색자의 경향을 알 수 있는 효과가 있다.On the other hand, it is possible to utilize the searcher recognition information of the process of recognizing and selecting the object in order to search the desired object in the prior art, there is an effect that can know the trend of the searcher.
본 발명을 또 다른 견지에서 살펴보면, 본 발명은 IMT 2000 이나 홈 쇼핑 등의 정보 교류 수단으로 인하여 화상 정보의 홍수 속에서 살고 있는 현대인의 생활 환경에, 인간의 직접적인 인지 정보가 반영되는 화상 정보의 검색 방법이 제공됨으로써 인간이 화상을 인지하는 방법이 검색 엔진 내부에서 학습될 수 있도록 함으로써 인간이 보다 화상 정보에 친화적으로 될 수 있다는 점에 또 다른 장점이 있다.Looking at the present invention from another aspect, the present invention is a search of the image information reflecting the direct cognitive information of the human being in the living environment of modern people living in the flood of the image information due to information exchange means such as IMT 2000 or home shopping Another advantage is that by providing a method, a method by which humans perceive an image can be learned inside a search engine, thereby making humans more friendly to image information.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000071561A KR20020041898A (en) | 2000-11-29 | 2000-11-29 | Method to search picture data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000071561A KR20020041898A (en) | 2000-11-29 | 2000-11-29 | Method to search picture data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20020041898A true KR20020041898A (en) | 2002-06-05 |
Family
ID=19702178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020000071561A KR20020041898A (en) | 2000-11-29 | 2000-11-29 | Method to search picture data |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20020041898A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010041785A1 (en) * | 2008-10-07 | 2010-04-15 | Kogooryeo Media Solution | Method and apparatus for recognizing object in image |
| KR102247662B1 (en) * | 2021-01-29 | 2021-05-03 | 주식회사 아이코드랩 | Device and method for automatically coloring cartoon sketch image |
| KR102449795B1 (en) * | 2022-02-23 | 2022-09-30 | 주식회사 아이코드랩 | Apparatus and method for automatically coloring sketch images |
| KR102449790B1 (en) * | 2022-02-23 | 2022-09-30 | 주식회사 아이코드랩 | Apparatus and method for automatically coloring sketch images |
| KR102477798B1 (en) * | 2022-01-27 | 2022-12-15 | 주식회사 위딧 | Apparatus for coloring webtoon character |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08263522A (en) * | 1995-03-24 | 1996-10-11 | Dainippon Screen Mfg Co Ltd | Image retrieving method |
| JPH09293081A (en) * | 1996-04-25 | 1997-11-11 | Japan Aviation Electron Ind Ltd | Image data base generating method and image retrieving method |
| JPH11175535A (en) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | Method and device for retrieving image and retrieval service utilizing the same |
| KR20000014123A (en) * | 1998-08-17 | 2000-03-06 | 이계철 | Image likeness weighted value adjustment device and method and contents base image search system and method using thereof |
| JP2000268044A (en) * | 1999-03-16 | 2000-09-29 | Canon Inc | Picture processing method, storage medium and picture processor |
| KR20000075161A (en) * | 1999-05-29 | 2000-12-15 | 구자홍 | Image retrieval method using multiple features per image sub region |
-
2000
- 2000-11-29 KR KR1020000071561A patent/KR20020041898A/en not_active Application Discontinuation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08263522A (en) * | 1995-03-24 | 1996-10-11 | Dainippon Screen Mfg Co Ltd | Image retrieving method |
| JPH09293081A (en) * | 1996-04-25 | 1997-11-11 | Japan Aviation Electron Ind Ltd | Image data base generating method and image retrieving method |
| JPH11175535A (en) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | Method and device for retrieving image and retrieval service utilizing the same |
| KR20000014123A (en) * | 1998-08-17 | 2000-03-06 | 이계철 | Image likeness weighted value adjustment device and method and contents base image search system and method using thereof |
| JP2000268044A (en) * | 1999-03-16 | 2000-09-29 | Canon Inc | Picture processing method, storage medium and picture processor |
| KR20000075161A (en) * | 1999-05-29 | 2000-12-15 | 구자홍 | Image retrieval method using multiple features per image sub region |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010041785A1 (en) * | 2008-10-07 | 2010-04-15 | Kogooryeo Media Solution | Method and apparatus for recognizing object in image |
| KR102247662B1 (en) * | 2021-01-29 | 2021-05-03 | 주식회사 아이코드랩 | Device and method for automatically coloring cartoon sketch image |
| KR102477798B1 (en) * | 2022-01-27 | 2022-12-15 | 주식회사 위딧 | Apparatus for coloring webtoon character |
| KR102449795B1 (en) * | 2022-02-23 | 2022-09-30 | 주식회사 아이코드랩 | Apparatus and method for automatically coloring sketch images |
| KR102449790B1 (en) * | 2022-02-23 | 2022-09-30 | 주식회사 아이코드랩 | Apparatus and method for automatically coloring sketch images |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2005364B1 (en) | Image classification based on a mixture of elliptical color models | |
| JP4340367B2 (en) | Image classification apparatus and computer-readable recording medium storing a program for causing a computer to function as the apparatus | |
| JP5033580B2 (en) | Image processing apparatus and image processing method | |
| JP5229744B2 (en) | Image classification device and image classification program | |
| US7917518B2 (en) | Compositional balance and color driven content retrieval | |
| JP4579404B2 (en) | Image processing method and apparatus | |
| JP5444776B2 (en) | Method, apparatus and program for displaying file | |
| CN108230262A (en) | Image processing method, image processing apparatus and storage medium | |
| US20030123737A1 (en) | Perceptual method for browsing, searching, querying and visualizing collections of digital images | |
| EP0596247A2 (en) | A full-text index creation, search, retrieval and display method | |
| US20070242902A1 (en) | Image processing device and image processing method | |
| US20060271883A1 (en) | Systems and methods for displaying linked information in a sorted context | |
| JP2001515629A (en) | Fast image retrieval using multi-scale edge representation of images | |
| JP4948607B2 (en) | Image search device, image classification device and method, and program | |
| US20030236778A1 (en) | Drawing search support apparatus and drawing search method | |
| JP2008217428A (en) | Image-retrieving program, method, and device | |
| JP4674257B2 (en) | Image classification apparatus and computer-readable recording medium storing a program for causing a computer to function as the apparatus | |
| CN102231149A (en) | Method for searching visual information of mobile phone based on local characteristics | |
| KR20020041898A (en) | Method to search picture data | |
| KR100512275B1 (en) | Multimedia data description of content-based image retrieval | |
| JP5515417B2 (en) | Image processing method and apparatus, and computer program therefor | |
| JP2007102362A (en) | Automatic classification category forming device, automatic digital image content classification device and digital image content management system | |
| KR100609022B1 (en) | Method for image retrieval using spatial relationships and annotation | |
| JPH08263514A (en) | Method for automatic classification of document, method for visualization of information space, and information retrieval system | |
| JP3522570B2 (en) | Image search and image classification cooperation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |