KR20010020101A - Multi-media Search Apparatus and Method therefor using Feature Information of Inner and Outside Shape Information - Google Patents
Multi-media Search Apparatus and Method therefor using Feature Information of Inner and Outside Shape Information Download PDFInfo
- Publication number
- KR20010020101A KR20010020101A KR1019990054286A KR19990054286A KR20010020101A KR 20010020101 A KR20010020101 A KR 20010020101A KR 1019990054286 A KR1019990054286 A KR 1019990054286A KR 19990054286 A KR19990054286 A KR 19990054286A KR 20010020101 A KR20010020101 A KR 20010020101A
- Authority
- KR
- South Korea
- Prior art keywords
- shape information
- information
- feature
- internal
- external
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
Abstract
Description
본 발명은 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치 및 그 방법에 관한 것으로, 특히 복잡한 모양정보를 외부 모양정보 및 내부 모양정보로 분리하여 표현하여 정확하고 신속한 멀티미디어 데이터 검색을 할 수 있도록 하는 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치 및 그 방법에 관한 것이다.The present invention relates to a multimedia retrieval apparatus and method using feature information of internal and external shape information. Particularly, the present invention provides accurate and rapid multimedia data retrieval by dividing complex shape information into external shape information and internal shape information. The present invention relates to a multimedia retrieval apparatus and a method using feature information of internal and external shape information.
근래에 들어서 멀티미디어의 발달로 방대한 양의 멀티미디어 데이터가 존재하게 되었고, 사용자는 방대한 양의 멀티미디어 데이터중에서 사용자가 원하는 데이터를 쉽고, 빠르고 정확하게 찾기를 원하게 되었다. 따라서, 멀티미디어 데이터의 검색이 필요하게 되었다. 멀티미디어 검색은 멀티미디어 데이터를 표현할 수 있는 특징을 추출하고, 그 추출된 특징을 표현하는 데이터 모델을 만든다. 이렇게 만들어진 데이터 모델을 기술자(descriptor)라고 한다. 따라서, 멀티미디어 데이터를 표현할 특징과 그 특징을 표현하는 기술자로 어떤 것을 사용할 지가 중요한 문제로 인식된다.Recently, due to the development of multimedia, a large amount of multimedia data has existed, and the user wants to find the data desired by the user easily, quickly and accurately from the vast amount of multimedia data. Thus, there is a need for retrieval of multimedia data. Multimedia search extracts features that can represent multimedia data and creates a data model that represents the extracted features. This data model is called a descriptor. Therefore, it is recognized that an important problem is a feature for representing multimedia data and which one to use as a descriptor for expressing the feature.
영상 데이터의 모양정보는 크게 두가지로 나눌 수 있다. 하나는, 도 1a에 도시된 바와같이, 폐곡선으로 이루어진 간단한 모양정보이고, 나머지 하나는, 도 1b에 도시된 바와같이, 여러 개의 폐곡선으로 이루어지는 복잡한 모양정보이다.Shape information of image data can be largely divided into two types. One is simple shape information consisting of closed curves, as shown in FIG. 1A, and the other is complex shape information consisting of several closed curves, as shown in FIG. 1B.
도 1b는 타원형 모양의 외곽과 그 안의 두 개의 타원과 하나의 초생달 모양으로 구성되어 있다. 일반적으로, 사람들은 도 1b를 인식할 때, 내부의 모양을 중요하게 생각하여 두 개의 작은 타원과 초생달 모양이라고 인식할 수도 있고, 외부의 외곽모양을 중요하게 생각하여 타원형의 모양이라고 인식할 수도 있다.Figure 1b is composed of an elliptical outer shape and two ellipses and one crescent shape therein. In general, when a person recognizes FIG. 1B, people may recognize two small ellipses and a crescent shape by considering an inner shape as important, or may recognize an elliptical shape by considering an outer shape as important. .
즉, 도 2a 내지 도 2c에 도시된 바와같이, 3개의 모양정보가 있다고 가정했을 경우에, 3개의 모양정보중에서 내부의 모양이 같은 도 2a와 도 2b가 비슷하다고 하는 경우가 있을 수 있고, 외부의 모양이 같은 도 2b와 도 2c를 더 비슷하다고 할 수도 있다. 이는 사용자마다 모양정보의 내부와 외부중에서 어떤 면을 중요시하는 가에 따라서 다르게 결정된다. 따라서, 모양정보를 표현할 경우에 모양정보의 외부모양과 내부 모양을 각각 비교해야 할 필요가 있다.That is, as shown in FIG. 2A to FIG. 2C, in the case where there are three shape information, there may be a case where FIG. 2A and FIG. 2B having the same internal shape among the three shape information are similar. 2b and 2c may have a similar shape. This is determined differently depending on which aspect of the shape information is important for each user. Therefore, when expressing the shape information, it is necessary to compare the external shape and the internal shape of the shape information, respectively.
그러나, 종래에는 복잡한 모양정보의 표현방법으로 이와같은 모양정보의 외부 모양과 내부 모양을 구분하여 표현하는 방법이 존재하지 않기 때문에, 정확하고 신속한 멀티미디어 데이터의 검색을 할 수 없는 문제점이 있었다.However, in the related art, since there is no method for distinguishing the external shape and the internal shape of the shape information as a method of expressing complex shape information, there is a problem in that the accurate and rapid retrieval of multimedia data cannot be performed.
따라서, 본 발명의 목적은 복잡한 모양정보를 외부 모양정보 및 내부 모양정보로 분리하여 표현하여 정확하고 신속한 멀티미디어 데이터 검색을 할 수 있도록 하는 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치 및 그 방법을 제공하는 데에 있다.Accordingly, an object of the present invention is a multimedia retrieval apparatus and method using feature information of internal and external shape information to express complex shape information into external shape information and internal shape information to enable accurate and rapid multimedia data retrieval. To provide.
도 1a 및 도 1b는 간단한 모양정보 및 복잡한 모양정보를 설명하기 위한 도면.1A and 1B are views for explaining simple shape information and complex shape information.
도 2a 내지 도 2c는 복잡한 모양정보의 유사성을 설명하기 위한 도면.2A to 2C are diagrams for explaining similarity of complex shape information.
도 3은 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치의 블록도.3 is a block diagram of a multimedia retrieval apparatus using feature information of internal and external shape information according to an embodiment of the present invention.
도 4는 도 3에서의 외부 및 내부 모양정보 특징 추출부의 상세 블록도.FIG. 4 is a detailed block diagram of an external and internal shape information feature extraction unit of FIG. 3. FIG.
도 5는 도 3에서의 유사도 계산부의 상세 블록도.FIG. 5 is a detailed block diagram of the similarity calculator of FIG. 3. FIG.
도 6은 도 4의 동작 흐름도.6 is an operational flowchart of FIG. 4.
도 7a 및 도 7b는 도 5의 동작 흐름도.7A and 7B are operational flow diagrams of FIG.
도 8a 내지 도 8d는 도 4에서의 모양정보 분할부의 동작을 설명하기 위한 도면.8A to 8D are views for explaining the operation of the shape information divider in FIG.
(도면의 주요부분에 대한 부호의 설명)(Explanation of symbols for the main parts of the drawing)
10,40 : 외부 및 내부 모양정보 특징 추출부 20 : 데이터베이스 구축부10,40: external and internal shape information feature extraction unit 20: database construction unit
30 : 멀티미디어 데이터베이스 50 : 유사도 계산부30: multimedia database 50: similarity calculation unit
100 : 모양정보 분할부 101 : 모양정보 추출 모드 설정부100: shape information division unit 101: shape information extraction mode setting unit
102,103 : 스위칭부 104 : 모양정보 특징 추출부102, 103: switching unit 104: shape information feature extraction unit
200,201 : 스위칭부200,201: switching unit
202 : 외부모양정보 특징 유사도 계산부202: feature similarity calculation unit of external shape information
203 : 내부모양정보 특징 유사도 계산부203: feature similarity calculation unit of internal shape information
204,205 : 스위칭부 206 : 외부 가중치 계산부204,205: switching unit 206: external weight calculation unit
207 : 내부 가중치 계산부 208 : 유사도 합산부207: Internal weight calculation unit 208: Similarity adding unit
209 : 유사도 선택부209: similarity selector
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치는 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 외부 모양정보로부터 각각 추출된 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제1 유사도 계산수단과; 상기 두 모양정보의 내부 모양정보로부터 추출된 각각 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제2 유사도 계산수단과; 상기 두 모양정보의 내부/외부 모양정보로부터 각각 추출된 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제3 유사도 계산수단을 포함하여 구성된다.In order to achieve the above object, the multimedia retrieval apparatus using the feature information of the internal and external shape information according to an embodiment of the present invention is a feature extracted from the shape information of the query image and the external shape information of the shape information of the image in the multimedia database. First similarity calculating means for calculating a similarity using information and searching for multimedia data using the same; Second similarity calculation means for calculating similarity using feature information extracted from the internal shape information of the two shape information and searching for multimedia data using the same; And third similarity calculating means for calculating similarity using feature information extracted from internal / external shape information of the two shape information, and searching multimedia data using the same.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치는 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 특징추출모드를 분석하는 특징추출모드 분석수단과; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 동일하고, 두 모양정보의 특징 추출모드가 모두 내부/외부 모양정보의 특징 추출모드인 경우에는, 내부 모양정보로부터의 특징정보와 외부 모양정보로부터의 특징정보의 유사도를 계산하고, 각각의 유사도에 가중치를 적용한 두 유사도의 합을 구하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제1 유사도 계산수단과; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 동일하고, 외부 모양정보의 특징 추출모드 또는 내부 모양정보의 특징 추출모드인 경우에는, 특징 추출장치에 따른 유사도 계산방법으로 외부 모양정보 특징 유사도 또는 내부 모양정보 특징 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제2 유사도 계산수단과; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 다르고, 하나의 모양정보의 특징 추출모드가 내부/외부 모양정보의 특징 추출모드이고, 다른 하나의 모양정보의 특징 추출모드가 외부 모양정보의 특징 추출모드 또는 내부 모양정보의 특징 추출모드인 경우에는, 내부 모양정보 특징 유사도 또는 외부 모양정보 특징 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제3 유사도 계산수단을 포함하여 구성된다.A multimedia retrieval apparatus using feature information of internal and external shape information according to an embodiment of the present invention for achieving the above object is characterized by analyzing the feature extraction mode of the shape information of the query image and the shape information of the image in the multimedia database Mode analysis means; If the feature extraction mode of the two shape information is the same and the feature extraction mode of the two shape information is the feature extraction mode of the internal / external shape information, the feature information from the internal shape information and the external shape information First similarity calculating means for calculating a similarity of the feature information, obtaining a sum of two similarities by applying a weight to each similarity, and searching the multimedia data using the same; As a result of the analysis, when the feature extraction modes of the two shape information are the same, and the feature extraction mode of the external shape information or the feature extraction mode of the internal shape information, the similarity calculation method according to the feature extraction device may be used. Second similarity calculating means for calculating shape information feature similarity and searching for multimedia data using the same; As a result of the analysis, the feature extraction modes of the two shape information are different, the feature extraction mode of one shape information is the feature extraction mode of the internal / external shape information, and the feature extraction mode of the other shape information is the feature extraction of the external shape information. In the case of the feature extraction mode of the mode or the internal shape information, the internal shape information feature similarity or the external shape information feature similarity is calculated, and the third similarity calculation means for searching for multimedia data is used.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치는 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 외부 모양정보로부터 각각 추출된 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 유사도 계산수단을 포함하여 구성된다.In order to achieve the above object, the multimedia retrieval apparatus using the feature information of the internal and external shape information according to an embodiment of the present invention is a feature extracted from the shape information of the query image and the external shape information of the shape information of the image in the multimedia database. And similarity calculation means for calculating similarity using the information and retrieving the multimedia data using the information.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치는 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 내부 모양정보로부터 추출된 각각 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 유사도 계산수단을 포함하여 구성된다.In order to achieve the above object, the multimedia retrieval apparatus using the feature information of the internal and external shape information according to the embodiment of the present invention is characterized in that each feature extracted from the shape information of the query image and the internal shape information of the shape information of the image in the multimedia database. And similarity calculation means for calculating similarity using the information and retrieving the multimedia data using the information.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치는 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 내부/외부 모양정보로부터 각각 추출된 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 유사도 계산수단을 포함하여 구성된다.In order to achieve the above object, a multimedia retrieval apparatus using feature information of internal and external shape information according to an embodiment of the present invention extracts shape information of a query image and internal / external shape information of shape information of an image in a multimedia database. And similarity calculation means for calculating similarity using the extracted feature information and searching for multimedia data.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치는 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 특징추출모드를 분석하는 특징추출모드 분석수단과; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 동일하고, 두 모양정보의 특징 추출모드가 모두 내부/외부 모양정보의 특징 추출모드인 경우에는, 내부 모양정보로부터의 특징정보와 외부 모양정보로부터의 특징정보의 유사도를 계산하고, 각각의 유사도에 가중치를 적용한 두 유사도의 합을 구하고, 이를 이용하여 멀티미디어 데이터를 검색하는 유사도 계산수단을 포함하여 구성된다.A multimedia retrieval apparatus using feature information of internal and external shape information according to an embodiment of the present invention for achieving the above object is characterized by analyzing the feature extraction mode of the shape information of the query image and the shape information of the image in the multimedia database Mode analysis means; If the feature extraction mode of the two shape information is the same and the feature extraction mode of the two shape information is the feature extraction mode of the internal / external shape information, the feature information from the internal shape information and the external shape information And similarity calculation means for calculating the similarity of the feature information, obtaining the sum of two similarities with weights applied to each similarity, and searching the multimedia data using the similarity.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치는 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 특징추출모드를 분석하는 특징추출모드 분석수단과; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 동일하고, 외부 모양정보의 특징 추출모드 또는 내부 모양정보의 특징 추출모드인 경우에는, 특징 추출장치에 따른 유사도 계산방법으로 외부 모양정보 특징 유사도 또는 내부 모양정보 특징 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 유사도 계산수단을 포함하여 구성된다.A multimedia retrieval apparatus using feature information of internal and external shape information according to an embodiment of the present invention for achieving the above object is characterized by analyzing the feature extraction mode of the shape information of the query image and the shape information of the image in the multimedia database Mode analysis means; As a result of the analysis, when the feature extraction modes of the two shape information are the same, and the feature extraction mode of the external shape information or the feature extraction mode of the internal shape information, the similarity calculation method according to the feature extraction device may be used. And similarity calculating means for calculating shape information feature similarity and searching for multimedia data using the same.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치는 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 특징추출모드를 분석하는 특징추출모드 분석수단과; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 다르고, 하나의 모양정보의 특징 추출모드가 내부/외부 모양정보의 특징 추출모드이고, 다른 하나의 모양정보의 특징 추출모드가 외부 모양정보의 특징 추출모드 또는 내부 모양정보의 특징 추출모드인 경우에는, 내부 모양정보 특징 유사도 또는 외부 모양정보 특징 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 유사도 계산수단을 포함하여 구성된다.A multimedia retrieval apparatus using feature information of internal and external shape information according to an embodiment of the present invention for achieving the above object is characterized by analyzing the feature extraction mode of the shape information of the query image and the shape information of the image in the multimedia database Mode analysis means; As a result of the analysis, the feature extraction modes of the two shape information are different, the feature extraction mode of one shape information is the feature extraction mode of the internal / external shape information, and the feature extraction mode of the other shape information is the feature extraction of the external shape information. In the case of the feature extraction mode of the mode or the internal shape information, the internal shape information feature similarity or the external shape information feature similarity is calculated, and the similarity calculation means for searching for multimedia data is used.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치는 질의영상에 대한 특징 추출모드 및 멀티미디어 데이터베이스내의 영상에 대한 특징추출모드에 따라서, 질의 영상의 외부 모양정보의 특징정보과 멀티미디어 데이터베이스내의 영상의 외부 모양정보의 특징정보를 출력하는 제1 스위칭수단과; 질의영상에 대한 특징 추출모드 및 멀티미디어 데이터베이스내의 영상에 대한 특징추출모드에 따라서, 질의 영상의 내부 모양정보의 특징정보과 멀티미디어 데이터베이스내의 영상의 내부 모양정보의 특징정보를 출력하는 제2 스위칭수단과; 상기 제1 스위칭수단에서 출력되는 질의 영상의 외부 모양정보의 특징정보과 멀티미디어 데이터베이스내의 영상의 외부 모양정보의 특징정보의 유사도를 계산하는 외부모양정보 특징 유사도 계산수단과; 상기 제2 스위칭수단에서 출력되는 질의 영상의 내부 모양정보의 특징정보과 멀티미디어 데이터베이스내의 영상의 내부 모양정보의 특징정보의 유사도를 계산하는 내부모양정보 특징 유사도 계산수단과; 질의영상에 대한 특징 추출모드 및 멀티미디어 데이터베이스내의 영상에 대한 특징추출모드에 따라서, 상기 외부모양정보 특징 유사도 계산수단에서 계산된 유사도를 출력하는 제3 스위칭수단과; 질의영상에 대한 특징 추출모드 및 멀티미디어 데이터베이스내의 영상에 대한 특징추출모드에 따라서, 상기 내부모양정보 특징 유사도 계산수단에서 계산된 유사도를 출력하는 제4 스위칭수단과; 상기 제3 스위칭수단에서 출력되는 유사도에 가중치를 적용하는 외부 가중치 계산수단과; 상기 제4 스위칭수단에서 출력되는 유사도에 가중치를 적용하는 내부 가중치 계산수단과; 상기 외부 가중치 계산수단과 내부 가중치 계산수단에서 각각 출력되는 유사도를 합산하는 유사도 합산수단과; 질의영상에 대한 특징 추출모드 및 멀티미디어 데이터베이스내의 영상에 대한 특징추출모드에 따라서, 상기 제3 스위칭수단으로부터 출력되는 유사도, 상기 제4 스위칭수단에서 출력되는 유사도 및 유사도 합산수단에서 합산된 유사도를 선택적으로 출력하는 유사도 선택수단을 포함하여 구성된다.Multimedia search apparatus using the feature information of the internal and external shape information according to an embodiment of the present invention for achieving the above object, according to the feature extraction mode for the query image and the feature extraction mode for the image in the multimedia database, query image First switching means for outputting the feature information of the external shape information of the and the feature information of the external shape information of the image in the multimedia database; Second switching means for outputting feature information of the internal shape information of the query image and feature information of the internal shape information of the image in the multimedia database according to the feature extraction mode for the query image and the feature extraction mode for the image in the multimedia database; External shape information feature similarity calculating means for calculating a similarity between the feature information of the external shape information of the query image output from the first switching means and the feature information of the external shape information of the image in the multimedia database; Internal shape information feature similarity calculating means for calculating a similarity between the feature information of the internal shape information of the query image output from the second switching means and the feature information of the internal shape information of the image in the multimedia database; Third switching means for outputting similarity calculated by said external shape information feature similarity calculating means in accordance with a feature extraction mode for a query image and a feature extraction mode for an image in a multimedia database; Fourth switching means for outputting the similarity calculated by said internal shape information feature similarity calculating means in accordance with the feature extraction mode for the query image and the feature extraction mode for the image in the multimedia database; External weight calculation means for applying a weight to the similarity output from the third switching means; Internal weight calculation means for applying a weight to the similarity output from the fourth switching means; Similarity summing means for summing similarities output from the external weight calculating means and the internal weight calculating means, respectively; According to the feature extraction mode for the query image and the feature extraction mode for the image in the multimedia database, the similarity output from the third switching means, the similarity output from the fourth switching means, and the similarity summed up in the similarity summation means are selectively selected. And similarity selecting means for outputting.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색방법은 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 외부 모양정보로부터 각각 추출된 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제1 단계와; 상기 두 모양정보의 내부 모양정보로부터 추출된 각각 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제2 단계와; 상기 두 모양정보의 내부/외부 모양정보로부터 각각 추출된 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제3 단계를 포함하여 구성된다.The multimedia retrieval method using the feature information of the internal and external shape information according to an embodiment of the present invention for achieving the above object is a feature extracted from the shape information of the query image and the external shape information of the shape information of the image in the multimedia database, respectively Calculating a similarity level using the information and retrieving the multimedia data using the first level; A second step of calculating similarity using feature information extracted from the internal shape information of the two shape information and searching for multimedia data using the same; Comprising a third step of calculating the similarity using the feature information extracted from the internal / external shape information of the two shape information, respectively, and using the same to retrieve the multimedia data.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색방법은 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 특징추출모드를 분석하는 제1 단계와; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 동일하고, 두 모양정보의 특징 추출모드가 모두 내부/외부 모양정보의 특징 추출모드인 경우에는, 내부 모양정보로부터의 특징정보와 외부 모양정보로부터의 특징정보의 유사도를 계산하고, 각각의 유사도에 가중치를 적용한 두 유사도의 합을 구하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제2 단계와; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 동일하고, 외부 모양정보의 특징 추출모드 또는 내부 모양정보의 특징 추출모드인 경우에는, 특징 추출방법에 따른 유사도 계산방법으로 외부 모양정보 특징 유사도 또는 내부 모양정보 특징 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제3 단계와; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 다르고, 하나의 모양정보의 특징 추출모드가 내부/외부 모양정보의 특징 추출모드이고, 다른 하나의 모양정보의 특징 추출모드가 외부 모양정보의 특징 추출모드 또는 내부 모양정보의 특징 추출모드인 경우에는, 내부 모양정보 특징 유사도 또는 외부 모양정보 특징 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제4 단계를 포함하여 구성된다.The multimedia retrieval method using the feature information of the internal and external shape information according to an embodiment of the present invention for achieving this object is the first to analyze the feature extraction mode of the shape information of the query image and the shape information of the image in the multimedia database Steps; If the feature extraction mode of the two shape information is the same and the feature extraction mode of the two shape information is the feature extraction mode of the internal / external shape information, the feature information from the internal shape information and the external shape information Calculating a similarity of the feature information, obtaining a sum of two similarities by applying a weight to each similarity, and searching for multimedia data using the same; As a result of the analysis, when the feature extraction modes of the two shape information are identical to each other, and the feature extraction mode of the external shape information or the feature extraction mode of the internal shape information, the similarity calculation method according to the feature extraction method is used. Calculating a shape information feature similarity and searching for multimedia data using the same; As a result of the analysis, the feature extraction modes of the two shape information are different, the feature extraction mode of one shape information is the feature extraction mode of the internal / external shape information, and the feature extraction mode of the other shape information is the feature extraction of the external shape information. In the case of the mode or the feature extraction mode of the internal shape information, a fourth step of calculating the internal shape information feature similarity or the external shape information feature similarity and searching the multimedia data using the same is performed.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색방법은 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 외부 모양정보로부터 각각 추출된 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 단계를 포함하여 구성된다.The multimedia retrieval method using the feature information of the internal and external shape information according to an embodiment of the present invention for achieving the above object is a feature extracted from the shape information of the query image and the external shape information of the shape information of the image in the multimedia database, respectively Calculating the similarity using the information and retrieving the multimedia data using the information.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색방법은 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 내부 모양정보로부터 추출된 각각 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 단계를 포함하여 구성된다.The multimedia retrieval method using the feature information of the internal and external shape information according to an embodiment of the present invention for achieving the above object is each feature extracted from the shape information of the query image and the internal shape information of the shape information of the image in the multimedia database Calculating the similarity using the information and retrieving the multimedia data using the information.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색방법은 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 내부/외부 모양정보로부터 각각 추출된 특징정보를 사용하여 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 단계를 포함하여 구성된다.According to an embodiment of the present invention, a multimedia retrieval method using feature information of internal and external shape information is extracted from internal and external shape information of shape information of query image and shape information of image in multimedia database. Calculating similarity using the extracted feature information, and retrieving the multimedia data using the feature information.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색방법은 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 특징추출모드를 분석하는 제1 단계과; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 동일하고, 두 모양정보의 특징 추출모드가 모두 내부/외부 모양정보의 특징 추출모드인 경우에는, 내부 모양정보로부터의 특징정보와 외부 모양정보로부터의 특징정보의 유사도를 계산하고, 각각의 유사도에 가중치를 적용한 두 유사도의 합을 구하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제2 단계를 포함하여 구성된다.The multimedia retrieval method using the feature information of the internal and external shape information according to an embodiment of the present invention for achieving this object is the first to analyze the feature extraction mode of the shape information of the query image and the shape information of the image in the multimedia database Steps; If the feature extraction mode of the two shape information is the same and the feature extraction mode of the two shape information is the feature extraction mode of the internal / external shape information, the feature information from the internal shape information and the external shape information Comprising a second step of calculating the similarity of the feature information, the sum of the two similarity by applying a weight to each similarity, and using the same to retrieve the multimedia data.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색방법은 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 특징추출모드를 분석하는 제1 단계과; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 동일하고, 외부 모양정보의 특징 추출모드 또는 내부 모양정보의 특징 추출모드인 경우에는, 특징 추출방법에 따른 유사도 계산방법으로 외부 모양정보 특징 유사도 또는 내부 모양정보 특징 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제2 단계를 포함하여 구성된다.The multimedia retrieval method using the feature information of the internal and external shape information according to an embodiment of the present invention for achieving this object is the first to analyze the feature extraction mode of the shape information of the query image and the shape information of the image in the multimedia database Steps; As a result of the analysis, when the feature extraction modes of the two shape information are identical to each other, and the feature extraction mode of the external shape information or the feature extraction mode of the internal shape information, the similarity calculation method according to the feature extraction method is used. And a second step of calculating shape information feature similarity and using the same to retrieve multimedia data.
이와같은 목적을 달성하기 위한 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색방법은 질의 영상의 모양정보와 멀티미디어 데이터베이스내의 영상의 모양정보의 특징추출모드를 분석하는 제1 단계과; 상기 분석결과 두 모양정보의 특징 추출모드가 서로 다르고, 하나의 모양정보의 특징 추출모드가 내부/외부 모양정보의 특징 추출모드이고, 다른 하나의 모양정보의 특징 추출모드가 외부 모양정보의 특징 추출모드 또는 내부 모양정보의 특징 추출모드인 경우에는, 내부 모양정보 특징 유사도 또는 외부 모양정보 특징 유사도를 계산하고, 이를 이용하여 멀티미디어 데이터를 검색하는 제2 단계를 포함하여 구성된다.The multimedia retrieval method using the feature information of the internal and external shape information according to an embodiment of the present invention for achieving this object is the first to analyze the feature extraction mode of the shape information of the query image and the shape information of the image in the multimedia database Steps; As a result of the analysis, the feature extraction modes of the two shape information are different, the feature extraction mode of one shape information is the feature extraction mode of the internal / external shape information, and the feature extraction mode of the other shape information is the feature extraction of the external shape information. In the case of the feature extraction mode of the mode or the internal shape information, a second step of calculating the internal shape information feature similarity or the external shape information feature similarity and searching the multimedia data using the same is performed.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 3은 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치를 도시한 것이다.3 illustrates a multimedia retrieval apparatus using feature information of internal and external shape information according to an exemplary embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치는 입력 영상의 외부 및 내부 모양정보에 대하여 각각 특징정보를 추출하고, 그 추출된 각각의 특징정보를 기술하는 모양정보 기술자를 생성하는 외부 및 내부 모양정보 특징 추출부(10)와, 상기 외부 및 내부 모양정보 특징 추출부(10)에서 추출된 각각의 특징정보를 데이터베이스로 구축하여 멀티미디어 데이터베이스(30)에 저장하는 데이터베이스 구축부(20)와, 입력된 질의 영상의 외부 및 내부 모양정보에 대하여 각각 특징정보를 추출하고, 그 추출된 각각의 특징정보를 기술하는 모양정보 기술자를 생성하는 외부 및 내부 모양정보 특징 추출부(40)과, 상기 멀티미디어 데이터베이스(30)에 저장된 외부 및 내부 모양정보의 특징정보와 상기 외부 및 내부 모양정보 특징 추출부(40)에서 추출된 특징정보를 각각 비교하여 유사도를 계산하는 유사도 계산부(50)로 구성된다.3 is a diagram of a multimedia retrieval apparatus using feature information of internal and external shape information according to an embodiment of the present invention, and extracts feature information for each of the external and internal shape information of an input image, and describes each extracted feature information. External and internal shape information feature extraction unit 10 for generating a shape information descriptor, and each feature information extracted from the external and internal shape information feature extraction unit 10 to build a database to the multimedia database 30 External and internal shape information for storing the database construction unit 20 for storing and extracting feature information for the external and internal shape information of the input query image, and for generating a shape information descriptor describing the extracted feature information. Feature extraction unit 40, feature information of the external and internal shape information stored in the multimedia database 30 and the external and internal It comprises a feature extraction in the amount information feature extraction unit 40 to the similarity degree calculation unit 50 for calculating the degree of similarity by comparison, respectively.
도 4는 도 3에서의 외부 및 내부 모양정보 특징 추출부의 상세 블록도를 도시한 것이다.FIG. 4 is a detailed block diagram of the external and internal shape information feature extraction unit of FIG. 3.
도 4에 도시된 바와같이, 상기 외부 및 내부 모양정보 특징 추출부(10),(40)는 입력 모양정보를 내부 모양정보와 외부 모양정보로 분할하는 모양정보 분할부(100)와, 사용자의 선택에 의해서 모양 특징 추출 모드를 설정하는 모양특징 추출 모드 설정부(101)와, 상기 모양특징 추출 모드 설정부(101)에서 설정된 모양특징 추출모드에 의해서 스위칭되어 상기 모양정보 분할부(100)에서 분할된 내부 모양정보, 외부 모양정보 또는 내부/외부 모양정보를 출력하는 제1,제2 스위칭부(102),(103)와, 상기 제1,제2 스위칭부(102),(103)로부터 출력되는 내부 모양정보, 외부 모양정보 또는 내부/외부 모양정보의 특징정보를 추출하는 모양정보 특징 추출부(104)로 구성된다.As shown in FIG. 4, the external and internal shape information feature extractors 10 and 40 may include a shape information divider 100 which divides input shape information into internal shape information and external shape information. The shape feature extraction mode setting unit 101 sets the shape feature extraction mode by selection, and is switched by the shape feature extraction mode set by the shape feature extraction mode setting unit 101, and the shape information division unit 100 is switched. From the first and second switching units 102 and 103 for outputting divided internal shape information, external shape information, or internal / external shape information, and from the first and second switching units 102 and 103. The shape information feature extraction unit 104 extracts feature information of the internal shape information, external shape information, or internal / external shape information output.
도 5는 도 3에서의 유사도 계산부의 상세 블록도를 도시한 것이다.FIG. 5 is a detailed block diagram of the similarity calculator of FIG. 3.
도 5에 도시된 바와같이, 상기 유사도 계산부(50)는 질의영상에 대한 특징 추출모드(Mod_Q) 및 멀티미디어 데이터베이스내의 영상에 대한 특징추출모드(Mod_DB)에 따라서, 질의 영상의 외부 모양정보의 특징정보과 멀티미디어 데이터베이스내의 영상의 외부 모양정보의 특징정보를 출력하는 제1 스위칭부(200)와, 질의영상에 대한 특징 추출모드(Mod_Q) 및 멀티미디어 데이터베이스내의 영상에 대한 특징추출모드(Mod_DB)에 따라서, 질의 영상의 내부 모양정보의 특징정보과 멀티미디어 데이터베이스내의 영상의 내부 모양정보의 특징정보를 출력하는 제2 스위칭부(201), 상기 제1 스위칭부(200)에서 출력되는 질의 영상의 외부 모양정보의 특징정보(Mod_Q)과 멀티미디어 데이터베이스내의 영상의 외부 모양정보의 특징정보(Mod_DB)의 유사도를 계산하는 외부모양정보 특징 유사도 계산부(202)와, 상기 제2 스위칭부(201)에서 출력되는 질의 영상의 내부 모양정보의 특징정보과 멀티미디어 데이터베이스내의 영상의 내부 모양정보의 특징정보의 유사도를 계산하는 내부모양정보 특징 유사도 계산부(203)와, 질의영상에 대한 특징 추출모드(Mod_Q) 및 멀티미디어 데이터베이스내의 영상에 대한 특징추출모드(Mod_DB)에 따라서, 상기 외부모양정보 특징 유사도 계산부(202)에서 계산된 유사도를 출력하는 제3 스위칭부(204)와, 질의영상에 대한 특징 추출모드(Mod_Q) 및 멀티미디어 데이터베이스내의 영상에 대한 특징추출모드(Mod_DB)에 따라서, 상기 내부모양정보 특징 유사도 계산부(203)에서 계산된 유사도를 출력하는 제4 스위칭부(205)와, 상기 제3 스위칭부(204)에서 출력되는 유사도에 가중치를 적용하는 외부 가중치 계산부(206)와, 상기 제4 스위칭부(205)에서 출력되는 유사도에 가중치를 적용하는 내부 가중치 계산부(207)와, 상기 외부 가중치 계산부(206)과 내부 가중치 계산부(207)에서 각각 출력되는 유사도를 합산하는 유사도 합산부(208)와, 질의영상에 대한 특징 추출모드(Mod_Q) 및 멀티미디어 데이터베이스내의 영상에 대한 특징추출모드(Mod_DB)에 따라서, 상기 제3 스위칭부(202)로부터 출력되는 유사도, 상기 제4 스위칭부(205)에서 출력되는 유사도 및 유사도 합산부(208)에서 합산된 유사도를 선택적으로 출력하는 유사도 선택부(209)로 구성된다.As shown in FIG. 5, the similarity calculator 50 may determine the feature of the external shape information of the query image according to the feature extraction mode Mod_Q for the query image and the feature extraction mode Mod_DB for the image in the multimedia database. According to the first switching unit 200 for outputting the information and the feature information of the external shape information of the image in the multimedia database, and the feature extraction mode (Mod_Q) for the query image and the feature extraction mode (Mod_DB) for the image in the multimedia database, The second switch unit 201 outputs the feature information of the internal shape information of the query image and the internal shape information of the image in the multimedia database, and the feature of the external shape information of the query image output from the first switch unit 200. An external shape information feature that calculates the similarity between the information (Mod_Q) and the feature information (Mod_DB) of the external shape information of the image in the multimedia database. Internal similarity information feature similarity calculating the similarity between the feature information of the internal shape information of the query image output from the second switching unit 201 and the internal shape information of the image in the multimedia database. The similarity calculated by the external shape information feature similarity calculator 202 is output according to the calculator 203, the feature extraction mode Mod_Q for the query image, and the feature extraction mode Mod_DB for the image in the multimedia database. In accordance with the third switching unit 204 and the feature extraction mode (Mod_Q) for the query image and the feature extraction mode (Mod_DB) for the image in the multimedia database, the internal shape information feature similarity calculator 203 is calculated. A fourth switching unit 205 for outputting similarity, an external weight calculator 206 for applying a weight to the similarity output from the third switching unit 204, and Similarity summating the internal weight calculator 207 that applies weights to the similarity output from the fourth switching unit 205 and the similarity outputs respectively from the external weight calculator 206 and the internal weight calculator 207. The similarity output from the third switching unit 202 according to the adder 208, the feature extraction mode (Mod_Q) for the query image, and the feature extraction mode (Mod_DB) for the image in the multimedia database, the fourth switching. A similarity selector 209 for selectively outputting the similarity and the similarity summed up by the similarity adder 208 output from the unit 205.
이와같이 구성된 본 발명의 실시예에 따른 내부 및 외부 모양정보의 특징정보를 이용한 멀티미디어 검색장치의 수행과정을 도 6 내지 도 8d를 참조하여 상세히 설명하면 다음과 같다.The process of performing the multimedia retrieval apparatus using the feature information of the internal and external shape information according to the embodiment of the present invention configured as described above will be described in detail with reference to FIGS. 6 to 8D.
먼저, 외부 및 내부 모양정보 특징 추출부(10),(40)의 수행과정을 도 6 및 도 8를 참조하여 상세히 설명하면 다음과 같다.First, the process of performing the external and internal shape information feature extraction units 10 and 40 will be described in detail with reference to FIGS. 6 and 8 as follows.
도 6에 도시된 스텝 S1에서, 모양정보 분할부(100)에 모양정보가 입력되면, 모양정보 분할부(100)는 입력된 모양정보를 내부 모양정보와 외부 모양정보로 분할한다.In step S1 illustrated in FIG. 6, when shape information is input to the shape information dividing unit 100, the shape information dividing unit 100 divides the input shape information into internal shape information and external shape information.
상기 내부 모양정보와 외부 모양정보의 분할 방법은 여러 가지가 존재할 수 있다. 본 발명에서는, 도 8a에 도시된 모양정보가 있다고 가정했을 경우에, 도 8b에 도시된 바와같이, 모양정보를 완전히 포함하는 최소의 원(Co)과 그 원(Co)와 같은 중심을 가지면서 반지름이 그 원(Co)의 소정 퍼센트(N%)인 원(Ci)를 구한다.There may be various methods of dividing the internal shape information and the external shape information. In the present invention, assuming that there is shape information shown in FIG. 8A, as shown in FIG. 8B, the center has the same center as the circle and the minimum circle Co completely including the shape information. The circle Ci whose radius is a predetermined percentage (N%) of the circle Co is found.
그리고, 도 8c에 도시된 바와같이, 그 원(Co)에 포함되면서 그 원(Ci)에 포함되지 않은 영역을 외부 모양정보라고 정의하고, 도 8d에 도시된 바와같이, 그 원(Ci)에 포함되는 영역을 내부 모양정보라고 정의한다.As illustrated in FIG. 8C, an area included in the circle Co and not included in the circle Ci is defined as external shape information, and as shown in FIG. 8D, the circle Ci is defined in the circle Ci. The included area is defined as internal shape information.
다른 방법으로, 외부 모양정보로 그 원(Co)에 포함되는 부분이면서 그 원(Ci)에 포함되는 부분을 물체영역으로 설정한 모양정보로 정의할 수 있다. 내부 모양정보는 앞에서 설명한 것과 같이 정의한다.Alternatively, the outer shape information may be defined as shape information in which the part included in the circle Co and the part included in the circle Ci are set as the object region. Internal shape information is defined as described above.
상기 두가지 방법은 외부와 내부를 분리하는 Ci를 정하는 방법이 중요한 문제가 된다. 데이터 베이스내의 다양한 형태의 모양정보에 대해 동일한 Ci를 적용하는 것은 내부와 외부를 잘못 구분할 수 있는 문제점이 있고, 각각의 모양정보에 각기 다른 Ci를 적용하는 것은 각각의 Ci를 계산하기 위한 별도의 추가 작업이 필요하게 된다.In the above two methods, the method of determining Ci separating the outside from the inside becomes an important problem. Applying the same Ci to the various types of shape information in the database has a problem of distinguishing the inside and the outside incorrectly, and applying different Ci to each shape information adds a separate calculation to calculate each Ci. Work is required.
모양정보를 내부 모양정보와 외부 모양정보로 분리할 때 완전히 내부와 외부를 완전히 분리하는 것이 아니라 가중치를 주어서 분리하는 또 다른 방법을 설명하면 다음과 같다.When separating the shape information into the internal shape information and the external shape information, another method of separating by giving a weight instead of completely separating the inside and the outside is as follows.
일반적으로, 모양정보는 모양에 해당하는 부분과 배경에 해당하는 부분으로 구분되는 2진정보로 표현된다. 예를 들면 모양에 해당하면 1의 값을 갖고 배경에 해당하면 0의 값을 갖는다. 이 이진정보를 내부 모양정보인지 외부 모양정보인지에 따라 변화시킬 수 있다. 내부 모양정보의 경우 전체 모양정보중 내부의 모양을 중요하게 생각하는 경우임으로 중심에 가장 큰 값을 할당하고 중심에서 멀어질수록 점점 작은 값을 할당할 수 있다. 외부 모양정보의 경우 중심에서 가장 먼 곳을 가장 큰 값을 할당하고 중심으로 다가갈수록 점점 작은 값을 할당한다. 이와 같이 이진 모양정보를 내부 모양정보인지 외부 모양정보인지에 따라 여러 값을 갖는 모양 정보로 변환할 수 있다.In general, the shape information is represented by binary information divided into a part corresponding to a shape and a part corresponding to a background. For example, the shape has a value of 1 and the background has a value of 0. The binary information can be changed depending on whether it is internal shape information or external shape information. In the case of internal shape information, the internal shape is considered to be important among all the shape information. Therefore, the largest value can be assigned to the center, and the smaller the value can be assigned to the center. In the case of external shape information, the largest value is allocated farthest from the center, and the smaller value is assigned toward the center. As such, the binary shape information may be converted into shape information having various values depending on whether the shape information is internal shape information or external shape information.
이와같이, 상기 모양정보 분할부(100)에서 내부 모양정보와 외부 모양정보로 분할되면, 스텝 S3에서 모양 특징 추출모드 설정부(101)에서 상기 모양정보 분할부(100)에서 분할된 내부 모양정보와 외부 모양정보중 어떤 부분으로부터 특징정보를 추출할 것인지에 대한 모양특징 추출모드를 설정하게 된다.As such, when the shape information splitter 100 divides the internal shape information and the external shape information, the shape feature extracting mode setting unit 101 and the internal shape information divided by the shape information divider 100 in step S3. Shape feature extraction mode for setting which feature information to extract from the external shape information is set.
그 모양특징 추출모드는 다음과 같이 모두 3가지 경우를 가질 수 있다.The shape feature extraction mode may have all three cases as follows.
1) 외부 모양정보로부터 특징정보를 추출하는 경우에는, 외부 모양정보의 특징추출모드(Mod1)1) When extracting feature information from external shape information, feature extraction mode (Mod1) of external shape information
2) 내부 모양정보로부터 특징정보를 추출하는 경우에는, 내부 모양정보의 특징추출모드(Mod2)2) In the case of extracting feature information from the internal shape information, the feature extraction mode (Mod2) of the internal shape information.
3) 내부/외부 모양정보로부터 특징정보를 추출하는 경우에는, 내부/외부 모양정보의 특징 추출모드(Mod3)3) In case of extracting feature information from internal / external shape information, feature extraction mode (Mod3) of internal / external shape information.
만약, 상기 모양특징정보 추출모드 설정부(101)에서 상기 Mod1이 설정되면, 스위칭부(102)에서의 스위치(S1)는 온(ON)되고, 스위치부(103)의 스위치(S2)는 오프(OFF)되어, 상기 모양정보 분할부(100)에서 분할된 외부 모양정보가 상기 스위치부(102)를 거쳐 모양정보 특징 추출부(104)에 제공된다. 따라서, 스텝 S5에서 모양정보 특징 추출부(104)는 입력된 외부 모양정보의 특징정보만을 추출하게 된다.If the Mod1 is set in the shape feature information extraction mode setting unit 101, the switch S1 of the switching unit 102 is turned on and the switch S2 of the switch unit 103 is turned off. (OFF), the external shape information divided by the shape information dividing unit 100 is provided to the shape information feature extraction unit 104 via the switch unit 102. Therefore, in step S5, the shape information feature extraction unit 104 extracts only the feature information of the input external shape information.
상기 모양특징정보 추출모드 설정부(101)에서 상기 Mod2가 설정되면, 스위칭부(102)에서의 스위치(S1)는 오프(OFF)되고, 스위치부(103)의 스위치(S2)는 온(ON)되어, 상기 모양정보 분할부(100)에서 분할된 내부 모양정보가 상기 스위치부(103)를 거쳐 모양정보 특징 추출부(104)에 제공된다. 따라서, 스텝 S7에서 모양정보 특징 추출부(104)는 입력된 내부 모양정보의 특징정보만을 추출하게 된다.When the Mod2 is set in the shape feature information extraction mode setting unit 101, the switch S1 of the switching unit 102 is turned off, and the switch S2 of the switch unit 103 is turned on. ), The internal shape information divided by the shape information dividing unit 100 is provided to the shape information feature extracting unit 104 via the switch unit 103. Therefore, in step S7, the shape information feature extraction unit 104 extracts only the feature information of the input internal shape information.
상기 모양특징정보 추출모드 설정부(101)에서 상기 Mod3이 설정되면, 스위칭부(102)에서의 스위치(S1)는 온(ON)되고, 스위치부(103)의 스위치(S2)는 온(ON)되어, 상기 모양정보 분할부(100)에서 분할된 외부 모양정보와 내부 모양정보가 상기 스위치부(102),(103)를 각각 거쳐 모양정보 특징 추출부(104)에 제공된다. 따라서, 스텝 S5 및 스텝 S7에서 모양정보 특징 추출부(104)는 입력된 외부 모양정보와 내부 모양정보의 특징정보를 각각 추출하게 된다.When the Mod3 is set in the shape feature information extraction mode setting unit 101, the switch S1 of the switching unit 102 is turned on, and the switch S2 of the switch unit 103 is turned on. ), The external shape information and the internal shape information divided by the shape information dividing unit 100 are provided to the shape information feature extraction unit 104 via the switch units 102 and 103, respectively. Therefore, in step S5 and step S7, the shape information feature extracting unit 104 extracts the feature information of the input external shape information and internal shape information, respectively.
따라서, 모양정보 기술자는 다음 표 1과 같이 모양정보의 특징을 기술하게 된다.Therefore, the shape information descriptor will describe the characteristics of the shape information as shown in Table 1 below.
표 1Table 1
상기 표 1에서, "모양특징 추출모드"는 기 설명한 3가지의 특징 추출모드를 가진다. "주모양정보 특징정보"는 Mod1, Mod3의 경우에는 외부 모양정보의 특징정보를 기술하고, 그렇지 않은 경우에는 내부모양정보의 특징정보를 기술한다. "모양특징 추출모드"가 Mod3 경우에만 존재하며 내부 모양정보의 특징정보를 기술한다.In Table 1, the "shape feature extraction mode" has three feature extraction modes described above. "Main shape information feature information" describes the feature information of the external shape information in Mod1 and Mod3, otherwise it describes the feature information of the internal shape information. "Shape feature extraction mode" exists only in Mod3 and describes the feature information of the internal shape information.
따라서, 본 발명에서의 요지는 모양정보 기술자에 모양정보의 특징정보를 모양정보의 내부, 외부 또는 내부/외부에서 추출했는지에 대한 정보를 포함한다는 것이다. 그리고, 모양정보의 외부 또는 내부의 특징정보를 추출하는 방법은 기존의 어떤 방법이라도 사용 가능하다.Therefore, the gist of the present invention is that the shape information descriptor includes information on whether feature information of shape information has been extracted from inside, outside, or inside / outside of the shape information. In addition, any existing method may be used to extract feature information from the outside or the inside of the shape information.
이후, 유사도 계산부(50)의 수행과정을 도 7a 및 도 7b를 참조하여 상세히 설명하면 다음과 같다.Next, the process of performing the similarity calculator 50 will be described in detail with reference to FIGS. 7A and 7B.
앞에서 설명한 바와같이, 모양정보의 특징정보는 모양특징 추출모드에 따라서 외부 모양정보의 특징정보일 수 있고, 내부 모양정보의 특징정보일 수 있다. 또는 내부/외부 모양정보의 특징정보 모두 가질 수 있다. 따라서, 두 모양정보의 유사도를 계산하는 방법은 모양특징 추출모드에 따라 달라진다.As described above, the feature information of the shape information may be the feature information of the external shape information or the feature information of the internal shape information according to the shape feature extraction mode. Alternatively, the internal and external shape information may have both characteristic information. Therefore, the method of calculating the similarity of the two shape information depends on the shape feature extraction mode.
도 5에 도시된 Mod_Q는 질의 영상에 대한 모양특징 추출모드이고, Mod_DB는 멀티미디어 데이터베이스내의 영상에 대한 모양특징 추출모드이다.Mod_Q illustrated in FIG. 5 is a shape feature extraction mode for a query image, and Mod_DB is a shape feature extraction mode for an image in a multimedia database.
도 5에 도시된 바와같이, 스위칭부(200),(201),(204),(205)내의 스위치(S1,S2),(S1',S2'),(S3),(S4),(S5)는 상기 두 모양특징 추출모드(Mod_Q),(Mod_DB)에 의해서 스위칭이 제어된다.As shown in FIG. 5, the switches S1, S2, S1 ', S2', S3, S4, and S4 in the switching units 200, 201, 204, and 205 are shown in FIG. S5) switching is controlled by the two shape feature extraction modes (Mod_Q), (Mod_DB).
만약, 두 모양특징 추출모드(Mod_Q),(Mod_DB)가 모드 Mod1인 경우에는, S1,S2는 온(ON), S1',S2'는 오프(OFF)가 되어 외부 모양정보 특징 유사도 계산부(202)에 의해서 외부 모양정보의 특징정보로부터 유사도가 계산된다. 그리고, S3은 P1에 연결되고 S5는 P5에 연결되어, 외부 모양정보의 특징정보에 대한 유사도가 스위칭부(204),(209)를 순차 거쳐 두 모양정보의 특징정보의 유사도로 출력된다.If the two shape feature extraction modes (Mod_Q) and (Mod_DB) are mode Mod1, S1 and S2 are turned on, and S1 'and S2' are turned off. Similarity is calculated from the feature information of the external shape information by 202. Then, S3 is connected to P1 and S5 is connected to P5 so that the similarity with respect to the feature information of the external shape information is output as the similarity of the feature information of the two shape information sequentially through the switching unit 204, 209.
이와같이 두 모양정보의 모양특징 추출모드에 따른 각 스위치의 동작을 정리하면 다음 표 2와 같다.Thus, the operation of each switch according to the shape feature extraction mode of the two shape information is summarized in the following Table 2.
표 2TABLE 2
다시 말하면, 상기 모양특징 추출모드에 따라서 유사도를 계산한 방법은 다음과 같다.In other words, the method of calculating the similarity according to the shape feature extraction mode is as follows.
도 7a에 도시된 스텝 S10 내지 스텝 S15에서, 상기 표 2에서의 번호 9와 같이 두 모양정보의 모양특징 추출모드(Mod_Q)(Mod_DB)가 모두 Mod3인 경우에는, 상기 스위치(S1,S2),(S1',S2')가 각각 온(ON)되고, 상기 스위치(S3)가 P2에 온되고, 상기 스위치(S4)가 P3에 온되고, 상기 스위치(S5)가 P6에 온된다.In Steps S10 to S15 shown in Fig. 7A, when the shape feature extraction mode (Mod_Q) (Mod_DB) of the two shape information is Mod3 as shown in No. 9 in Table 2, the switches (S1, S2), (S1 ', S2') are each turned on, the switch S3 is turned on at P2, the switch S4 is turned on at P3, and the switch S5 is turned on at P6.
따라서, 외부 모양정보 특징 유사도 계산부(202) 및 외부 모양정보 특징 유사도 계산부(203)는 각각 내부 모양정보로부터의 특징정보와 외부 모양정보로부터의 특징정보를 각각 특징 추출방법에 따른 유사도 계산방법에 의해서 계산한다. 본 발명에서는 특징 추출방법에 대해서 정의를 하지 않으므로 유사도 측정방법 역시 정의하지 않는다. 즉, 특징 추출방법에 따라서 유사도 측정방법 역시 달라질 수 있다.Accordingly, the external shape information feature similarity calculator 202 and the external shape information feature similarity calculator 203 respectively calculate the feature information from the internal shape information and the feature information from the external shape information according to the feature extraction method. Calculate by In the present invention, since the feature extraction method is not defined, the similarity measurement method is also not defined. That is, the similarity measuring method may also vary according to the feature extraction method.
외부 가중치 계산부(206) 및 내부 가중치 계산부(207)는 상기 외부 모양정보 특징 유사도 계산부(202) 및 내부 모양정보 특징 유사도 계산부(203)에서 계산된 각각의 유사도 값에 가중치를 적용한다. 그 가중치가 적용된 유사도는 상기 유사도 합산부(208)에서 합산된 후, 상기 스위치(S5)를 거쳐서 출력된다. 따라서, 두 유사도의 합이 두 모양정보의 유사도로 사용된다.The outer weight calculator 206 and the inner weight calculator 207 apply weights to the similarity values calculated by the outer shape information feature similarity calculator 202 and the inner shape information feature similarity calculator 203. . The similarity to which the weight is applied is summed by the similarity adder 208 and then output through the switch S5. Therefore, the sum of the two similarities is used as the similarity of the two shape information.
상기 유사도는 다음 수학식 1에 의해서 유사도가 계산된다.The similarity is calculated by the following equation (1).
+ 내부 가중치 * (내부 모양정보의 유사도)+ Internal weight * (similarity of internal shape information)
여기서, 외부 가중치, 내부 가중치의 값은 사용자의 주관에 의해서 적용할 수 있다. 즉, 외부 모양정보가 내부 모양정보보다 중요하다고 생각할 경우는 외부 모양정보 특징정보에 대한 가중치를 높이고, 반대로 내부 모양정보의 특징을 중요하다고 생각할 경우는 내부 모양정보의 특징정보에 대한 가중치를 높게 설정하여 사용자가 찾고자 하는 가장 유사한 모양정보를 찾을 수 있다.Here, the values of the external weight and the internal weight may be applied by the subjectivity of the user. That is, if the external shape information is considered to be more important than the internal shape information, the weight of the external shape information characteristic information is increased. On the contrary, if the feature of the internal shape information is considered important, the weight of the characteristic information of the internal shape information is set high. To find the most similar shape information that the user wants to find.
도 7a의 스텝 S16 내지 스텝 S18에서, 상기 표 2의 번호 1, 5에서와 같이 두 모양정보의 모양특징 추출모드(Mod_Q)(Mod_DB)가 서로 동일하고 Mod1 또는 Mod2인 경우에는, 특징 추출방법에 따른 유사도 계산도 계산방법으로 두 특징의 유사도를 계산한다. 이미 설명한 바와같이, 본 발명에서는 특징 추출방법에 대해서 정의를 하지 않으므로 유사도 측정방법 역시 정의하지 않는다. 즉, 특징 추출방법에 따라서 유사도 측정방법 역시 달라질 수 있다.In step S16 to step S18 of Fig. 7A, when the shape feature extraction mode (Mod_Q) (Mod_DB) of the two shape information is the same as in the numbers 1 and 5 of Table 2, and is Mod1 or Mod2, the feature extraction method is used. Similarity Calculation According to the calculation method, the similarity of two features is calculated. As described above, since the feature extraction method is not defined in the present invention, the similarity measurement method is not defined. That is, the similarity measuring method may also vary according to the feature extraction method.
도 7b의 스텝 S19 내지 스텝 S26에서, 상기 표 2의 번호 2, 4에서와 같이 상기 두 모양정보의 모양특징 추출모드(Mod_Q)(Mod_DB)가 서로 다르고 Mod1 또는 Mod2인 경우에는 유사도를 계산하지 않는다. 한편, 상기 표 2의 번호 3, 6, 7, 8에서와 같이 두 모양정보의 모양특징 추출모드(Mod_Q)(Mod_DB)가 서로 다르고, 두 모양정보의 모양특징 추출모드(Mod_Q)(Mod_DB)중 하나는 Mod3이고 나머지 하나는 Mod1 또는 Mod2인 경우에는, 후자의 경우에 해당하는 유사도 값을 두 모양정보의 유사도로 사용한다. 즉, 첫 번째 모양정보의 모양특징 추출모드는 Mod3이고, 두 번째 모양정보의 모양특징 추출모드는 Mod2인 경우에는, 첫 번째 모양정보와 두 번째 모양정보의 내부 모양정보에 의한 특징정보사이의 유사도를 계산한다.In steps S19 to S26 of FIG. 7B, as shown in the numbers 2 and 4 of Table 2, when the shape feature extraction mode Mod_Q (Mod_DB) of the two shape information is different from each other and is Mod1 or Mod2, similarity is not calculated. . Meanwhile, as shown in Nos. 3, 6, 7, and 8 of Table 2, the shape feature extraction mode (Mod_Q) (Mod_DB) of the two shape information is different, and the shape feature extraction mode (Mod_Q) (Mod_DB) of the two shape information is different. When one is Mod3 and the other is Mod1 or Mod2, the similarity value corresponding to the latter case is used as the similarity of the two shape information. That is, when the shape feature extraction mode of the first shape information is Mod3 and the shape feature extraction mode of the second shape information is Mod2, the similarity between the feature information by the internal shape information of the first shape information and the second shape information Calculate
이와같은 본 발명은 모양정보를 내부 모양정보와 외부 모양정보로 불할하여 각각에 대해서 특징정보를 추출하고, 추출된 두 특징정보 사이의 유사도를 계산하며, 그 유사도에 내부 모양정보와 외부 모양정보에 대한 가중치를 서로 다르게 적용함으로써, 사용자가 원하는 모양정보를 보다 정확하게 검색할 수 있는 효과가 있다.As such, the present invention extracts the feature information for each of the shape information as the internal shape information and the external shape information, calculates the similarity between the extracted two feature information, and calculates the similarity between the internal shape information and the external shape information. By applying the weights differently, the user can more accurately search for the desired shape information.
또한, 본 발명은 멀티미디어 데이터베이스 검색시에 보다 효율적인 검색이 가능한 효과가 있다.In addition, the present invention has the effect that it is possible to search more efficiently when searching the multimedia database.
Claims (152)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990054286A KR100718361B1 (en) | 1999-08-31 | 1999-12-01 | Multi-media Search Apparatus and Method therefor using Feature Information of Inner and Outside Shape Information |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990036678 | 1999-08-31 | ||
| KR19990036678 | 1999-08-31 | ||
| KR1019990054286A KR100718361B1 (en) | 1999-08-31 | 1999-12-01 | Multi-media Search Apparatus and Method therefor using Feature Information of Inner and Outside Shape Information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010020101A true KR20010020101A (en) | 2001-03-15 |
| KR100718361B1 KR100718361B1 (en) | 2007-05-14 |
Family
ID=26636091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990054286A KR100718361B1 (en) | 1999-08-31 | 1999-12-01 | Multi-media Search Apparatus and Method therefor using Feature Information of Inner and Outside Shape Information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100718361B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100810002B1 (en) * | 2001-04-11 | 2008-03-07 | 김회율 | Normalization method for shape descriptors and image retrieval method using the same |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03246776A (en) * | 1990-02-26 | 1991-11-05 | Hitachi Ltd | Recognizing method for outside shape of object |
| KR100241447B1 (en) | 1997-07-22 | 2000-02-01 | 구자홍 | English writing/number recognition method using outline information |
-
1999
- 1999-12-01 KR KR1019990054286A patent/KR100718361B1/en not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100810002B1 (en) * | 2001-04-11 | 2008-03-07 | 김회율 | Normalization method for shape descriptors and image retrieval method using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100718361B1 (en) | 2007-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5774588A (en) | Method and system for comparing strings with entries of a lexicon | |
| EP1615204A1 (en) | Method for classifying music | |
| CN109241528A (en) | A kind of measurement of penalty prediction of result method, apparatus, equipment and storage medium | |
| US20060153457A1 (en) | Information processing apparatus and method, and program | |
| JPH10232866A (en) | Method and device for processing data | |
| CN108319627A (en) | Keyword extracting method and keyword extracting device | |
| CN111090771B (en) | Song searching method, device and computer storage medium | |
| CN109117480A (en) | Word prediction technique, device, computer equipment and storage medium | |
| CN110297893A (en) | Natural language question-answering method, device, computer installation and storage medium | |
| CN106649250A (en) | Method and device for identifying emotional new words | |
| CN109857873A (en) | The method and apparatus of recommended entity, electronic equipment, computer-readable medium | |
| CN109710732A (en) | Information query method, device, storage medium and electronic equipment | |
| CN109145003A (en) | A kind of method and device constructing knowledge mapping | |
| CN109299276A (en) | One kind converting the text to word insertion, file classification method and device | |
| CN108197660A (en) | Multi-model Feature fusion/system, computer readable storage medium and equipment | |
| CN111125327A (en) | Short-session-based new word discovery method, storage medium and electronic device | |
| WO1993018484A1 (en) | Method and apparatus for comparison of data strings | |
| CN111325023B (en) | Risk item information data searching method | |
| US20170161358A1 (en) | Categorizing columns in a data table | |
| KR100718361B1 (en) | Multi-media Search Apparatus and Method therefor using Feature Information of Inner and Outside Shape Information | |
| JP2021039488A (en) | Dictionary creation device and dictionary creation method | |
| CN113239193A (en) | Text mining method and system | |
| CN112541069A (en) | Text matching method, system, terminal and storage medium combined with keywords | |
| Gao et al. | Music question answering: Cognize and perceive music | |
| KR100753272B1 (en) | Multimedia Search Apparatus and Method therefor using Binary Shape Information Feature of Foreground Region and Background Region |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20110502 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |