KR20010028251A - Method for searching video data using meta data weighting determination scheme - Google Patents
Method for searching video data using meta data weighting determination scheme Download PDFInfo
- Publication number
- KR20010028251A KR20010028251A KR1019990040406A KR19990040406A KR20010028251A KR 20010028251 A KR20010028251 A KR 20010028251A KR 1019990040406 A KR1019990040406 A KR 1019990040406A KR 19990040406 A KR19990040406 A KR 19990040406A KR 20010028251 A KR20010028251 A KR 20010028251A
- Authority
- KR
- South Korea
- Prior art keywords
- metadata
- importance
- video
- video data
- storage means
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명은 비디오 데이터에 대한 검색 결과 표시를 지원하기 위해 주석기반 메타데이터에 가중치를 부여하는 방법과 그를 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.The present invention relates to a method for weighting annotation-based metadata to support display of search results for video data, and to a computer readable recording medium having recorded thereon a program for realizing the same.
멀티미디어 데이터의 응용분야가 확대되고 특히 비디오 및 이미지 데이터의 활용 요구가 극대화됨에 따라 비디오 데이터의 효율적인 검색 기능이 절실히 요구되고 있다. 정보검색 분야에서는 사용자에게 우선순위의 검색결과를 제공하여 좀더 효율적인 검색을 수행하기 위한 연구가 진행되었다.As the application fields of multimedia data are expanded and the demand for utilizing video and image data is maximized, an efficient search function of video data is urgently required. In the field of information retrieval, research has been conducted to provide more efficient search by providing priority search results to users.
종래의 방법은 텍스트 기반의 우선순위를 조정하는 방법으로, 기존 텍스트에 나타나는 빈도수 등을 이용한 색인어의 가중치를 조정하고 이를 이용하여 우선순위를 부여하였다.In the conventional method, a text-based priority is adjusted, and weights of index words using frequency and the like appearing in the existing text are adjusted and priorities are used.
그러나 비디오 데이터에서의 메타데이터는 기존 방법에 의한 가중치 부여가 불가능하고 이에 따른 우선순위 부여로 인한 사용자 검색 편리성을 제공할 수 없는 문제점이 있었다.However, there is a problem in that metadata in video data cannot be weighted by the conventional method and thus cannot provide user search convenience due to prioritization.
상기한 바와 같은 문제점을 해결하기 위하여 안출된 본 발명은, 비디오의 주석 기반 메타데이터에 가중치를 부여하는 비디오 데이터 검색방법과 그를 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.Disclosure of Invention The present invention has been made to solve the problems described above, and an object thereof is to provide a video data retrieval method for weighting annotation-based metadata of a video and a computer-readable recording medium recording a program for realizing the same. There is this.
도 1 은 본 발명이 적용되는 비디오 검색기의 구성예시도.1 is an exemplary configuration diagram of a video searcher to which the present invention is applied.
도 2 는 본 발명에 따른 메타데이터의 중요도 결정기법을 적용한 비디오 데이터 검색방법의 일실시예 흐름도.2 is a flowchart illustrating an embodiment of a video data retrieval method to which the metadata importance determination method according to the present invention is applied.
도 3 은 본 발명에 따른 메타데이터 가중치 적용 과정의 일실시예 흐름도.3 is a flowchart illustrating an embodiment of a metadata weighting process according to the present invention;
*도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings
10 : 사용자 인터페이스 11 : 주석기10: user interface 11: commenter
12 : 메타데이터 데이터베이스 13 : 질의 처리기12: metadata database 13: query processor
14 : 데이터베이스 관리시스템 15 : 검색결과 처리기14: database management system 15: search result processor
상기 목적을 달성하기 위한 본 발명은, 비디오검색기에 적용되는 비디오 데이터 검색방법에 있어서, 비디오 메타데이터에 대한 주석을 입력받아 메타데이터의 중요도를 결정하고 저장수단에 저장하는 제 1 단계; 사용자의 질의에 따라 상기 저장수단을 검색하는 제 2 단계; 및 메타데이터의 중요도에 따라 검색결과를 정렬하여 디스플레이하는 제 3 단계를 포함한다.According to an aspect of the present invention, there is provided a video data retrieval method applied to a video searcher, comprising: a first step of receiving an annotation on video metadata, determining an importance of the metadata, and storing the metadata in a storage means; Retrieving the storage means according to a query of a user; And a third step of sorting and displaying the search results according to the importance of the metadata.
또한, 본 발명은, 프로세서를 구비한 비디오 검색기에, 비디오 메타데이터에 대한 주석을 입력받아 메타데이터의 중요도를 결정하고 저장수단에 저장하는 제 1 기능; 사용자의 질의에 따라 상기 저장수단을 검색하는 제 2 기능; 및 메타데이터의 중요도에 따라 검색결과를 정렬하여 디스플레이하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.The present invention also provides a video searcher having a processor, comprising: a first function of receiving an annotation for video metadata to determine the importance of the metadata and to store it in a storage means; A second function of searching the storage means according to a query of a user; And a computer readable recording medium having recorded thereon a program for realizing a third function of sorting and displaying search results according to the importance of metadata.
비디오 검색 시스템에서의 주석(annotation)은 비디오 데이터를 효율적인 검색의 기준이 되는 메타데이터를 많이 활용하고 있다. 또한 비디오 검색 시스템의 기능 중 사용자의 편리한 검색을 지원하기 위하여 사용자 요구에 따른 검색 결과를 우선순위에 따라 표시하는 기능은 필수적인 검색 시스템의 기능이다. 그런데 텍스트나 이미지를 기반으로 하는 검색 시스템에서는 이러한 기능을 제공하는 기법이 많이 소개되고 있으나 개념적인 차이로 인해 이러한 기법이 주석을 색인으로 하는 비디오 검색 시스템에는 적용하지 못하고 있다.Annotation in a video retrieval system makes heavy use of metadata, which is a standard for efficient retrieval of video data. In addition, among the functions of the video search system, the function of displaying the search results according to the user's needs in order of priority to support the user's convenient search is a function of the essential search system. In search systems based on texts and images, many techniques have been introduced to provide such functions. However, due to conceptual differences, these techniques cannot be applied to video retrieval systems that use annotation as an index.
본 발명의 비디오 메타데이터에 가중치를 부여하는 방법은 비디오 데이터 특성상 스토리보드에 나타나는 비디오 클립, 발생빈도, 논리적 구조단위 분석, 클립 구간 길이에 따른 가중치 부여 기법을 제안하고, 이를 이용하여 불리안 질의에 대한 우선순위 검색결과 표시를 효과적으로 제공하도록 한다.The weighting method of video metadata according to the present invention proposes a weighting method according to video clip, frequency of occurrence, logical structural unit analysis, and clip interval length that appear in a storyboard due to the nature of video data. Effectively provide the display of priority search results.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 본 발명이 적용되는 비디오 검색기의 구성예시도이다.1 is an exemplary configuration diagram of a video searcher to which the present invention is applied.
비디오를 저장하고 이를 검색 하기위해서는 비디오의 색인 기능을 수행하는 메타데이터를 이용한다. 비디오 주석기(11)는 비디오의 주석기반 메타데이터를 입력하기 위한 기능을 수행하고 입력된 주석기반의 메타데이터는 메타데이터 데이터베이스(13)에 저장된다.To store the video and retrieve it, we use metadata to index the video. The video annotator 11 performs a function for inputting annotation-based metadata of the video, and the input annotation-based metadata is stored in the metadata database 13.
사용자는 주석을 이용한 질의를 입력하고 질의처리기(11)는 데이터베이스의 관련 연산을 수행하기 위한 구조화 질의어(Structured Query Language : SQL)를 생성하고 이를 수행시킨다. 데이터베이스에서 검색된 결과는 검색 결과 처리기(12)에서 중요도에 의해 정렬되고 이를 이용하여 사용자에게 표시한다. 메타데이터에 대한 중요도 계산은 주석기(10)를 통해 비디오의 주석기반 메타데이터가 입력될 때 결정된다.The user inputs a query using an annotation, and the query processor 11 generates and executes a structured query language (SQL) for performing a related operation of a database. The results retrieved from the database are sorted by importance in the search results processor 12 and used to display them to the user. The importance calculation for the metadata is determined when annotation-based metadata of the video is input via the annotator 10.
본 발명에서는 비디오의 주석기반 메타데이터에 가중치를 부여하여 보다 효율적인 사용자 검색을 수행하기 위하여 스토리보드에 따른 중요도, 메타데이터 발생빈도에 따른 중요도, 비디오 구조단위에 따른 중요도, 그리고 클립 구간의 길이에 따른 중요도 부여 방법 등으로 구성한다.In the present invention, in order to perform a more efficient user search by weighting annotation-based metadata of the video, the importance according to the storyboard, the importance according to the metadata occurrence frequency, the importance according to the video structural unit, and the length of the clip section It is composed of the method of assigning importance.
도 2 는 본 발명에 따른 메타데이터의 중요도 결정기법을 적용한 비디오 데이터 검색방법의 일실시예 흐름도이다.2 is a flowchart illustrating an embodiment of a video data retrieval method applying the metadata importance determination method according to the present invention.
도면에 도시한 바와 같이, 먼저 사용자 인터페이스(10)를 통하여 비디오 메타데이터에 대한 주석이 입력되면(20) 주석기(11)가 입력된 메타데이터 주석을 해석하여 메이타데이터 가중치 부여 단계에 따라 메타데이터들의 중요도를 결정한 다음(21), 메타데이터 데이터베이스(12)에 비디오 메타데이터들의 결정된 중요도 정보와 함께 비디오 메타데이터를 저장한다(22).As shown in the figure, first, when an annotation for video metadata is input through the user interface 10 (20), the annotator 11 interprets the input metadata annotation and performs meta data according to the metadata weighting step. After determining the importance of the data (21), the metadata database 12 stores the video metadata along with the determined importance information of the video metadata (22).
사용자 질의가 입력되면(23), 질의처리기(13)에서 이를 쿼리 프로세싱하여 메타데이터 데이터베이스(12)를 검색하고(24) 검색된 결과를 데이터베이스(14)를 통하여 검색 결과 처리기(15)로 전송한다(25).When a user query is input (23), the query processor 13 queries the metadata database 12 by query processing it and transmits the searched result to the search result processor 15 through the database 14 ( 25).
검색결과처리기에서는 결정된 메타데이터들의 중요도에 따라 검색 결과를 정렬하여(26) 편집된 검색결과를 사용자에게 출력한다(27).The search result processor sorts the search results according to the importance of the determined metadata (26) and outputs the edited search results to the user (27).
도 3 은 본 발명에 따른 메타데이터 가중치 적용 과정의 일실시예 흐름도이다.3 is a flowchart illustrating an embodiment of a metadata weighting process according to the present invention.
스토리보드에 따른 중요도는 다음과 같은 기법으로 결정한다(30).The importance of storyboard is determined by the following technique (30).
비디오는 일반적으로 대용량이므로 비디오에 대한 스토리보드(예, 예고편, 주요 뉴스 모음)를 구성한다. 이러한 스토리보드는 비디오 내에서 중요한 장면들만을 부분적으로 발췌하여 구성한다. 따라서 한편의 비디오에 대한 스토리보드에 나타난 장면들의 주석은 다른 장면에 비해 중요도가 높다. 스토리보드에 나타난 i라는 클립에서 메타데이터의 중요도(SWik)는 [수학식 1]과 같이 계산하여 구한다.Because video is usually large, it constitutes a storyboard for the video (e.g. trailers, major news collections). These storyboards consist of only partial excerpts from the video. Therefore, the annotations of the scenes in the storyboard for the other video are more important than the other scenes. The importance of the metadata (SW ik ) in the clip named i in the storyboard is calculated and calculated as shown in [Equation 1].
ClipFreqk: 메타데이터(Metadatak)가 나타나는 스토리보드 클립의 수ClipFreq k : the number of storyboard clips for which metadata k appears
N : 데이터베이스에 있는 스토리보드 클립의 전체 수N: total number of storyboard clips in the database
Fik: 스토리보드 클립상에 나타난 출현 빈도수F ik : Frequency of appearance on storyboard clips
메타데이터 발생 빈도에 따른 중요도의 결정은 다음과 같은 기법으로 결정한다(31).The determination of importance according to the frequency of metadata generation is determined by the following technique (31).
한 비디오에서 중요한 사항은 반복적으로 표현되어 발생 빈도가 높게 되고, 또한 중요한 장면은 서로 다른 비디오에서 반복적으로 발생된다. 따라서 같은 비디오 내 또는 비디오 간의 발생빈도가 많은 메타데이터의 중요도를 높인다. i라는 클립에서 메타데이터(Metadatak)의 중요도(MWik)는 [수학식 2]와 같이 구한다.Important matters in one video are represented repeatedly so that the frequency of occurrence is high, and important scenes are repeatedly generated in different videos. Therefore, the importance of metadata with a high frequency of occurrence within or between videos is increased. The importance (MW ik ) of the metadata (Metadata k ) in the clip named i is obtained as shown in [Equation 2].
ClipFreqk: 메타데이터(Metadatak) i가 나타나는 클립의 수ClipFreq k : the number of clips for which metadata k i appears
N : 데이터베이스내의 클립의 전체 수N: total number of clips in the database
Fik: 메타데이터(Metadata) 출현 빈도수F ik : Frequency of Metadata
구조단위에 따른 중요도의 결정은 다음과 같다(32).The determination of importance by structural unit is as follows (32).
비디오는 일반적으로 샷(shot), 신(scene), 시퀀스(sequence), 비디오(video)단위의 논리적인 구조로 구분한다. 각 단위에 주석을 부여할 때 작은 단위에 주어진 주석 정보보다는 큰 단위에 부여된 주석이 중요도가 높으므로 샷(shot), 신(scene), 시퀀스(sequence), 비디오(video)의 순으로 각 논리단위에서 정의된 키워드의 가중치를 높인다. 즉 넓은 범위에서 정의되는 키워드의 중요도가 높다. i라는 클립에서 메타데이터(Metadatak)의 중요도(UWik)는 [수학식 3]과 같이 구한다.Video is generally divided into logical structures of shots, scenes, sequences, and video units. When annotating each unit, the annotation given to the larger unit is more important than the annotation information given to the smaller unit, so each logic in order of shot, scene, sequence, and video. Increase the weight of the keyword defined in the unit. That is, the importance of keywords defined in a wide range is high. The importance (UW ik ) of the metadata (Metadata k ) in the clip named i is obtained as shown in [Equation 3].
ClipFreqk: 메타데이터(Metadatak) i가 나타나는 클립의 수ClipFreq k : the number of clips for which metadata k i appears
N : 데이터베이스에 있는 클립의 전체 수N: total number of clips in the database
Fik: 출현 빈도수F ik : frequency of appearance
Uk: 논리적 단위에 따른 가중치(비디오(Video)=1, 시퀀스(Sequence)=0.8, 신(Scene)=0.6, 샷(Shot)=0.4)U k : Weights based on logical units (Video = 1, Sequence = 0.8, Scene = 0.6, Shot = 0.4)
클립 구간에 따른 중요도의 결정은 다음과 같다(32).Determination of importance according to the clip section is as follows (32).
클립 구간에 따른 중요도는 클립 구간의 길이가 짧은 것은 긴 것에 비해 의미의 정도가 강하므로 높은 값을 주고, 긴 구간은 짧은 구간에 비해 낮은 값을 준다. i라는 클립에서 메타데이터(Metadatak)의 중요도(LWik)는 [수학식 4]와 같이 구한다.The importance of the clip section is high because the shorter clip section has a higher level of meaning than the long one, and the long section gives a lower value than the short section. The importance (LW ik ) of the metadata (Metadata k ) in the clip named i is calculated as shown in [Equation 4].
ClipFreqk: 메타데이터(Metadatak) i가 나타나는 클립의 수ClipFreq k : the number of clips for which metadata k i appears
N : 데이터베이스에 있는 클립의 전체 수N: total number of clips in the database
Fik: 출현 빈도수F ik : frequency of appearance
Lk: 구간 길이에 따른 가중치L k : weight according to interval length
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and it is common in the art that various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be evident to those who have knowledge of.
상기한 바와 같은 본 발명은, 주석기반 메타데이터에 가중치를 부여하여 검색결과를 사용자 질의에 의해 중요한 클립의 우선순위에 따라 표시함으로써 사용자의 검색과정을 보다 효과적으로 수행할 수 있도록 한다.The present invention as described above, by weighting the annotation-based metadata to display the search results in accordance with the priority of the important clip by the user query so that the user can perform the search process more effectively.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-1999-0040406A KR100373371B1 (en) | 1999-09-20 | 1999-09-20 | Method for searching video data using meta data weighting determination scheme |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-1999-0040406A KR100373371B1 (en) | 1999-09-20 | 1999-09-20 | Method for searching video data using meta data weighting determination scheme |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010028251A true KR20010028251A (en) | 2001-04-06 |
| KR100373371B1 KR100373371B1 (en) | 2003-02-25 |
Family
ID=19612254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-1999-0040406A KR100373371B1 (en) | 1999-09-20 | 1999-09-20 | Method for searching video data using meta data weighting determination scheme |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100373371B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100565080B1 (en) * | 2004-09-13 | 2006-03-30 | 삼성전자주식회사 | Information storage medium recording AV data including meta data with representative title information, reproducing apparatus thereof and searching method of meta data |
| KR100894344B1 (en) * | 2007-07-18 | 2009-04-22 | 김정훈 | System for estimating a preference rate of an user for moving picture file and method of the same |
| KR100918725B1 (en) * | 2002-04-12 | 2009-09-24 | 미쓰비시덴키 가부시키가이샤 | Metadata regeneration condition setting device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5920856A (en) * | 1997-06-09 | 1999-07-06 | Xerox Corporation | System for selecting multimedia databases over networks |
| KR100305363B1 (en) * | 1997-11-06 | 2001-11-22 | 오길록 | Method for modeling metadata of electronic document, method and system for managing metadata |
-
1999
- 1999-09-20 KR KR10-1999-0040406A patent/KR100373371B1/en not_active IP Right Cessation
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100918725B1 (en) * | 2002-04-12 | 2009-09-24 | 미쓰비시덴키 가부시키가이샤 | Metadata regeneration condition setting device |
| KR100986401B1 (en) * | 2002-04-12 | 2010-10-08 | 미쓰비시덴키 가부시키가이샤 | Method for processing contents |
| US7826709B2 (en) | 2002-04-12 | 2010-11-02 | Mitsubishi Denki Kabushiki Kaisha | Metadata editing apparatus, metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus, metadata delivery method and hint information description method |
| US8811800B2 (en) | 2002-04-12 | 2014-08-19 | Mitsubishi Electric Corporation | Metadata editing apparatus, metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus, metadata delivery method and hint information description method |
| KR100565080B1 (en) * | 2004-09-13 | 2006-03-30 | 삼성전자주식회사 | Information storage medium recording AV data including meta data with representative title information, reproducing apparatus thereof and searching method of meta data |
| KR100894344B1 (en) * | 2007-07-18 | 2009-04-22 | 김정훈 | System for estimating a preference rate of an user for moving picture file and method of the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100373371B1 (en) | 2003-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220261427A1 (en) | Methods and system for semantic search in large databases | |
| US9146999B2 (en) | Search keyword improvement apparatus, server and method | |
| EP1468382B1 (en) | Taxonomy generation | |
| US7024405B2 (en) | Method and apparatus for improved internet searching | |
| US5893094A (en) | Method and apparatus using run length encoding to evaluate a database | |
| KR19990013736A (en) | Keyword Extraction System and Document Retrieval System Using It | |
| JP2006048683A (en) | Phrase identification method in information retrieval system | |
| JP2006048686A (en) | Generation method for document explanation based on phrase | |
| JP2006048685A (en) | Indexing method based on phrase in information retrieval system | |
| US8892574B2 (en) | Search apparatus, search method, and non-transitory computer readable medium storing program that input a query representing a subset of a document set stored to a document database and output a keyword that often appears in the subset | |
| JP2006048684A (en) | Retrieval method based on phrase in information retrieval system | |
| Gong et al. | Web image indexing by using associated texts | |
| Halima et al. | An interactive engine for multilingual video browsing using semantic content | |
| Bailer et al. | Content-based video retrieval and summarization using MPEG-7 | |
| KR100373371B1 (en) | Method for searching video data using meta data weighting determination scheme | |
| Pradhan et al. | A query model to synthesize answer intervals from indexed video units | |
| US20090177633A1 (en) | Query expansion of properties for video retrieval | |
| KR20090060131A (en) | Methods for searching and presentation of the results in digital forensics and apparatus thereof | |
| JP4134975B2 (en) | Topic document presentation method, apparatus, and program | |
| Aleman-Meza | Searching and ranking documents based on semantic relationships | |
| Bartolini et al. | Scenique: a multimodal image retrieval interface | |
| Memar et al. | Concept-based video retrieval model based on the combination of semantic similarity measures | |
| Zhang et al. | Semantic Video Annotation and Vague Query. | |
| Affendey et al. | Video data modelling to support hybrid query | |
| Jia et al. | Supporting Movie Production: A Recommender Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20090202 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |