KR100493635B1 - Multimedia data searching and browsing system - Google Patents
Multimedia data searching and browsing system Download PDFInfo
- Publication number
- KR100493635B1 KR100493635B1 KR10-2002-0052235A KR20020052235A KR100493635B1 KR 100493635 B1 KR100493635 B1 KR 100493635B1 KR 20020052235 A KR20020052235 A KR 20020052235A KR 100493635 B1 KR100493635 B1 KR 100493635B1
- Authority
- KR
- South Korea
- Prior art keywords
- multimedia data
- information
- description information
- shot
- interface means
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
Abstract
본 발명에 따른 멀티미디어 데이터 기술정보 생성 시스템은, 샷 세그멘테이션 툴(Shot Segmentation Tool)과 텍스트 검출 툴(Text Detection Tool)을 구비하며, 선택된 멀티미디어 데이터에 대하여, 상기 샷 세그멘테이션 툴 및/또는 텍스트 검출 툴을 이용하여 샷 인덱스 및/또는 텍스트 프레임 인덱스를 획득하고 멀티미디어 데이터 기술정보(DS:Description Scheme)를 생성하기 위한 사용자 인터페이스 수단과; 상기 사용자 인터페이스 수단과의 데이터 인터페이스를 위한 데이터 인터페이스 수단과; 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 DDL(Description Definition Language) 타입의 기술정보를 생성하는 DDL 변환 및 생성수단과; 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 2진 포맷(BiM:Binary format MPEG7)의 기술정보를 생성하는 2진 포맷 변환 및 생성수단과; DDL 타입의 기술정보를 해석하여 상기 데이터 인터페이스 수단에 제공하기 위한 DDL 해석수단; 및 2진 포맷의 기술정보를 디코딩하기 위하여 상기 데이터 인터페이스 수단에 제공하기 위한 2진 포맷 디코딩 수단; 을 포함한다.The multimedia data description information generating system according to the present invention includes a shot segmentation tool and a text detection tool, and the shot segmentation tool and / or text detection tool is selected for the selected multimedia data. User interface means for acquiring a shot index and / or text frame index and generating a multimedia data description information (DS) using the same; Data interface means for data interface with the user interface means; DDL conversion and generation means for generating description information of a DDL (Description Definition Language) type for the specific multimedia data selected by the user interface means; Binary format conversion and generation means for generating descriptive information in a binary format (BiM: Binary format MPEG7) for specific multimedia data selected by the user interface means; DDL analyzing means for interpreting the technical information of the DDL type and providing it to the data interface means; Binary format decoding means for providing to the data interface means for decoding the descriptive information in a binary format; It includes.
Description
본 발명은 멀티미디어 데이터에 대한 기술정보(DS:Description Scheme)를 생성하는 시스템과, 멀티미디어 데이터 기술정보를 기반으로 하여 멀티미디어 데이터를 검색 및 브라우징(browsing)하는 시스템에 관한 것이다.The present invention relates to a system for generating description information (DS) for multimedia data and a system for searching and browsing multimedia data based on the multimedia data description information.
대중매체의 발달과 멀티미디어 컨텐츠의 제작이 용이해짐에 따라 일반인이 매일 접하게 되는 미디어의 양이 매우 방대해 졌다. 멀티미디어 컨텐츠가 방대해짐에 따라 사용자가 원하는 데이터를 선별하여 주는 자동화 시스템에 대한 요구가 발생하였으며, 이를 해결하기 위한 방안들에 대한 연구가 활발히 진행되고 있다. 특히, 디지털 기술이 발달함에 따라 비디오 컨텐츠는 디지털 형태로 저장되어 유통되는 추세로 진행하고 있으며 디지털 방송이 대중화되면 이러한 미디어의 디지털화는 더욱 가속화 될 것이다.With the development of mass media and the ease of producing multimedia contents, the amount of media that the public encounters every day has become very large. As the multimedia contents are enormous, there is a demand for an automated system that selects data desired by the user, and researches on ways to solve the problem have been actively conducted. In particular, with the development of digital technology, video contents are being stored and distributed in digital form, and digitalization of such media will be accelerated when digital broadcasting becomes popular.
근래에는 디지털 비디오에서 원하는 장면을 찾기 위한 용도로 여러 가지 비디오 인덱싱 기술이 연구되고 있다. 특정한 사람이 나온 장면만을 원하는 사용자를 위하여 비디오에서 사람이 나온 장면을 찾아내고 그 사람이 누구인지를 인식하는 과정을 통하여 비디오에서 인물의 등장에 대한 정보를 인덱싱 하거나, 영화나 스포츠 등에서 주요 장면을 추출하고 이를 인덱싱하는 등의 연구가 진행되고 있다.Recently, various video indexing techniques have been studied for finding desired scenes in digital video. For users who want only a scene from a specific person, index the information about the person's appearance in the video by extracting the scene from the video and recognizing who the person is. And researches on indexing them are underway.
앞서 설명한 바와 같이 디지털 비디오 기술의 발달과 이미지/비디오 인식 기술의 발달로 인하여 사용자들은 원하는 비디오를 원하는 시점에 원하는 부분만을 검색(searching/filtering)하고 브라우징(browsing) 할 수 있게 되었다. As described above, with the development of digital video technology and the development of image / video recognition technology, users can search / filter and browse only the desired part at the desired time of the desired video.
비선형적인 비디오 브라우징(non-linear video browsing)과 검색을 위하여 가장 기본이 되는 기술은 샷 세그멘테이션(shot segmentation) 기법과 샷 클러스터링(shot clustering) 기법이며, 이 두 가지 기술은 비디오를 분석하는데 있어서 가장 핵심이 되는 기술이다. The most basic techniques for non-linear video browsing and retrieval are shot segmentation and shot clustering, both of which are key to analyzing video. This is the technology.
일반적으로 비디오는 수 많은 샷들의 연결로 구성되며, 샷 세그멘테이션이란 비디오를 각각의 개별 샷으로 분할하는 기법을 의미한다. 대부분의 샷 세그멘테이션 알고리즘은 동일한 샷 내에서는 이미지적/모션적/오디오적 유사성이 존재하고 두 개의 다른 샷 간에는 이미지적/모션적/오디오적 비유사성이 계측되는 특성을 기반으로 한다. 일반적으로 비디오 하이라이트는 비디오 스트림의 내용 전개에 있어서 의미상으로 중요한 세그먼트들을 선택하여 이 세그먼트들을 연속적으로 재생하는 방법이다. 또한 일반적으로 비디오에는 의미적 구성 요소인 씬(Scene)이 존재하는데, 여기서 씬은 이야기의 전개 또는 비디오 구성에 있어서 의미적인 구분 요소이며, 일반적으로 하나의 씬 내에는 여러 개의 샷이 존재한다. 이러한 샷과 씬의 개념은 비디오뿐만 아니라 오디오 프로그램에도 같은 방식으로 적용 가능하다. In general, a video is composed of a number of shots, and shot segmentation refers to a technique of dividing a video into individual shots. Most shot segmentation algorithms are based on the property that image / motion / audio similarity exists within the same shot and that image / motion / audio dissimilarity is measured between two different shots. In general, video highlighting is a method of selecting segments that are semantically important in the content development of a video stream and continuously playing these segments. Also, in general, a scene, which is a semantic component, is present in a video. Here, a scene is a semantic division factor in the story development or the video composition, and in general, several shots exist in one scene. The concept of shots and scenes can be applied to audio programs as well as video.
궁극적으로 멀티미디어 컨텐츠 인덱싱 기법은 컨텐츠에 존재하는 샷/씬 단위의 구조적인 정보를 추출하고 각각의 구조 단위 별로 그 세그먼트를 대표할 수 있는 키 프레임 등과 같은 주요 특정 요소를 추출하여 멀티미디어 컨텐츠에 대한 구조적 정보를 인덱싱하고, 사건(Event)의 발생, 시청각 오브젝트(Audio-Visual object)의 등장, 오브젝트의 상태, 배경(장소 등) 등에 대한 의미적인 정보를 시간 축 위에 기술하는 방식으로 인덱싱하여 사용자가 원하는 부분을 쉽게 브라우징하거나 검색할 수 있도록 하는데 그 목적이 있다.Ultimately, the multimedia content indexing technique extracts the structural information of the shot / scene unit existing in the content and extracts the key specific elements such as key frames that can represent the segment for each structural unit. Indexing and indexing semantic information about the occurrence of an event, the appearance of an audio-visual object, the state of the object, the background (place, etc.) on the time axis, and the like. Its purpose is to make it easy to browse or search.
다른 한편으로 상기한 바와 같이 효율적인 비디오 검색과 브라우징을 위하여 비디오 스트림에서 의미적 정보를 표현하는 주요 텍스트 영역이나 뉴스 아이콘 또는 사람의 얼굴 영역 등을 추출하기 위한 연구도 진행되고 있으며, 이러한 키 영역을 합성하여 새로운 키프레임을 추출하는 방법도 소개되고 있다. 합성 키프레임의 경우는 씬이나 샷 등의 세그먼트를 대표할 수 있는 키 영역이나 키프레임을 추출하고 추출된 키 영역이나 키프레임을 이용해서 이들을 하나의 이미지로 합성함으로써, 이 합성된 이미지가 해당 세그먼트의 내용을 대표하는 수단으로 제공되는 방법이다. 이렇게 합성 키프레임을 이용함으로써 작은 디스플레이 공간에 많은 정보를 함축적으로 표현할 수 있고, 사용자는 컨텐츠의 특정 부분의 내용을 보다 빠르고 쉽게 이해할 수 있을 뿐만 아니라, 관심이 있는 부분만 선택하여 디스플레이하는 것도 가능하게 되었다.On the other hand, as mentioned above, research for extracting a main text area, a news icon, or a human face area expressing semantic information from a video stream for efficient video search and browsing is being conducted. A new keyframe extraction method is also introduced. In the case of composite keyframes, the synthesized image is segmented by extracting a key region or keyframe that can represent a segment such as a scene or shot, and synthesizing them into a single image using the extracted key region or keyframe. The method is provided as a means of representing the contents of the. By using the composite keyframe, a large amount of information can be implicitly represented in a small display space, and a user can not only quickly and easily understand the content of a specific portion of the content, but also select and display only the portion of interest. It became.
위에서 설명한 바와 같이 멀티미디어 데이터 내용을 기반으로 하거나, 키프레임을 기반으로 하거나, 텍스트 기반 등으로 효율적인 검색과 브라우징을 위해서 멀티미디어 데이터 기술정보(DS:Description Scheme)가 기술되며, 이 기술정보(DS)는 멀티미디어 데이터의 의미를 기술하는 정보와, 멀티미디어 데이터의 물리적인 구조를 기술하는 정보 등을 포함할 수 있다. 만약 멀티미디어 데이터가 동영상 데이터이고, 키프레임을 기반으로 하여 요약(하이라이트) 기능을 제공한다면 특정 구간을 대표하는 키프레임과 그 키프레임에 의해서 검색과 재생될 구간에 대한 정보가 기술정보(DS)로 기술될 것이다.As described above, multimedia data description information (DS) is described for efficient searching and browsing based on the contents of multimedia data, based on keyframes, or text based. Information describing the meaning of the multimedia data and information describing the physical structure of the multimedia data may be included. If the multimedia data is video data and provides a summary (highlight) function based on keyframes, information on keyframes representing a specific section and sections to be searched and played by the keyframes is provided as technical information (DS). Will be described.
따라서, 멀티미디어 데이터의 보다 효율적인 검색과 브라우징을 위하여 해당 멀티미디어 데이터를 기술하는 기술정보(DS)를 생성하고, 이 생성된 기술 정보(DS)를 기반으로 하여 멀티미디어 데이터를 검색 및 브라우징할 수 있는 시스템이 요구된다.Therefore, in order to search and browse multimedia data more efficiently, a system capable of generating technical information describing the multimedia data and searching and browsing the multimedia data based on the generated technical information DS is provided. Required.
본 발명은, 샷 세그멘테이션 툴과 텍스트 검출 툴을 이용하여 멀티미디어 데이터의 기술정보(DS)를 반자동으로 생성할 수 있는 멀티미디어 데이터 기술정보 생성 장치를 제공함에 그 목적이 있다. It is an object of the present invention to provide a multimedia data description information generating apparatus capable of semi-automatically generating description information (DS) of multimedia data using a shot segmentation tool and a text detection tool.
또한 본 발명은, 멀티미디어 데이터의 기술정보(DS)를 기반으로 하여, 칼라 기반의 키프레임을 이용하여 해당 멀티미디어 데이터를 검색하고 브라우징할 수 있는 멀티미디어 데이터 검색 및 브라우징 장치를 제공함에 다른 목적이 있다.Another object of the present invention is to provide a multimedia data retrieval and browsing apparatus capable of searching for and browsing corresponding multimedia data using color-based keyframes based on the technical information DS of the multimedia data.
상기의 목적을 달성하기 위하여 본 발명에 따른 멀티미디어 데이터 기술정보 생성 시스템은,In order to achieve the above object, the multimedia data technical information generating system according to the present invention,
샷 세그멘테이션 툴(Shot Segmentation Tool)과 텍스트 검출 툴(Text Detection Tool)을 구비하며, 선택된 멀티미디어 데이터에 대하여, 상기 샷 세그멘테이션 툴 및/또는 텍스트 검출 툴을 이용하여 샷 인덱스 및/또는 텍스트 프레임 인덱스를 획득하고 멀티미디어 데이터 기술정보(DS:Description Scheme)를 생성하기 위한 사용자 인터페이스 수단과;A shot segmentation tool and a text detection tool are provided, and a shot index and / or text frame index is obtained for the selected multimedia data using the shot segmentation tool and / or text detection tool. User interface means for generating multimedia data description information (DS);
상기 사용자 인터페이스 수단과의 데이터 인터페이스를 위한 데이터 인터페이스 수단과;Data interface means for data interface with the user interface means;
상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 DDL(Description Definition Language) 타입의 기술정보를 생성하는 DDL 변환 및 생성수단과;DDL conversion and generation means for generating description information of a DDL (Description Definition Language) type for the specific multimedia data selected by the user interface means;
상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 2진 포맷(BiM:Binary format MPEG7)의 기술정보를 생성하는 2진 포맷 변환 및 생성수단과; Binary format conversion and generation means for generating descriptive information in a binary format (BiM: Binary format MPEG7) for specific multimedia data selected by the user interface means;
DDL 타입의 기술정보를 해석하여 상기 데이터 인터페이스 수단에 제공하기 위한 DDL 해석수단; 및DDL analyzing means for interpreting the technical information of the DDL type and providing it to the data interface means; And
2진 포맷의 기술정보를 디코딩하기 위하여 상기 데이터 인터페이스 수단에 제공하기 위한 2진 포맷 디코딩 수단; 을 포함하는 점에 그 특징이 있다.Binary format decoding means for providing to said data interface means for decoding descriptive information in a binary format; Its features are to include.
여기서 본 발명에 의하면, 상기 사용자 인터페이스 수단에 의하여 생성되는 멀티미디어 데이터 기술정보는, 해당 멀티미디어 데이터의 계층적 요약 기술정보(Hierarchical Summary DS)인 점에 그 특징이 있다.According to the present invention, the multimedia data description information generated by the user interface means is characterized in that the hierarchical summary DS of the multimedia data (Hierarchical Summary DS).
또한 본 발명에 의하면, 상기 사용자 인터페이스 수단에 구비된 샷 세그멘테이션 툴을 이용하여 획득된 샷 인덱스로부터 멀티미디어 데이터 기술정보를 생성함에 있어, 상기 획득된 하나의 샷은 계층적 요약 기술정보에서 하나의 하이라이트 세그먼트와 일치되는 점에 그 특징이 있다.In addition, according to the present invention, in generating the multimedia data description information from the shot index obtained by using the shot segmentation tool provided in the user interface means, the obtained one shot is one highlight segment in the hierarchical summary description information This feature is in line with.
또한 본 발명에 의하면, 상기 사용자 인터페이스 수단에 구비된 샷 세그멘테이션 툴을 이용하여 획득된 샷 인덱스로부터 멀티미디어 데이터 기술정보를 생성함에 있어, 상기 샷 인덱스가 표시되는 목록으로부터 하나 이상의 샷 인덱스 목록을 선택하여 하이라이트 세그먼트를 생성하고, 계층적 요약 기술정보를 생성하는 점에 그 특징이 있다.In addition, according to the present invention, in generating the multimedia data description information from the shot index obtained by using the shot segmentation tool provided in the user interface means, by selecting one or more shot index list from the list of the shot index is highlighted Its characteristics are that it creates segments and hierarchical summary description information.
또한 본 발명에 의하면, 상기 사용자 인터페이스 수단에 구비된 샷 세그멘테이션 툴을 이용하여 획득된 샷 인덱스로부터 멀티미디어 데이터 기술정보를 생성함에 있어, 상기 샷 인덱스의 키프레임을 나타내는 이미지로부터 하나 이상의 샷 인덱스 이미지를 선택하여 하이라이트 세그먼트를 생성하고, 계층적 요약 기술정보를 생성하는 점에 그 특징이 있다.In addition, according to the present invention, in generating the multimedia data description information from the shot index obtained by using the shot segmentation tool provided in the user interface means, at least one shot index image is selected from the image representing the key frame of the shot index To generate highlight segments and to generate hierarchical summary description information.
또한 본 발명에 의하면, 상기 사용자 인터페이스 수단에 구비된 텍스트 검출 툴을 이용하여 획득된 텍스트 프레임 인덱스로부터 멀티미디어 데이터 기술정보를 생성함에 있어, 상기 획득된 하나의 텍스트 인덱스는 계층적 요약 기술정보에서 하나의 하이라이트 세그먼트와 일치되는 점에 그 특징이 있다.Further, according to the present invention, in generating the multimedia data description information from the text frame index obtained by using the text detection tool provided in the user interface means, the obtained one text index is one of the hierarchical summary description information. Its feature is that it matches the highlight segment.
또한 본 발명에 의하면, 상기 사용자 인터페이스 수단에 구비된 텍스트 검출 툴을 이용하여 획득된 텍스트 프레임 인덱스로부터 멀티미디어 데이터 기술정보를 생성함에 있어, 상기 텍스트 프레임 인덱스가 표시되는 목록으로부터 하나 이상의 텍스트 프레임 인덱스 목록을 선택하여 하이라이트 세그먼트를 생성하고, 계층적 요약 기술정보를 생성하는 점에 그 특징이 있다.In addition, according to the present invention, when generating multimedia data description information from the text frame index obtained by using the text detection tool provided in the user interface means, the list of one or more text frame index from the list in which the text frame index is displayed It is characterized in that it creates a highlight segment by selection and generates hierarchical summary description information.
또한 본 발명에 의하면, 상기 사용자 인터페이스 수단에 구비된 텍스트 검출 툴을 이용하여 획득된 텍스트 프레임 인덱스로부터 멀티미디어 데이터 기술정보를 생성함에 있어, 상기 텍스트 프레임 인덱스를 각각 나타내는 영역 이미지로부터 하나 이상의 텍스트 프레임 인덱스 이미지를 선택하여 하이라이트 세그먼트를 생성하고, 계층적 요약 기술정보를 생성하는 점에 그 특징이 있다.In addition, according to the present invention, in generating multimedia data description information from a text frame index obtained by using a text detection tool provided in the user interface means, one or more text frame index images from area images representing the text frame indexes, respectively. It is characterized in that it creates a highlight segment by selecting and generates hierarchical summary description information.
또한 본 발명에 의하면, 상기 사용자 인터페이스 수단은 상기 샷 세그멘테이션 툴 및/또는 텍스트 검출 툴을 이용하여 획득된 샷 인덱스 및/또는 텍스트 프레임 인덱스의 선택에 의하여 생성되는 멀티미디어 데이터 기술정보의 하이라이트 세그먼트 정보를 수정하여 입력할 수 있는 세그먼트 정보 입력부를 더 구비하는 점에 그 특징이 있다.According to the present invention, the user interface means may modify highlight segment information of the multimedia data description information generated by the selection of the shot index and / or the text frame index obtained by using the shot segmentation tool and / or the text detection tool. It is characterized in that it further comprises a segment information input unit which can be inputted.
또한 본 발명에 의하면, 상기 사용자 인터페이스 수단은 상기 샷 세그멘테이션 툴 및/또는 텍스트 검출 툴을 이용하여 획득된 샷 인덱스 및/또는 텍스트 프레임 인덱스의 선택에 의하여 생성되는 멀티미디어 데이터 기술정보에 포함된 세그먼트 구간을 표시하고, 표시된 세그먼트들 간의 병합과 분리를 처리할 수 있는 세그먼트 뷰어를 더 구비하는 점에 그 특징이 있다.In addition, according to the present invention, the user interface means may include segment segments included in the multimedia data description information generated by selection of a shot index and / or a text frame index obtained using the shot segmentation tool and / or the text detection tool. It is characterized in that it further includes a segment viewer that can display and handle merging and separating between the displayed segments.
또한, 상기의 다른 목적을 달성하기 위하여 본 발명에 따른 멀티미디어 데이터 검색 및 브라우징 시스템은,In addition, the multimedia data search and browsing system according to the present invention to achieve the above object,
DDL 타입의 기술정보로 기술되는 멀티미디어 데이터 브라우징을 위하여 DDL 타입의 기술정보를 해석하는 DDL 해석수단과;DDL analyzing means for interpreting DDL type description information for browsing multimedia data described as DDL type description information;
2진 포맷의 기술정보로 기술되는 멀티미디어 데이터 브라우징을 위하여 2진 포맷의 기술정보를 해석하는 2진 포맷 디코딩 수단과;Binary format decoding means for interpreting the descriptive information in the binary format for multimedia data browsing described in the descriptive information in the binary format;
상기 DDL 해석수단에 의해 해석된 DDL 타입의 기술정보나, 상기 2진 포맷 디코딩 수단에 의하여 해석된 2진 포맷의 기술정보가 저장되는 데이터 저장수단; 및Data storage means for storing DDL type descriptive information interpreted by the DDL analyzing means or binary descriptive information interpreted by the binary format decoding means; And
상기 데이터 저장수단에 저장된 멀티미디어 기술정보를 기반으로 하여 사용자 요구 및 그에 따른 검색 결과를 출력하며, 표시되는 칼라 기반의 키프레임 중에서 사용자가 지정한 칼라 특징과 개수 만큼의 유사한 키프레임을 검색하고 검색된 결과를 이용하여 하이라이트 세그먼트를 출력하기 위한 브라우저 인터페이스 수단; 을 포함하는 점에 그 특징이 있다.Based on the multimedia technology information stored in the data storage means, a user request and a search result thereof are output, and among the displayed color-based keyframes, the user searches for similar keyframes as many as the color feature specified by the user and retrieves the searched results. Browser interface means for outputting highlight segments using; Its features are to include.
여기서 본 발명에 의하면, 상기 브라우저 인터페이스 수단에 있어, 상기 키프레임 검색에 사용된 칼라 특징은 MPEG7 표준의 대표 칼라 묘사자(Dominant Color Descriptor)와 칼라 구조 묘사자(Color Structure Descriptor)인 점에 그 특징이 있다.According to the present invention, in the browser interface means, the color feature used for the keyframe retrieval is a representative color descriptor and a color structure descriptor of the MPEG7 standard. There is this.
이와 같은 본 발명에 의하면, 멀티미디어 데이터를 기술(Description)하는 기술정보를 샷 세그멘테이션 툴이나 텍스트 검출 툴을 이용하여 반자동으로 생성할 수 있으며, 멀티미디어 데이터 기술정보를 생성함에 있어서도 DDL(Description Definition Language)의 텍스트 파일 형태나 BiM(Binary for MPEG7)의 바이너리 형태로 생성함으로써, MPEG7 표준에 적합한 멀티미디어 데이터 기술정보를 자동적으로 생성하고, 칼라 기반의 키프레임 검색을 통하여 하이라이트 세그먼트를 브라우징할 수 있는 장점이 있다.According to the present invention, the technical information describing the multimedia data can be generated semi-automatically by using a shot segmentation tool or a text detection tool. Also, when generating the multimedia data description information, DDL (Description Definition Language) By generating in the form of a text file or binary form of BiM (Binary for MPEG7), multimedia data description information suitable for MPEG7 standard is automatically generated, and highlight segments can be browsed through color-based keyframe search.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 기술정보 생성 시스템과 브라우징 시스템을 함께 나타낸 멀티미디어 데이터 검색 시스템의 실시 예를 보여준다. 도 1에 나타낸 바와 같이, 기술정보 생성 시스템(1)은 기술정보 생성을 위한 기술정보 생성 사용자 인터페이스(DG UI)(2), DOM(Document Object Model) 메모리(3), DDL(Description Definition Language) 라이터(4), BiM(Binary format MPEG7) 인코더(5), DDL 해석기(6), BiM 디코더(7)를 포함하고 있다. 또한, 도 1에 나타낸 바와 같이, 브라우징 시스템(8)은 DDL 해석기(9), BiM 디코더(10), DOM 메모리(11), 브라우저 사용자 인터페이스(Browser UI)(12), 기술정보 변환기(13), 기술정보 데이터 베이스(14), 질의 인터페이스(15)를 포함하고 있다.1 is a view illustrating an embodiment of a multimedia data retrieval system showing a technology information generation system and a browsing system according to the present invention. As shown in FIG. 1, the technical information generating system 1 includes a technical information generating user interface (DG UI) 2, a document object model (DOM) memory 3, and a description definition language (DDL) for generating technical information. A writer 4, a BiM (Binary format MPEG7) encoder 5, a DDL analyzer 6, and a BiM decoder 7 are included. In addition, as shown in FIG. 1, the browsing system 8 includes a DDL interpreter 9, a BiM decoder 10, a DOM memory 11, a browser user interface 12, and a technical information converter 13. It includes a technical information database 14 and a query interface 15.
도 1에 나타낸 본 발명의 기술정보 생성 시스템과 기술정보 기반 브라우징 시스템은 하나의 실시 예로서, 동영상 컨텐츠에 대하여 계층적 하이라이트 요약 기술정보(Hierarchical Summary DS)를 제공하며, 키프레임, 텍스트와 칼라를 기반으로 하는 브라우징을 위한 기술정보의 생성과, 브라우징이 이루어지는 경우를 보여주며, 지금부터는 계층적 하이라이트 요약 기술정보에 대하여 기술정보의 생성과 브라우징 방법을 설명하기로 한다. 물론, 본 발명의 기술정보 생성 시스템과 브라우징 시스템은 계층적 하이라이트 요약 기술정보에만 제한되지 않으며, 본 발명 시스템을 확장하거나 응용함으로써 MPEG7 표준을 만족하는 멀티미디어 컨텐츠 기술정보 생성 및 브라우징이 가능하게 될 것이다.The technical information generating system and the technical information-based browsing system of the present invention shown in FIG. 1 provide hierarchical highlight summary technical information (Hierarchical Summary DS) for video content, and display keyframes, texts, and colors. A description will be given of the generation of the technical information for browsing based on the browsing and the case where the browsing is performed, and the method of generating and browsing the technical information for the hierarchical highlight summary technical information will now be described. Of course, the technical information generating system and the browsing system of the present invention are not limited to hierarchical highlight summary technical information, but by expanding or applying the present invention system, it is possible to generate and browse multimedia content technical information satisfying the MPEG7 standard.
상기 기술정보 생성 사용자 인터페이스(DG UI: Description Generator User Interface)(2)는 기술정보 생성 시스템(1)과 사용자 사이의 인터페이스이며, 그 인터페이스 화면의 한 예를 도 2a에 나타내었다. 그리고, 도 2b는 샷 세그멘테이션 툴의 한 예를 나타낸 것이며, 도 2c는 텍스트 검출 툴의 한 예를 나타낸 것으로서, 상기 샷 세그멘테이션 툴과 텍스트 검출 툴은 상기 기술정보 생성 사용자 인터페이스(DG UI)(2)로부터 호출되어 사용된다.The description information generating user interface (DG UI) 2 is an interface between the description information generating system 1 and the user, and an example of the interface screen is illustrated in FIG. 2A. 2B illustrates an example of a shot segmentation tool, and FIG. 2C illustrates an example of a text detection tool, wherein the shot segmentation tool and the text detection tool are the technical information generating user interface (DG UI) 2. It is called from and used.
여기서, DOM 메모리(3)는 'Document Object Model Memory'이고 상기 기술정보 생성 사용자 인터페이스(DG UI)(2)와 시스템 사이의 데이터를 일시 저장하기 위한 인터페이스 환경을 제공한다. DDL 라이터(Description Definition Language Writer)(4)는 DOM 메모리(3)와 연결되어 멀티미디어 데이터에 대한 기술정보를 DDL 타입으로 변환하고 구조적 DDL 기술 파일(Textural DDL Description File)(16)을 생성한다. BiM 인코더(Binary format MPEG7 Encoder)(5)는 상기 DOM 메모리(3)와 연결되어 멀티미디어 데이터에 대한 기술정보를 2진 포맷의 기술정보로 변환하고 해당 파일(Binary Description File)(17)을 생성한다.Here, the DOM memory 3 is a 'Document Object Model Memory' and provides an interface environment for temporarily storing data between the technical information generating user interface (DG UI) 2 and the system. A Description Definition Language Writer (4) is connected to the DOM memory (3) to convert description information about multimedia data into a DDL type and to generate a structural DDL description file (16). A BiM encoder (Binary format MPEG7 Encoder) 5 is connected to the DOM memory 3 to convert descriptive information on multimedia data into descriptive information in binary format and to generate a binary description file 17. .
이와 같은 기술정보 생성 사용자 인터페이스(DG UI)(2)를 이용하여 수동으로 계층적 요약 기술정보(Hierarchical Summary DS)를 생성하는 과정을 간략하게 설명하면 다음과 같다.A process of manually generating hierarchical summary DS using the technical information generating user interface (DG UI) 2 will be described below.
사용자는 상기 기술정보 생성 사용자 인터페이스(DG UI)(2)를 통하여 멀티미디어 데이터를 오픈하고, 하이라이트 구간을 설정하고 타이틀과 키워드 그리고 MPEG7의 표준인 계층적 요약 기술정보(Hierarchical Summary DS)(도 3 참조)에서의 레벨을 설정하여 계층적 요약 기술정보를 생성하고, DDL(Description Definition Language) 형태 또는 BiM(Binary for MPEG7) 형태의 파일로 저장하며 각 하이라이트의 키프레임을 추출한다. 브라우징 시스템(8)은 상기 기술정보 생성 시스템(1)에서 만들어진 기술정보 파일을 이용하여 하나의 컨텐츠에 대해서 멀티 레벨 뷰 기능을 제공하여 사용자가 멀티 레벨 브라우징을 할 수 있도록 하며, 하이라이트의 키프레임 브라우징을 사용자에게 제공하며, 또한 텍스트 기반으로 현재 오픈된 기술정보 파일 또는 데이터베이스에서 하이라이트 검색을 이용한 브라우징 기능을 사용자에게 제공한다. 텍스트 검색에서 사용된 질의어는 현재 오픈된 기술정보 파일에 포함되어 있는 하이라이트 세그먼트의 타이틀, 키워드들이며 또한, 사용자가 직접 입력할 수도 있다.The user opens the multimedia data through the technical information generating user interface (DG UI) 2, sets highlight sections, titles, keywords, and Hierarchical Summary DS, which is a standard of MPEG7 (see FIG. 3). The hierarchical summary description information is generated by setting the level in the file, and stored as a file in the form of DDL (Description Definition Language) or BiM (Binary for MPEG7), and the keyframe of each highlight is extracted. The browsing system 8 provides a multi-level view function for a single content by using the technical information file generated by the technical information generating system 1 so that the user can perform multi-level browsing and highlight keyframe browsing. It provides users with a text-based browsing function using highlight search in a currently open technical information file or database. The query word used in the text search is the title and keywords of the highlight segment included in the currently open technical information file, and can also be directly input by the user.
그런데, 이와 같이 수동으로 수행되는 멀티미디어 데이터의 기술정보 생성에는 많은 불편함이 수반되므로, 본 발명에서는 샷 세그멘테이션 툴과 텍스트 검출 툴을 도입함으로써, 반자동으로 멀티미디어 데이터에 대한 기술정보를 생성할 수 있는 시스템에 대하여 제안하고자 한다.However, since the technical information generation of the multimedia data which is manually performed as described above involves a lot of inconvenience, the present invention introduces a shot segmentation tool and a text detection tool, and thus, a system capable of semi-automatically generating technical information on the multimedia data. I would like to suggest about.
즉, 본 발명에서는 샷 세그멘테이션 툴(도 2b 참조)을 사용하여 반자동으로 도 4에 예시하는 바와 같이 계층적 요약 기술정보를 생성하고자 하며, 또한 텍스트 검출 툴(도 2c 참조)을 이용하여 도 5에 예시하는 바와 같이 계층적 요약 기술정보를 생성하고자 한다. That is, in the present invention, the hierarchical summary description information is generated semi-automatically as illustrated in FIG. 4 using the shot segmentation tool (see FIG. 2B), and also in FIG. 5 using the text detection tool (see FIG. 2C). As illustrated, hierarchical summary description information is generated.
이하, 사용자가 상기 기술정보 생성 사용자 인터페이스(DG UI)(2)를 이용하여 MPEG7 표준에 적합한 계층적 요약 기술정보(Hierarchical Summary Description Scheme)(도 3 참조)를 반자동으로 생성하는 방법을 살펴 보면 다음과 같다. Hereinafter, a method of semi-automatically generating a hierarchical summary description scheme (see FIG. 3) conforming to the MPEG7 standard by using the technical information generating user interface (DG UI) 2 will be described. Same as
첫째, 멀티미디어 데이터를 오픈하고 샷 세그멘테이션 툴(도 2b 참조) 또는 텍스트 검출 툴(도 2c 참조)을 이용하여 인덱스 정보를 추출한다. 샷 세그멘테이션 툴은 멀티미디어 컨텐츠의 샷 정보를 추출하며 그 정보는 샷의 시작과 끝 프레임 위치 정보를 나타내며, 또한 각 샷의 키프레임을 추출한다. 텍스트 검출 툴의 경우에는 텍스트 영역에 대한 인덱스를 추출하며 그 정보는 텍스트 영역의 시작 프레임 위치와 끝 프레임의 위치이며, 또한 텍스트 영역의 이미지를 추출한다. First, the multimedia data is opened and index information is extracted using a shot segmentation tool (see FIG. 2B) or a text detection tool (see FIG. 2C). The shot segmentation tool extracts shot information of the multimedia content, which indicates the start and end frame position information of the shot, and also extracts key frames of each shot. In the case of the text detection tool, an index for the text area is extracted, and the information is a start frame position and an end frame position of the text area, and an image of the text area is extracted.
둘째, 상기 기술정보 생성 사용자 인터페이스(DG UI)(2)를 이용하여 샷 또는 텍스트 인덱스 파일을 호출한다. 인덱스 파일을 호출하면 상기 기술정보 생성 사용자 인터페이스(DG UI)(2)의 인덱스 파일 정보 표시창(22)에 인덱스 파일 정보 즉, 샷 또는 텍스트 영역들의 시작과 끝 프레임위치 정보를 리스트로 나타내며, 키프레임/이미지 파일 뷰어(23)에 샷의 키프레임 또는 텍스트 영역 이미지 파일을 나타낸다. Second, the shot or text index file is called using the technical information generating user interface (DG UI) 2. When the index file is called, the index file information display window 22 of the technical information generating user interface (DG UI) 2 displays the index file information, that is, the start and end frame position information of the shot or text areas as a list, and keyframes. The key image or text area image file of the shot is displayed in the / image file viewer 23.
셋째, 사용자는 상기 인덱스 파일 정보 표시창(22)에 있는 인덱스 정보를 이용하여 하이라이트 세그먼트를 생성한다. 사용자는 상기 인덱스 파일 정보 표시창(22)에 있는 인덱스 리스트 중에서 임의의 개수를 선택하여 계층적 요약 기술정보(Hierarchical Summary DS)를 생성할 수 있으며, 세그먼트 뷰어(24)에 선택된 하이라이트 세그먼트를 확인할 수 있다. 이때 선택된 하이라이트 세그먼트는 도 3에 있는 계층적 요약 기술정보에서 기본적인 정보를 갖는다. 계층적 요약 기술정보를 생성할 수 있는 또 다른 방법은 샷 또는 텍스트 인덱스의 키프레임/이미지 파일 뷰어(23)에서 임의의 키프레임을 선택하여 하이라이트 세그먼트를 생성할 수 있다. 이렇게 입력된 하이라이트 세그먼트는 타이틀, 키워드, 중요 레벨의 기본 정보를 갖기 때문에 사용자는 세그먼트 뷰어(24)에서 임의의 세그먼트를 선택하여 세그먼트 정보 입력부(25)에서 세그먼트 정보를 수정한다. 또한, 상기 세그먼트 뷰어(24)에서 사용자는 세그먼트들 간의 병합과 분할을 수행할 수도 있다. 이와 같이 샷 또는 텍스트 인덱스를 이용하여 계층적 요약 기술정보(Hierarchical Summary DS)를 반자동으로 생성 할 수 있게 된다.Third, a user creates a highlight segment using the index information in the index file information display window 22. The user may generate a hierarchical summary DS by selecting an arbitrary number from the index list in the index file information display window 22 and check the highlight segment selected in the segment viewer 24. . In this case, the selected highlight segment has basic information in the hierarchical summary description information shown in FIG. 3. Another way to generate hierarchical summary description information is to create a highlight segment by selecting any keyframe in the keyframe / image file viewer 23 of the shot or text index. Since the input highlight segment has basic information of a title, a keyword, and an important level, the user selects an arbitrary segment in the segment viewer 24 and modifies the segment information in the segment information input unit 25. In addition, in the segment viewer 24, a user may perform merging and splitting between segments. In this way, hierarchical summary DS can be generated semi-automatically using shot or text index.
마지막으로 사용자가 생성한 계층적 요약 기술정보(Hierarchical Summary DS)를 MPEG7 표준에 적합한 텍스트 형태 또는 바이너리 형태의 파일로 저장하며 각 하이라이트 세그먼트 키프레임을 추출하고 그 키프레임의 대표 칼라 묘사자(Dominant Color Descriptor)와 칼라 구조 묘사자(Color Structure Descriptor)를 추출한다. 여기서, 대표 칼라 묘사자(Dominant Color Descriptor)와 칼라 구조 묘사자(Color Structure Descriptor)는 MPEG7 표준에 속하며, 브라우징 시스템에서 칼라기반의 키프레임 검출에 이용된다.Finally, the user-generated Hierarchical Summary DS is saved as a file in text or binary format conforming to the MPEG7 standard, and each highlight segment keyframe is extracted and the representative color descriptor of the keyframe (Dominant Color). Extract Descriptor and Color Structure Descriptor. Here, the representative color descriptor and the color structure descriptor belong to the MPEG7 standard and are used for color-based keyframe detection in a browsing system.
다음은 브라우징 시스템(8)에 대해서 설명해 보기로 한다. Next, the browsing system 8 will be described.
도 1에 나타낸 브라우징 시스템(8)에서 DDL 해석기(9)는 입력된 DDL 파일(16)을 해석하여 DOM 메모리(11)에 저장한다. BiM 디코더(10)는 입력된 BiM 파일을 디코딩하여 DOM 메모리(11)에 저장한다. DOM 메모리(11)에 저장되어 있는 해석된 DDL 파일이나 디코딩된 BiM 파일은 브라우저 사용자 인터페이스(12)에 의해서 브라우징된다. 한편, DOM 메모리(11)에 저장되어 있는 해석된 DDL 파일이나 디코딩된 BiM파일은 기술정보 변환기(13)에 의해서 변환되어 기술정보 데이터 베이스(14)로 구축되고, 질의 인터페이스(15)는 상기 기술정보 데이터 베이스(14)와 브라우저 사용자 인터페이스(12) 사이에서 사용자 요구(질의)에 따른 브라우징이 이루어지도록 질의 정보의 처리와 검색 결과의 제공을 수행한다.In the browsing system 8 shown in FIG. 1, the DDL interpreter 9 interprets the input DDL file 16 and stores it in the DOM memory 11. The BiM decoder 10 decodes the input BiM file and stores it in the DOM memory 11. The interpreted DDL file or decoded BiM file stored in the DOM memory 11 is browsed by the browser user interface 12. On the other hand, the interpreted DDL file or decoded BiM file stored in the DOM memory 11 is converted by the technical information converter 13 and constructed into the technical information database 14, and the query interface 15 is described in the above description. Processing of query information and provision of a search result are performed so that browsing according to a user's request (query) is performed between the information database 14 and the browser user interface 12.
도 6은 상기 브라우저 사용자 인터페이스(12)의 한 예를 보여준다. 도 6에 나타낸 브라우저 사용자 인터페이스(12)에는 멀티미디어 자원과 브라우징 방법 등을 선택하기 위한 메인 메뉴(61), 멀티미디어 데이터 디스플레이를 위한 타이틀 플레이어(62), 텍스트 기반의 하이라이트 세그먼트 검색기(63), 멀티미디어의 하이라이트 세그먼트 브라우징을 위한 썸네일(Thumbnail) 키프레임 뷰어(64), 상기 썸네일 키프레임 뷰어(64)에서의 칼라기반 키프레임 검색기(65) 등이 포함되어 있다. 여기서, 브라우저 사용자 인터페이스(12)의 구성이나 그 브라우징 방법은 보다 다양한 형태로 변형될 수 있음은 자명하다 할 것이다.6 shows an example of the browser user interface 12. The browser user interface 12 shown in FIG. 6 includes a main menu 61 for selecting multimedia resources and a browsing method, a title player 62 for displaying multimedia data, a text-based highlight segment finder 63, multimedia A thumbnail keyframe viewer 64 for highlight segment browsing, and a color-based keyframe finder 65 in the thumbnail keyframe viewer 64 are included. Here, it will be apparent that the configuration of the browser user interface 12 or the browsing method may be modified in various forms.
그러면, 이와 같은 멀티미디어 데이터의 검색 및 브라우징 시스템에서 멀티미디어 데이터를 브라우징하는 방법을 살펴보기로 한다.Next, a method of browsing multimedia data in the multimedia data searching and browsing system will be described.
첫째, 브라우저 사용자 인터페이스(12)의 메인 메뉴(61)를 이용하여 기술정보 파일(Description File)을 오픈하고 오픈된 기술정보를 이용하여 하나의 컨텐츠에 대한 멀티 레벨 하이라이트 뷰(Multi-Level Highlight View)를 할 수 있다. First, a description file is opened using the main menu 61 of the browser user interface 12, and a multi-level highlight view of one content is opened using the opened description information. You can do
둘째, 현재 오픈된 기술정보 내에 존재하는 키워드/타이틀을 이용한 검색 및 브라우징을 수행하는 경우와, 사용자가 정의한 검색어를 이용한 검색 및 브라우징을 수행하는 경우와, 또는 상기 썸네일 키프레임 뷰어(64)에서 MPEG7의 표준을 이용한 칼라기반의 키프레임 검색을 수행 하는 경우로 나눌 수 있다. 칼라 기반의 키프레임 검색을 수행하는 방법은 상기 썸네일 키프레임 뷰어(64)에서 임의의 키프레임을 선택하고 상기 칼라기반 키프레임 검색기(65)를 이용하여 현재 오픈된 기술정보 내에 존재하는 키프레임들 중에서 사용자가 지정한 칼라 특징과 개수 만큼의 유사한 키프레임을 검색하고 검색된 결과를 이용하여 사용자는 하이라이트 세그먼트를 브라우징할 수 있다. 키프레임 검색에 사용된 칼라 특징은 MPEG7 표준 중에서 대표 칼라 묘사자(Dominant Color Descriptor)와 칼라 구조 묘사자(Color Structure Descriptor)를 사용한다.Second, when searching and browsing using a keyword / title existing in the currently open technical information, searching and browsing using a user-defined search word, or when the thumbnail keyframe viewer 64 performs MPEG7. It can be divided into the case of performing color-based keyframe retrieval using the standard of. The method for performing a color-based keyframe search includes selecting keyframes in the thumbnail keyframe viewer 64 and keyframes existing in the currently open technical information using the color-based keyframe finder 65. The user can browse the highlight segment using the search results by searching for the number of similar keyframes and the number of color features designated by the user. The color feature used for keyframe retrieval uses a representative color descriptor and a color structure descriptor in the MPEG7 standard.
셋째, 기술정보 데이터 베이스(14)에서 질의어(Query)와 일치하는 세그먼트 검색 및 브라우징하는 경우로서, 이 경우는 기술정보 내에 존재하는 임의의 키워드 또는 타이틀을 선택하여 검색 및 브라우징을 하는 경우, 또는 사용자가 입력한 텍스트를 이용해서 상기 기술정보 데이터 베이스(14)에서 검색 및 브라우징하는 경우로 나눌 수 있으며, 두번째에서 설명한 바와 같이 상기 기술정보 데이터 베이스(14)에 있는 세그먼트들을 대상으로 칼라기반 키프레임 검색기(65)를 이용하여 칼라기반의 키프레임 검색을 하여 브라우징을 수행 할 수 있다.Third, when searching and browsing segments matching the query in the technical information database 14, in this case, selecting and searching for any keyword or title existing in the technical information and browsing, or user Can be divided into a case of searching and browsing in the technical information database 14 using the text inputted by the user. As described above, a color-based keyframe searcher is performed on segments in the technical information database 14. Using (65), browsing can be performed using color-based keyframe search.
이상의 설명에서와 같이 본 발명에 따른 멀티미디어 데이터 검색 및 브라우징 시스템에 의하면, 멀티미디어 데이터를 기술(Description)하는 기술정보를 샷 세그멘테이션 툴이나 텍스트 검출 툴을 이용하여 반자동으로 생성할 수 있으며, 멀티미디어 데이터 기술정보를 생성함에 있어서도 DDL(Description Definition Language)의 텍스트 파일 형태나 BiM(Binary for MPEG7)의 바이너리 형태로 생성함으로써, MPEG7 표준에 적합한 멀티미디어 데이터 기술정보를 자동적으로 생성할 수 있는 장점이 있다.As described above, according to the multimedia data search and browsing system according to the present invention, the technical information describing the multimedia data can be generated semi-automatically by using a shot segmentation tool or a text detection tool. Also, in generating the file, the data file format of the DDL (Description Definition Language) or the binary format of BiM (Binary for MPEG7) can be used to automatically generate multimedia data description information conforming to the MPEG7 standard.
또한, 본 발명에 따른 멀티미디어 데이터 검색 및 브라우징 시스템에 의하면, 멀티미디어 데이터 기술정보(DS: Description Scheme)를 기반으로 하여 멀티미디어 데이터를 검색 및 브라우징(browsing)할 수 있으며, 표시되는 칼라 기반의 키프레임 중에서 사용자가 지정한 칼라 특징과 개수 만큼의 유사한 키프레임을 검색하고 검색된 결과를 이용하여 하이라이트 세그먼트를 출력할 수 있는 장점이 있다.In addition, according to the multimedia data search and browsing system according to the present invention, the multimedia data can be searched and browsed based on the multimedia data description information (DS), and among the displayed color-based keyframes. The advantage is that the user can search for as many keyframes as the number of color features specified by the user and output the highlight segments using the search results.
도 1은 본 발명에 따른 멀티미디어 데이터의 기술정보 생성 시스템 및 브라우징 시스템의 구성을 나타낸 블록도.1 is a block diagram showing the configuration of a technology information generation system and a browsing system for multimedia data according to the present invention.
도 2는 본 발명에 따른 멀티미디어 데이터 기술정보 생성 시스템의 사용자 인터페이스의 한 예를 나타낸 도면.2 is a diagram illustrating an example of a user interface of a system for generating multimedia data description information according to the present invention;
도 3은 일반적인 MPEG7 표준에서의 계층적 요약 기술정보를 설명하기 위한 도면.3 is a diagram for describing hierarchical summary description information in a general MPEG7 standard.
도 4는 일반적인 샷 세그멘테이션을 이용한 계층적 요약 기술정보 생성을 설명하기 위한 도면.FIG. 4 is a diagram for explaining generation of hierarchical summary description information using general shot segmentation. FIG.
도 5는 일반적인 텍스트 검출을 이용한 계층적 요약 기술정보 생성을 설명하기 위한 도면.5 is a diagram for explaining generation of hierarchical summary description information using general text detection;
도 6은 본 발명에 따른 멀티미디어 검색 및 브라우징 시스템의 브라우저 사용자 인터페이스의 한 예를 나타낸 도면.6 illustrates an example of a browser user interface of a multimedia search and browsing system in accordance with the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
1... 기술정보 생성 시스템1. Technical information generation system
2... 기술정보 생성 사용자 인터페이스(DG UI)2. Technical information generation user interface (DG UI)
3, 11... DOM(Document Object Model) 메모리3, 11 ... Document Object Model (DOM) Memory
4... DDL(Description Definition Language) 라이터4.Description Definition Language (DDL) Writer
5... BiM(Binary format MPEG7) 인코더5 ... BiM (Binary format MPEG7) encoder
6, 9... DDL(Description Definition Language) 해석기6, 9 ... Description Definition Language (DDL) interpreter
7, 10... BiM(Binary format MPEG7) 디코더7, 10 ... BiM (Binary format MPEG7) decoder
8... 브라우징 시스템 8 ... Browsing System
12... 브라우저 사용자 인터페이스(Browser UI)12 ... Browser User Interface (Browser UI)
13... 기술정보 변환기 14... 기술정보 데이터 베이스13 ... Technical Information Converter 14 ... Technical Information Database
15... 질의 인터페이스 21... 멀티미디어 데이터 표시창15 ... Query Interface 21 ... Multimedia Data Display
22... 인덱스 파일 정보 표시창 23... 키프레임/이미지 파일 뷰어22 ... Index file information display window 23 ... Keyframe / image file viewer
24... 세그먼트 뷰어 25... 세그먼트 정보 입력부24 ... Segment Viewer 25 ... Segment information input
61... 메인 메뉴 62... 타이틀 플레이어61 ... Main Menu 62 ... Title Player
63... 하이라이트 세그먼트 검색기 64... 썸네일 키프레임 뷰어63 ... Highlight Segment Browser 64 ... Thumbnail Keyframe Viewer
65... 칼라기반 키프레임 검색기65 ... color-based keyframe finder
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0052235A KR100493635B1 (en) | 2002-08-31 | 2002-08-31 | Multimedia data searching and browsing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0052235A KR100493635B1 (en) | 2002-08-31 | 2002-08-31 | Multimedia data searching and browsing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040020603A KR20040020603A (en) | 2004-03-09 |
| KR100493635B1 true KR100493635B1 (en) | 2005-06-10 |
Family
ID=37325058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0052235A KR100493635B1 (en) | 2002-08-31 | 2002-08-31 | Multimedia data searching and browsing system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100493635B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014193161A1 (en) | 2013-05-28 | 2014-12-04 | 삼성전자 주식회사 | User interface method and device for searching for multimedia content |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080229204A1 (en) * | 2007-03-12 | 2008-09-18 | Brian David Johnson | Apparatus, System And Method For The Navigation Of Aggregated Content Using Skipping And Content Metadata |
| KR101580944B1 (en) * | 2014-06-11 | 2015-12-31 | (주)피엑스디 | Video play apparatus with search bar including event image and non-event image and operation method thereof |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000045600A1 (en) * | 1999-01-29 | 2000-08-03 | Mitsubishi Denki Kabushiki Kaisha | Method of image feature encoding and method of image search |
| KR20010087683A (en) * | 2000-03-08 | 2001-09-21 | 구자홍 | Video Browsing System With Synthetic Key Frame |
| WO2001090931A1 (en) * | 2000-05-24 | 2001-11-29 | Robert Bosch Gmbh | Method for a description of audio-visual data content in a multimedia environment |
| KR20020023063A (en) * | 2000-09-22 | 2002-03-28 | 구자홍 | A method and apparatus for video skimming using structural information of video contents |
| KR20030059403A (en) * | 2001-12-29 | 2003-07-10 | 엘지전자 주식회사 | Apparatus and method for searching of multimedia object based on server and client system |
-
2002
- 2002-08-31 KR KR10-2002-0052235A patent/KR100493635B1/en not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000045600A1 (en) * | 1999-01-29 | 2000-08-03 | Mitsubishi Denki Kabushiki Kaisha | Method of image feature encoding and method of image search |
| KR20010087683A (en) * | 2000-03-08 | 2001-09-21 | 구자홍 | Video Browsing System With Synthetic Key Frame |
| WO2001090931A1 (en) * | 2000-05-24 | 2001-11-29 | Robert Bosch Gmbh | Method for a description of audio-visual data content in a multimedia environment |
| KR20020023063A (en) * | 2000-09-22 | 2002-03-28 | 구자홍 | A method and apparatus for video skimming using structural information of video contents |
| KR20030059403A (en) * | 2001-12-29 | 2003-07-10 | 엘지전자 주식회사 | Apparatus and method for searching of multimedia object based on server and client system |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014193161A1 (en) | 2013-05-28 | 2014-12-04 | 삼성전자 주식회사 | User interface method and device for searching for multimedia content |
| KR20140139859A (en) * | 2013-05-28 | 2014-12-08 | 삼성전자주식회사 | Method and apparatus for user interface for multimedia content search |
| KR102161230B1 (en) | 2013-05-28 | 2020-09-29 | 삼성전자주식회사 | Method and apparatus for user interface for multimedia content search |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040020603A (en) | 2004-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100493674B1 (en) | Multimedia data searching and browsing system | |
| US6580437B1 (en) | System for organizing videos based on closed-caption information | |
| US5664227A (en) | System and method for skimming digital audio/video data | |
| JP5691289B2 (en) | Information processing apparatus, information processing method, and program | |
| Christel et al. | Adjustable filmstrips and skims as abstractions for a digital video library | |
| WO2012020667A1 (en) | Information processing device, information processing method, and program | |
| CN110442747A (en) | A kind of video abstraction generating method based on keyword | |
| CN110781328A (en) | Video generation method, system, device and storage medium based on voice recognition | |
| US20020059303A1 (en) | Multimedia data management system | |
| Toklu et al. | Videoabstract: a hybrid approach to generate semantically meaningful video summaries | |
| KR100451004B1 (en) | Apparatus and Method for Database Construction of News Video based on Closed Caption and Method of Content-based Retrieval/Serching It | |
| KR100493635B1 (en) | Multimedia data searching and browsing system | |
| Hauptmann et al. | Artificial intelligence techniques in the interface to a digital video library | |
| Haloi et al. | Unsupervised story segmentation and indexing of broadcast news video | |
| JP2006139382A (en) | Information processor, its control method, and program | |
| CN111339359B (en) | Sudoku-based video thumbnail automatic generation method | |
| Tran-Thuong et al. | Multimedia modeling using MPEG-7 for authoring multimedia integration | |
| Rehatschek et al. | Vizard-an innovative tool for video navigation, retrieval, annotation and editing | |
| Kim et al. | Multimodal approach for summarizing and indexing news video | |
| Adami et al. | The ToCAI description scheme for indexing and retrieval of multimedia documents | |
| JP2006085379A (en) | Information processor and its control method, and program | |
| Ngai et al. | XVIP: an XML-based video information processing system | |
| Azaiez et al. | An approach of a semantic annotation and thematisation of AV documents | |
| Hanjalic et al. | Indexing and retrieval of TV broadcast news using DANCERS | |
| Rehatschek et al. | An innovative system for formulating complex, combined content-based and keyword-based queries |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20090331 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |