KR100319452B1 - Video Browsing for Content-Based Search - Google Patents

Video Browsing for Content-Based Search Download PDF

Info

Publication number
KR100319452B1
KR100319452B1 KR1019980051090A KR19980051090A KR100319452B1 KR 100319452 B1 KR100319452 B1 KR 100319452B1 KR 1019980051090 A KR1019980051090 A KR 1019980051090A KR 19980051090 A KR19980051090 A KR 19980051090A KR 100319452 B1 KR100319452 B1 KR 100319452B1
Authority
KR
South Korea
Prior art keywords
content
video
video data
information
representative
Prior art date
Application number
KR1019980051090A
Other languages
Korean (ko)
Other versions
KR20000033995A (en
Inventor
김경일
정영은
Original Assignee
오길록
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오길록, 한국전자통신연구원 filed Critical 오길록
Priority to KR1019980051090A priority Critical patent/KR100319452B1/en
Publication of KR20000033995A publication Critical patent/KR20000033995A/en
Application granted granted Critical
Publication of KR100319452B1 publication Critical patent/KR100319452B1/en

Links

Abstract

본 발명은 동영상 데이터의 브라이저에 관한 것으로서, 특히 동영상 데이터들의 특성을 잘 반영하는 사용자 인터페이스를 제공하고 검색된 동영상 데이터들을 구조적으로 표현하는 내용기반 검색을 위한 동영상 브라우징 시스템 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a browser for video data, and more particularly, to a video browsing system and method for content-based search that provides a user interface that reflects characteristics of video data well and structurally expresses searched video data.

이러한 본 발명은, 내용기반 검색이 가능한 아이템을 정의하고 그 아이템을 정적 아이템과 동적 아이템으로 구분하여 내용기반 검색 사용자 인터페이스를 제공하는 내용기반 질의 브라우저와, 사용자나 관리자가 검색할 가능성이 많은 형태를 갖는 이미지, 모양, 질감 등을 파일 형태로 만들어 데이터베이스에 등록하는 이미지 피처 정보 등록수단, 상기 내용기반 질의 브라우저를 통해 입력되는 정보를 통해 데이터베이스를 엑세스하여 동영상 데이터의 대표 정보를 브라우징하는 동영상 대표정보 브라우저, 및 상기 동영상 대표정보 브라우저를 통해 사용자에 의해 선택된 대표 정보를 통해 데이터베이스를 엑세스하여 동영상 데이터의 구조 정보를 브라우징하는 동영상 구조정보 브라우저를 포함한 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 시스템을 제공한다.The present invention defines a content-based searchable item, divides the item into static items and dynamic items, and provides a content-based query browser that provides a content-based search user interface, and a form in which a user or an administrator is likely to search. Image feature information registration means for registering the image, shape, texture, etc. to have in the form of a file in the database, and the representative video browser for browsing the representative information of the video data by accessing the database through the information input through the content-based query browser And a video structure information browser which accesses a database through the representative information selected by the user through the video representative information browser to browse the structure information of the video data. Provide a browsing system.

Description

내용기반 검색을 위한 동영상 브라우징 방법Video Browsing Method for Content-based Search

본 발명은 동영상 데이터의 브라이저에 관한 것으로서, 특히 동영상 데이터들의 특성을 잘 반영하는 사용자 인터페이스를 제공하고 검색된 동영상 데이터들을 구조적으로 표현하는 내용기반 검색을 위한 동영상 브라우징 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a browser for video data, and more particularly, to a video browsing method for content-based search that provides a user interface that reflects characteristics of video data well and structurally expresses searched video data.

종래의 동영상 데이터의 브라우저는 사용자나 관리자가 동영상에 대한 주석을 텍스트 형태로 입력하여 저장하고, 그 주석에 의해 동영상 정보를 찾아오는 방법을 주로 사용하였다. 따라서, 사용자나 관리자가 동영상 데이터를 보면서 해당정보를 일일이 타이핑하여 저장하여야 하고 검색 시에도 이 주석을 이용하여 검색함으로써 주석을 만드는데 많은 시간과 노력을 들여야 했다. 또한, 이러한 동영상 정보를 텍스트로 표현해야 했기 때문에 동영상 정보를 충분히 표현할 수 없는 문제점이 있었다.In the conventional video data browser, a user or an administrator inputs and stores a comment about a video in a text form, and mainly uses a method of retrieving video information by the comment. Therefore, users or administrators have to type and store the corresponding information while watching the video data, and have to spend a lot of time and effort in making the annotation by searching using this annotation even when searching. In addition, since such video information had to be expressed in text, there was a problem that the video information could not be sufficiently represented.

따라서, 본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 멀티미디어 동영상 데이터를 내용에 기반한 검색이 가능하도록 하고, 사용자가 사용하기 쉽고 직관적으로 이해가 가능하도록 하며, 사용자의 편의성을 도모하고 검색 효율을 극대화할 수 있는 내용기반 검색을 위한 동영상 브라우징 방법을 제공하는 데 그 목적이 있다.Accordingly, the present invention has been made to solve the problems of the prior art as described above, the multimedia video data can be searched based on the content, the user is easy to use and intuitively understood, and the user's convenience Its purpose is to provide a video browsing method for content-based retrieval that can promote and maximize search efficiency.

도 1은 본 발명의 한 실시예에 따른 내용기반 검색을 위한 동영상 브라우징 시스템의 구성도,1 is a block diagram of a video browsing system for content-based search according to an embodiment of the present invention;

도 2는 본 발명의 한 실시예에 따른 이미지, 모양, 질감 정보를 선택하기 위한 사용자 인터페이스 구성도,2 is a diagram illustrating a user interface for selecting image, shape, and texture information according to an embodiment of the present invention;

도 3은 본 발명의 한 실시예에 따른 색상 정보를 선택하기 위한 사용자 인터페이스 구성도,3 is a diagram illustrating a user interface for selecting color information according to an embodiment of the present invention;

도 4는 본 발명의 한 실시예에 따른 오브젝트의 움직임 정보를 선택하기 위한 사용자 인터페이스 구성도,4 is a configuration diagram of a user interface for selecting motion information of an object according to an embodiment of the present invention;

도 5는 본 발명의 한 실시예에 따른 카메라의 움직임 정보를 선택하기 위한 사용자 인터페이스 구성도,5 is a configuration diagram of a user interface for selecting motion information of a camera according to an embodiment of the present invention;

도 6은 본 발명의 한 실시예에 따른 인물 수 정보를 선택하기 위한 사용자 인터페이스 구성도,6 is a diagram illustrating a user interface for selecting person number information according to an embodiment of the present invention;

도 7은 본 발명의 한 실시예에 따른 동영상 데이터의 대표 정보를 디스플레이하기 위한 일 예시도,7 is an exemplary diagram for displaying representative information of video data according to an embodiment of the present invention;

도 8은 본 발명의 한 실시예에 따른 동영상 데이터의 구조 정보를 디스플레이하기 위한 일 예시도이다.8 is an exemplary diagram for displaying structure information of video data according to an embodiment of the present invention.

* 도면의 주요부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

11 : 내용기반 질의 브라우저11: Content-based Query Browser

12 : 동영상 데이터베이스12: video database

13 : 이미지 피쳐 정보 등록수단13: image feature information registration means

14 : 동영상 대표정보 브라우저14: Video representative information browser

15 : 동영상 구조정보 브라우저15: Video structure information browser

상기한 목적을 달성하기 위하여 본 발명의 내용기반 검색을 위한 동영상 브라우징 방법은, 멀티미디어 동영상 데이터가 갖는 여러 가지 특성을 입력할 수 있도록 내용기반 검색 아이템을 포함하는 사용자 인터페이스를 제공하는 제1단계와,In order to achieve the above object, a video browsing method for content-based search of the present invention includes a first step of providing a user interface including a content-based search item to input various characteristics of multimedia video data;

상기 제1단계를 통해 각 내용기반 검색 아이템 별로 입력되는 동영상 데이터의 특성을 이용하여 데이터베이스를 엑세스하여 동영상 데이터의 대표 정보를 표시하는 제2단계, 및A second step of displaying a representative information of the video data by accessing a database using the characteristics of the video data inputted for each content-based search item through the first step; and

상기 제2단계를 통해 사용자에 의해 선택된 대표 정보를 이용하여 데이터베이스를 엑세스하여 상기 대표 정보와 매핑되는 동영상의 구조 정보를 표시하는 제3단계를 포함한 것을 특징으로 한다.And a third step of displaying structure information of a video mapped with the representative information by accessing a database using the representative information selected by the user through the second step.

또한, 본 발명은, 컴퓨터에,In addition, the present invention, in a computer,

멀티미디어 동영상 데이터가 갖는 이미지, 모양, 질감 및 색상 등의 정적 이미지 아이템이 포함된 사용자 인터페이스를 제공하는 제1단계와,A first step of providing a user interface including static image items such as images, shapes, textures, and colors of the multimedia video data;

상기 멀티미디어 동영상 데이터가 갖는 특정 프레임 사이에서의 특정 오브젝트 및 카메라의 시간적/공간적 특성 등의 동적 이미지 아이템이 포함된 사용자 인터페이스를 제공하는 제2단계,Providing a user interface including a dynamic image item such as a temporal / spatial characteristic of a camera and a specific object between specific frames of the multimedia video data;

상기 제1단계와 제2단계를 통해 각 아이템 별로 입력되는 동영상 데이터의 특성을 이용하여 데이터베이스를 엑세스하여, 동영상 데이터의 대표 프레임을 유사도 순서대로 표시하는 제3단계, 및A third step of accessing a database by using characteristics of the video data input for each item through the first and second steps, and displaying representative frames of the video data in order of similarity; and

상기 동영상 데이터의 대표 프레임 중 사용자에 의해 선택된 대표 프레임을 이용하여 데이터베이스를 엑세스하여, 상기 대표 프레임이 포함된 비디오, 시퀀스, 씬, 샷의 첫 프레임을 구조적으로 표시하는 제4단계를 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 제공한다.A program for executing a fourth step of accessing a database using a representative frame selected by a user among the representative frames of the moving picture data and structurally displaying the first frame of a video, a sequence, a scene, and a shot including the representative frame. The recorded computer readable recording medium is provided.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 한 실시예에 따른 내용기반 검색을 위한 동영상 브라우징 시스템의 구성도이고, 도 2는 본 발명의 한 실시예에 따른 이미지, 모양, 질감 정보를 선택하기 위한 사용자 인터페이스 구성도이며, 도 3은 본 발명의 한 실시예에 따른 색상 정보를 선택하기 위한 사용자 인터페이스 구성도이고, 도 4는 본 발명의 한 실시예에 따른 오브젝트의 움직임 정보를 선택하기 위한 사용자 인터페이스 구성도이며, 도 5는 본 발명의 한 실시예에 따른 카메라의 움직임 정보를 선택하기 위한 사용자 인터페이스 구성도이고, 도 6은 본 발명의 한 실시예에 따른 인물 수 정보를 선택하기 위한 사용자 인터페이스 구성도이며, 도 7은 본 발명의 한 실시예에 따른 동영상 데이터의 대표 정보를 디스플레이하기 위한 일 예시도이고, 도 8은 본 발명의 한 실시예에 따른 동영상 데이터의 구조 정보를 디스플레이하기 위한 일 예시도이다.1 is a configuration diagram of a video browsing system for content-based searching according to an embodiment of the present invention, and FIG. 2 is a configuration diagram of a user interface for selecting image, shape, and texture information according to an embodiment of the present invention. 3 is a diagram illustrating a user interface for selecting color information according to an embodiment of the present invention, and FIG. 4 is a diagram illustrating a user interface for selecting motion information of an object according to an embodiment of the present invention. 5 is a diagram illustrating a user interface for selecting motion information of a camera according to an embodiment of the present invention, FIG. 6 is a diagram illustrating a user interface for selecting person number information according to an embodiment of the present invention, and FIG. 7. Is an exemplary diagram for displaying representative information of video data according to an embodiment of the present invention, and FIG. 8 is an embodiment of the present invention. FIG. 1 is an exemplary diagram for displaying structure information of moving image data. FIG.

도 1을 참조하면, 동영상 브라우징 시스템은, 내용기반 검색이 가능한 아이템을 정의하고 그 아이템을 정적 아이템과 동적 아이템으로 구분하여 내용기반 검색 사용자 인터페이스를 제공하는 내용기반 질의 브라우저(11)와, 사용자나 관리자가 검색할 가능성이 많은 형태를 갖는 이미지, 모양, 질감 등을 파일 형태로 만들어 데이터베이스(12)에 등록하는 이미지 피처 정보 등록수단(13)과, 상기 내용기반 질의 브라우저를 통해 입력되는 정보를 통해 데이터베이스를 엑세스하여 동영상 데이터의 대표 정보를 브라우징하는 동영상 대표정보 브라우저(14), 및 상기 동영상 대표정보 브라우저를 통해 사용자에 의해 선택된 대표 정보를 통해 데이터베이스를 엑세스하여 동영상 데이터의 구조 정보를 브라우징하는 동영상 구조정보 브라우저 (15)로 구성된다.Referring to FIG. 1, a video browsing system includes a content-based query browser 11 that defines a content-based searchable item and divides the item into static and dynamic items to provide a content-based search user interface. Image feature information registration means 13 for creating an image, a shape, a texture, etc. having a form that a manager has a high possibility of searching in a file form and registering it in the database 12, and information input through the content-based query browser. A video representative information browser 14 for accessing a database to browse representative information of the video data, and a video structure for browsing the structural information of the video data by accessing the database through the representative information selected by the user through the video representative information browser. It consists of an information browser 15.

본 발명에서, 동영상 데이터의 내용기반 검색을 하기 위해 먼저 사용자나 관리자가 검색할 가능성이 높은 이미지, 질감, 모양 등을 미리 등록해 두어야 하는데, 그 기능을 갖는 것이 이미지 피처 정보 등록수단(13)이다. 이 이미지 피처 정보 등록수단(13)은 대표될 수 있는 즉, 사용자나 혹은 관리자가 검색할 가능성이 많은 형태를 갖는 이미지, 모양, 질감 등을 시스템 요구 사항에 맞는 형태로 가공하여 파일 형태로 만들어 미리 데이터베이스(12)에 등록한다. 이러한 기능은 새로운 형태의 정보를 만들어 등록을 하거나, 이미 등록되어 있는 정보를 삭제하기가 쉽도록 구성된다.In the present invention, in order to perform content-based retrieval of moving image data, first, an image, texture, shape, etc., which are likely to be searched by a user or an administrator, must be registered in advance, and the image feature information registration means 13 having the function is provided. . The image feature information registration means 13 can be represented in advance in the form of a file by processing an image, a shape, a texture, etc., which can be represented, that is, a user or an administrator has a high possibility of searching, into a file form. It registers in the database 12. These functions are designed to make it easy to create new types of information and to register or delete already registered information.

이와 같이 이미지 피처 정보 등록수단이 동영상 데이터의 이미지, 모양, 질감 등의 내용이 데이터베이스에 등록된 상태에서, 내용기반 질의 브라우저는 도 2와 같은 사용자 인터페이스를 디스플레이한다. 이 사용자 인터페이스에서 사용자가 이미지 선택단자(21), 모양 선택단자(22), 질감 선택단자(23) 등을 통해 각 아이템을 선택하면, 주 디스플레이부(24)에는 각종 이미지, 모양, 질감이 디스플레이되어 사용자가 임의의 화면을 선택할 수 있도록 해준다. 이때, 사용자에 의해 선택된 이미지는 이미지 표시면(25)에, 모양은 모양 표시면(26)에, 질감은 질감 표시면(27)에 각각 표시되어, 사용자는 자신이 선택한 이미지, 모양, 질감 등을 인지할 수 있게 된다.As described above, while the image feature information registration means registers the image, shape, texture, and the like of the moving image data in the database, the content-based query browser displays the user interface shown in FIG. 2. When the user selects each item through the image selection terminal 21, the shape selection terminal 22, the texture selection terminal 23, and the like in the user interface, the main display unit 24 displays various images, shapes, and textures. This allows the user to select an arbitrary screen. In this case, the image selected by the user is displayed on the image display surface 25, the shape is displayed on the shape display surface 26, and the texture is displayed on the texture display surface 27, respectively. Can be recognized.

도 3은 색상 정보를 선택하기 위한 사용자 인터페이스의 구성도로서, 색상 선택단자(31)가 선택되면, 윈도우 프로그램에서 지원하는 컬러 팔레트(32)가 디스플레이되고, 사용자는 컬러 팔레트를 통해 쉽게 색상을 선택하게 된다. 여기서, 사용자는 검색하고자 하는 색상 정보를 여러 개 선택할 수 있으며, 선택된 색상은 색상 표시부(33)에 표시된다.3 is a configuration diagram of a user interface for selecting color information. When the color selection terminal 31 is selected, the color palette 32 supported by the window program is displayed, and the user can easily select a color through the color palette. Done. Here, the user may select a plurality of color information to search, and the selected color is displayed on the color display unit 33.

도 4는 의미있는 정보로 분할된 특정 프레임에 적용되는 오브젝트의 움직임 정보를 선택하기 위한 사용자 인터페이스의 구성도로서, 움직임 선택단자(41)가 선택되면 특정 오브젝트의 움직임 정보를 방위 선택기(42)와 빠르기 선택기(43)를 이용하여 선택한다. 방위 선택기(42)에서는 전체 8방위(동, 서, 남, 북, 북동, 북서, 남서, 남동) 중 특정 방향을 선택하도록 하고, 빠르기 선택기(43)는 슬라이더로 구성되어 아날로그적으로 빠르기를 선택한다. 이와 같이 선택된 오브젝트의 움직임 방위는 움직임 표시기(44)에 표시되고, 빠르기는 수치화되어 빠르기 표시기 (45)에 표시된다.FIG. 4 is a block diagram of a user interface for selecting motion information of an object applied to a specific frame divided into meaningful information. When the motion selection terminal 41 is selected, the motion information of the specific object is compared with the direction selector 42. The selection is made using the speed selector 43. The azimuth selector 42 selects a specific direction from all eight directions (east, west, south, north, northeast, northwest, southwest, southeast), and the speed selector 43 is configured with a slider to select analog speed. do. The motion orientation of the object selected in this way is displayed on the motion indicator 44, and the speed is digitized and displayed on the speed indicator 45. FIG.

도 5는 특정 프레임의 카메라의 움직임 정보를 선택하기 위한 사용자 인터페이스의 구성도로서, 특정 프레임 내에서의 카메라의 움직임 정보를 선택하기 위하여, 카메라 선택단자(51)를 선택하고, 줌 인(ZOOM IN) 단자(52), 줌 아웃(ZOOM OUT) 단자(53), 정지(STOP) 단자(54), 왼쪽(LEFT) 단자(55), 오른쪽(RIGHT) 단자 (56), 위(UP) 단자(57), 아래(DOWN) 단자(58) 중 하나를 선택하도록 한다. 이와 같이 선택된 카메라의 움직임 정보는 아래의 카메라 움직임 표시기(59)에 표시된다.5 is a configuration diagram of a user interface for selecting camera motion information of a specific frame. In order to select camera motion information within a specific frame, the camera selection terminal 51 is selected and zoom in is performed. ) Terminal 52, Zoom Out terminal 53, Stop terminal 54, Left terminal 55, Right terminal 56, UP terminal 57), one of the DOWN terminals 58 is selected. The motion information of the selected camera is displayed on the camera motion indicator 59 below.

도 6은 이미지 내의 등장 인물이 한 명, 두 명 또는 다수의 사람들인 지를 선택하도록 하기 위한 사용자 인터페이스의 구성도이다. 인물수 선택단자(61)를 선택하고, 1명 단자(62), 2명 단자(63), 또는 다수 단자(64)를 선택하면, 선택된 사항이 인물수 표시기(65)에 표시된다.6 is a block diagram of a user interface for selecting whether a person in an image is one, two, or multiple people. When the number of people selection terminal 61 is selected and one person terminal 62, two person terminals 63, or a plurality of terminals 64 are selected, the selected item is displayed on the person number display 65.

도 7은 본 발명에 따른 동영상 데이터의 대표 정보를 표시하는 화면을 도시한다. 동영상 대표정보 브라우저(14)는 사용자가 내용기반 질의 브라우저(11)를 통해 상기와 같이 선택한 정보를 사용하여 검색을 실행하는데, 동영상 대표정보 브라우저는 그 정보에 근거하여 데이터베이스에 저장된 대표 프레임을 화면(72)에 출력한다. 이와 같이 대표 프레임들이 화면(72)에 디스플레이되는 동안에는 대표정보 단자(71)가 활성화되고, 샷 단자(73)는 비활성화된다.7 illustrates a screen displaying representative information of video data according to the present invention. The video representative information browser 14 executes a search using the information selected by the user through the content-based query browser 11 as described above. The video representative information browser displays the representative frame stored in the database based on the information. Output to 72). As such, while the representative frames are displayed on the screen 72, the representative information terminal 71 is activated and the shot terminal 73 is deactivated.

또한, 화면(72)에 출력되는 대표 프레임들은 입력되는 정보와 비교하여 유사성이 높은 순서대로 차례로 화면에 표시된다. 하단에 표시되는 요약정보 및 상세 정보(74)는 선택된 대표 프레임에 대한 메타데이터 정보를 표현하는데, 여기에서보다 상세한 정보를 볼 수 있게 된다.In addition, the representative frames output on the screen 72 are displayed on the screen in order of high similarity compared to the input information. The summary information and the detailed information 74 displayed at the bottom represent metadata information on the selected representative frame, where more detailed information can be viewed.

하나의 대표 프레임이 선택되면, 도 8에 도시된 바와 같은 구조 정보가 디스플레이된다. 즉, 동영상 구조정보 브라우저(15)는 내용기반 질의에 의해 화면에 출력된 대표 프레임들 중 하나의 특정 대표 프레임이 선택되면, 그 대표 프레임이 포함된 비디오의 첫 프레임을 비디오 표시기(81)에 표시하고, 대표 프레임이 포함된 시퀀스(sequence)의 첫 프레임을 스퀀스 표시기(82)에 표시하며, 상기 대표 프레임이 포함된 씬(scene)의 첫 프레임을 씬 표시기(83)에 각각 표시한다.If one representative frame is selected, the structure information as shown in FIG. 8 is displayed. That is, the video structure information browser 15 displays the first frame of the video including the representative frame on the video display 81 when one specific representative frame among the representative frames output on the screen is selected by the content-based query. The first frame of the sequence including the representative frame is displayed on the sequence indicator 82, and the first frame of the scene including the representative frame is displayed on the scene indicator 83, respectively.

또한, 상기 대표 프레임이 포함된 샷(shot)의 첫 프레임을 도 7의 화면(72)에 각각 표시한다. 이와 같이 샷 정보가 디스플레이되는 동안에 대표정보 단자 (71)는 비활성화되고 샷 단자는 활성화된다.Also, the first frame of the shot including the representative frame is displayed on the screen 72 of FIG. 7. As such, while the shot information is displayed, the representative information terminal 71 is deactivated and the shot terminal is activated.

이와 같이 디스플레이되는 샷 프레임들 중 하나의 샷 프레임을 선택하면 해당되는 비디오 동영상 데이터가 디스플레이된다.When one shot frame is selected from the shot frames displayed as described above, corresponding video video data is displayed.

이상과 같이 본 발명에 의하면, 이미지를 기반으로 하는 동영상 데이터들의 검색이 가능하며, 특정 오브젝트들 및 카메라에 관한 시/공간적인 특성을 반영한 검색이 가능하기 때문에 향후 많이 쓰이게 될 멀티미디어 데이터의 핵심이 되는 동영상 데이터들을 내용에 기반해서 검색하는 인터페이스에 효율적으로 사용될 수 있는 효과가 있다.As described above, according to the present invention, it is possible to search for video data based on an image, and to search for reflecting spatio-temporal characteristics of specific objects and cameras, thereby becoming a core of multimedia data that will be widely used in the future. There is an effect that can be efficiently used in the interface for searching video data based on the content.

Claims (11)

멀티미디어 동영상 데이터가 갖는 여러 가지 특성을 입력할 수 있도록 내용기반 검색 아이템을 포함하는 사용자 인터페이스를 제공하는 제1단계와,A first step of providing a user interface including a content-based search item to input various characteristics of multimedia video data; 상기 제1단계를 통해 각 내용기반 검색 아이템 별로 입력되는 동영상 데이터의 특성을 이용하여 데이터베이스를 엑세스하여 동영상 데이터의 대표 정보를 표시하는 제2단계, 및A second step of displaying a representative information of the video data by accessing a database using the characteristics of the video data inputted for each content-based search item through the first step; and 상기 제2단계를 통해 사용자에 의해 선택된 대표 정보를 이용하여 데이터베이스를 엑세스하여 상기 대표 정보와 매핑되는 동영상의 구조 정보를 표시하는 제3단계를 포함한 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 방법.And a third step of displaying a structure information of a video mapped to the representative information by accessing a database using the representative information selected by the user through the second step. 제1항에 있어서, 상기 제1단계의 내용기반 검색 아이템은,The content-based search item of claim 1, wherein 동영상 데이터의 이미지, 모양, 질감 및 색상 등의 정적 이미지 아이템을 포함하는 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 방법.A video browsing method for content-based retrieval, comprising static image items such as image, shape, texture and color of video data. 제2항에 있어서, 상기 색상 아이템은,The method of claim 2, wherein the color item, 윈도우 프로그램에서 지원하는 컬러팔레트를 디스플레이하고, 사용자가 복수개의 색상을 선택할 수 있도록 디스플레이되는 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 방법.A video browsing method for content-based retrieval, characterized by displaying a color palette supported by a Windows program and being displayed to allow a user to select a plurality of colors. 제1항에 있어서, 상기 제1단계의 내용기반 검색 아이템은,The content-based search item of claim 1, wherein 동영상 데이터 내의 특정 프레임 사이에서의 특정 오브젝트 및 카메라의 시간적/공간적 특성 등의 동적 이미지 아이템을 포함하는 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 방법.And dynamic image items such as specific objects and temporal / spatial characteristics of cameras between specific frames in the video data. 제4항에 있어서, 상기 특정 오브젝터의 움직임 정보는 8방위(동, 서, 남, 북, 북동, 북서, 남동, 남서)로 구분하여 입력하고, 빠르기(느림, 중간, 빠름)는 슬라이더를 이용하여 입력하는 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 방법.The method of claim 4, wherein the motion information of the specific object is divided into eight directions (east, west, south, north, northeast, northwest, southeast, southwest), and the speed (slow, middle, and fast) is a slider. A video browsing method for content-based search, characterized in that the input using. 제4항에 있어서, 상기 카메라의 움직임 정보는 7가지 상태(ZOOM IN, ZOOM OUT, STOP, LEFT, RIGHT, UP, DOWN)로 구분하여 입력하는 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 방법.The method of claim 4, wherein the motion information of the camera is input in seven states (ZOOM IN, ZOOM OUT, STOP, LEFT, RIGHT, UP, DOWN). 제1항에 있어서, 상기 제1단계의 내용기반 검색 아이템은,The content-based search item of claim 1, wherein 동영상 데이터 내의 등장인물의 수 입력을 포함하는 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 방법.A video browsing method for content-based searching, comprising inputting the number of characters in the video data. 제1항에 있어서, 상기 제2단계에서,The method of claim 1, wherein in the second step, 동영상의 대표 정보를 대표 프레임으로 표시하는 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 방법.A video browsing method for content-based searching, characterized by displaying the representative information of the video in a representative frame. 제8항에 있어서, 상기 제1단계를 통해 입력되는 내용기반 검색 아이템에 의해 계산된 유사도에 따라 검색 결과가 순서화되는 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 방법.10. The method of claim 8, wherein the search results are ordered according to the similarity calculated by the content-based search item input through the first step. 제1항에 있어서, 제3단계는,The method of claim 1, wherein the third step is 선택된 대표 정보에 따라, 상기 대표 정보가 포함된 비디오의 첫 프레임, 상기 대표 정보가 포함된 시퀀스(sequence)의 첫 프레임, 상기 대표 정보가 포함된 씬(scene)의 첫 프레임, 상기 대표 정보가 포함된 샷(shot)의 첫 프레임을 구조적으로 표시하는 단계인 것을 특징으로 하는 내용기반 검색을 위한 동영상 브라우징 방법.The first frame of the video including the representative information, the first frame of the sequence including the representative information, the first frame of the scene including the representative information, and the representative information according to the selected representative information. And a step of structurally displaying the first frame of the shot. 컴퓨터에,On your computer, 멀티미디어 동영상 데이터가 갖는 이미지, 모양, 질감 및 색상 등의 정적 이미지 아이템이 포함된 사용자 인터페이스를 제공하는 제1단계와,A first step of providing a user interface including static image items such as images, shapes, textures, and colors of the multimedia video data; 상기 멀티미디어 동영상 데이터가 갖는 특정 프레임 사이에서의 특정 오브젝트 및 카메라의 시간적/공간적 특성 등의 동적 이미지 아이템이 포함된 사용자 인터페이스를 제공하는 제2단계,Providing a user interface including a dynamic image item such as a temporal / spatial characteristic of a camera and a specific object between specific frames of the multimedia video data; 상기 제1단계와 제2단계를 통해 각 아이템 별로 입력되는 동영상 데이터의특성을 이용하여 데이터베이스를 엑세스하여, 동영상 데이터의 대표 프레임을 유사도 순서대로 표시하는 제3단계, 및A third step of accessing a database by using characteristics of the video data input for each item through the first and second steps, and displaying representative frames of the video data in order of similarity; and 상기 동영상 데이터의 대표 프레임 중 사용자에 의해 선택된 대표 프레임을 이용하여 데이터베이스를 엑세스하여, 상기 대표 프레임이 포함된 비디오, 시퀀스, 씬, 샷의 첫 프레임을 구조적으로 표시하는 제4단계를 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.A program for executing a fourth step of accessing a database using a representative frame selected by a user among the representative frames of the moving picture data and structurally displaying the first frame of a video, a sequence, a scene, and a shot including the representative frame. This recorded computer-readable recording medium.
KR1019980051090A 1998-11-26 1998-11-26 Video Browsing for Content-Based Search KR100319452B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980051090A KR100319452B1 (en) 1998-11-26 1998-11-26 Video Browsing for Content-Based Search

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980051090A KR100319452B1 (en) 1998-11-26 1998-11-26 Video Browsing for Content-Based Search

Publications (2)

Publication Number Publication Date
KR20000033995A KR20000033995A (en) 2000-06-15
KR100319452B1 true KR100319452B1 (en) 2002-04-22

Family

ID=19559943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980051090A KR100319452B1 (en) 1998-11-26 1998-11-26 Video Browsing for Content-Based Search

Country Status (1)

Country Link
KR (1) KR100319452B1 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100350787B1 (en) * 1999-09-22 2002-08-28 엘지전자 주식회사 Multimedia browser based on user profile having ordering preference of searching item of multimedia data
KR100411340B1 (en) * 2001-03-09 2003-12-18 엘지전자 주식회사 Video browsing system based on article of news video content
KR100518781B1 (en) * 2001-10-17 2005-10-06 한국과학기술원 The Devices and Methods for Hyper-rectangle Based Multidimensional Data Segmentation and Clustering
KR20030067135A (en) * 2002-02-07 2003-08-14 (주)지토 Internet broadcasting system using a content based automatic video parsing
KR20030067133A (en) * 2002-02-07 2003-08-14 (주)지토 Intelligent DVR system using a content based automatic video parsing
JP2008165424A (en) * 2006-12-27 2008-07-17 Sony Corp Image retrieval device and method, imaging device and program
KR100827294B1 (en) * 2007-01-29 2008-05-07 (주)누리봄 Apparatus and method for outputting mutimedia and education apparatus by using camera
KR100894016B1 (en) * 2007-08-14 2009-04-17 주식회사 케이티프리텔 System and method for providing motion picture searching service by object color information
KR100970121B1 (en) * 2009-12-24 2010-07-13 (주)올라웍스 Method, system, and computer-readable recording medium for performing image matching adaptively according to various conditions
KR102144978B1 (en) * 2018-10-19 2020-08-14 인하대학교 산학협력단 Customized image recommendation system using shot classification of images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980066997A (en) * 1997-01-30 1998-10-15 구자홍 Fast search method of image information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980066997A (en) * 1997-01-30 1998-10-15 구자홍 Fast search method of image information

Also Published As

Publication number Publication date
KR20000033995A (en) 2000-06-15

Similar Documents

Publication Publication Date Title
US8811775B1 (en) Visualizing digital images on a map
KR100357261B1 (en) Multimedia browser and structure to define and express the importance of a multimedia segment based on the semantic entities and the importance of a semantic entity based on the multimedia segments
Niblack et al. Updates to the QBIC system
US7475060B2 (en) Browsing user interface for a geo-coded media database
US8571329B2 (en) System and method for searching digital images
KR102222729B1 (en) Tagged search result maintenance
JP5990180B2 (en) Browsing related image search result sets
KR20070101336A (en) A user interface for browsing image
US20060256210A1 (en) Spatio-temporal graphical user interface for querying videos
EP1091586A2 (en) User profile information data structure based on user preference and multimedia data browsing system
US20030195901A1 (en) Database building method for multimedia contents
WO2009105307A1 (en) Search based on document associations
KR100319452B1 (en) Video Browsing for Content-Based Search
US6789088B1 (en) Multimedia description scheme having weight information and method for displaying multimedia
CN101107603A (en) User interface for image browse
US8131702B1 (en) Systems and methods for browsing historical content
Khanwalkar et al. Exploration of large image corpuses in virtual reality
JP2006099761A (en) Method for searching multimedia content
EP1267280A2 (en) Method and apparatus for populating, indexing and searching a non-html web content database
JP2004038699A (en) Device for retrieving image database
US20100153840A1 (en) Methods and systems for data record visualization on a computer user interface
JP4466174B2 (en) SEARCH DEVICE, SEARCH METHOD, AND PROGRAM
EP1162553A2 (en) Method and apparatus for indexing and searching for non-html web content
JP2000112856A (en) Web information display device, its display method, and recording medium recording program for executing the method
JPH10162010A (en) Method for displaying number of referencing times in document retrieval system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20071115

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee