KR100543605B1

KR100543605B1 - User interfaces for multimedia stream indexing and editing

Info

Publication number: KR100543605B1
Application number: KR1019980055634A
Authority: KR
Inventors: 전성배; 이희연
Original assignee: 엘지전자 주식회사
Priority date: 1998-12-17
Filing date: 1998-12-17
Publication date: 2006-05-22
Also published as: KR20000040088A

Abstract

본 발명은 멀티미디어 스트림의 인덱싱과 편집을 위한 사용자 인터페이스에 관한 것으로, 종래에는 멀티미디어 인덱싱에 있어 사용자의 반응시간을 고려하지 않아 일시정지를 요구한 시점과 실제로 정지된 시점은 차이가 발생되어 정확한 위치를 찾기가 어렵고, 또 재생 속도를 늦춘 다음 한 프레임씩 이동하여 프레임 위치를 찾을 경우 한 프레임씩 이동하는 시간에 대한 작업시간이 추가되므로 멀티미디어 스트림을 인덱싱 할 경우 작업의 효율성이 매우 떨어지게 되며, 편집작업에 있어서 하나의 스트림을 둘 이상의 스트림으로 나누거나 합치는 작업(Split/Merge) 에도 많은 시간이 걸리게 된다.The present invention relates to a user interface for the indexing and editing of a multimedia stream. In the related art, when a pause is requested and a point at which a pause is actually made, the user does not consider the response time of the multimedia index. If you find it difficult to find and slow down the playback speed, and then move frame by frame to find the frame position, the work time for moving frame by frame is added. Therefore, when the multimedia stream is indexed, the operation becomes very inefficient. As a result, splitting / merging a stream into two or more streams may take a long time.

본 발명은 상기한 문제를 해결하기 위하여, 멀티미디어 스트림을 디스플레이시켜 주고, 그 스트림에 대한 장면경계지점과 주변프레임 보기 기능 등을 조합하여 하나의 툴에 디스플레이하여 대부분의 주석작업을 빠른 시간안에 정확하게 할수 있도록 하고, 또 주석작업 후 틀린 주석들 또는 주석 작업이 안되는 대부분들에 대하여 수동작업을 하도록 하는 사용자 인터페이스를 제공함으로써, 멀티미디어 스트림의 편집작업과 인덱싱 작업에서 편집도구로서 사용될 수 있도록 한 것이다. In order to solve the above problem, the present invention displays a multimedia stream, and combines a scene boundary point and a peripheral frame view function for the stream in one tool to display most annotations quickly and accurately. By providing a user interface that allows manual work on the wrong annotations or most non-annotating comments after annotating, it can be used as an editing tool for editing and indexing multimedia streams.

Description

USER INTERFACES FOR MULTIMEDIA STREAM INDEXING AND EDITING}

본 발명은 멀티미디어 스트림에 있어서, 특히 장면경계 추출 알고리즘을 이용하여 얻은 프레임들과 사용자의 요구에 의해 편집된 장면경계 프레임들을 브라우징할수 있는 인터페이스와 현재 디스플레이되고 있는 또는 일시정지를 요구한 시점의 주변프레임들을 볼수 있도록 한 멀티미디어 스트림 인덱싱과 편집을 위한 사용자 인터페이스에 관한 것이다.The present invention provides a multimedia stream, in particular, an interface for browsing frames obtained by using a scene boundary extraction algorithm and scene boundary frames edited by a user's request, and a peripheral frame at the time of displaying or pausing the current display. A user interface for indexing and editing multimedia streams that can be viewed.

일반적으로, 내용기반 멀티미디어 검색 또는 필터링을 위하여 멀티미디어 스트림에 내용기반 주석(Annotation)이 포함되면 사용자는 멀티미디어 스트림에 대한 내용기반 질의를 하고, 이의 결과로 멀티미디어 스트림으로 부터 원하는 부분만을 선택하여 내용기반 데이터를 만드는 작업을 수행하게 된다.In general, when a content-based annotation is included in a multimedia stream for content-based multimedia search or filtering, the user makes a content-based query for the multimedia stream, and as a result, selects a desired portion from the multimedia stream and selects the content-based data. You will be working on creating a.

그리고, 멀티미디어 스트림의 내용데이타 추출방식으로는 자동검출 방식과 수동검출 방식이 있는 데, 자동검출 방식으로는 내용 데이터를 모두 검출할수 없으므로 수동작업을 병행(반자동 방식)하여 내용기반 주석작업을 하게 된다.In addition, the content data extraction method of the multimedia stream includes an automatic detection method and a manual detection method. However, since the automatic detection method cannot detect all of the content data, the content-based annotation work is performed in parallel (semi-automatic method). .

이러한 반자동 툴(Tool)로 적합한 방식으로는 키 프레임을 자동으로 추출하고, 이를 기반으로 각각의 키 프레임들에 주석을 수동으로 첨가하는 방식을 주로 사용하게 된다.As a semi-automatic tool, a suitable method is to automatically extract key frames and manually add annotations to the respective key frames.

그러나, 키 프레임들에 주석을 수동으로 첨가하려고 할 경우 프레임 단위의 정확한 주석작업을 기대하기가 어려우므로, 모든 프레임을 사용자가 볼수 있도록 제공하고 각각의 프레임들에 사용자로 하여금 주석을 첨가할수 있도록 하여 보다 정확한 주석작업을 위한 인터페이스를 구성하게 된다.However, it is difficult to expect accurate commenting on a frame-by-frame basis when attempting to annotate key frames manually, so that all frames are visible to the user and each user can annotate each frame. You will configure the interface for more accurate annotation.

일반적으로 멀티미디어 스트림이 연속성이라는 데이터의 특성을 가지고 있으므로 시간에 따라 장면이 변하더라도 인접한 프레임간에는 큰 변화가 없는 구간이 많아 스트림에 대한 주석 또한 연속성(전,후 프레임의 주석이 동일)을 가진다.In general, multimedia streams have a property of data called continuity, so even if the scene changes over time, there are many sections where there is no significant change between adjacent frames.

그러므로, 상기와 같이 모든 프레임을 사용자에게 제공하는 방식은 모든 프레임을 인덱싱 기본 데이터로 하므로 메모리나 저장공간에 너무 많은 프레임을 저장하게 되는 단점이 있다.Therefore, the method of providing all the frames to the user as described above has the disadvantage of storing too many frames in the memory or storage space because all the frames as the indexing basic data.

멀티미디어 스트림에 대한 주석이 일반적으로 등장하는 전경 또는 배경의 오디오-비쥬얼 오프젝트에 대한 기술, 오브젝트의 상태에 대한 기술등이 시간축 위에서 도 1과 같이 표현된다.The description of the audio-visual object in the foreground or background, the description of the state of the object, etc., in which the annotation on the multimedia stream generally appears, is represented as shown in FIG. 1 on the time axis.

도 1는 멀티미디어 스트림의 인덱싱 예로서, 스트림의 특성상 인접 프레임에는 대부분 같은 내용의 주석이 첨가되고 이러한 주석이 바뀌는 경계지점은 시간축(t) 상의 지점들인 s1,...,s6등으로 나타나며, 주석 1은 [s0,s1],[s2,s4],[s6,?], 주석 2는 [s1,s3],[s6,s7],....등으로 나타나게 된다.1 is an example of indexing a multimedia stream. Due to the characteristics of the stream, adjacent frames are mostly annotated with the same content, and the boundary where the annotation is changed is represented by s1, ..., s6, etc. on the time axis t. 1 represents [s0, s1], [s2, s4], [s6 ,?], and note 2 represents [s1, s3], [s6, s7], ...

따라서, 멀티미디어 인덱싱에서 장면변화 지점을 정확하게 찾기 위해 스트림에 대한 주석이 바뀌는 부분 즉, 스트림에서의 장면변화 부분을 찾기 위해 사용자가 비디오를 재생하면서 주석이 변경되는 시간 축 위에서의 지점들(s1,s2,....)을 찾아 논리적인 세그먼트의 시작지점과 종료지점을 지정하여 시작지점부터 종료지점까지 동일한 주석이 첨가되도록 한다.Therefore, in the multimedia indexing, the points on the time axis at which the annotation is changed while the user plays the video to find the portion of the stream where the annotation is changed, that is, the portion of the stream, are changed (s1, s2). , ....) to specify the start point and end point of the logical segment so that the same annotation is added from the start point to the end point.

장면변화 지점을 찾기 위한 수동작업시 사용자가 비디오 재생의 중간에 장면이 변화되었음을 감지하고 일시정지를 요구할 경우, 초당 수십 프레임이 디스플레이되는 멀티미디어 스트림상에서 사용자가 장면변화를 감지하고 일시정지를 요구하기까지의 시점은 수초가 걸리게 되며, 이때 지나간 프레임은 수십내지 수백의 프레임이 되므로 사용자가 원하는 프레임을 정확하게 찾기가 어렵다.If the user detects a scene change in the middle of the video playback and requests a pause during manual operation to find the scene change point, the user can detect the scene change and request a pause on the multimedia stream displaying tens of frames per second. The point of time takes a few seconds, and the past frame is dozens to hundreds of frames, so it is difficult to find the exact frame desired by the user.

그리고, 사용자가 원하는 프레임을 선택하기 위해서는 프레임의 속도를 늦추는 방식이 이용되는 데, 이는 사용자가 재생 속도를 늦추어 원하는 프레임 위치를 선택하는 것이나 상기 방식만으로는 정확한 프레임 위치를 선택할수 없으므로 별도로 한 프레임씩 이동하는 기능을 이용하여 선택하게 된다.In order to select a frame that the user wants, a method of slowing down the frame rate is used, which means that the user selects a desired frame position by slowing down the playback speed or moves the frames one by one because the above method cannot select the exact frame position. This function is used to select.

그러나, 사용자가 한 프레임씩 이동하는 시간 또한 전체 작업시간에 포함되므로 멀티미디어 인덱싱 작업의 효율을 떨어뜨리는 문제가 있다.However, since the user moves by one frame is also included in the overall work time, there is a problem of decreasing the efficiency of the multimedia indexing work.

그러므로, 상기한 바와같이 수동방식을 멀티미디어 스트림을 인덱싱할 경우 작업의 효율성이 매우 떨어지게 되며, 편집작업에 있어서 사용자는 하나의 스트림을 둘 이상의 스트림으로 나누거나 합치는 작업(split/merge)을 하는 경우에도 또한 상기한 바와같은 종래의 방식으로는 편집작업에 많은 시간과 불편함이 따르게 된다.Therefore, as described above, when indexing multimedia streams manually, the work efficiency becomes very low. In the editing operation, the user splits or merges one stream into two or more streams (split / merge). In addition, in the conventional manner as described above, the editing work is time-consuming and inconvenient.

상기한 문제를 해결하기 위하여 본 발명은 멀티미디어 스트림의 디스플레이를 제어하고, 그 스트림의 장면경계지점과 현재 디스플레이되는 프레임들의 주변프레임들을 볼수 있는 기능을 하나의 툴로 통합하여 디스플레이시켜 주고, 디스플레이되는 간격을 사용자가 조정할수 있도록 하는 한편, 사용자의 반응시간을 고려하여 이를 보상해 줄수 있는 사용자 인터페이스를 제공함으로써, 멀티미디어 스트림 인덱싱에 대해 정확하고 빠른 반자동 방식을 제공하고 편집작업의 도구에서도 사용될수 있도록 한 것이다.In order to solve the above problem, the present invention controls the display of a multimedia stream, integrates the function of viewing the scene boundary point of the stream and the surrounding frames of the currently displayed frames into a single tool, and displays the displayed intervals. By providing a user interface that can be adjusted by the user while compensating for the response time of the user, it provides an accurate and fast semi-automatic method for indexing multimedia streams and can be used in tools for editing.

본 발명 멀티미디어 스트림 인덱싱과 편집을 위한 사용자 인터페이스는 도 2에 도시된 바와같이, 비디오 신호원(10)으로부터 스트림을 재생하는 동시에, 사용자의 요구에 따른 주변 프레임들 또는 장면경계지점들에 상응하는 프레임들을 함께 제공하도록 제어하는 스트림 제어수단(20)과, 상기 스트림 제어수단(20)으로부터 제공되는 스트림 및 각 프레임들을 디스플레이하는 스트림 디스플레이수단(30)과, 상기 사용자 요구에 의해 생성되는 매개변수를 설정하는 매개변수 설정부(40)로 구성된다.The user interface for multimedia stream indexing and editing according to the present invention reproduces a stream from the video signal source 10, as shown in FIG. 2, and at the same time a frame corresponding to surrounding frames or scene boundaries according to a user's request. A stream control means 20 for controlling to provide the same together with the stream, a stream display means 30 for displaying the streams and the respective frames provided by the stream control means 20, and parameters generated by the user request. It is composed of a parameter setting unit 40 to.

그리고, 상기 스트림 제어수단(20)은 상기 스트림의 재생을 제어하는 스트림 디스플레이 제어부(21)와, 상기 사용자가 일시정지 후 주변프레임 보기를 요구할 경우 상기 스트림 상에서 현재프레임과 그 주변프레임들을 제공하는 주변프레임 디스플레이부(22)와, 상기 스트림 상에서 장면경계지점을 자동으로 또는 수동으로 찾아 그 경계가 되는 지점들에 상응하는 프레임들을 제공하는 장면경계지점 디스플레이부(23)로 구성된다.The stream control means 20 may further include a stream display control unit 21 for controlling the playback of the stream, and a periphery for providing the current frame and its neighboring frames on the stream when the user requests to view the neighboring frame after pausing. The frame display unit 22 and the scene boundary point display unit 23 which automatically or manually find the scene boundary point on the stream and provide the frames corresponding to the boundary points thereof.

상기 주변프레임 디스플레이부(22)는 상기 주변프레임 보기에 대한 요구에 응답하여 현재프레임과 그 주변프레임들을 제공하거나 또는 상기 사용자가 명시적으로 요구한 해당 프레임과 그 주변 프레임들을 제공하여 준다.The peripheral frame display unit 22 provides the current frame and its peripheral frames in response to a request for viewing the peripheral frame, or provides the corresponding frame and the peripheral frames explicitly requested by the user.

또한, 상기 주변프레임 디스플레이부는 현재프레임의 주변프레임들을 연속적으로 제공하는 선형적인 방법 또는 현재프레임 전,후의 프레임들을 사용자가 지정한 일정한 간격씩 제공하는 계층적인 방법 중 하나를 적용한다.In addition, the peripheral frame display unit applies one of a linear method of continuously providing peripheral frames of the current frame or a hierarchical method of providing frames before and after the current frame at a predetermined interval.

또한, 상기 주변프레임 디스플레이부는 상기 사용자가 지정한 간격에 따라 주변프레임들을 일정 간격씩 제공하여 준다.In addition, the peripheral frame display unit provides the peripheral frames at predetermined intervals according to the interval specified by the user.

상기 장면경계지점 디스플레이부(23)의 장면경계지점검출은 자동 또는 수동으로 그 경계지점을 찾되, 프레임간 이미지 특성차 분석 또는 오디오의 연속성과 단절성 분석, 화면의 겹침, 페이드인, 페이드아웃, 카메라 움직임 검출방식 등을 통한 자동검출 방식과, 그 경계지점이 잘못되었을 경우 수동검출 방식으로 검출하여 디스플레이시켜 주도록 한다.The scene boundary point detection of the scene boundary point display unit 23 automatically or manually finds the boundary point, and analyzes the image characteristic difference between the frames or analyzes the continuity and disconnection of the audio, overlapping the screen, fade in, fade out, and camera. The automatic detection method using a motion detection method and the like, and if the boundary point is wrong, the manual detection method is used to detect and display.

이러한 장면경계지점의 검출은 편집이나 인덱싱 작업 이전에 수행되는 것이 타당하다.It is reasonable to detect such scene boundary points before editing or indexing.

상기와 같이 구성되는 본 발명 멀티미디어 스트림 인덱싱과 편집을 위한 사용자 인터페이스에 대하여 첨부된 도면을 참조하여 설명하면 다음과 같다.Referring to the accompanying drawings, a user interface for indexing and editing a multimedia stream according to the present invention constructed as described above is as follows.

먼저, 스트림 제어수단(20)은 비디오 신호원(10)을 입력받아 그 스트림을 열거나(open) 닫는 기능, 정상적인 방향으로 또는 역방향으로 재생(빠르게, 정상속도, 느리게)을 제어하는 기능과, 스트림의 재생을 정지시키거나 일시정지시키는 기능과 지정한 임의의 위치로 건너 뛸수 있는 기능(jump)과, 한 프레임 전,후로 볼수 있는 기능을 기본적으로 제공하여 멀티미디어 스트림의 디스플레이를 제어하게 된다.First, the stream control means 20 receives a video signal source 10 to open or close the stream, and to control playback (fast, normal speed, slow) in the normal direction or in the reverse direction, It controls the display of multimedia streams by basically providing the function of stopping or pausing the stream, skipping to a designated position (jump), and viewing one frame before and after.

상기 스트림 제어수단(20)의 스트림 디스플레이 제어부(21)는 멀티미디어 스트림이 스트림 디스플레이수단(30)에 도 5의 (a)와 같이 디스플레이되도록 상기한 기본적 기능들을 이용하여 제어하게 된다.The stream display control unit 21 of the stream control unit 20 controls using the basic functions described above so that the multimedia stream is displayed on the stream display unit 30 as shown in FIG.

그리고, 스트림 제어수단(20)의 주변프레임 디스플레이부(22)는 사용자가 일시 정지를 요구한 후 그 주변프레임 보기를 요구할 경우, 현재 프레임위치의 전,후 프레임들을 제공한다.Then, the peripheral frame display unit 22 of the stream control means 20 provides the frames before and after the current frame position when the user requests the viewing of the peripheral frame after the pause is requested.

또한, 상기와 같은 주변프레임 보기는 사용자가 일시정지를 요구한 경우 바로 현재 프레임과 그 주변 프레임들을 제공하거나 또는 사용자가 특정 프레임의 주변프레임 보기를 명시적으로 요구할 경우 그 주변 프레임들을 제공하여 준다.In addition, such a peripheral frame view provides the current frame and its surrounding frames as soon as the user requests the pause, or provides the surrounding frames when the user explicitly requests to view the peripheral frame of a specific frame.

상기와 같은 주변프레임 보기 기능에 대하여 사용자가 디스플레이되는 주변 프레임들의 간격을 지정할수 있도록 한다. The peripheral frame viewing function as described above allows the user to specify the interval of the displayed peripheral frames.

그리고, 상기 주변프레임 보기는 선형방법(Linear Method)과 계층적인 방법(Hierachical Method)으로 제공해 주게 되는 데, 선형방법은 현재 프레임과 원하는 프레임(장면경계 프레임)간의 거리가 매우 짧은 경우 주로 사용되고, 상대적으로 긴 경우에는 주로 계층적인 방법을 사용하게 한다.The peripheral frame view is provided by a linear method and a hierarchical method. The linear method is mainly used when the distance between the current frame and the desired frame (scene boundary frame) is very short. In the long case, we usually use a hierarchical method.

주변프레임 보기의 선형방법은 현재 프레임의 전,후 프레임을 보여주는 것으로, 현재 프레임의 번호가 A일 때에(A-n,..,A-3,A-2,A-1,A1,A+1,A+2,A+3,..A+n) 등의 프레임을 연속적으로 한 스텝(step)씩 보여주는 것이다. The linear method of surrounding frame view shows the frame before and after the current frame. When the number of the current frame is A (An, .., A-3, A-2, A-1, A1, A + 1, A + 2, A + 3, ..A + n) and so on.

그리고, 계층적인 방법은 한 번에 보여줄 범위가 매우 큰 경우 첫 스텝에서 선형방법과 같이 현재 프레임의 전,후 프레임들을 사용자가 지정한 간격(step)으로 일정한 간격씩 보여주고, 이후에 다음 프레임들을 보여 주도록 하여 원하는 프레임을 사용자가 찾도록 한 것이다.When the range to be displayed is very large, the hierarchical method displays the frames before and after the current frame at regular intervals at a user-specified step like the linear method in the first step, and then shows the next frames afterwards. The user can find the desired frame.

즉, 상기 계층적인 방법은, 사용자가 여러 프레임중에서 도 3과 같이 시작 프레임(a)과 끝 프레임(b)을 지정할 경우 그(a~b) 사이에 있는 프레임들을 한 번에 디스플레이할수 있는 프레임의 수와 그 사이의 프레임의 수를 고려하여 일정간격(a'~b')으로 제공하여 주도록 함으로써, 사용자는 이진탐색(Binary Search)과 유사한 프레임 탐색을 하여 넓은 범위의 프레임들을 효율적으로 탐색함으로써, 원하는 프레임을 빠르게 찾을수 있도록 한다.That is, in the hierarchical method, when a user designates a start frame (a) and an end frame (b) among several frames as shown in FIG. By providing a predetermined interval (a 'to b') in consideration of the number and the number of frames in between, the user can search a wide range of frames efficiently by performing a frame search similar to the binary search (Binary Search), Quickly find the frame you want.

그러므로, 선형적인 방법과 계층적인 방법을 주변프레임 보기방식으로 디스플레이켜 주고 그 저장공간에 키 프레임등만을 저장하여 나머지 프레임들을 런타임에 캡쳐하게 된다. Therefore, the linear and hierarchical methods are displayed in the peripheral frame view and only the key frames are stored in the storage space to capture the remaining frames at runtime.

그리고, 주변프레임 보기의 간격은 매개변수 설정부(40)를 통해 사용자가 지정할수 있도록 하여 사용자가 원하는 정확한 위치를 프레임 단위로 접근하여 디스플레이되는 프레임들을 보면서 찾을수 있도록 한다.In addition, the interval of the peripheral frame view can be specified by the user through the parameter setting unit 40 so that the user can find and display the displayed frames by approaching the exact position desired by the frame unit.

즉, 도 5의 (b)에 도시된 바와같이, 주변프레임 디스플레이부(22)는 현재프레임(A1)을 선택할 경우 그 주변 프레임들(A1-7,A1-6,...,A1-1,A1,A1+1,..,A1+7,A1+8)을 함께 제공하여 준다. That is, as shown in (b) of FIG. 5, when the current frame A1 is selected, the peripheral frame display unit 22 selects the peripheral frames A1-7, A1-6, ..., A1-1. , A1, A1 + 1, .., A1 + 7, A1 + 8) are provided together.

여기서, 도 5의 (b)의 경우는 주변프레임 디스플레이부(22)에 디스플레이되는 프레임의 개수를 하나로 한 경우의 예이다.5B illustrates an example in which the number of frames displayed on the peripheral frame display unit 22 is one.

또한, 도 4와 같이 사용자가 장면변화를 감지하고 일시정지를 요구하는 시점까지는 시간적 편차가 발생하므로 사용자의 사용성(반응시간)을 주변프레임 보기에 보정해 주도록 하는 주변프레임 보기 인터페이스를 제공하는 것으로, 사용자가 일시정지를 요구한 시점(t1)에서 실제로 원하는 프레임까지(t2)의 거리(dt)를 학습(편차보정)하게 하여 주변프레임 보기의 첫 단계에서 실제로 원하는 프레임까지(dt)를 주변프레임 범위에 넣어 제공되도록 한다.Further, as shown in FIG. 4, since a temporal deviation occurs until a user detects a scene change and requests a pause, a peripheral frame view interface for correcting a user's usability (reaction time) to the peripheral frame view is provided. From the time t1 when the user requests pause, the distance (dt) of the desired frame (t2) is learned (deviation corrected), so that the first frame of the surrounding frame view (dt) is the range of the surrounding frame (dt). To be served.

또한, 상기와 같은 사용자의 사용성을 고려한 주변프레임 보기에 상기의 선형방법 또는 계층적인 방법을 제공해 줌으로써, 사용자에게 좀더 적응적인 접근방법을 가지도록 한다.In addition, by providing the linear method or the hierarchical method to the peripheral frame view in consideration of the user's usability as above, to have a more adaptive approach to the user.

즉, 사용자의 반응시간에 따른 편차(dt)를 사용자가 검색시에 보정하여 주변프레임 범위에 넣어 선형방법 또는 계층적인 방법에서 사용하는 주변프레임 보기 기능을 제공해 주도록 한다.That is, the deviation (dt) according to the user's response time is corrected at the time of the user's search to provide the peripheral frame viewing function used in the linear method or the hierarchical method.

그리고, 스트림 제어수단(20)의 장면경계지점 디스플레이부(23)는 스트림의 장면경계지점을 자동으로 또는 수동으로 그 변화지점을 찾아 경계가 되는 지점들에 상응하는 프레임들을 제공되도록 하게 되는 바, 상기 장면경계지점 디스플레이부(23)는 대부분 편집이나 인덱싱 작업이전에 프레임간 이미지 특성차 분석 또는 오디오의 연속성과 단절성 분석, 화면의 겹침, 페이드인, 페이드 아웃, 카메라 움직임 검출방식 등을 이용하여 장면경계지점을 자동으로 검출하여 디스플레이시켜 주도록 한다.In addition, the scene boundary point display unit 23 of the stream control means 20 is configured to automatically or manually find the scene boundary point of the stream to provide frames corresponding to the boundary points. The scene boundary point display unit 23 uses scene analysis, image fade in, fade in, fade out, and camera motion detection methods, such as image characteristic differences between frames or audio continuity analysis, before editing or indexing. Automatically detect and display boundary points.

그리고, 자동검출 방식으로 사용자가 논리적으로 생각하는 경계지점을 찾지 못하는 경우 또는 실제적으로 장면경계지점 이지만 프로그램 성능등으로 인하여 그 경계지점을 검출하지 못할 경우가 발생할 수 있다. 이러한 부분에 대해서는 수동으로 그 경계지점을 추출해야 한다.In addition, the automatic detection method may not find a boundary point that the user thinks logically, or may actually be a scene boundary point, but may not detect the boundary point due to program performance. For these parts, the boundary points must be extracted manually.

다시말하면, 일반적으로 사용자가 생각하는 장면경계지점들과 자동경계검출 방식에 의해 추출된 경계지점들이 일치하지 않는 경우 사용자가 직접 수작업으로 그 경계지점들을 찾게 된다.In other words, in general, when the scene boundary points considered by the user and the boundary points extracted by the automatic boundary detection method do not coincide, the user manually finds the boundary points.

또한, 장면경계지점 검출방식에 따라서는 속도향상을 위하여 장면경계지점 검출시 모든 프레임에 대해 분석하지 않고 일정한 간격(step)에 따라 장면분석을 하게 되므로 실제의 장면경계와 자동경계지점 추출에 의해 분석된 경계지점과는 차이가 있게 된다.In addition, according to the scene boundary point detection method, the scene analysis is performed according to a certain step instead of analyzing every frame when the scene boundary point is detected for speed improvement, so it is analyzed by the actual scene boundary and automatic boundary point extraction. It is different from the boundary point.

그러므로, 보다 미세한 프레임 단위의 주석을 위하여서는 상기 주변프레임 디스플레이부(22)를 이용하여 사용자가 일시정지를 요구한 시점 또는 자동검출 방식에 의해 추출된 경계지점들의 주변프레임들을 한눈에 볼수 있는 인터페이스를 제공함으로써, 보다 정확한 주석이 가능하도록 한다.Therefore, in order to annotate finer frame units, the peripheral frame display unit 22 may be used to view an interface for visually viewing peripheral frames of boundary points extracted by a point of time when the user requests a pause or an automatic detection method. By providing more accurate annotations.

즉, 도 5의 (a)(b)에 도시된 바와같이, 장면경계지점 디스플레이부(23)에 디스플레이되는 장면경계지점(A1,A2,A3,A4,A5)들 중에서 특정 프레임(A1)의 주변프레임을 보기를 원할 경우 주변프레임 디스플레이부(22)에 의해 디스플레이되는 주변 프레임들(A1-7,A1-6,....,A1-1,A1,A1+1,.....,A1+7,A1+8)들을 볼수 있게 된다.That is, as shown in (a) and (b) of FIG. 5, the specific frame A1 of the scene boundary points A1, A2, A3, A4, and A5 displayed on the scene boundary point display unit 23 is displayed. If you want to see the peripheral frame peripheral frames displayed by the peripheral frame display unit 22 (A1-7, A1-6, ..., A1-1, A1, A1 + 1, ..... , A1 + 7, A1 + 8).

그리고, 멀티미디어 인덱싱을 위한 작업 시퀀스는, 멀티미디어 스트림의 자동경계 지점 추출(오프라인)하는 제 1단계와, 상기 단계후 자동경계 지점을 이용한 시작, 끝 지점 지정을 통한 인덱싱을 하는 제 2단계와, 제 2단계에서 인덱싱이 잘못되었거나 주석이 첨가되지 않는 부분에 대한 수동처리를 하는 제 3단계로 수행하게 된다.The task sequence for multimedia indexing may include a first step of extracting (offline) an automatic boundary point of a multimedia stream, a second step of indexing by specifying start and end points using the automatic boundary point after the step; In the second step, the third step is to perform manual processing on the parts that are incorrectly indexed or not added.

즉, 자동경계지점 추출 알고리즘에 의해 대부분의 주석작업은 제 2단계에서 마치고, 그 남은부분에 대하여서는 제 3단계를 거치면 멀티미디어 스트림에 대한 주석작업을 효율적으로 마치게 된다.In other words, most of the annotation work is completed in the second stage by the automatic boundary point extraction algorithm, and the third stage is efficiently completed for the remaining portion.

그리고, 전체 장면경계지점의 개수를 L이라 하고, 자동경계 지점 추출에 의해 검출된 경계지점의 개수를 A라고 하면 제 3단계에서 주석작업을 할 부분은 L-A이다.If the number of total scene boundary points is L and the number of boundary points detected by automatic boundary point extraction is A, the portion to be annotated in the third step is L-A.

자동검출 방식에 의해 주석작업을 하는 평균속도는 Va라고 하고 수동작업에 의한 평균속도는 Vm이라 하면, 전체 작업에 걸리는 시간은 A×Va+(L-A)Vm에 비례하며, 완전 수동작업에 걸리는 시간은 L×Vm에 비례한다.If the average speed of tin work by automatic detection method is Va and the average speed by manual work is Vm, the time taken for the whole work is proportional to A × Va + (LA) Vm, and the time taken for complete manual work is It is proportional to L × Vm.

그러므로, 수동작업시 사용자 인터페이스를 이용한 인덱싱 방법의 속도는 만큼 향상되게 된다.Therefore, the speed of the indexing method using the user interface during manual operation Will be improved.

이때의 VaVm의 관계를 가지며, 자동 장면경계 검출방식으로 찾은 부분은 실제 시스템에 따라 차이가 있지만 A/L은 거의 1에 근접하게 된다.At this time, it has a relationship of VaVm, and the part found by the automatic scene boundary detection method varies depending on the actual system, but the A / L is close to one.

따라서, 장면경계 추출 알고리즘(온라인/오프라인)을 이용하여 얻은 프레임들과 사용자의 요구에 의해 편집된 장면경계 프레임들을 브라우징할수 있는 인터페이스와 현재 디스플레이되고 있는 또는 일시정지를 요구한 시점의 주변프레임들을 볼수 있는 콘트롤을 인덱싱 도구에 함께 제공함으로써, 프레임 단위의 정확한 멀티미디어 인덱싱이 효율적으로 가능하게 하는 사용자 인터페이스에 있다.Thus, you can see the frames obtained using scene boundary extraction algorithm (online / offline), the interface to browse scene boundary frames edited by user's request, and the surrounding frames at the time of displaying or requesting pause. By providing a control to the indexing tool, a user interface that enables efficient multimedia indexing on a frame-by-frame basis.

이와같은 사용자 인터페이스를 이용하여 대부분의 주석 작업을 빠른 시간안에 정확하게 할수 있도록 하고, 주석작업을 마친 후 틀린 주석 또는 주석작업이 안된 부분들에 대하여 수동작업을 하게 하는 반자동 방식의 멀티미디어 스트림 인덱싱 작업을 가능하게 한다.This user interface allows you to do most annotations quickly and accurately, and semi-automatic multimedia stream indexing that allows you to manually edit wrong or uncommented parts after annotating. Let's do it.

또한, 대부분의 편집작업에서도 원하는 지점들은 대부분 장면 경계지점들 이므로 이러한 인터페이스는 멀티미디어 스트림 편집에도 이용이 가능하다.Also, in most editing operations, most of the desired points are scene boundary points, so this interface can be used to edit multimedia streams.

이상에서 설명한 바와같이, 본 발명은 장면경계지점과 주변프레임 보기 기능 등을 하나의 툴에 디스플레이하여 대부분의 주석작업을 빠른 시간안에 정확하게 하고 그 주석작업 후 틀린 주석들 또는 주석 작업이 안되는 부분들에 대하여 수동작업을 하는 사용자 인터페이스를 제공함으로써, 완전 수동작업부분을 매우 축소시키며 멀티미디어 스트림에 대한 편집작업과 인덱싱 작업의 시간단축과 작업의 효율성을 향상시키는 효과가 있으며, 이는 편집작업에도 동시에 적용될수 있다.As described above, the present invention displays the scene boundary point and the surrounding frame viewing function in one tool to accurately and most of the annotation work in a short time and to the wrong annotations or non-annotating parts after the annotation work. By providing a user interface for manual operation, the total manual work is greatly reduced, and the time for editing and indexing work on the multimedia stream can be shortened and the efficiency of the work can be improved. .

도 1은 멀티미디어 스트림의 인덱싱 예를 보인 도면.1 shows an example of indexing a multimedia stream.

도 2는 본 발명 멀티미디어 스트림 인덱싱과 편집을 위한 사용자 인터페이스의 블럭 구성도.2 is a block diagram of a user interface for indexing and editing a multimedia stream of the present invention.

도 3은 본 발명에 의한 주변프레임 보기의 계층적인 방법을 보인 도면.3 illustrates a hierarchical method of viewing peripheral frames according to the present invention.

도 4는 본 발명에 의한 사용자의 일정정지 발생시점과 실제 일시정지 시점의 편차를 보인 도면.4 is a view showing a deviation between a user's schedule stop time and the actual pause time according to the present invention.

도 5의 (a)는 본 발명 스트림 디스플레이수단에 스트림이 디스플레이되는 화면이고, (b)는 스트림 디스플레이제어부와 주변프레임 디스플레이 부, 장면경계지점 디스플레이부가 조합된 사용자 인터페이스의 화면구성도.Figure 5 (a) is a screen on which the stream is displayed on the stream display means of the present invention, (b) is a screen configuration diagram of the user interface combined with the stream display control unit, the peripheral frame display unit, the scene boundary point display unit.

Claims

Stream control means for controlling the playback of a stream from a video signal source and simultaneously providing frames corresponding to peripheral frames or scene boundary points according to a user's request;

Stream display means for displaying the streams and respective frames provided from the stream control means;

Parameter setting unit for setting a parameter generated to provide a frame by the user request

User interface for indexing and editing the multimedia stream, characterized in that configured to include

The apparatus of claim 1, wherein the stream control unit comprises: a stream display control unit for controlling playback of the stream; and a peripheral frame providing a current frame and neighboring frames on the stream when the user requests to view the peripheral frame after pausing. And a scene boundary point display unit which automatically or manually finds a scene boundary point on the stream and provides frames corresponding to the boundary points thereof.

The method of claim 2, wherein the peripheral frame display unit provides the current frame and its peripheral frames in response to a request for viewing the peripheral frame, or provides the corresponding frame and the peripheral frames explicitly requested by the user. User interface for indexing and editing multimedia streams.

The method of claim 2, wherein the peripheral frame display unit applies one of a linear method of continuously providing peripheral frames of the current frame or a hierarchical method of providing frames before and after the current frame at user-specified intervals. User interface for indexing and editing multimedia streams.

The user interface for multimedia stream indexing and editing of claim 2, wherein the peripheral frame display unit provides the peripheral frames at predetermined intervals according to a user-specified interval.

The user interface for the multimedia stream indexing and editing of claim 2, wherein the peripheral frame display unit provides a difference between the time point at which the user requests pause and the actual desired frame in a peripheral frame range.