KR20060030270A - Method of moving picture indexing in mobile phone - Google Patents
Method of moving picture indexing in mobile phone Download PDFInfo
- Publication number
- KR20060030270A KR20060030270A KR1020040079082A KR20040079082A KR20060030270A KR 20060030270 A KR20060030270 A KR 20060030270A KR 1020040079082 A KR1020040079082 A KR 1020040079082A KR 20040079082 A KR20040079082 A KR 20040079082A KR 20060030270 A KR20060030270 A KR 20060030270A
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- indexing
- scene change
- keyframe
- representative
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/34—Microprocessors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/38—Displays
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 이동통신단말기 상에서 동영상의 검색 및 브라우징을 위하여 특정 키프레임을 인덱싱하는 방법에 관한 것으로서, 보다 상세하게는 동영상 프레임들 중에서 장면전환이 있는 해당 키프레임을 섬네일 형태로 디스플레이하여 인덱싱 받는 방법에 관한 것이다. 이를 위하여 본 발명은, 디지털 동영상의 키프레임 중에서 장면전환이 일어난 키프레임을 검출하여 장면전환 프레임으로 인식하는 장면전환 프레임 검출 단계와, 상기 장면전환 프레임 중에서 인덱싱에 이용될 소정 개수의 대표 프레임을 선택하는 대표 프레임 선택 단계와, 상기 선택된 대표 프레임의 용량을 축소시킨 섬네일 프레임을 생성하는 섬네일 프레임 생성 단계와, 상기 대표 프레임의 인덱싱을 등록하는 인덱싱 단계를 구비한다.The present invention relates to a method for indexing a specific keyframe for searching and browsing a video on a mobile communication terminal. More particularly, the present invention relates to a method for receiving indexing by displaying a corresponding keyframe having a scene change in a thumbnail form among video frames. It is about. To this end, according to the present invention, a scene transition frame detecting step of detecting a key frame in which the scene change has occurred among the key frames of the digital video and recognizes the scene change frame, and selects a predetermined number of representative frames to be used for indexing from the scene change frame. A representative frame selection step, a thumbnail frame generation step of generating a thumbnail frame having a reduced capacity of the selected representative frame, and an indexing step of registering indexing of the representative frame.
동영상, MPEG, 색인, 인덱싱, 프레임, 섬네일, 브라우징, 이동통신단말기 Video, MPEG, Index, Indexing, Frames, Thumbnails, Browsing, Mobile Terminals
Description
도 1은 본 발명에 따라 동영상 인덱싱을 위한 이동통신단말기의 필요 블록 구성도이다.1 is a block diagram of a mobile communication terminal for video indexing according to the present invention.
도 2는 색인 저장부내의 각 데이터베이스 테이블이다.2 shows each database table in the index storage.
도 3은 본 발명에 따라 이동통신단말기에서 동영상을 인덱싱하는 과정을 도시한 플로우차트이다.3 is a flowchart illustrating a process of indexing a video in a mobile communication terminal according to the present invention.
도 4는 장면전환 프레임을 검출하는 과정을 도시한 플로우차트이다.4 is a flowchart illustrating a process of detecting a scene change frame.
도 5는 각 프레임별 휘도블록 평균 밝기 값의 차의 막대 그래프이다.5 is a bar graph of the difference between the luminance block average brightness values for each frame.
도 6은 대표 프레임이 섬네일 형태로 이동통신단말기 창에 디스플레이된 모습을 도시한 그림이다.FIG. 6 is a diagram illustrating a representative frame displayed in a thumbnail form on a mobile communication terminal window.
본 발명은 이동통신단말기 상에서 동영상의 검색 및 브라우징을 위하여 특정 키프레임을 인덱싱하는 방법에 관한 것으로서, 보다 상세하게는 동영상 프레임들 중에서 장면전환이 있는 해당 키프레임을 섬네일 형태로 디스플레이하여 인덱싱 받는 방법에 관한 것이다.The present invention relates to a method for indexing a specific keyframe for searching and browsing a video on a mobile communication terminal. More particularly, the present invention relates to a method for receiving indexing by displaying a corresponding keyframe having a scene change in a thumbnail form among video frames. It is about.
최근 이동통신단말기가 비약적으로 발전하여 단말기 내에서 1시간 이상의 대용량 동영상을 녹화 및 재생할 수 있다. 사용자는 이러한 동영상을 검색 및 브라우징 하기 위하여 동영상의 감기/되감기를 반복적으로 재생하여야 하는 불편이 있었다. In recent years, mobile communication terminals have made great strides and can record and play large-capacity video clips over one hour in the terminal. In order to search and browse such a video, a user has to play a rewind / rewind of the video repeatedly.
상술하면, 이동통신단말기에서 동영상의 검색 및 브라우징을 위해서 종래에는 키프레임을 씬 단위로 추출하여 검색 및 브라우징이 이루어졌다. 즉, 가장 기본적인 검색 및 브라우징 방법은 동영상의 시작 시간과 종료 시간의 속성을 이용하는 방법으로서, 사용자로부터 선택된 특정 시간대의 키프레임을 일차원적으로 디스플레이하여 사용자로부터 재생 여부를 묻는 형식으로 검색 및 브라우징이 이루어졌다. In detail, in order to search and browse a video in a mobile communication terminal, a search and a browsing are performed by extracting a key frame in a scene unit. In other words, the most basic search and browsing method is to use the properties of the start time and the end time of the video. The keyframe of a specific time zone selected by the user is displayed one-dimensionally, and the search and browsing is performed in a form asking whether the user wants to play or not. lost.
그러나, 기존의 일차원적인 인터페이스는 전체 내용을 전달하기 위하여 한번에 디스플레이 되어야 하는 키프레임의 수가 많기 때문에 제한된 디스플레이 공간에 많은 내용을 표현하기 어려운 단점이 있었다. 특히, 영화나 드라마와 같은 장르의 콘텐츠에서는 비슷한 장면들이 반복되기 때문에 사용자에게 불필요한 많은 정보를 제공함으로써 오히려 사용자가 원하는 장면을 쉽게 찾지 못하는 문제가 있었다. However, the conventional one-dimensional interface has a disadvantage in that it is difficult to express a lot of content in a limited display space because a large number of keyframes must be displayed at once to convey the entire content. In particular, since similar scenes are repeated in a genre of content such as a movie or a drama, there is a problem in that the user cannot easily find a desired scene by providing a lot of unnecessary information to the user.
결국, 종래의 이동통신단말기 상에서 동영상 내용 검색은 사용자에 대해 이동통신단말기가 일방적인 정지영상 검색 결과만을 유도하는 수준에 그쳤다. 또한 브라우징에 있어서도 동영상 자료의 키프레임을 추출하여 추출한 키프레임을 사용하여 브라우징은 하였으나 브라우징 하는 과정에 있어서 효율적으로 동영상 키프레임을 표현해 주지 못하였다. 이러한 검색과 브라우징에 관한 기법은 하나의 트리구조를 이용한 방식이 아닌 서로 다른 메커니즘에 의하여 형성된 독자적 트리를 이용한 검색 및 브라우징 방법이므로 그다지 효율적인 검색 방법이 되지는 못하였다.As a result, video content retrieval on the conventional mobile communication terminal is only a level that the mobile communication terminal derives only one-way still image search results for the user. Also, in browsing, the keyframe extracted from the video data was used for the browsing, but the keyframe was not efficiently represented during the browsing process. This search and browsing technique is not an efficient search method because it is a search and browsing method using an independent tree formed by different mechanisms rather than using a single tree structure.
상기의 문제점을 해결하고자 본 발명은 안출된 것으로서, 이동통신단말기 상에서 디스플레이되는 동영상을 검색 및 브라우징하기 위하여 특정 임계치를 기준으로 장면 전환된 키프레임을 검출 후 이를 이용하여 검색 및 브라우징을 수행함을 목적으로 한다. 또한, 장면 전환된 키프레임 중에서 단말기에 섬네일 형태로 디스플레이할 프레임을 선택 후 문자/음성의 인덱싱을 등록해 놓음으로써 추후 인덱싱을 이용하여 용이하게 검색 및 브라우징이 이루어지도록 함을 목적으로 한다.
The present invention has been made to solve the above problems, the purpose of performing a search and browsing by detecting a keyframe that has been changed based on a specific threshold in order to search and browse the video displayed on the mobile communication terminal do. In addition, by selecting a frame to be displayed in the form of thumbnails on the terminal among the scene-transformed keyframes, the indexing of text / voice is registered so that later searching and browsing can be easily performed by using indexing.
상기의 목적을 이루기 위하여 본 발명은, 디지털 동영상의 키프레임 중에서 장면전환이 일어난 프레임을 검출하여 장면전환 프레임으로 인식하는 장면전환 프레임 검출 단계와, 상기 장면전환 프레임 중에서 인덱싱에 이용될 소정 개수의 대표 프레임을 선택하는 대표 프레임 선택 단계와, 상기 선택된 대표 프레임의 용량을 축소시킨 섬네일 프레임을 생성하는 섬네일 프레임 생성 단계와, 상기 대표 프 레임의 인덱싱을 등록하는 인덱싱 단계를 구비한다.In order to achieve the above object, the present invention provides a scene transition frame detecting step of detecting a scene transition frame among key frames of a digital video and recognizing it as a scene transition frame, and a predetermined number of representatives to be used for indexing among the scene transition frames. A representative frame selection step of selecting a frame, a thumbnail frame generation step of generating a thumbnail frame with a reduced capacity of the selected representative frame, and an indexing step of registering the indexing of the representative frame.
또한, 상기 장면전환 프레임 검출 단계에서의 장면전환이 일어난 키프레임을 검출하는 방법은, N번째 키프레임과 N+1번째 키프레임을 읽어 와서 각각의 휘도 블록 평균 밝기 값을 파악하는 제1단계와, 상기에서 구한 N번째 키프레임과 N+1번째 프레임의 휘도 블록 평균 밝기 값의 차이가 소정의 임계치를 초과하는 경우 장면전환이 있었음으로 인식하고 해당 N+1번째 키프레임을 장면전환 프레임으로 등록하는 제2단계와, 상기 N+1번째 키프레임이 동영상의 마지막 키프레임이 아닌 경우 다음 키프레임인 N+2번째 키프레임을 읽어 와서 상기 제1,제2단계를 반복한다. In addition, a method of detecting a keyframe in which a scene change has occurred in the scene change frame detecting step includes: a first step of reading an Nth keyframe and an N + 1th keyframe to determine an average brightness value of each luminance block; If the difference between the luminance block average brightness values of the Nth keyframe and the N + 1th frame obtained above exceeds a predetermined threshold, it is recognized that a scene change has occurred and the corresponding N + 1 key key is registered as the scene change frame. In the second step, if the N + 1st keyframe is not the last keyframe of the video, the N + 2th keyframe, which is the next keyframe, is read and the first and second steps are repeated.
상기에서 키프레임이라 함은 동영상 압축에 있어서 프레임의 영상 모두를 압축 저장한 프레임을 말한다. 일반적으로 동영상 압축은 키프레임에 의해 해당 프레임 전체 영상을 압축하며 상기 키프레임 사이의 영상들은 키프레임과 바뀐 영상정보만을 압축한 델타 프레임으로 이루어진다. 따라서, 만약, 키프레임만으로 스트림 압축된 동영상이라면 정확한 프레임 단위의 편집, 신속한 탐색 및 컷 편집 기능, 인터페이스 편집 작업 면에서 많은 장점을 갖는 반면 압축률은 저조한 단점이 있다. In the above description, the key frame refers to a frame in which all images of the frame are compressed and stored in video compression. In general, video compression compresses an entire image of a corresponding frame by a key frame, and the images between the key frames are delta frames in which only the key frame and the changed image information are compressed. Therefore, if the video is stream-compressed only with keyframes, it has many advantages in terms of accurate frame-by-frame editing, fast search and cut editing, and interface editing, but has a low compression ratio.
본 발명의 실시 예에서는 MPEG 압축 동영상을 예로 들어 설명될 것이다. 따라서, MPEG에서 키프레임 기능을 하는 I-프레임을 예로 들어 설명될 것이나, 상기 MPEG 압축 알고리즘이 아닌 일반적인 압축 알고리즘을 가진 동영상의 경우에도 해당 압축 알고리즘에서의 키프레임을 이용하여 본 발명을 구현할 수 있음은 자명한 사실일 것이다. An embodiment of the present invention will be described taking an MPEG compressed video as an example. Therefore, the present invention will be described using an I-frame functioning as a key frame in MPEG as an example, but the present invention can be implemented by using key frames in the compression algorithm even in a video having a general compression algorithm other than the MPEG compression algorithm. Will be self-explanatory.
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.Hereinafter, the detailed description of the preferred embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that the same components in the figures represent the same numerals wherever possible.
하기 설명에서 특정 상세 설명들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 상세 설명의 변형에 의해서도 본 발명이 용이하게 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이다.In the following description, specific details are set forth in order to provide a more thorough understanding of the present invention. It will be apparent to those skilled in the art that the present invention may be readily implemented by variations of these detailed descriptions.
도 1은 본 발명의 실시 예에 따라 이동통신단말기 내 동영상 중에서 대표 프레임을 검출하여 인덱싱 기능을 제공하는 이동통신단말기내의 필요 블록 구성도이다.1 is a block diagram illustrating a necessary block in a mobile communication terminal that provides an indexing function by detecting a representative frame in a video in the mobile communication terminal according to an embodiment of the present invention.
I-프레임 저장부(102)는 압축된 동영상의 키프레임이 저장된 곳으로서, MPEG 압축 알고리즘에서 키프레임 기능을 하는 I-프레임이 저장되어 있는 곳이다. 따라서, 이산 여현 변환(DCT)을 통해 8x8 블록 단위로 공간적 압축된 I-프레임이 순차적으로 저장되어 있는 곳으로서, MPEG 비트 스트림 프레임 중에서 프레임 동영상 전체가 압축되는 인트라 프레임(intra-frame) 방식 코딩된 I-프레임만이 저장되어 있는 버퍼이다. 만약, MPEG 동영상이 인트라 프레임(intra-frame) 방식의 I-프레임과 이전 프레임과의 정보 변화량만 저장한 인터 프레임(inter-frame) 방식의 B-프레임, P-프레임 모두를 사용한 즉, I-프레임, B-프레임, P-프레임 세 프레임을 모두 사용한 IBP GOP 구조를 가진 MPEG 프레임의 경우에는 I-프레임만을 추출하여 I-프레임 저장부(102)에 저장한다. The I-
장면전환 검출부(104)는 상기 I-프레임 저장부에 저장되어 있는 다수개의 I-프레임을 순차적으로 불러와서 장면전환이 있는 I-프레임을 검출하는 기능을 수행한다. 장면전환이 있었는가의 검출방법은 I-프레임 상호간의 밝기 차를 비교하는 등 다양한 방법이 있을 수 있는데, 본 발명의 실시 예에서는 이전 I-프레임의 휘도블록 평균 밝기 값과 현재 I-프레임의 휘도블록 평균 밝기 값의 차를 비교하여 그 차가 기설정된 임계치 값을 초과했을 시에는 장면전환이 일어났다고 판단하는 방법을 이용한다.The
이를 수식으로 표현하면,If you express it as a formula,
여기서, M과 N은 각각 수직, 수평 방향으로의 8x8 블록의 전체 개수를 나타낸다. 예를 들어, 352 x 288 MPEG의 경우 M=44이며, N=36이 된다. 는 n번째 프레임에서 휘도 블록의 평균 밝기 값을 의미한다. 프레임간 차이 특정 임계치 를 넘게 되는 경우(), n번째 프레임에서 장면 전환이 일어났다고 판단하고, n번째 프레임을 장면전환이 일어난 장면전환 프레임으로 설정한다. 상기의 함수는 n번째 프레임의 휘도 블록의 평균 밝기 값을 구하는 함수로서, 기존의 다양한 알고리즘을 통하여 휘도 블록의 평균 밝기 값을 구할 수 있음은 자명할 것이다. Here, M and N represent the total number of 8x8 blocks in the vertical and horizontal directions, respectively. For example, in the case of 352 x 288 MPEG, M = 44 and N = 36. Denotes an average brightness value of the luminance block in the nth frame. Interframe difference This particular threshold Is greater than ( ), it is determined that the scene change has occurred in the nth frame, and the nth frame is set as the scene change frame in which the scene change has occurred. The function above As a function of obtaining the average brightness value of the luminance block of the nth frame, it will be apparent that the average brightness value of the luminance block can be obtained through various algorithms.
대표 프레임 선택부(108)는 상기 장면전환 검출부(104)에서 검출한 장면전환 프레임 중에서 대표 프레임을 선택하는 기능을 수행한다. 대표 프레임이란 상기 장면전환 검출부에서 검출된 장면전환 프레임 중에서 이동통신단말기 창에 대표적으로 디스플레이 될 프레임으로 선택된 것을 말한다. The
즉, 검출된 장면전환 프레임이 많을 경우 이를 이동통신단말기 창에 일일이 섬네일 형태로 모두 디스플레이하는 것은 비효율적이므로, 대표되는 몇 개의 장면전환 프레임을 선택하여 이동통신단말기에 섬네일 형태로 디스플레이 하는 것이다.That is, if there are many scene change frames detected, it is inefficient to display all of them in thumbnail form in the mobile communication terminal window. Therefore, several representative scene change frames are selected and displayed in thumbnail form in the mobile communication terminal.
상기에서 디스플레이 될 장면전환 프레임(대표 프레임)의 개수 및 방법은 임의적으로 선택될 수도 있지만, 검출된 장면전환 프레임 중에서 골고루 대표프레임으로 선택되도록 한다. 이를 위한 다양한 실시 예가 있을 수 있지만, 본 발명에서는 일 실시 예로서, 우선, 대표 프레임으로 개수를 사용자로부터 설정 받고, 이를 기반으로 해당 설정 받은 개수만큼의 대표 프레임을 장면전환 프레임에서 선택하는 방법을 취한다. 상기 실시 예에 대한 상세한 설명은 후술할 도 3의 플로우차트와 함께 좀더 상세히 설명한다.The number and method of the scene change frame (representative frame) to be displayed above may be arbitrarily selected, but are evenly selected as the representative frame among the detected scene change frames. There may be various embodiments for this, but in the present invention, first, the number of the representative frame is set from the user, and based on this, the number of the representative frame as the number of the set is selected from the scene change frame do. Detailed description of the embodiment will be described in more detail with the flowchart of FIG. 3 to be described later.
섬네일 프레임 생성부(110)는 이동통신단말기 창에 디스플레이될 대표 프레임의 축소된 이미지를 생성하는 기능을 수행한다. 만약, 대표 프레임을 그대로 이동통신단말기 창에 섬네일 형태로 디스플레이 한다면 대표 프레임의 영상 용량 때문에 로딩 시간이 길어지는 문제가 있기 때문에, 대표 프레임을 섬네일 크기로 용량 축소시킨 섬네일 프레임을 생성하여 섬네일 디스플레이하기 위함이다. 따라서, 섬네일 프레임 생성부는 대표 프레임의 이미지 용량을 축소 시켜 놓은 섬네일 프레임을 생성하여 섬네일 프레임 데이터베이스(118)에 저장해 놓는 것이다.The
인덱싱부(106)는 추출된 대표 프레임에 간단한 텍스트 메모나 음성메모를 삽입하는 기능을 수행하는 곳으로서, 사용자는 이동통신단말기 창에 디스플레이되는 섬네일 형태의 이미지마다 텍스트 메모 등의 인덱싱 할 수 있다. 따라서, 추후에 사용자는 인덱싱되어 있는 대표 프레임을 터치패드나 음성인식 등을 이용하여 Query 형태로 특정 대표 프레임을 찾거나 해당 원하는 대표 프레임부터 재생할 수 있게 된다.The
색인 저장부(112)는 선택된 대표 프레임의 원래 I-프레임 고유번호가 저장된 I-프레임 고유번호 데이터베이스(116)와, 상기 대표 프레임의 용량을 축소시킨 섬네일 프레임이 저장된 섬네일 프레임 데이터베이스(118)와, 상기 대표 프레임의 인덱싱이 저장된 인덱싱 데이터베이스(114)를 구비하는데, 상기의 인덱싱 데이터베이스(114), I-프레임 고유번호 데이터베이스(116), 섬네일 프레임 데이터베이스(118)는 각각 도 2의 테이블 표에 도시한 바와 같이 각각 연관되어 데이터베이스를 구성한다.The
예를 들어, 첫 번째 선택된 1번 대표 프레임(202)의 경우, 해당 I-프레임 고유번호(예컨대, I567), 해당 대표 프레임의 섬네일 프레임 고유번호(예컨대, S1), 해당 인덱싱 텍스트(또는 음성)가 등록 저장된다.For example, in the case of the first selected representative frame 202, the corresponding I-frame unique number (e.g., I567), the thumbnail frame unique number (e.g., S1) of the representative frame, the corresponding indexed text (or voice) The registration is stored.
도 3은 본 발명에 따라 동영상의 I-프레임 중에서 대표 프레임을 추출하여 인덱싱하는 과정을 도시한 플로우차트이다. 3 is a flowchart illustrating a process of extracting and indexing a representative frame from I-frames of a video according to the present invention.
우선, 이동통신단말기는 소정의 동영상에서 장면전환이 이루어진 I-프레임을 검출(302)한다. 장면전환 프레임 검출(302)은 전, 후 프레임간의 휘도 블록 평균값의 차가 임계치를 넘게 되는 경우 장면전환이 발생했다고 판단한다.First, the mobile communication terminal detects 302 an I-frame in which a scene change is performed in a predetermined video. The scene
장면전환 프레임의 검출(302) 과정을 도 4의 플로우차트에 좀더 상세히 기재하였다.The process of detecting the
우선, I-프레임 저장부에서 첫번째 I-프레임 두 번째 I-프레임을 리딩(reading)하는 단계(402)를 가진다. 읽어온 첫 번째 I-프레임과 두 번째 I-프레임간의 휘도 블록 평균 밝기 값의 차를 계산(404)한다. First, a
휘도 블록 평균 밝기 값의 계산은 상기 도 1의 장면전환 검출부의 설명 시에 기술한 바와 같이,Calculation of the luminance block average brightness value is as described in the description of the scene change detection unit of FIG.
식에 의하여 이루어진다. By the equation.
는 n번째 프레임에서 휘도 블록의 평균 밝기 값을 의미하는데, 상기 계산 결과 프레임간 차 이 특정 임계치 를 넘게 되는 경우(), n번째 프레임에서 장면 전환이 일어났다고 판단하고, n번째 프레임을 장면전환이 일어난 장면전환 프레임으로 등록(408)한다. Denotes the average brightness value of the luminance block in the nth frame, and the difference between the frames as a result of the calculation This particular threshold Is greater than ( ), it is determined that the scene change has occurred in the nth frame, and the nth frame is registered as the scene change frame in which the scene change has occurred (408).
즉, 도 5에 도시한 바와 같이 휘도블록 평균 밝기 값의 차가 특정 임계치를 넘는 경우 해당 프레임이 장면전환 프레임으로 검출되는데, 도 5에서는 임계치를 넘는 4번째 I-프레임(502), 9번째 I-프레임(504)이 장면전환 프레임으로 검출될 것이다.That is, as shown in FIG. 5, when the difference between the luminance block average brightness values exceeds a specific threshold, the corresponding frame is detected as a scene change frame. A fourth I-
휘도 블록 평균 밝기 값이 임계치를 초과하였는지 판단(406)이 있은 후에는 해당 읽어온 I-프레임이 동영상의 마지막 I-프레임인지를 판단(408)한다. I-프레임 저장부에서 읽어온 프레임이 동영상의 마지막 프레임인 경우에는 장면전환 프레임 검출단계를 종료하고 그렇지 않은 경우에는 다음(next) I-프레임을 읽어 와서(412) 해당 프레임의 휘도 블록 평균 밝기 값의 임계치 초과 했는지 상기 단계(404,406,408) 들을 반복한다. After determining whether the luminance block average brightness value exceeds the
한편, 상기와 같이 장면전환 프레임의 검출이 있은 후에는 대표 프레임이 선택되는 단계(304)를 가진다. On the other hand, after the detection of the scene change frame as described above, a representative frame is selected (304).
대표 프레임 선택은 상기 검출된 장면전환 프레임 중에서 인덱싱할 프레임을 선택하는 것으로서, 우선 인덱싱할 장면전환 프레임의 개수를 선택한다. 이를 위하여 얼마만큼의 장면전환 프레임을 대표 프레임으로 할지를 사용자로부터 선택받는다. The representative frame selection selects a frame to be indexed from the detected scene change frames, and first selects the number of scene change frames to be indexed. To this end, a user is selected to determine how many scene transition frames are representative frames.
예를 들어, 검출된 장면전환 프레임 개수의 0.5%, 1%, 2%, 3%의 개수만큼 대표 프레임 개수로 사용할 것이지 이동통신단말기 사용자로부터 선택받도록 UI(User Interface)를 제공한다. 동영상의 장면전환 프레임이 1000프레임이 되는 경우 0.5%의 대표 프레임 사용자 설정이 UI를 통해 있는 경우 5개, 1%의 대표 프레임 설정이 있는 경우 10개, 2%의 대표 프레임 설정이 있는 경우 20개, 3%의 대표 프레임 설정이 있는 경우 30개가 대표 프레임의 개수로 설정된다.For example, 0.5%, 1%, 2%, and 3% of the detected scene change frames are used as the representative frame number, but the UI (User Interface) is provided to be selected by the user of the mobile communication terminal. If the movie's transition frame is 1000 frames, 5 for the 0.5% representative frame user setting via the UI, 10 for the 1% representative frame setting, and 20 for the 2% representative frame setting. If there is a representative frame setting of 3%, 30 is set as the number of representative frames.
대표 프레임 개수가 결정되면 장면전환 프레임 중에서 결정된 대표 프레임 개수만큼의 장면전환 프레임을 추출해 온다. 상기 추출은 장면전환 프레임 중에서 골고루 추출되도록 한다. When the number of representative frames is determined, as many scene transition frames as extracted representative frame numbers are extracted from the scene transition frames. The extraction is to be evenly extracted from the scene change frame.
예를 들어, 전체 P개의 장면전환 프레임들이 존재하고 이중에서 1%인 대표 프레임 Q개(P*1/100)의 대표 프레임을 검출하는 경우를 가정한다.For example, it is assumed that there are a total of P scene change frames and among them, Q representative frames (P * 1/100) representing 1% are detected.
즉, {; ; ; .....,;; ; ; ......, ; ; }의 집합형태로 장면전환이 일어난 P개의 장면전환 프레임이 검출되었고, 여기서 Q개의 대표 프레임을 추출하는 경우를 가정한다. In other words, { ; ; ; .....,; ; ; ; ......,; ; } P scene transition frames in which a scene change has occurred in the form of a set are detected, and it is assumed here that Q representative frames are extracted.
상기의 장면전환 프레임 집합에서 , , 의 장면전환 프레임을 선택한 후, , , , 형태로 첫 번째 장면전환 프레임()의 이후 프레임(), 마지막 장면전환 프레임()의 이전 프레임(), 그리고 가운데 장면전환 프레임()의 이전 프레임()과 이후 프레임()을 차례대로 선택하여 총 Q개의 대표 프레임 군{; ; ; ; ; ; } (여기서 Q = 7)을 형성한다. In the above scene change frame set , , After selecting the transition frame of, , , , In the first transition frame ( Frame after ), The last transition frame ( ) 'S previous frame ( ), And the center transition frame ( ) 'S previous frame ( ) And subsequent frames ( ) In turn to select a total of Q representative frames { ; ; ; ; ; ; } (Where Q = 7).
상기와 같이 대표 프레임 선택(304)이 있은 후에는 추출된 해당 대표 프레임의 섬네일 프레임을 생성하는 과정(306)을 갖는다. 상기 대표 프레임들을 검색 및 인덱싱을 위하여 섬네일 형태로 이동통신단말기 창에 디스플레이하기 위해서 섬네일 형태의 용량이 축소된 섬네일 프레임을 생성하는 것이다. 추출된 대표 프레임들을 원본 그대로 섬네일 형태로 디스플레이하는 경우에는 로딩(loading) 시간 지연 등의 문제가 발생하므로 섬네일 형태의 디스플레이를 위해 용량이 축소된 별도의 섬네일 프레임을 생성하는 것이다. 따라서, 섬네일 프레임은 대표 프레임의 용량 축소에 의해 이루어지는데, 크기 축소 또는 양자화율 축소 등의 다양한 축소 방법이 이용될 수 있다. After the
상기와 같이 섬네일 프레임 생성(306)이 있은 후에는 생성된 섬네일 프레임을 디스플레이 하여 해당 프레임에 대한 인덱싱 과정(308)을 갖는다. 인덱싱은 해당 프레임에 텍스트 또는 음성으로 이루어 질 수 있는데, 이를 위하여 이동통신단말기는 인덱싱 하는 UI(User Interface)를 제공한다. 이동통신단말기는 섬네일 프레임을 도 6에 도시한 바와 같이 섬네일 형태로 디스플레이하고 사용자는 해당 섬네일 프레임(602)을 클릭하여 자신만의 인덱싱(604)을 입력한다. After the
상기와 같이 인덱싱이 이루어짐으로써, 단말기 사용자는 소정 동영상의 특정 부분을 보기 위해서 일일이 감기/되감기를 반복적으로 수행할 필요 없이 손쉽게 텍스트 입력 또는 음성 입력에 의하여 해당 인덱싱된 프레임부터 재생 감상할 수 있는 것이다. By the indexing as described above, the terminal user can easily play and watch from the indexed frame by text input or voice input without having to repeatedly repeat / rewind to see a specific portion of a predetermined video.
상술한 본 발명의 설명에서는 이동통신단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시 할 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.In the above description of the present invention, a specific embodiment such as a mobile communication terminal has been described, but various modifications can be made without departing from the scope of the present invention. Therefore, the scope of the present invention is not to be determined by the embodiments described above, but will be apparent in the claims as well as equivalent scope.
즉, 상술한 바와 같이 본 발명은 키프레임 기반의 텍스트/음성 인덱싱을 수행함으로써, 이동통신단말기 상에서 동영사의 검색 및 브라우징을 효율적으로 수행할 수 있는 효과가 있다. 또한, 섬네일 형태로 프레임을 디스플레이함으로써, 사용자가 용이하게 검색 및 브라우징을 할 수 있다. That is, as described above, the present invention has an effect of efficiently searching and browsing movies on mobile communication terminals by performing keyframe-based text / voice indexing. In addition, by displaying the frame in the form of a thumbnail, the user can easily search and browse.
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040079082A KR100713501B1 (en) | 2004-10-05 | 2004-10-05 | Method of moving picture indexing in mobile phone |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020040079082A KR100713501B1 (en) | 2004-10-05 | 2004-10-05 | Method of moving picture indexing in mobile phone |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060030270A true KR20060030270A (en) | 2006-04-10 |
KR100713501B1 KR100713501B1 (en) | 2007-05-02 |
Family
ID=37140333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020040079082A KR100713501B1 (en) | 2004-10-05 | 2004-10-05 | Method of moving picture indexing in mobile phone |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100713501B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100617098B1 (en) * | 2005-01-17 | 2006-08-31 | 엘지전자 주식회사 | Moving picture indexing and searching method for mobile handset, and apparatus for the same |
KR100652703B1 (en) * | 2004-12-08 | 2006-12-01 | 엘지전자 주식회사 | Methods and a apparatus of searching video for mobile phone |
KR100706404B1 (en) * | 2006-05-12 | 2007-04-10 | 주식회사 팬택 | Method of managing moving picture file in a mobile communication terminal |
KR100785388B1 (en) * | 2006-05-15 | 2007-12-13 | 엘지전자 주식회사 | Mobile communication terminal and its operating method |
KR100833294B1 (en) * | 2006-10-31 | 2008-05-28 | 에스케이 텔레콤주식회사 | System and server system and method of fragmentation web information for mobile phone with optimized screen rendering |
US9280266B2 (en) | 2010-11-12 | 2016-03-08 | Kt Corporation | Apparatus and method for displaying information as background of user interface |
KR20160115218A (en) * | 2015-03-26 | 2016-10-06 | 인하대학교 산학협력단 | Method and System for ALIGNED THUMBNAIL BASED VIDEO BROWSING SYSTEM WITH OTT DONGLE |
US10551987B2 (en) | 2011-05-11 | 2020-02-04 | Kt Corporation | Multiple screen mode in mobile terminal |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100380229B1 (en) * | 2000-07-19 | 2003-04-16 | 엘지전자 주식회사 | An wipe and special effect detection method for MPEG-Compressed video using spatio-temporal distribution of the macro blocks |
KR100493674B1 (en) * | 2001-12-29 | 2005-06-03 | 엘지전자 주식회사 | Multimedia data searching and browsing system |
-
2004
- 2004-10-05 KR KR1020040079082A patent/KR100713501B1/en not_active IP Right Cessation
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100652703B1 (en) * | 2004-12-08 | 2006-12-01 | 엘지전자 주식회사 | Methods and a apparatus of searching video for mobile phone |
US7821528B2 (en) | 2004-12-08 | 2010-10-26 | Lg Electronics Inc. | Apparatus and method for video searching in a mobile communications terminal |
KR100617098B1 (en) * | 2005-01-17 | 2006-08-31 | 엘지전자 주식회사 | Moving picture indexing and searching method for mobile handset, and apparatus for the same |
KR100706404B1 (en) * | 2006-05-12 | 2007-04-10 | 주식회사 팬택 | Method of managing moving picture file in a mobile communication terminal |
KR100785388B1 (en) * | 2006-05-15 | 2007-12-13 | 엘지전자 주식회사 | Mobile communication terminal and its operating method |
KR100833294B1 (en) * | 2006-10-31 | 2008-05-28 | 에스케이 텔레콤주식회사 | System and server system and method of fragmentation web information for mobile phone with optimized screen rendering |
US9280266B2 (en) | 2010-11-12 | 2016-03-08 | Kt Corporation | Apparatus and method for displaying information as background of user interface |
US10551987B2 (en) | 2011-05-11 | 2020-02-04 | Kt Corporation | Multiple screen mode in mobile terminal |
KR20160115218A (en) * | 2015-03-26 | 2016-10-06 | 인하대학교 산학협력단 | Method and System for ALIGNED THUMBNAIL BASED VIDEO BROWSING SYSTEM WITH OTT DONGLE |
Also Published As
Publication number | Publication date |
---|---|
KR100713501B1 (en) | 2007-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4666784B2 (en) | Video sequence key frame extraction method and video sequence key frame extraction device | |
Meng et al. | Scene change detection in an MPEG-compressed video sequence | |
Zhang et al. | Video parsing and browsing using compressed data | |
JP3719933B2 (en) | Hierarchical digital video summary and browsing method and apparatus | |
US8737808B2 (en) | Method and mobile terminal for previewing and retrieving video | |
JP5238891B2 (en) | Method and image representation format for processing digital images | |
US5204706A (en) | Moving picture managing device | |
US20010021268A1 (en) | Hierarchical hybrid shot change detection method for MPEG-compressed video | |
JPH06259052A (en) | Editing device and method for detecting change of picture | |
KR20030056783A (en) | Video highlight generating system based on scene transition | |
WO2001015459A1 (en) | Time-varying image processor, its method, and recorded medium | |
JP2006510072A (en) | Method and system for detecting uniform color segments | |
WO2005101315A1 (en) | Providing a visual indication of the content of a video by analyzing a likely user intent | |
JPH0993588A (en) | Moving image processing method | |
US8363726B2 (en) | Electronic apparatus, motion vector detecting method, and program therefor | |
JPH10257436A (en) | Automatic hierarchical structuring method for moving image and browsing method using the same | |
KR100713501B1 (en) | Method of moving picture indexing in mobile phone | |
US20090225169A1 (en) | Method and system of key frame extraction | |
KR20080035891A (en) | Image playback apparatus for providing smart search of motion and method of the same | |
JP2003061038A (en) | Video contents edit aid device and video contents video aid method | |
JP4667356B2 (en) | Video display device, control method therefor, program, and recording medium | |
US7643554B2 (en) | Image retrieving apparatus performing retrieval based on coding information utilized for feature frame extraction or feature values of frames | |
JP4574771B2 (en) | Image information description method | |
JP2012044451A (en) | Image reproduction device, control method therefor, image reproduction program, and recording medium | |
EP1643764A1 (en) | Video reproducing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment | ||
FPAY | Annual fee payment | ||
FPAY | Annual fee payment |
Payment date: 20160330 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |