KR20080065044A - Apparatus and method for creation thumbnail view - Google Patents

Apparatus and method for creation thumbnail view Download PDF

Info

Publication number
KR20080065044A
KR20080065044A KR1020070001909A KR20070001909A KR20080065044A KR 20080065044 A KR20080065044 A KR 20080065044A KR 1020070001909 A KR1020070001909 A KR 1020070001909A KR 20070001909 A KR20070001909 A KR 20070001909A KR 20080065044 A KR20080065044 A KR 20080065044A
Authority
KR
South Korea
Prior art keywords
frame
reference frame
frames
candidate
thumbnail
Prior art date
Application number
KR1020070001909A
Other languages
Korean (ko)
Inventor
김남진
송교찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070001909A priority Critical patent/KR20080065044A/en
Publication of KR20080065044A publication Critical patent/KR20080065044A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

An apparatus and a method for creating thumbnail are provided to generate animation thumbnail in consideration for the luminance of frames of video sequences. A thumbnail creating event is sensed(200). An I frame, which is a reference frame, is extracted from a GOP(Group Of Pictures) of a frame(202). A GOIF(Group Of I Frame) is created(204). Luminance difference between the reference frame and former reference frames contained in the GOIF is measured(206). The reference frame having lamination difference contained in a specific range is set as a prediction candidate frame(208). The standard deviation of each prediction candidate frame is measured, and the frame whose standard deviation is the largest is selected as the core frame(210). The selected core frames are connected in order to create one animation thumbnail(212).

Description

썸네일 생성 장치 및 방법{APPARATUS AND METHOD FOR CREATION THUMBNAIL VIEW}Thumbnail generation device and method {APPARATUS AND METHOD FOR CREATION THUMBNAIL VIEW}

도 1은 본 발명에 바람직한 일 실시 예에 따른 썸네일을 생성하는 휴대용 단말기의 구성을 도시한 도면,1 is a view showing the configuration of a portable terminal for generating a thumbnail according to an embodiment of the present invention;

도 2는 본 발명에 바람직한 일 실시 예에 따른 휴대용 단말기에서 썸네일을 생성하는 과정을 도시한 흐름도 및,2 is a flowchart illustrating a process of generating a thumbnail in a portable terminal according to an embodiment of the present invention;

도 3은 일반적으로 비디오 시퀀스를 구성하는 프레임의 구성 순서를 도시한 도면이다.3 is a diagram illustrating a configuration procedure of a frame constituting a video sequence in general.

본 발명은 썸네일(Thumbnail) 생성 장치 및 방법에 관한 것으로서, 특히 휴대용 단말기에서 애니메이션 섬네일을 생성할 때 비디오 시퀀스(Sequence)의 각 프레임들의 휘도만을 이용하여 보다 적은 비용으로 핵심 프레임으로 구성된 썸네일 생성하는 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for generating a thumbnail, and more particularly, to generating a thumbnail composed of core frames at a lower cost by using only luminance of each frame of a video sequence when generating an animated thumbnail in a portable terminal. And to a method.

멀티미디어 기술의 발달로 디지털 멀티미디어 정보의 사용이 크게 증가하고 있다. 더욱이 최근 이동통신시스템은 고속으로 대용량 데이터 송신이 가능해짐에 따라, 상기 이동통신단말기에서도 비디오 데이터와 같은 대용량의 시각적 콘텐츠 사용이 증가하고 있다. 따라서, 상기 멀티미디어 정보들을 손쉽게 검색하거나 관리하기 위한 방법들이 연구되고 있다.The development of multimedia technology has greatly increased the use of digital multimedia information. Moreover, as mobile communication systems are capable of transmitting large amounts of data at high speed, the use of large amounts of visual content such as video data is increasing in the mobile communication terminals. Accordingly, methods for easily searching or managing the multimedia information have been studied.

썸네일은, 상기 멀티미디어 정보를 검색 또는 관리하기 위해 비교적 크기가 큰 원본 데이터의 핵심 프레임을 추출하여 작은 이미지로 나타내는 것을 의미한다.The thumbnail refers to extracting a key frame of a relatively large original data and displaying it as a small image in order to search or manage the multimedia information.

종래 기술에 따른 상기 썸네일을 생성하기 위한 핵심 프레임을 추출하는 기법들 중 가장 용이하게 사용하는 기법은, 각 비디오 샷의 첫 번째 프레임을 상기 비디오 샷의 핵심 프레임으로 선택하는 기법과, 프레임 양호도를 기초로 핵심 프레임을 선택하는 기법이 있다.Among the techniques for extracting the key frame for generating the thumbnail according to the prior art, the most easily used technique is selecting the first frame of each video shot as the key frame of the video shot, and the frame goodness There is a technique for selecting a key frame as a basis.

상기 프레임 양호도에 따라 핵심 프레임을 선택하는 기법은, 컬러 히스토그램의 엔트로피와 표준편차의 가중 조합으로 나타내는 프레임 양호도를 이용하여 가장 높은 값의 프레임 양호도를 갖는 프레임을 핵심 프레임으로 선택한다. 즉, 상기 비디오 샷의 컬러 특성 및 비디오 프레임간의 움직임과 같은 시각적 기준의 사용과 분석을 통해 핵심 프레임을 선택한다.The technique of selecting a key frame according to the frame goodness selects a frame having the highest value of frame goodness as the key frame using the frame goodness represented by the weighted combination of the entropy of the color histogram and the standard deviation. That is, the core frame is selected through analysis and use of visual criteria such as color characteristics of the video shot and movement between video frames.

상술한 바와 같이 종래 기술에 따른 썸네일 생성 방식들 중 상기 첫 번째 프레임을 핵심 프레임으로 선택하는 기법은, 계산상 저비용이지만, 상기 비디오 샷의 두드러진 시각적 콘텐츠를 효과적으로 캡쳐하지 못하는 단점이 있다. 또한, 프레임 양호도에 따른 핵심 프레임을 선택하는 기법은, 상기 비디오 샷의 컬러 특성 및 비 디오 프레임간의 움직임을 모두 고려하므로 두드러진 시각적 콘텐츠를 효과적으로 캡쳐할 수 있지만, 계산상 고비용인 문제점이 있다. As described above, a technique of selecting the first frame as a core frame among thumbnail generation schemes according to the related art is low in computation, but has a disadvantage in that it does not effectively capture the prominent visual content of the video shot. In addition, the technique of selecting a key frame according to the frame goodness, in consideration of both the color characteristics of the video shot and the movement between video frames can effectively capture the outstanding visual content, but there is a problem that is expensive in computation.

상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 썸네일(Thumbnail) 생성 장치 및 방법을 제공하는데 있다.The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an apparatus and method for generating a thumbnail.

본 발명의 다른 목적은 비디오 시퀀스의 프레임들의 휘도를 고려하여 애니메이션화된 썸네일을 생성하는 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide an apparatus and method for generating an animated thumbnail in consideration of the luminance of frames of a video sequence.

본 발명의 또 다른 목적은 비디오 시퀀스의 각 프레임들의 휘도를 고려하여 썸네일 생성 비용을 줄이고 두드러진 시각적 콘텐츠를 캡쳐하여 상기 썸네일을 생성 및 표시하기 위한 방법을 제공함에 있다.It is still another object of the present invention to provide a method for generating and displaying thumbnails by reducing the cost of thumbnail generation in consideration of the luminance of each frame of a video sequence and capturing prominent visual content.

본 발명의 또 다른 목적은 비디오 시퀀스에서 기준 프레임과 이전 기준 프레임의 휘도 차이를 고려하여 기설정 범위의 휘도 차이를 가지는 후보 프레임들을 선택하고 후보 프레임에서 표준편차가 큰 순서로 핵심 프레임들을 선택하여 썸네일을 구성하는 썸네일 생성 장치 및 방법을 제공하는데 있다.Another object of the present invention is to select a candidate frame having a luminance difference of a predetermined range in consideration of the luminance difference between the reference frame and the previous reference frame in the video sequence, and thumbnails by selecting the key frames in the order of the largest standard deviation in the candidate frame It is an object of the present invention to provide an apparatus and method for generating a thumbnail.

상기한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 썸네일 생성 장치는, 비디오 시퀀스(Sequence)를 구성하는 프레임들의 그룹에서 기준이 되는 기준 프레임들을 추출하여 기준 프레임 그룹을 생성하는 기준 프레임 추출부와, 상기 기준 프레임 그룹에 포함된 기준 프레임들 각각에 대해 직전 기준 프레임과의 휘도 차이를 측정하는 휘도 측정부와, 기설정한 특정범위 내에 포함된 휘도 차이를 가지는 기준 프레임을 예상 후보 프레임으로 선택하는 후보 프레임 선택부와, 상기 후보 프레임 선택부에서 선택한 상기 예상 후보 프레임들 각각의 표준 편차를 측정하고, 상기 예상 후보 프레임들 중에서 상기 표준 편차가 큰 순서로 기설정된 수만큼의 프레임을 핵심 프레임으로 선택하는 핵심 프레임 선택부와, 상기 핵심 프레임 선택부에서 선택한 상기 핵심 프레임들을 순서대로 연결한 하나의 애니메이션 썸네일을 생성하는 썸네일 생성부를 포함함을 특징으로 한다.According to a first aspect of the present invention for achieving the above objects, a thumbnail generating apparatus extracts a reference frame to extract a reference frame as a reference from a group of frames constituting a video sequence to generate a reference frame group And a luminance measuring unit for measuring a luminance difference from a previous reference frame for each of the reference frames included in the reference frame group, and a reference frame having a luminance difference included in a preset specific range as a candidate candidate frame. A candidate frame selection unit for selecting and measuring a standard deviation of each of the expected candidate frames selected by the candidate frame selecting unit, and a predetermined number of frames of the expected candidate frames in order of the standard deviation being larger; A core frame selector selected by the controller and a core frame selector selected by the core frame selector And a thumbnail generator configured to generate one animation thumbnail that connects the core frames in order.

상기한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 썸네일 생성 방법은, 비디오 시퀀스(Sequence)를 구성하는 프레임들의 그룹에서 기준이 되는 기준 프레임들을 추출하여 기준 프레임 그룹을 생성하는 과정과, 상기 기준 프레임 그룹에 포함된 기준 프레임들 각각에 대해 직전 기준 프레임과의 휘도 차이를 측정하는 과정과, 기설정한 특정범위 내에 포함된 휘도 차이를 가지는 기준 프레임을 예상 후보 프레임으로 선택하는 과정과, 상기 예상 후보 프레임들 각각의 표준 편차를 측정하고, 상기 예상 후보 프레임들 중에서 상기 표준 편차가 큰 순서로 기설정된 수만큼의 프레임을 핵심 프레임으로 선택하는 과정과, 상기 핵심 프레임들을 순서대로 연결한 하나의 애니메이션 썸네일을 생성하는 과정을 포함함을 특징으로 한다.According to a second aspect of the present invention for achieving the above object, a thumbnail generation method includes the steps of: generating a reference frame group by extracting reference frames as a reference from a group of frames constituting a video sequence; Measuring a luminance difference with a previous reference frame for each of the reference frames included in the reference frame group, selecting a reference frame having a luminance difference included in a preset specific range as a candidate candidate frame; Measuring a standard deviation of each of the candidate candidate frames, selecting a predetermined number of frames as a key frame among the expected candidate frames in order of increasing standard deviation, and connecting the key frames in order Characterized in that the process of generating an animation thumbnail.

이하 본 발명의 바람직한 실시예를 첨부된 도면의 참조하여 상세히 설명하면 하기와 같다. 그리고 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. If it is determined that the gist of the present invention may be unnecessarily obscured, detailed description thereof will be omitted.

본 발명은 비디오 시퀀스에서 기준 프레임과 이전 준 프레임과의 휘도 차이를 고려하여 기설정 범위의 휘도 차이를 가지는 후보 프레임을 선택하고 후보 프레임들 중에서 표준편차가 큰 순서로 핵심 프레임들을 선택하여 애니메이션화 된 썸네일(Thumbnail) 생성하기 위한 기술에 대해 설명한다. 이하 설명은 휴대용 단말기에서 썸네일(Thumbnail)을 생성하는 것을 예를 들어 설명하지만, 상기 썸네일을 생성 및 표시하는 다른 분야에도 동일하게 적용된다.The present invention selects a candidate frame having a luminance difference of a preset range in consideration of the luminance difference between the reference frame and the previous quasi frame in the video sequence, and selects the key frames in the order of the largest standard deviation among the candidate frames, and is animated. (Thumbnail) A technique for generating will be described. In the following description, an example of generating a thumbnail in a portable terminal is described, but the same applies to other fields of generating and displaying the thumbnail.

도 1은 본 발명에 바람직한 일 실시 예에 따른 썸네일을 생성하는 휴대용 단말기의 구성을 도시한 도면이다. 이하 설명하는 이동통신단말기는, 셀롤라 전화기(cellular phone), 개인휴대통신 전화기(PCS : Personal Communication System),복합무선단말기(PDA : Personal Data Assistant), IMT2000(international mobile communication-2000) 단말기들을 모두 포함하는 의미이다.1 is a diagram illustrating a configuration of a portable terminal for generating a thumbnail according to an exemplary embodiment of the present invention. The mobile communication terminal described below includes a cellular phone, a personal communication system (PCS), a personal data assistant (PDA), and an international mobile communication-2000 (IMT2000) terminal. It is meant to include.

상기 도 1을 참조하면, 제어부(100), 표시부(102), 메모리부(104), 기준 프레임 추출부(106), 휘도 측정부(108), 후보 프레임 선택부(110), 핵심 프레임 선택부(112) 및, 썸네일 생성부(114)를 포함하여 구성한다.Referring to FIG. 1, the controller 100, the display unit 102, the memory unit 104, the reference frame extractor 106, the luminance measurer 108, the candidate frame selector 110, and the core frame selector And a thumbnail generating unit 114.

상기 표시부(102)는 상기 제어부(100)의 제어에 따라 상기 이동통신단말기의 동작 중에 발생되는 상태 정보, 제한된 숫자의 문자들, 동화상 및 정화상 등을 디스플레이한다. 또한, 본 발명에 따라 생성한 애니메이션화 된 썸네일을 디스플레이한다. 상기 표시부(102)는 칼라 액정 디스플레이 장치(LCD : Liquid Crystal Display)를 사용할 수 있다. The display unit 102 displays the state information generated during the operation of the mobile communication terminal, a limited number of characters, moving images, and purified images under the control of the control unit 100. It also displays an animated thumbnail created in accordance with the present invention. The display unit 102 may use a color liquid crystal display (LCD).

상기 메모리부(104)는 이동통신 단말기의 전반적인 동작을 제어하기 위한 프로그램과, 응용 프로그램 및, 저장용 데이터(전화번호, SMS 메시지, 압축된 이미지 파일, 동영상 등)를 저장하고, 또한 본 발명에 따라 상기 썸네일 생성부(114)를 통해 생성된 각 비디오 시퀀스의 애니메이션화 된 썸네일을 저장한다.The memory unit 104 stores a program for controlling the overall operation of the mobile communication terminal, an application program, and storage data (telephone number, SMS message, compressed image file, video, etc.), and also according to the present invention. Accordingly, the thumbnail generator 114 stores an animated thumbnail of each video sequence.

상기 기준 프레임 추출부(106)는 비디오 시퀀스(Sequence)를 구성하는 프레임들의 그룹(GOP : Group of Pictures)에서 기준이 되는 기준 프레임인 I(Intra coded pictures) 프레임을 추출하여 비디오 시퀀스의 기준 프레임으로 구성한 기준 프레임 그룹(GOIF : Group of I Frame)을 생성한다. 이때, 상기 비디오 시퀀스를 구성하는 프레임들의 그룹은 아래 도 3을 참조하여 설명한다.The reference frame extractor 106 extracts an I (Intra coded pictures) frame, which is a reference frame, as a reference frame from a group of pictures (GOP) constituting a video sequence, to be a reference frame of the video sequence. Creates a configured group of I frames (GOIF). In this case, the group of frames constituting the video sequence will be described with reference to FIG. 3 below.

도 3은 일반적으로 비디오 시퀀스를 구성하는 프레임의 구성 순서를 도시한 도면이다. 상기 도 3을 참조하면 상기 비디오 시퀀스는 I(Intra coded pictures) 프레임, B(Bidirectional) 프레임 및, P(Predicted) 프레임으로 구성된다. 여기서, 상기 I 프레임은 압축의 기준이 되는 프레임으로 압축되지 않은 프레임이고, 상기 B 프레임은 이전 프레임을 이용하여 압축한 프레임이고, 상기 P 프레임은 이전 프레임과 이후 프레임을 이용하여 압축한 프레임이다.3 is a diagram illustrating a configuration procedure of a frame constituting a video sequence in general. Referring to FIG. 3, the video sequence includes an I (Intra coded pictures) frame, a B (Bidirectional) frame, and a P (Predicted) frame. Herein, the I frame is a frame that is a compression reference frame and is not compressed, the B frame is a frame compressed using a previous frame, and the P frame is a frame compressed using a previous frame and a subsequent frame.

상기 휘도 측정부(108)는 기준 프레임 그룹에 포함된 기준 프레임들 각각에 대해 직전 기준 프레임과의 휘도 차이를 측정한다. 각 기준 프레임의 직전 기준 프레임과의 휘도 차이는 아래 <수학식 1>과 같이 측정할 수 있다.The luminance measuring unit 108 measures a luminance difference from a previous reference frame for each of the reference frames included in the reference frame group. The luminance difference from the previous reference frame of each reference frame may be measured as shown in Equation 1 below.

Figure 112007001549943-PAT00001
Figure 112007001549943-PAT00001

여기서, PD(i)는 i번째 기준 프레임에서 i-1번째의 기준 프레임과의 휘도 차이이고, Fpre는 이전 기준 프레임인 i-1번째의 기준 프레임이고, Fcurrent는 현재 기준 프레임인 i번째 기준 프레임이고, x, y는 픽셀의 위치이고, M, N은 가로, 세로 해상도이다. 예를 들어, CIF(Common Intermediate Format)일 경우 M은 288, N은 360을 갖는다. 또한, QCIF(Quarter CIF)일 경우, M은 144, N은 180을 갖는다.Here, PD (i) is the luminance difference from the i-1th reference frame in the i th reference frame, F pre is the i-1 th reference frame which is the previous reference frame, and F current is the i th which is the current reference frame It is a reference frame, x and y are pixel positions, and M and N are horizontal and vertical resolutions. For example, in the case of CIF (Common Intermediate Format), M has 288 and N has 360. In the case of QCIF (Quarter CIF), M has 144 and N has 180.

한편, 본 발명에서 핵심 프레임을 추출하기 위해 YUV 영상 포맷 중에서 휘도(Y)값을 이용하는 이유는 인간의 눈은 인접한 픽셀의 색체 정보 값의 변화에는 둔감하고 밝기 변화에는 민감하기 때문에 휘도만을 사용하여도 시각적으로 두드러진 핵심 프레임을 찾을 수 있기 때문이다. 여기서, 상기 YUV는, 사람의 눈이 색상보다는 밝기에 민감하다는 사실에 착안한 방식으로, 색을 밝기(Luminance)인 Y성분과 색상(Chrominance)인 U와 V 성분으로 구분한다.On the other hand, in the present invention, the reason why the luminance (Y) value is used in the YUV image format to extract the core frame is that the human eye is insensitive to changes in color information values of adjacent pixels and sensitive to changes in brightness. This is because you can find a visually prominent key frame. Here, the YUV distinguishes colors into a Y component, which is a luminance, and a U and V component, which is a chrominance.

상기 후보 프레임 선택부(110)는 특정범위 내에 포함된 휘도 차이(PD)를 가지는 기준 프레임을 예상 후보 프레임으로 선정한다. 상기 예상 후보 프레임은 아래 <수학식 2>와 같이 표현된다.The candidate frame selector 110 selects a reference frame having a luminance difference PD included in a specific range as an expected candidate frame. The expected candidate frame is represented by Equation 2 below.

Figure 112007001549943-PAT00002
Figure 112007001549943-PAT00002

여거서, PD(i)는 i번째 기준 프레임의 휘도 차이이고, TE는 최대 임계값이고, TD는 최저 임계값이다.Where PD (i) is the luminance difference of the i th reference frame, T E is the maximum threshold and T D is the lowest threshold.

즉, 예상 후보 프레임은 i번째 기준 프레임의 휘도 차이(PD(i))가 최대 임계값(TE)보다 작고 최저 임계값(TD)보다 크면 상기 i번째 기준 프레임을 예상 후보 프레임으로 선정한다.That is, the predicted candidate frame selects the i-th reference frame as the predicted candidate frame when the luminance difference PD (i) of the i-th reference frame is smaller than the maximum threshold value T E and larger than the lowest threshold value T D. .

상기 후보 프레임 선택부(110)에서 예상 후보 프레임으로 선정하는 기준이 되는 최저 임계값(TD)은 실험에 의해 기설정된 값으로 휘도 차이가 낮아서 핵심프레임으로 선정될 가능성이 희박한 기준 프레임을 제거하는 기준이 되는 값이다. 또한 최대 임계값(TE)은 실험에 의해 기설정된 값으로 장면 전환, 점진적인 장면 전환(gradual scene transition)에 의한 오버랩, 잡음 등에 의해 열화가 발생, 카메라의 급격한 움직이나 피사체의 빠른 움직임으로 인해 휘도 차이가 큰 경우를 제거하기 위한 기준이 되는 값이다.The lowest threshold value T D , which is a criterion selected by the candidate frame selection unit 110 as an expected candidate frame, is a value that is preset by an experiment to remove a reference frame that is unlikely to be selected as a core frame due to low luminance difference. Reference value. In addition, the maximum threshold value (T E ) is a value preset by the experiment, and deterioration occurs due to scene transition, overlap due to gradual scene transition, noise, and the like. It is a standard for eliminating the case where the difference is large.

상기 핵심 프레임 선택부(112)는 상기 후보 프레임 선택부(110)에서 선정한 예상 후보 프레임들 각각의 표준 편차를 측정하고, 예상 후보 프레임에서 표준 편차가 큰 순서로 기설정된 수만큼의 프레임을 핵심 프레임으로 선택한다.The core frame selector 112 measures a standard deviation of each of the candidate candidate frames selected by the candidate frame selector 110, and selects a predetermined number of frames in the order of the largest standard deviation from the candidate candidate frames. Select with.

상기 썸네일 생성부(114)는 상기 핵심 프레임 선택부(112)에서 선택한 핵심 프레임들을 순서대로 연결한 하나의 애니메이션 썸네일로 생성한다.The thumbnail generator 114 generates one animation thumbnail in which core frames selected by the core frame selector 112 are sequentially connected.

상기 제어부(100)는 상기 기준 프레임 추출부(106), 상기 휘도 측정부(108), 상기 후보 프레임 선택부(110), 상기 핵심 프레임 선택부(112) 및, 상기 썸네일 생성부(114)를 제어한다. 즉, 상기 제어부(100)는 상기 기준 프레임 추출부(106), 상기 휘도 측정부(108), 상기 후보 프레임 선택부(110), 상기 핵심 프레임 선택부(112) 및, 상기 썸네일 생성부(114)의 기능을 수행할 수 있다. 본 발명에서 이를 별도로 구성하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 실제로 제품을 구현하는 경우에 이들 모두를 제어부(100)에서 처리하도록 구성할 수도 있으며, 이들 중 일부만을 상기 제어부(100)에서 처리하도록 구성할 수도 있다.The controller 100 controls the reference frame extractor 106, the luminance measurer 108, the candidate frame selector 110, the core frame selector 112, and the thumbnail generator 114. To control. That is, the controller 100 may include the reference frame extractor 106, the luminance measurer 108, the candidate frame selector 110, the core frame selector 112, and the thumbnail generator 114. ) Can be performed. In the present invention, it is shown to configure them separately to explain each function separately. Therefore, in the case of actually implementing a product, all of them may be configured to be processed by the controller 100, and only some of them may be configured to be processed by the controller 100.

이하, 상기와 같이 구성된 본 발명에 따른 기준 프레임과 이전 기준 프레임의 휘도 차이를 고려하여 썸네일 생성하는 방법을 아래에서 도면을 참조하여 설명한다. 도 2는 본 발명에 바람직한 일 실시 예에 따른 휴대용 단말기에서 썸네일을 생성하는 과정을 도시한 흐름도이다.Hereinafter, a method for generating a thumbnail in consideration of the difference in luminance between the reference frame and the previous reference frame according to the present invention configured as described above will be described with reference to the drawings. 2 is a flowchart illustrating a process of generating a thumbnail in a portable terminal according to an exemplary embodiment of the present invention.

상기 도 2를 참조하면, 본 발명의 휴대용 단말기는 200단계에서 썸네일 생성 이벤트의 발생을 감지하면, 202단계로 진행하여 전체 비디오 시퀀스를 일정 개수의 프레임 단위로 그룹화한 프레임의 그룹(GOP : Group Of Pictures)에서 기준 프레임인 I 프레임을 추출하고, 204단계로 진행하여 GOP들에서 추출된 I 프레임들의 조합인 기준 프레임 그룹(GOIF : Group Of I Frame)를 생성한다.Referring to FIG. 2, when a portable terminal of the present invention detects occurrence of a thumbnail generation event in step 200, the mobile terminal proceeds to step 202 and groups a frame in which the entire video sequence is grouped by a predetermined number of frames. Pictures), I frame which is a reference frame is extracted, and the flow proceeds to step 204 to generate a group of I frame (GOIF) which is a combination of I frames extracted from the GOPs.

이후, 206단계로 진행하여 기준 프레임 그룹(GOIF)에 포함된 기준 프레임들 각각에 대해 직전 기준 프레임과의 휘도 차이(PD)를 상기 <수학식 1>을 참조하여 측정하고, 208단계로 진행하여 상기 <수학식 2>를 참조하여 특정범위 내에 포함된 휘도 차이(PD)를 가지는 기준 프레임을 예상 후보 프레임으로 선정한다.In operation 206, the luminance difference PD from the previous reference frame is measured with respect to each of the reference frames included in the reference frame group GOIF by referring to Equation 1, and the process proceeds to step 208. With reference to Equation 2, a reference frame having a luminance difference PD included in a specific range is selected as an expected candidate frame.

이후, 210단계로 진행하여 선정한 예상 후보 프레임들 각각의 표준 편차를 측정하여 예상 후보 프레임에서 표준 편차가 큰 순서로 기설정된 수만큼의 프레임을 핵심 프레임으로 선택하고, 212단계로 진행하여 선택한 핵심 프레임들을 순서대로 연결한 하나의 애니메이션 썸네일로 생성한다.After that, the standard deviation of each of the candidate candidate frames selected in step 210 is measured, and a predetermined number of frames are selected as the key frames in the order of the largest standard deviation from the candidate candidate frames, and the process proceeds to step 212. Create one animation thumbnail that connects them in order.

분명히, 청구항들의 범위내에 있으면서 이러한 실시예들을 변형할 수 있는 많은 방식들이 있다. 다시 말하면, 이하 청구항들의 범위를 벗어남 없이 본 발명을 실시할 수 있는 많은 다른 방식들이 있을 수 있는 것이다.Apparently, there are many ways to modify these embodiments while remaining within the scope of the claims. In other words, there may be many other ways in which the invention may be practiced without departing from the scope of the following claims.

상술한 바와 같이 본 발명은 휴대용 단말기에서 애니메이션 섬네일을 생성할 때 비디오 시퀀스(Sequence)의 각 프레임들의 휘도만을 이용하여 핵심 프레임으로 구성된 썸네일 생성하는 장치 및 방법에 관한 것으로, 휘도차이가 기설정된 범위내의 기준 프레임을 대상으로 표준편차가 큰 순으로 썸네일을 구성하기 때문에 적은 비용으로 핵심 프레임으로 썸네일을 생성할 수 있는 효과가 있다.As described above, the present invention relates to an apparatus and method for generating thumbnails composed of core frames using only luminance of each frame of a video sequence when generating an animated thumbnail in a portable terminal, wherein the luminance difference is within a preset range. Since thumbnails are constructed in order of standard deviation from the reference frame, thumbnails can be generated as core frames at a low cost.

Claims (6)

썸네일 생성 장치에 있어서,In the thumbnail generating device, 비디오 시퀀스(Sequence)를 구성하는 프레임들의 그룹에서 기준이 되는 기준 프레임들을 추출하여 기준 프레임 그룹을 생성하는 기준 프레임 추출부와,A reference frame extracting unit for generating a reference frame group by extracting reference frames as a reference from a group of frames constituting a video sequence; 상기 기준 프레임 그룹에 포함된 기준 프레임들 각각에 대해 직전 기준 프레임과의 휘도 차이를 측정하는 휘도 측정부와,A luminance measuring unit which measures a luminance difference from a previous reference frame for each of the reference frames included in the reference frame group; 기설정한 특정범위 내에 포함된 휘도 차이를 가지는 기준 프레임을 예상 후보 프레임으로 선택하는 후보 프레임 선택부와,A candidate frame selection unit for selecting a reference frame having a luminance difference included in a preset specific range as an expected candidate frame; 상기 후보 프레임 선택부에서 선택한 상기 예상 후보 프레임들 각각의 표준 편차를 측정하고, 상기 예상 후보 프레임들 중에서 상기 표준 편차가 큰 순서로 기설정된 수만큼의 프레임을 핵심 프레임으로 선택하는 핵심 프레임 선택부와,A core frame selector which measures a standard deviation of each of the candidate candidate frames selected by the candidate frame selector, and selects, as a key frame, a predetermined number of frames among the expected candidate frames in the order of increasing the standard deviation; , 상기 핵심 프레임 선택부에서 선택한 상기 핵심 프레임들을 순서대로 연결한 하나의 애니메이션 썸네일을 생성하는 썸네일 생성부를 포함함을 특징으로 하는 썸네일 생성 장치.And a thumbnail generator configured to generate one animation thumbnail in which the core frames selected by the core frame selector are sequentially connected. 제 1항에 있어서,The method of claim 1, 상기 휘도 측정부는,The luminance measuring unit, 상기 기준 프레임의 휘도 차이를 아래 <수학식 3>을 통해 측정함을 특징으로 하는 썸네일 생성 장치.And a luminance difference of the reference frame is measured by Equation 3 below.
Figure 112007001549943-PAT00003
Figure 112007001549943-PAT00003
 여기서, PD(i)는 i번째 기준 프레임에서 i-1번째의 기준 프레임과의 휘도 차이이고, Fpre는 이전 기준 프레임인 i-1번째의 기준 프레임이고, Fcurrent는 현재 기준 프레임인 i번째 기준 프레임이고, x, y는 픽셀의 위치이고, M, N은 가로, 세로 해상도이다.Here, PD (i) is the luminance difference from the i-1th reference frame in the i th reference frame, F pre is the i-1 th reference frame which is the previous reference frame, and F current is the i th which is the current reference frame It is a reference frame, x and y are pixel positions, and M and N are horizontal and vertical resolutions. 제 1항에 있어서,The method of claim 1, 상기 후보 프레임 선택부는,The candidate frame selector, 상기 예상 후보 프레임으로 선택하는 기준이 되는 상기 기설정한 특정범위는 아래 <수학식 4>와 같음을 특징으로 하는 썸네일 생성 장치.And the predetermined specific range serving as a reference for selecting the candidate candidate frame is as shown in Equation 4 below.
Figure 112007001549943-PAT00004
Figure 112007001549943-PAT00004
 여거서, PD(i)는 i번째 기준 프레임의 휘도 차이이고, TE는 최대 임계값이고, TD는 최저 임계값이다.Where PD (i) is the luminance difference of the i th reference frame, T E is the maximum threshold and T D is the lowest threshold. 썸네일 생성 방법에 있어서,In the thumbnail generation method, 비디오 시퀀스(Sequence)를 구성하는 프레임들의 그룹에서 기준이 되는 기준 프레임들을 추출하여 기준 프레임 그룹을 생성하는 과정과,Generating a reference frame group by extracting reference frames as a reference from the group of frames constituting the video sequence; 상기 기준 프레임 그룹에 포함된 기준 프레임들 각각에 대해 직전 기준 프레임과의 휘도 차이를 측정하는 과정과,Measuring a luminance difference from a previous reference frame for each of the reference frames included in the reference frame group; 기설정한 특정범위 내에 포함된 휘도 차이를 가지는 기준 프레임을 예상 후보 프레임으로 선택하는 과정과,Selecting a reference frame having a luminance difference included in a preset specific range as an expected candidate frame; 상기 예상 후보 프레임들 각각의 표준 편차를 측정하고, 상기 예상 후보 프레임들 중에서 상기 표준 편차가 큰 순서로 기설정된 수만큼의 프레임을 핵심 프레임으로 선택하는 과정과,Measuring a standard deviation of each of the candidate candidate frames, and selecting a predetermined number of frames as a key frame among the expected candidate frames in order of increasing standard deviation; 상기 핵심 프레임들을 순서대로 연결한 하나의 애니메이션 썸네일을 생성하는 과정을 포함함을 특징으로 하는 썸네일 생성 방법.And generating one animation thumbnail in which the core frames are connected in order. 제 4항에 있어서,The method of claim 4, wherein 상기 휘도 차이를 측정하는 과정은,The process of measuring the luminance difference, 상기 기준 프레임의 휘도 차이를 아래 <수학식 5>을 통해 측정함을 특징으로 하는 썸네일 생성 방법.The method of generating a thumbnail characterized in that the luminance difference of the reference frame is measured by the following Equation 5.
Figure 112007001549943-PAT00005
Figure 112007001549943-PAT00005
 여기서, PD(i)는 i번째 기준 프레임에서 i-1번째의 기준 프레임과의 휘도 차이이고, Fpre는 이전 기준 프레임인 i-1번째의 기준 프레임이고, Fcurrent는 현재 기준 프레임인 i번째 기준 프레임이고, x, y는 픽셀의 위치이고, M, N은 가로, 세로 해상도이다.Here, PD (i) is the luminance difference from the i-1th reference frame in the i th reference frame, F pre is the i-1 th reference frame which is the previous reference frame, and F current is the i th which is the current reference frame It is a reference frame, x and y are pixel positions, and M and N are horizontal and vertical resolutions. 제 4항에 있어서,The method of claim 4, wherein 상기 예상 후보 프레임을 선택하는 과정은,The process of selecting the expected candidate frame, 상기 예상 후보 프레임으로 선택하는 기준이 되는 상기 기설정한 특정범위을 아래 <수학식 6>과 같이함을 특징으로 하는 썸네일 생성 방법.And a predetermined range as a reference for selecting the candidate frame as shown in Equation 6 below.
Figure 112007001549943-PAT00006
Figure 112007001549943-PAT00006
 여거서, PD(i)는 i번째 기준 프레임의 휘도 차이이고, TE는 최대 임계값이고, TD는 최저 임계값이다.Where PD (i) is the luminance difference of the i th reference frame, T E is the maximum threshold and T D is the lowest threshold.
KR1020070001909A 2007-01-08 2007-01-08 Apparatus and method for creation thumbnail view KR20080065044A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070001909A KR20080065044A (en) 2007-01-08 2007-01-08 Apparatus and method for creation thumbnail view

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070001909A KR20080065044A (en) 2007-01-08 2007-01-08 Apparatus and method for creation thumbnail view

Publications (1)

Publication Number Publication Date
KR20080065044A true KR20080065044A (en) 2008-07-11

Family

ID=39816038

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070001909A KR20080065044A (en) 2007-01-08 2007-01-08 Apparatus and method for creation thumbnail view

Country Status (1)

Country Link
KR (1) KR20080065044A (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759108A (en) * 1993-08-10 1995-03-03 Kokusai Denshin Denwa Co Ltd <Kdd> Cut pattern detection method for motion picture
KR20040035128A (en) * 2002-10-18 2004-04-29 엘지전자 주식회사 Apparatus for generating thumbnail image of digital video
US20040197071A1 (en) * 2003-04-01 2004-10-07 Microsoft Corporation Generating visually representative video thumbnails
JP2006339842A (en) * 2005-05-31 2006-12-14 Canon Inc Image processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759108A (en) * 1993-08-10 1995-03-03 Kokusai Denshin Denwa Co Ltd <Kdd> Cut pattern detection method for motion picture
KR20040035128A (en) * 2002-10-18 2004-04-29 엘지전자 주식회사 Apparatus for generating thumbnail image of digital video
US20040197071A1 (en) * 2003-04-01 2004-10-07 Microsoft Corporation Generating visually representative video thumbnails
JP2006339842A (en) * 2005-05-31 2006-12-14 Canon Inc Image processing apparatus

Similar Documents

Publication Publication Date Title
KR101464765B1 (en) A method and an apparatus for creating a combined image
CN112532880B (en) Video processing method and device, terminal equipment and storage medium
US20130235224A1 (en) Video camera providing a composite video sequence
US20130235223A1 (en) Composite video sequence with inserted facial region
US10728510B2 (en) Dynamic chroma key for video background replacement
US11450044B2 (en) Creating and displaying multi-layered augemented reality
US9998720B2 (en) Image processing method for locally adjusting image data of real-time image
US20070222858A1 (en) Monitoring system, monitoring method and program therefor
KR100719841B1 (en) Method for creation and indication of thumbnail view
CN103259975A (en) Image-taking method and camera apparatus
CN112262427B (en) Smear evaluation method, smear improvement method, and electronic device
CN110708559A (en) Image processing method, device and storage medium
US10616502B2 (en) Camera preview
US20060228048A1 (en) Context aware video conversion method and playback system
CN110868547A (en) Photographing control method, photographing control device, electronic equipment and storage medium
JP2004015501A (en) Apparatus and method for encoding moving picture
CN108492266B (en) Image processing method, image processing device, storage medium and electronic equipment
US10440260B2 (en) Display control apparatus to enable a user to check a captured image after image processing
US20120237089A1 (en) Image processing apparatus and image processing method
CN108174112B (en) Processing method and device in camera shooting
US20090167888A1 (en) Methods of processing imaging signal and signal processing devices performing the same
US20200106821A1 (en) Video processing apparatus, video conference system, and video processing method
CN108495038B (en) Image processing method, image processing device, storage medium and electronic equipment
US10791307B2 (en) Image details processing method, apparatus, terminal, and storage medium
KR20080065044A (en) Apparatus and method for creation thumbnail view

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20080619

Effective date: 20090112