KR101343737B1 - 비디오 썸네일 추가 방법 및 시스템 - Google Patents

Abstract

본 발명은 핸드헬드 장치에서 디지털 비디오에 대한 정지영상 또는 동영상 썸네일을 생성하는 방법 및 시스템을 개시한다. 본 발명의 방법에 따르면, 비디오 파일의 제1 프레임을 정지영상 썸네일으로서 디스플레이하고, 디지털 비디오의 특정의 주기적 프레임들을 동영상 썸네일으로서 디스플레이한다.

비디오 파일, 썸네일, 정지영상, 동영상, 데이터 공간, 원자

Description

비디오 썸네일 추가 방법 및 시스템{A METHOD AND SYSTEM FOR ADDITION OF VIDEO THUMBNAIL}

도 1은 MP4 비디오 파일로부터 정지영상 썸네일을 획득하기 위한 방법을 나타낸 도면,

도 2는 정지영상 비디오 썸네일 또는 동영상 비디오 썸네일을 획득하기 위한 방법을 나타낸 도면,

도 3은 인코딩 중에 비디오 파일에 정지영상/동영상동영상 썸네일을 추가하기 위한 방법을 나타낸 도면,

도 4는 본 발명의 실시예에 따른 비디오 썸네일 추가 시스템의 블록도를 나타낸 도면.

본 발명은 멀티미디어의 분야에 관한 것이고, 특히 본 발명은 멀티미디어 기술 영역에 적용되는 것으로, 핸드헬드 장치를 그 목표의 대상으로 하고 있다. 본 발명은 특정의 사용 케이스(use case)들 및 그 각각에 대한 이점들에 따라 MP4 포맷으로 녹화된 비디오에 정지영상 썸네일(static thumbnail) 및 동영상 썸네 일(dynamic thumbnail)을 추가하는 것을 제안한다. 좀더 구체적으로, 본 발명은 비디오 썸네일을 추가하는 방법 및 시스템에 관한 것이다.

1. 정지영상(static) 썸네일 -

(정지영상 썸네일)을 디스플레이하기 위해 비디오의 제1 프레임을 필요로 하는 비디오 기반 애플리케이션들은 비디오를 디코딩할 것을 요한다. 핸드헬드 장치(한정된 프로세서 속도 및 메모리 성능을 갖는)에서는, 상기 프로세스는 전형적으로 도 1에 도시된 다음의 단계들을 포함하는 것이 일반적이다.

상기 프로세스는 a) MPEG(Moving Picture Expert Group )4 비디오 파일 전체를 파싱하여(parsing) 여러 원자(atoms)들을 얻는 단계(단계 104), b) 비디오 데이터 스트림(I-프레임에서 시작하는)의 위치를 디코딩하여 산출하는 단계(단계 106), 제1 프레임 위치를 파악하여 해당 데이터를 추출하는 단계(단계 108), c) 비디오 데이터 스트림을 디코더(통상적으로, 핸드헬드 장치의 DSP 또는 백엔드(backend) 프로세서)에 전달하는 단계, 상기 디코더를 초기화하여 상기 추출된 데이터를 상기 디코더에 전달하는 단계(단계 110), d) 디코더로부터 제1 비디오 프레임을 획득하는 단계(단계 112), 애플리케이션에 전달하여 LCD 상에 디스플레이하는 단계(단계110), 및 e) 디코더를 종료시키는 단계(단계 116)를 포함한다.

전술된 단계들(도 1의 흐름도를 통해 설명됨)은 특히 저전력 핸드헬드 장치에서는 많은 시간을 소요한다. 또한, 비디오 디코딩은 하드웨어 지원을 요구하며, 그에 따라 부가의 배터리 전력이 단지 제1 프레임만을 얻는데 소진되는 결과를 낳는다.

2. 동영상(animated) 썸네일

현재, MP4 파일에서는 동영상 비디오 썸네일의 개념이 존재하지 않는다.

현재 통용되고 있는 전술된 바의 기술에 의하면, 다음과 같은 문제점들이 있다:

1. 비디오의 썸네일을 디스플레이하는데(디코딩하여 제1 프레임을 얻는 방법에 의해)에는 본 발명에 비해 더 많은 시간이 소요된다. 많은 썸네일들이 특정 화면 상에 디스플레이될 필요가 있는 경우에는 많은 시간이 소요될 수 있다.

2. 핸드헬드 장치에서, 비디오 디코딩을 위해 추가의 하드웨어/DSP가 지원되어야 한다. 제1 프레임만을 얻기 위해, 하드웨어는 초기화되어 실행되고 다시 정지될 필요가 있고, 이는 부가의 전력 소비 및 배터리 낭비를 초래한다.

3. 사용자는 일부 선택된 프레임만을 재생하여 비디오를 미리 보는(preview) 선택권을 갖지 못한다. 매우 긴 비디오에 대해서, 사용자는 상기 선택권을 가지지 못하지만 재생 또는 수동으로 빨리감기(fastforward)를행한다.

4. 모든 비디오 썸네일들이 디스플레이될 때까지 사용자가 기다리는 경우 사용자는 불편함을 경험한다.

MP4 파일 포맷에 따르면, 데이터는 특정의 정보를 각각 담고 있는 "원자(atom)"의 형태로 캡슐화된다. 이 포맷은 "사용자 정의(user-defined)" 원자도 역시 지원한다. 비디오를 디코딩하는 중에 비디오 디코더/파서가 원자의 시그너처(signature)를 이해하지 못하면, 그 원자는 완전히 무시된다. 그러한 특징이 이 후에 제안될 본 발명에 사용된다.

1. 본 발명은 인코딩 중에/후에 핸드헬드 장치에서의 신속한 디코딩 및 디스플레이를 위한 정지영상 썸네일을 MP4 비디오 파일에 추가하는 구성을 제안한다.

2. 본 발명은 일부 선택된 프레임들에 대한 비디오 동영상 프리뷰를 디스플레이할 수 있는, 동영상 썸네일을 MP4 비디오 파일에 추가하는 구성을 제안한다.

정지영상 비디오 썸네일은 비디오의 제1 프레임을 디스플레이하는데 사용되며, 동영상 썸네일은 일부 선택된 프레임만을 재생하여 비디오의 프리뷰를 수행하는데 사용된다.

따라서, 본 발명은 비디오 썸네일을 비디오 파일에 추가하는 방법으로서, 인코딩 중에/후에 핸드헬드 장치에서의 신속한 디코딩 및 디스플레이를 위한 정지영상 썸네일을 비디오 파일에 추가하는 단계; 및 복수의 선택된 프레임들을 이용하여 비디오의 동영상 프리뷰를 디스플레이하기 위한 동영상 썸네일을 추가하는 단계를 포함하는 방법을 제공한다.

또한, 본 발명은 비디오 썸네일에 액세스하는 방법으로서, 비디오 파일을 "썸(thumb)" 원자에 대해 파싱하는 단계; 썸네일 크기의 값에 의거하여 "썸" 원자로부터 데이터를 추출하는 단계; 썸네일 헤더에 액세스하여 썸네일의 타입을 알아내는 단계; 및 썸네일의 타입에 의거하여 데이터를 이미지 디코더에 전달하는 단계를 포함하는 방법을 제공한다.

따라서, 본 발명은 비디오 썸네일을 비디오 파일에 추가하는 시스템으로서, 인코딩 중에/후에 핸드헬드 장치에서의 신속한 디코딩 및 디스플레이를 위한 정지영상 썸네일을 비디오 파일에 추가하는 수단; 및 복수의 선택된 프레임들을 이용하여 비디오의 동영상 프리뷰를 디스플레이하기 위한 동영상 썸네일을 추가하는 수단을 포함하는 시스템을 제공한다.

본 발명의 전술된, 그리고 기타의 목적들, 특징들, 및 장점들은 첨부 도면들과 연관지어 이루어지는 본 발명에 관한 이후의 상세한 설명으로부터 더욱 명확해질 것이다.

이제, 본 발명의 바람직한 실시예를 첨부 도면들을 참조하여 설명하기로 한다. 하지만, 이하 설명되는 실시예는 단지 본 발명의 예시에 불과할 뿐으로, 본 발명은 다양한 형태들로 실시될 수 있음을 알아야 할 것이다. 이후의 설명 및 도면들은 본 발명을 한정하는 것으로 해석되어서는 안 되고, 청구 범위에 대한 기초로서, 그리고 본 발명을 어떻게 실시 및/또는 사용해야 하는지를 당업자들에게 교시하기 위한 기초로서 본 발명에 대한 완전한 이해를 제공하고자 다수의 특정 상세들을 설명하기로 한다. 하지만, 특정의 예들에서는, 필요 없이 본 발명을 불명료하게 하지 않기 위해 공지의 또는 종래의 명세들에 관해서는 상세히 설명하지 않기로 한다.

상기 설명된 바와 같이, 핸드헬드 장치에서 가용 기술을 사용하여 비디오의 제1 프레임(정지영상 썸네일)을 디스플레이하는 것은 다수의 단점들을 갖는다. 또한, 단지 일부 선택된 프레임만을 재생하여 비디오를 프리뷰시킴으로써 사용자에게 비디오의 개요를 제공하는 옵션도 없다. 도면의 간단한 설명에서 언급된 바와 같이, 도 1은 비디오의 제1 프레임을 획득하기 위한 단계들을 보이고 있다.

본 발명은 레코딩/인코딩 중에 썸네일을 MP4 비디오 파일에 추가하여, 그 썸네일을 제1 프레임의 디코딩에 또는 비디오 프리뷰에 사용하는 것을 제안한다. 본 절에서는, 관련 절차 및 단계들을 상세히 설명함으로써 본 발명이 청구하고자 하는 바를 명확히 밝힐 것이다.

도 3은 레코딩 중에 비디오 썸네일을 추가하는데 포함되는 단계들을 보이고 있다. 앞서 설명된 바와 같이, 2가지 타입의 썸네일들이 있다. 그 각각의 타입에 있어서, 썸네일을 비디오 파일에 추가하고 MP4 파일로부터 썸네일을 액세스하는데 포함되는 단계들은 다음과 같다:

1. 정지영상 썸네일:

a) 레코딩이 개시되어(단계 302) MP4 파일이 생성되는 경우, 적절한 크기의 데이터 공간을 갖는 특정의 썸네일 원자 "썸"이 파일에 추가된다. 이 때, 할당되는 데이터 공간의 크기는 썸네일을 위해 선택된 인코더 포맷 및 인코딩된 데이터의 크기에 좌우된다.. 선택되는 크기 값은 썸네일 프레임디코딩이 상당한 시간을 소요하는 일이 전혀 없도록 할 정도이어야 한다.

이를 위해, 파일 생성중 "썸" 원자들이 생성되고(단계 304), 비디오 인코딩이 시작된다(단계 306). 비디오 인코딩중 디스플레이를 위한 원본 프레임(raw frame)들이 획득되어 본 발명에 따른 썸네일 추가 어플리케이션에 제공된다(단계 308).

b) 핸드헬드 장치에서, 비디오 레코딩은 전형적으로 저장을 위한 인코딩된 프레임을 수반하는, 디스플레이/프리뷰를 위한 원본 프레임을 제공하는 카메라/인 코더 모듈에 관련된다. 원본 프레임의 획득 중에, 요구된 썸네일 타입이 정지영상 썸네일인지 동영상 썸네일인지를 판단한다(단계 310). 상기 어플리케이션은 요구된 썸네일 타입이 정지영상 썸네일이면 단계 312로 진행하고, 요구된 썸네일 타입이 동영상 썸네일이면 단계 314로 진행한다.

애플리케이션은 제1 원본 프레임을 수신하면 RAM에 저장한다(단계 312). 어플리케이션은 주기적으로 원본 프레임들을 RAM에 저장한다(단계 314).

c) 비디오 레코딩/인코딩이 계속적으로 수행된다(단계 316).

d) 레코딩이 완료된 경우(단계 318), JPEG(Joint Photography Experts Group) 인코더 또는 GIF(Graphical Interchange Format) 인코더를 사용하여, 이전에 저장된 원본 프레임들이 디코딩 및 디스플레이가 매우 신속하도록 매우 낮은 해상도로(핸드헬드 장치의 메모리 한계를 고려하여) 인코딩된다(단계 320).

e) 다음의 세부 항목에 따른 4 바이트 헤더가 인코딩된 원본 프레임에 추가된다.

ⅰ) 바이트 1: 썸네일 크기 - 비디오 썸네일의 크기 - 헤더 + 데이터 공간

ⅱ) 바이트 2: 썸네일 인코딩 포맷

1. 0 - JPEG

2. 1 - GIF

3. 2 - 애니메이티드(animated) GIF

4. 3 - PNG

5. 4 - BMP

ⅲ) 바이트 3: 썸네일 폭

ⅳ) 바이트 4: 썸네일 높이

상기와 같은 비디오 썸네일의 헤더가 제공된다.

f) 헤더를 포함한 썸네일은 MP4 파일에 정의된 "썸" 데이터 공간에 추가된다(단계 322).

g) 정지영상 비디오 썸네일을 포함한 비디오 파일이 저장된다(단계 324).

2. 동영상 썸네일:

a) 레코딩이 개시되어 MP4 파일이 생성되는 경우, 적절한 크기의 데이터 공간을 갖는 특정의 썸네일 원자 "썸"이 파일에 추가된다. 이 때, 할당되는 데이터 공간의 크기는 썸네일을 위해 선택된 인코더 포맷, 동영상 썸네일에 삽입되는 프레임들의 개수, 및 인코딩된 데이터의 크기에 좌우된다.

b) 핸드헬드 장치에서 비디오 레코딩은, 전형적으로 저장을 위한 인코딩된 프레임을 수반하는, 디스플레이/프리뷰를 위한 원본 프레임을 제공하는 카메라/인코더 모듈에 관련된다. 동영상 썸네일에 있어서는, 카메라 모듈로부터의 주기적 원본 프레임들이 RAM에 저장된다. 저장되는 원본 프레임들의 개수는 최대 100개로 제한되는데, 그 이유는 그렇게 하지 않으면 동영상 썸네일의 크기가 급격히 커지기 때문이다.

c) 레코딩이 완료된 경우, RAM에 저장된 원본 프레임들이 GIF 인코더를 사용하여 애니메이티드(animated) GIF 데이터로 인코딩된다(단계 320).

d) 전술한 바와 같이, '2'(애니메이티드 GIF)로서의 포맷과 특정된 폭 및 높 이를 갖는 동영상 썸네일 데이터를 위한 헤더가 추가된다.

e) 헤더를 포함한 썸네일이 MP4 파일에 정의된 "썸" 데이터 공간에 추가된다(단계 322).

f) 동영상 비디오 썸네일을 포함한 비디오 파일이 저장된다(단계 324).

3. 비디오 썸네일로의 액세스

도 2는 비디오 썸네일에 액세스하여 그것을 디코딩하는 방법에 포함되는 단계들을 나타내고 있다.

g) 제1 프레임의 디스플레이를 위해, 또는 비디오 프리뷰를 위해 썸네일에 액세스할 필요가 있을 경우, 비디오 파일이 "썸" 원자에 대해 파싱된다(단계 204). 이 때, "썸" 원자들의 위치가 파악된다. 그리고 썸 원자들의 위치가 파악되었는 지를 판단하고(단계206), 썸 원자들의 위치가 파악되지 않았으면 프로세스는 도 1의 A로 진행하여, 종래 기술에 따라 소정 프레임의 디스플레이를 위한 단계들이 수행된다.

썸 원자들의 위치가 파악되면, 프로세스는 단계 208로 진행한다.

h) 썸네일 크기에 의거하여 "썸" 원자로부터 데이터가 추출된다(단계 208).

i) 썸네일 포맷 바이트에 액세스하여 썸네일의 타입이 독출된다(단계 210).

j) i) 단계에서 알아낸 썸네일 포맷에 의거하여, 썸네일 포맷이 정지영상 포맷이면, 데이터는 이미지 디코더(GIF 또는 JPEG)에 전달된다(단계 212).

k) 썸네일 포맷이 동영상 포맷이면, 데이터는 애니메이티드 GIF 이미지를 디스플레이할 이미지 디코더에 전달된다(단계 212).

이어서, LCD 상에 비디오 프리뷰를 위한 정지영상 또는 동영상 썸네일이 디스플레이된다(단계 214).

도 4는 본 발명의 실시예에 따른 비디오 썸네일 추가 시스템의 블록도를 나타낸다.

도 4를 참조하면, 본 발명의 실시예에 따른 비디오 썸네일 추가 시스템은 인코더(410), 정지영상 썸네일 생성 및 추가 수단(420), 동영상 썸네일 생성 및 추가 수단(430) 및 비디오 파일 생성부(44)를 포함한다.

정지영상 썸네일 생성 및 추가 수단(420)은 레코딩이 개시되어 MP4 파일이 생성되는 경우, 적절한 크기의 데이터 공간을 갖는 특정의 썸네일 원자 "썸"을 파일에 추가한다. 그리고, 정지영상 썸네일 생성 및 추가 수단(420)은 비디오 인코딩중 디스플레이를 위한 원본 프레임(raw frame)을 획득하여 RAM(도시 생략)에 저장한다.

인코더(410)는 비디오 인코딩을 수행하며, 정지영상 썸네일 생성 및 추가 수단(420)은 상기 인코더(410)로부터 원본 프레임을 획득할 수 있다.

정지영상 썸네일 생성 및 추가 수단(420)은 레코딩이 완료되면, JPEG(Joint Photography Experts Group) 인코더 또는 GIF(Graphical Interchange Format) 인코더를 사용하여 저장된 원본 프레임들을 디코딩 및 디스플레이가 매우 신속하도록 매우 낮은 해상도로 인코딩한다. 이어서, 정지영상 썸네일 생성 및 추가 수단(420)은 인코딩된 원본 프레임에 정지영상 썸네일 데이터를 위한 헤더를 추가하여 비디오 썸네일을 생성한다. 정지영상 썸네일 생성 및 추가 수단(420)은 생성된 비디오 썸네일을 비디오 파일 생성부(440)로 전송한다. 비디오 파일 생성부(44)는 생성된 비디오 썸네일을 비디오 파일의 "썸" 데이터 공간에 추가한다.

동영상 썸네일 생성 및 추가 수단(430)은 레코딩이 개시되어 MP4 파일이 생성되는 경우, 적절한 크기의 데이터 공간을 갖는 특정의 썸네일 원자 "썸"을 파일에 추가한다. 그리고, 정지영상 썸네일 생성 및 추가 수단(420)은 비디오 인코딩중 프리뷰를 위한 주기적 원본 프레임(raw frame)들을 획득하여 RAM(도시 생략)에 저장한다.

동영상 썸네일 생성 및 추가 수단(430)은 레코딩이 완료되면, RAM에 저장된 원본 프레임들을 GIF 인코더를 사용하여 애니메이티드(animated) GIF 데이터로 인코딩한다.

이어서, 정지영상 썸네일 생성 및 추가 수단(420)은 인코딩된 원본 프레임에 동영상 썸네일 데이터를 위한 헤더를 추가하여 비디오 썸네일을 생성한다. 동영상 썸네일 생성 및 추가 수단(430)은 생성된 비디오 썸네일을 비디오 파일 생성부(44)로 전송한다. 비디오 파일 생성부(44)는 생성된 비디오 썸네일을 비디오 파일의 "썸" 데이터 공간에 추가한다.

전술한 바와 같이, 비디오 프리뷰 및 정지영상 비디오 썸네일(본 발명에서 설명된 방법을 사용하는)은 사용자 경험을 크게 증진시킨다. 또한, 그러한 특징들은 OEM들이 부가의 하드웨어, 전력 소진, 성능 등에 관해 염려할 필요 없이 구현될 수 있다.

1. 정지영상 썸네일을 획득하기 위해 제1 프레임을 디코딩하는 것이 비디오를 디코딩하여 그 프레임을 얻는 원래의 방법에 비해 매우 신속하다.

2. 비디오 프리뷰 및 제1 프레임의 획득에 하드웨어 디코더를 채용할 필요가 없다. 그에 의해, 배터리 전력도 절감된다(핸드헬드 장치인 경우).

3. 비디오 프리뷰는 비디오 디코더를 채용함이 없이 신속하고 효율적이며 사용자 편의적으로 이뤄질 수 있는 신규의 특징이다.

4. 다방면으로, 전체의 사용자 경험이 증진된다.

본 명세서 및 첨부 도면에 의해 교시되는 바와 같은 본 발명의 여러 방법 및 장치의 조합으로부터 다른 제어 방법 및 장치를 도출할 수 있고, 그들 또한 본 발명의 범위 내에 있는 것임이 당업자에게 자명할 것이다. 또한, 그 때문에, 그러한 조합 및 변형들이 전술된 설명에서는 생략되어 있다. 아울러, 애플리케이션을 저장하기 위한 호스트는 비록 그에 한정되는 것은 아니지만 마이크로칩, 마이크로프로세서, 핸드헬드 통신 장치, 컴퓨터, 렌더링 장치, 또는 다기능 장치를 포함하는 것임을 알아야 할 것이다.

본 발명을 첨부 도면들을 참조하여 바람직한 실시예와 연관지어 충분히 설명하였지만, 다양한 변경 및 수정이 가능하고 당업자도 그것을 잘 알고 있음을 유념해야 할 것이다. 그러한 변경 및 수정은 그들이 첨부된 청구 범위에 의해 한정되는 바와 같은 본 발명의 범위로부터 벗어나지 않는 한 역시 본 발명의 범위 내에 속하는 것임을 알아야 할 것이다.

Claims (9)

1. 삭제
2. 썸네일을 비디오 파일에 추가하는 방법에 있어서,

   미리 정의된 데이터 공간을 갖는 비디오 파일을 생성하는 단계;

   상기 비디오 파일을 구성하는 원본 프레임들 중 정지영상 썸네일에 해당하는 원본 프레임을 메모리에 저장하는 단계;

   상기 메모리에 저장된 정지영상 썸네일을 상기 비디오 파일의 상기 미리 정의된 데이터 공간에 추가하는 단계; 및

   상기 정지영상 썸네일을 포함한 비디오 파일을 상기 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 비디오 파일에 썸네일을 추가하는 방법.
3. 제2항에 있어서,

   상기 정지영상 썸네일을 인코딩하는 단계를 더 포함하고,

   상기 미리 정의된 데이터 공간의 크기는 상기 정지영상 썸네일에 대해 선택된 인코더 포맷 및 인코딩된 데이터의 크기에 근거하여 설정되는 것을 특징으로 하는 비디오 파일에 썸네일을 추가하는 방법.
4. 썸네일을 비디오 파일에 추가하는 방법에 있어서,

   미리 정의된 데이터 공간을 갖는 비디오 파일을 생성하는 단계;

   상기 비디오 파일을 구성하는 원본 프레임들 중 동영상 썸네일에 해당하는 원본 프레임들을 메모리에 저장하는 단계;

   상기 메모리에 저장된 동영상 썸네일을 상기 비디오 파일의 상기 미리 정의된 데이터 공간에 추가하는 단계; 및

   상기 동영상 썸네일을 포함한 비디오 파일을 상기 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 비디오 파일에 썸네일을 추가하는 방법.
5. 제4항에 있어서,

   상기 동영상 썸네일을 인코딩하는 단계를 더 포함하고,

   상기 미리 정의된 데이터 공간의 크기는 상기 비디오 썸네일에 대해 선택된 인코더 포맷, 상기 동영상 썸네일에 들어가는 프레임들의 수 및 인코딩된 데이터의 크기에 근거하여 설정되는 것을 특징으로 하는 비디오 파일에 썸네일을 추가하는 방법.
6. 비디오 파일의 썸네일에 액세스하는 방법에 있어서,

   비디오 파일을 "썸" 원자에 대해 파싱하는 단계;

   썸네일 크기의 값에 의거하여 "썸" 원자로부터 데이터를 추출하는 단계;

   썸네일 헤더에 액세스하여 썸네일의 타입을 알아내는 단계; 및

   썸네일의 타입에 의거하여 데이터를 이미지 디코더에 전달하는 단계를 포함하는 비디오 파일의 썸네일 액세스 방법.
7. 삭제
8. 제2항에 있어서,

   상기 미리 정의된 데이터 공간에 헤더가 더 추가되는 것을 특징으로 하는 비디오 파일에 썸네일을 추가하는 방법.
9. 제4항에 있어서,

   상기 미리 정의된 데이터 공간에 헤더가 더 추가되는 것을 특징으로 하는 비디오 파일에 썸네일을 추가하는 방법.

Images