KR20140051081A

KR20140051081A - 전자 기기, 동영상 재생 장치, 동영상 디코딩 방법, 및 기록 매체

Info

Publication number: KR20140051081A
Application number: KR1020130124539A
Authority: KR
Inventors: 다이스케 오타니
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2012-10-22
Filing date: 2013-10-18
Publication date: 2014-04-30
Also published as: US20140112645A1; KR101526255B1; JP5800287B2; CN103795955B; CN103795955A; JP2014086798A; US9066062B2

Abstract

전자 기기는, 외부 기록 매체에 기록되어 있는 동영상 데이터를 복수의 판독 방식 중 어느 하나의 방식으로 읽어들이는 판독 수단; 상기 판독 수단에 의해 읽어들여지는 동영상 데이터를 디코딩하는 디코딩 수단을 포함하고, 상기 디코딩 수단에 의한 동영상 데이터의 디코딩 속도와 상기 판독 수단에 의한 동영상 데이터의 판독 속도를 특정하고, 이 특정된 디코딩 속도와 판독 속도의 관계가 소정의 관계에 있는지의 여부에 따라 상기 판독 수단이 동영상 데이터를 읽어들일 때의 판독 방식을 선택한다.

Description

전자 기기, 동영상 재생 장치, 동영상 디코딩 방법, 및 기록 매체 {ELECTRONIC APPARATUS, MOVING IMAGE PLAYBACK APPARATUS, MOVING IMAGE DECODING METHOD AND STORAGE MEDIUM}

본 발명은 동영상 데이터를 처리하는 전자 기기, 동영상 재생 장치, 동영상 디코딩 방법, 및 프로그램(기록 매체)에 관한 것이다.

최근, 디지털 카메라를 비롯하여 촬상 기능을 가지는 휴대 전화기, 스마트 폰, 태블릿 단말기 등의 전자 기기에서는, 촬영한 동영상을 H.264 등의 코덱(codec)을 사용하여 압축하고, 외부 기록 매체[SD 카드(등록상표)나, micro SD 카드(등록상표), 컴팩트 플래시 카드(등록상표) 등]에 기록하는 동영상 촬영 기능, 및 기록된 동영상 데이터를 판독하고, 디코딩하여 재생하는 동영상 재생 기능을 구비하고 있는 것이 일반적으로 되어 있다.

이와 같은 전자 기기에 있어서, 기록한 동영상 데이터를 재생하는 경우, 예를 들면, 동영상 데이터를 읽어들이면서 순차 디코딩하여 재생하도록 하는 스트리밍으로 행하고 있지만, P 프레임 등의 단독으로 디코딩할 수 없는 프레임이 있기 때문에, 역재생하는 경우에 재생 속도가 지연된다는 난점이 있다.

또한, 이와 같은 전자 기기에 있어서는, 예를 들면, 스포츠 등에서 폼(form)을 비교하는 것을 목적으로 하여, 2개의 동영상을 동시에 재생하는 기능이 알려져 있지만, 카메라의 디코더 자원의 개수나 처리 시간의 문제로, 2개의 동영상을 동시에 스트리밍하면서 재생하는 것도 어렵다.

그래서, 기록한 동영상 데이터를 재생하는 경우, 동영상 데이터를 일단, 내부 메모리에 버퍼링한 후, 디코딩하여 표시용 데이터로 변환하여 재생하는 기술이 있다. 예를 들면, 종래기술로서는, 외부 기록 매체로서 광디스크를 사용한 재생 장치가 개시되어 있고, 광디스크로부터 읽어들인 화상 데이터와 음성 데이터를 일단 버퍼에 저장한 후, 디코딩하여 출력하는 기술이 제안되어 있다(예를 들면, 일본공개특허공보 평10-285550호 참조).

그런데, 전술한 전자 기기에서의 동영상 재생에서는, 버퍼링을 행할 때, 외부 기록 매체로부터 동영상 데이터를 판독할 때의 데이터 판독 속도(1프레임당 판독 시간)와 디코딩 속도(1프레임당 디코딩 시간)에 따라, 전체의 처리 시간(디코딩 완료할 때까지의 시간)이 크게 변화한다. 즉, 외부 기록 매체의 데이터 판독 속도는, 외부 기록 매체의 종류나 카테고리에 의해 상이하고, 또한, 디코딩 속도도, 동영상 데이터의 코덱 종류나 압축률 등에 따라 상이하다.

그러나, 상기 종래 기술에서는, 외부 기록 매체로부터의 데이터 판독 속도와 디코딩 속도가 변화하는 경우에, 동영상 재생 시의 성능을 충분히 발휘할 수 없게 된다는 문제가 있었다.

그래서, 본 발명은 외부 기록 매체로부터의 데이터 판독 속도와 디코딩 속도가 변화하는 경우라도, 동영상 재생 시의 성능을 충분히 발휘할 수 있는 전자 기기, 동영상 재생 장치, 동영상 디코딩 방법, 및 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 일 태양(態樣)은,

전자 기기로서,

외부 기록 매체에 기록되어 있는 동영상 데이터를 복수의 판독 방식 중 어느 하나의 방식으로 읽어들이는 판독 수단;

상기 판독 수단으로 읽어들여지는 동영상 데이터를 디코딩하는 디코딩 수단;

상기 디코딩 수단에 의한 동영상 데이터의 디코딩 속도와 상기 판독 수단에 의한 동영상 데이터의 판독 속도를 특정하는 특정 수단; 및

상기 특정 수단에 의해 특정된 디코딩 속도와 판독 속도의 관계가 소정의 관계에 있는지의 여부에 따라, 상기 판독 수단이 동영상 데이터를 읽어들일 때의 판독 방식을 선택하는 선택 수단

을 포함하는 것을 특징으로 한다.

또한, 본 발명의 다른 태양은,

동영상 디코딩 방법에 있어서,

외부 기록 매체에 기록되어 있는 동영상 데이터를 복수의 판독 방식 중 어느 하나의 방식으로 읽어들이는 판독 단계;

상기 판독 단계에서 읽어들여지는 동영상 데이터를 디코딩하는 디코딩 단계;

상기 디코딩 단계에서의 동영상 데이터의 디코딩 속도와 상기 판독 단계에서의 동영상 데이터의 판독 속도를 특정하는 특정 단계; 및

상기 특정 단계에서 특정된 디코딩 속도와 판독 속도의 관계가 소정의 관계에 있는지의 여부에 따라, 상기 판독 단계에서 동영상 데이터를 읽어들일 때의 판독 방식을 선택하는 선택 단계

를 포함하는 것을 특징으로 한다.

또한, 본 발명의 다른 태양은,

비일시적인(non-transitory)인 기록 매체로서,

전자 기기의 컴퓨터에,

외부 기록 매체에 기록되어 있는 동영상 데이터를 복수의 판독 방식 중 어느 하나의 방식으로 읽어들이는 판독 기능;

상기 판독 기능으로 읽어들여지는 동영상 데이터를 디코딩하는 디코딩 기능;

상기 디코딩 기능에 의한 동영상 데이터의 디코딩 속도와 상기 판독 기능에 의한 동영상 데이터의 판독 속도를 특정하는 특정 기능; 및

상기 특정 기능에 의해 특정된 디코딩 속도와 판독 속도의 관계가 소정의 관계에 있는지의 여부에 따라, 상기 판독 기능이 동영상 데이터를 읽어들일 때의 판독 방식을 선택하는 선택 기능

을 실현하게 하는 프로그램을 기록한 것을 특징으로 한다.

도 1은 본 발명의 실시예에 따른 전자 기기(1)의 구성을 나타낸 블록도이다.
도 2는 본 실시예에 따른 전자 기기(1)의 기능 구성을 나타낸 블록도이다.
도 3은 본 실시예에 따른 전자 기기(1)의 동작을 설명하기 위한 흐름도이다.
도 4는 본 실시예에 따른 전자 기기(1)의 동작을 설명하기 위한 흐름도이다.
도 5는 본 실시예에 따른 전자 기기(1)의 동영상 데이터의 버퍼링 동작을 설명하는 타이밍도이다.
도 6은 본 실시예에 따른 전자 기기(1)의 동영상 데이터의 버퍼링 동작을 설명하는 타이밍도이다.

이하, 본 발명의 실시예를 도면을 참조하여 설명한다.

본 발명은 외부 기록 매체로부터의 데이터 판독 속도와 동영상 데이터의 디코딩 속도에 따라, 더욱 적절한 버퍼링 방법을 선택함으로써, 더욱 고속의 버퍼링을 가능하게 한다. 그 결과, 재생 지시로부터 재생 개시까지의 대기 시간을 단축할 수 있다. 그리고, 외부 기록 매체로부터의 데이터 판독 속도는 외부 기록 매체의 종류나 카테고리에 의존하고, 동영상 데이터의 디코딩 속도는 동영상 데이터의 코덱 종류, 압축률, 해상도, 내부 메모리(버퍼)의 데이터 전송 속도 등에 의존한다.

A. 실시예의 구성

도 1은 본 발명의 실시예에 따른 전자 기기(1)의 구성을 나타낸 블록도이다. 도면에서, 전자 기기(1)는 조작부(키)(10), 전원부(11), 표시부(12), 화상 변환부(13), 기억부(14), 제어부(CPU)(15), 및 외부 기록 매체 삽입부(16)를 구비하고 있다. 그리고, 전자 기기(1)로서는, 예를 들면, 디지털 카메라를 상정하고 있다. 단, 도 1에는, 본 발명에 따른 동영상 데이터의 버퍼링 방법에 관련된 구성만을 나타내고, 그 이외에 대하여는 생략하고 있다.

조작부(키)(10)는, 셔터 SW, 줌 SW, 모드 키, SET 키, 십자 키(cruciform key) 등의 복수의 조작 키를 포함하고, 사용자의 키 조작에 따른 조작 신호를 제어부(CPU)(15)에 출력한다. 전원부(11)는 1차 전지, 또는 충전 가능한 2차 전지 등으로 이루어지고, 각 부에 전력을 공급한다. 표시부(12)는 컬러 LCD와 그 구동 회로를 포함하고, 동영상 재생 시에는, 후술하는 표시용 데이터 버퍼부(144)에 유지되어 있는 디코딩된 동영상 데이터를, 소정의 프레임 레이트(frame rate)로 재생 표시한다.

화상 변환부(13)는, 도시하지 않은 촬상부에서 촬영한 동영상 데이터의 인코딩(예를 들면, H.264 형식으로의 부호화)을 행하는 동시에, 후술하는 기억부(14)의 디코딩용 버퍼부(142)로부터 1프레임분씩 판독한 동영상 데이터를 디코딩(예를 들면, H.264 형식으로 압축된 동영상 데이터의 복원)한다. 디코딩된 동영상 데이터는 1프레임씩 표시용 데이터 버퍼부(144)에 저장된다. 그리고, 화상 변환부(13)는 디코딩할 때 동영상 데이터의 신장·축소 처리를 행하게 되어 있고, 1프레임당 디코딩 시간에는, 신장·축소 처리의 시간도 포함된다.

기억부(14)는 프로그램 기억부(141), 디코딩용 버퍼부(142), 일괄 판독 파일 기억부(143), 및 표시용 데이터 버퍼부(144)를 구비하고 있다. 프로그램 기억부(141)는 제어부(CPU)(15)에 의해 실행되는, 각 부의 제어에 필요한 프로그램을 기억하고 있다. 디코딩용 버퍼부(142)는, 후술하는 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터 읽어들인 동영상 데이터를, 1프레임 단위로 디코딩하기 위한 화상 변환부(13)에 공급하기 위해 일시적으로 유지하는 버퍼이다. 일괄 판독 파일 기억부(143)는 후술하는 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터 일괄하여 읽어들인 동영상 데이터를 일시적으로 유지하기 위한 버퍼이다.

표시용 데이터 버퍼부(144)는, 화상 변환부(13)에 의해 1프레임 단위로 디코딩된 동영상 데이터를 순차 유지하는 버퍼이다. 이 표시용 데이터 버퍼부(144)에 유지된 동영상 데이터는, 디코딩이 완료되면 소정의 프레임 레이트로 판독되어, 표시부(12)에 재생 표시된다.

외부 기록 매체 삽입부(16)에는 SD 카드(등록상표)나, micro SD 카드(등록상표), 컴팩트 플래시 카드(등록상표) 등의 외부 기록 매체를 삽입할 수 있다. 이들의 외부 기록 매체는, 그 메모리 구조에 의해, 통상의 액세스보다 블록 단위(페이지 단위)로 일괄하여 액세스하는 경우의 액세스 속도가 빨라지는 경우가 많다. 이들의 외부 기록 매체에, 소정의 코덱(예를 들면, H.264등)에 의해 압축된 동영상 데이터를 유지한다.

제어부(CPU; Central Processing Unit)(15)는, 이른바 2개의 CPU 코어(151, 152)를 탑재하고 있는 듀얼 코어 CPU이다. 본 실시예에서는, 디코딩 처리 시의 버퍼링 방법으로서, 2개의 버퍼링 방식을 준비하고 있다. 제어부(CPU)(15)는 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터의 데이터 판독 속도와 화상 변환부(13)에 의한 동영상 데이터의 디코딩 속도에 따라, 버퍼링 방식을 선택적으로 전환함으로써, 더욱 고속의 버퍼링을 가능하게 하고 있다.

그러므로, 제1 버퍼링 방식은 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터 1프레임 단위로 읽어들이면서, 화상 변환부(13)로 1프레임 단위로 순차 디코딩하여 표시용 버퍼부(14)에 버퍼링하는 방식이다. 또한, 제2 버퍼링 방식은 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터 일괄하여 동영상 데이터를 읽어들여 두고(일괄 판독 파일 기억부(143)로 유지해 두고), 일괄 판독 파일 기억부(143)에서 1프레임 단위로 읽어들이면서, 화상 변환부(13)로 1프레임 단위로 순차 디코딩하여 표시용 버퍼부(14)에 버퍼링하는 방식이다.

또한, 제1 버퍼링 방식에 의해 1프레임 단위에서의 판독을 행하는 경우에는, 외부 기록 매체와의 액세스 제어는, 블록 단위(페이지 단위)에서의 액세스 제어가 아니라 통상의 액세스 제어를 행하고, 제2 버퍼링 방식에 의해 일괄하여 동영상 데이터를 읽어들이는 경우에는, 외부 기록 매체와의 액세스 제어는, 통상의 액세스 제어가 아니라 블록 단위(페이지 단위)의 액세스 제어를 행한다. 이로써, 같은 양의 데이터를 읽어들이기 위한 시간은, 제1 버퍼링 방식보다 제2 버퍼링 방식 쪽이 빨라진다.

그리고, 본 실시예에서는, 제어부(CPU)(15)에 듀얼 코어 CPU를 사용하고 있으므로, 예를 들면, CPU 코어(151)로, 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터의 1프레임 단위의 판독 처리나, 일괄 판독 처리[일괄하여 읽어들인 동영상 데이터로부터 프레임 단위로 디코딩용 버퍼부(142)에의 복제(copy)도 포함함]를 행하고, CPU 코어(152)로, 1프레임 단위로 순차 디코딩하여 표시용 버퍼부(14)에 버퍼링하는 처리를 행한다(역이어도 된다).

도 2는 본 실시예에 따른 전자 기기(1)의 기능 구성을 나타낸 블록도이다. 도면에서, 도 1에 대응하는 부분에는 동일한 부호를 붙여 설명을 생략한다. 데이터 판독부(20)[CPU 코어(151)]는, 제1 버퍼링 방식이 선택되어 있는 경우에, 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터 1프레임 단위로 동영상 데이터를 읽어들여, 디코딩용 버퍼부(142)에 전송한다.

CPU 코어(151)는, 데이터 판독부(20 또는 파일 일괄 판독부(21)에 의해, 외부 기록 매체 삽입부(16)에 삽입 가능한 각종 외부 기록 매체와의 데이터의 판독 기록을 행할 수 있으며, 각각의 외부 기록 매체로 선택 가능한 각종 액세스 방식이나 액세스 속도에 대응하고 있다.

파일 일괄 판독부(21)[CPU 코어(151)]는, 제2 버퍼링 방식이 선택되어 있는 경우에, 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터 (규정 사이즈)의 동영상 데이터를 블록 단위(페이지 단위)로 일괄하여 읽어들여, 일괄 판독 파일 기억부(143)에 공급한다. 일괄 판독 파일 기억부(143)는 일괄하여 읽어들여진 (규정 사이즈)의 동영상 데이터를 유지한다. 일괄 판독 파일 기억부(143)로부터 디코딩용 버퍼부(142)에는, DMA(Direct Memory Access)에 의해 1프레임 단위로 동영상 데이터를 순차적으로 직접 전송(복제)하게 되어 있다.

디코딩부(화상 변환부)(13)[CPU 코어(152)]는 제1 버퍼링 방식, 또는 제2 버퍼링 방식 중 어느 것에 있어서도, 디코딩용 버퍼부(142)에 순차적으로 전송되는 1프레임분의 동영상 데이터를 디코딩하여 복호화하고, 표시용 데이터 버퍼부(144)에 순차적으로 버퍼링한다.

예를 들면, 2개의 동영상 데이터를 동시에 재생하는 경우에는, 디코딩부(화상 변환부)(13)[CPU 코어(152)]는, 첫 번째의 동영상 데이터의 디코딩을 행한 후, 두 번째의 동영상 데이터의 디코딩을 행하도록 되어 있다. 단, 이에 한정되지 않고, 예를 들면, 블록 단위로 번갈아 디코딩해도 된다. 디코딩 완료 후, 표시용 데이터 버퍼부(144)에는, 디코딩된 2개의 동영상 데이터가 저장되어 있게 된다. 표시 제어부(22)는, 표시용 데이터 버퍼부(144)에 버퍼링된 디코딩된 동영상 데이터를 판독하여 소정의 프레임 레이트로 표시부(12)에 재생 표시한다.

특히, 고화질, 고압축된 동영상 데이터를 재생하는 경우, 재생 시에는, 이미 디코딩된 동영상 데이터가 표시용 데이터 버퍼부(144)에 버퍼링되어 있으므로, 역 재생하는 경우라도, 재생 속도가 지연되는 등의 문제는 생기지 않고, 원활하게 역 재생할 수 있다.

또한, 전술한 바와 같이, 2개의 동영상 데이터를 동시 재생하는 경우도, 동시 재생 시에는, 이미 디코딩된 2개의 동영상 데이터가 표시용 데이터 버퍼부(144)에 버퍼링되어 있으므로, 재생 기능에 부하가 걸리지 않고, 원활하게 재생할 수 있다.

다음에, 본 실시예에 있어서, 제1 버퍼링 방식, 또는 제2 버퍼링 방식을 전환하여 사용할 때의 조건에 대하여 설명한다. 본 실시예에서는, 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터의 데이터 판독 속도와 디코딩부(화상 변환부)(13)에 의한 동영상 데이터의 디코딩 속도에 따라, 버퍼링 방식을 선택적으로 전환하여 사용하므로, 이하에 나타내는 시간 데이터를 미리 유지, 또는 수시 계산하게 되어 있다.

즉, 외부 기록 매체 삽입부(16)에 삽입 가능한 외부 기록 매체의 종류마다(카테고리마다), 블록 단위(페이지 단위)에서의 일괄 액세스 기능의 유무나, 그 액세스 속도를 미리 유지해 두고, 어느 하나의 외부 기록 매체가 삽입되었을 때 그 종류를 특정하고, 특정된 종류의 외부 기록 매체의 액세스 속도에 기초하여 이하의 시간을 계산한다.

또한, 동영상 데이터의 기록 상태(압축률, 해상도)나 동영상 데이터의 재생 조건(재생 모드)의 종류마다 디코딩 속도에 관한 정보를 미리 유지해 두고, 동영상 데이터의 재생이 지시되었을 때, 재생 대상이 되는 동영상 데이터의 기록 상태나, 재생 모드를 특정하고, 특정된 기록 상태나 재생 모드에 기초하여 이하의 시간을 계산한다.

시간 T1: 동영상 1프레임당 디코딩 시간(신장·축소를 포함함)

시간 T2: 동영상 1프레임당 동영상 데이터[개산(槪算) 사이즈]를 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터 읽어들이는 판독 시간

시간 T3: (규정 사이즈)의 동영상 데이터를 일괄하여 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터 읽어들이는 판독 시간

시간 T4: 남은 디코딩 프레임 수 n × 시간 T2

시간 T5: 남은 디코딩 프레임 수 n × 시간 T1 ＋ 시간 T3

상기 1프레임당 개산 데이터 사이즈의 판독 시간 T2와, 일괄하여 판독 가능한 버퍼 사이즈의 판독 시간 T3에 대하여는, 기동 시나 동영상 선택 시에 계측하여 내부적으로 유지하여 둔다.

전술한 바와 같이, 본 실시예에 있어서, 듀얼 코어로 동작시키기 때문에, 디코딩 처리와 동영상 데이터의 판독 처리는, 각각, CPU 코어(151, 152)로 병행하여 동시에 행함으로써 효율적인 처리를 실현하고 있다. 그러므로, 1프레임의 디코딩 처리와 동영상 데이터의 판독 처리 중 어느 것이든 시간을 필요로 하는 처리 쪽이 전체 처리의 오버헤드가 된다.

즉, 디코딩 시간 T1 > 동영상 데이터 판독 시간 T2인 경우에는, 1프레임마다 동영상 데이터 판독 처리 쪽이 빨라지므로, 1프레임마다 읽어들이면서 디코딩하여 버퍼링을 행하는 제1 버퍼링 방식을 선택한다. 즉, 동영상 데이터 판독 처리 쪽이 디코딩 처리보다 빠르므로, 1프레임마다 읽어들이면서 디코딩해도, 동영상 데이터의 판독을 기다리는 일 없이, 연속하여 디코딩 처리를 실행할 수 있다. 그러므로, 가장 단시간에 디코딩을 완료할 수 있고, 버퍼링도 가장 단시간에 완료하는 것이 가능해진다.

반면, 디코딩 시간 T1 < 파일 판독 시간 T2인 경우에 있어서, 시간 T4(남은 디코딩 프레임 수 n × 시간 T2) > 시간 T5(남은 디코딩 프레임 수 n × 시간 T1 ＋ 시간 T3)의 경우에는, 파일을 일괄하여 읽어들이고, 일단, 일괄 판독 파일 기억부(143)에 유지하여, 내부에서 1프레임마다 디코딩용 버퍼부(142)에 DMA 복제하면서 디코딩하여 버퍼링을 행하는 제2 버퍼링 방식을 선택한다.

즉, 디코딩 처리 쪽이 파일 판독 처리보다 빠르므로, 1프레임마다 판독하면서 디코딩하면(제1 버퍼링 방식을 이용하면), 1프레임분의 동영상 데이터의 판독이 완료될 때까지 디코딩 처리를 대기시킬 필요가 생기고, 연속하여 실제 디코딩 처리를 실행할 수 없게 된다. 이 경우, 일괄 판독 시간 T3이, 상기 디코딩 시의 대기 시간을 흡수할 수 있을 정도로 단시간이면(즉, 시간 T4 > 시간 T5), 일괄하여 동영상 데이터를 읽어들인 후, 내부에서 1프레임마다 복제하여 디코딩하는 제2 버퍼링 방식을 선택하는 쪽이, 단시간에 디코딩을 완료할 수 있고, 버퍼링도 최단시간에 완료할 수 있게 된다.

이와 같이, 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체의 데이터 판독 속도와 디코딩부(화상 변환부)(13)의 디코딩 속도에 따라, 제1 버퍼링 방식, 또는 제2 버퍼링 방식을 선택적으로 전환하여 사용함으로써, 더욱 단시간에 버퍼링을 완료할 수 있고, 재생 지시로부터 재생 개시까지의 대기 시간을 단축할 수 있다.

B. 실시예의 동작

다음에, 전술한 실시예의 동작에 대하여 설명한다.

도 3 및 도 4는 본 실시예에 따른 전자 기기(1)의 동작을 설명하기 위한 흐름도이다. 또한, 도 5 및 도 6은 본 실시예에 따른 전자 기기(1)의 동영상 데이터의 버퍼링 동작을 설명하는 타이밍도이다.

사용자에 의해 동영상 재생이 지시되면, 먼저, 후술하는 남은 디코딩 프레임 수의 설정 등, 버퍼링 초기화 처리를 실행한다(단계 S10). 다음에, 디코딩 시간 T1 > 동영상 데이터 판독 시간 T2인지의 여부를 판단하고(단계 S12), 디코딩 시간 T1 > 동영상 데이터 판독 시간 T2인 경우에는(단계 S12의 YES), 단계 S14∼S28의 루프 처리를 실행한다. 상기 단계 S14∼S26의 루프 처리는, 전술한 제1 버퍼링 방식에 상당한다.

먼저, 데이터 판독부(20)[CPU 코어(151)]는, 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터 1프레임 단위로 동영상 데이터를 읽어들이고, 디코딩용 버퍼부(142)에 순차적으로 저장한다(단계 S16). 이것과 병행하여, 디코딩부( 13)[CPU 코어(152)]는, 디코딩용 버퍼부(142)에서 1프레임 단위로 동영상 데이터를 읽어들여 디코딩하고(단계 S18), 표시용 데이터 버퍼부(144)에 순차적으로 저장한다(단계 S20).

다음에, 아직 디코딩하지 않은, 남은 디코딩 프레임 수를 하나 감산하고(단계 S22), 남은 디코딩 프레임 수가 0이 되었는지의 여부를 판단한다(단계 S24). 그리고, 남은 디코딩 프레임 수가 0이 아닌 경우, 즉 아직 디코딩해야 할 프레임이 남아있는 경우에는(단계 S24의 NO), 단계 S16로 돌아간다. 이하, 남은 디코딩 프레임 수가 0이 될 때까지, 전술한 처리를 반복하고, 남은 디코딩 프레임 수가 0이 된 경우에는(단계 S24의 YES), 루프 처리를 종료하고(단계 S26), 상기 처리를 종료한다.

도 5에는, 전술한 제1 버퍼링 방식의 동작을 나타내고 있다. 도시한 바와 같이, 제1 버퍼링 방식에서는, 데이터 판독부(20)[CPU 코어(151)]가, 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터, 첫회 판독 후, 1프레임 단위로 동영상 데이터를 순차적으로 읽어들이고, 디코딩용 버퍼부(142)에 순차적으로 저장한다. 이것과 병행하여, 디코딩부(13)[CPU 코어(152)]가, 디코딩용 버퍼부(142)에서 1프레임 단위로 동영상 데이터를 읽어들여 디코딩하고, 표시용 데이터 버퍼부(144)에 순차적으로 저장한다.

이와 같이, 디코딩 시간 T1 > 동영상 데이터 판독 시간 T2인 경우에는, 동영상 데이터 판독 처리 쪽이 디코딩 처리보다 빠르므로, 제1 버퍼링 방식을 선택함으로써, 1프레임마다 읽어들이면서 디코딩해도, 동영상 데이터의 판독을 기다리는 일 없이, 디코딩을 연속하여 실행할 수 있다. 따라서, 최단시간에 디코딩을 완료할 수 있고, 버퍼링도 최단시간에 완료하게 되므로, 재생 지시로부터 재생 개시까지의 대기 시간을 단축할 수 있다.

한편, 디코딩 시간 T1 > 동영상 데이터 판독 시간 T2가 아닌 경우에는(단계 S12의 NO), 시간 T4(남은 디코딩 프레임 수 n × 시간 T2 > 시간 T5(남은 디코딩 프레임 수 n × 시간 T1 ＋ 시간 T3)인지의 여부를 판단한다(단계 S30). 그리고, 디코딩하기 전이면, 남은 디코딩 프레임 수 n은, 동영상 데이터의 모든 프레임 수가 된다.

상기 단계 30에서는, 일괄 판독 시간 T3이, 상기 디코딩 처리 시의 대기 시간을 흡수할 수 있을 정도로 단시간인지의 여부를 판단하고 있다. 즉, 시간 T4 > 시간 T5이면, 일괄하여 동영상 데이터를 읽어들인 후, 내부에서 1프레임마다 복제하여 디코딩하는 제2 버퍼링 방식을 선택한 쪽이, 단시간에 디코딩을 완료할 수 있다는 것을 의미한다.

여기서, 시간 T4 > 시간 T5인 경우에는(단계 S30의 YES), 파일 일괄 판독부 (22)[CPU 코어(151)]는, 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터(규정 사이즈 = 해당 버퍼 사이즈)의 동영상 데이터를 블록 단위(페이지 단위)로 일괄하여 읽어들이고, 일괄 판독 파일 기억부(143)에 저장한다(단계 S32). 다음에, 단계 S34∼S48의 루프 처리를 실행한다. 상기 단계 S34∼S48의 루프 처리는, 전술한 제2 버퍼링 방식에 상당한다.

먼저, 일괄 판독 파일 기억부(143)로부터, DMA 복제에 의해 1프레임 단위로 동영상 데이터를 순차적으로, 디코딩용 버퍼부(142)에 직접 전송(복제)한다(단계 S36). 이것과 병행하여, 디코딩부(13)[CPU 코어(152)]는, 디코딩용 버퍼부(142)에서 1프레임 단위로 동영상 데이터를 읽어들여 디코딩하고(단계 S38), 표시용 데이터 버퍼부(144)에 순차적으로 저장한다(단계 S40).

다음에, 남은 디코딩 프레임 수를 하나 감산하고(단계 S42), 남은 디코딩 프레임 수가 0이 되었는지의 여부를 판단한다(단계 S44). 그리고, 남은 디코딩 프레임 수가 0이 아닌 경우, 즉 아직 디코딩해야 할 프레임이 남아 있는 경우에는(단계 S44의 NO), 다음의 프레임이 일괄 판독 파일 기억부(143)에 없는지의 여부를 판단한다(단계 S46). 즉, 일괄 판독 파일 기억부(143)에 일괄하여 읽어들이지 않았던 동영상 데이터가 없는지의 여부를 판단한다. 그리고, 다음의 프레임이 일괄 판독 파일 기억부(143)에 있는 경우에는(단계 S46)의 NO), 단계 S36으로 돌아가서, 전술한 처리를 반복한다.

도 6의 (a)에는, 디코딩 시간 T1 < 동영상 데이터 판독 시간 T2이었던 경우에(단계 S12의 NO), 만일, 전술한 제1 버퍼링 방식을 이용한 경우의 버퍼링 동작을 나타내고 있다. 한편, 도 6의 (b)에는, 동일하게, 디코딩 시간 T1 < 동영상 데이터 판독 시간 T2이었던 경우에(단계 S12의 NO), 전술한 제2 버퍼링 방식을 이용한 경우의 버퍼링 동작을 나타내고 있다.

도 6의 (a)에 나타낸 바와 같이, 만일 제1 버퍼링 방식을 이용하였다고 하면, 데이터 판독부(20)[CPU 코어(151)]가, 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터, 첫회 판독 후, 1프레임 단위로 동영상 데이터를 순차적으로 읽어들이고, 디코딩용 버퍼부(142)에 순차적으로 저장한다. 이것과 병행하여, 디코딩부(13)[CPU 코어(152)]가, 디코딩용 버퍼부(142)에서 1프레임 단위로 동영상 데이터를 읽어들여 디코딩하려고 하면, 디코딩 시간 T1 < 동영상 데이터 판독 시간 T2이므로, 디코딩 처리 사이에 대기 시간 Dt가 생긴다. 그러므로, 디코딩 완료할 때까지, 전체 디코딩 프레임 수 × 대기 시간 Dt의 지연이 생기게 된다.

이에 대하여, 도 6의 (b)에 나타낸 바와 같이, 제2 버퍼링 방식을 이용한 경우에는, 파일 일괄 판독부(21)[CPU 코어(151)]가 외부 기록 매체 삽입부(16)에 삽입된 외부 기록 매체로부터 블록 단위(페이지 단위)로 일괄하여 동영상 데이터를 읽어들여 일괄 판독 파일 기억부(143)에 저장한 후, 첫회 판독을 행하고, 그 후, 일괄 판독 파일 기억부(143)로부터 1프레임 단위로 동영상 데이터를 디코딩용 버퍼부(142)에 DMA 복제하면서, 디코딩부(13)[CPU 코어(152)]로 디코딩하고, 표시용 데이터 버퍼부(144)에 순차적으로 저장한다.

이와 같이, 디코딩 시간 T1 < 동영상 데이터 판독 시간 T2이고, 또한, 시간 T4 > 시간 T5인 경우에는, 제2 버퍼링 방식을 선택함으로써, 동영상 데이터의 판독을 기다리는 일 없이, 연속하여 디코딩을 실행할 수 있다. 따라서, 최단시간에 디코딩을 완료할 수 있고, 버퍼링도 최단시간에 완료하게 되므로, 재생 지시로부터 재생 개시까지의 대기 시간을 단축할 수 있다.

한편, 도 4의 단계 S34∼S48의 루프 처리에 있어서, 남은 디코딩 프레임이 0이 아닌 경우에(단계 S44의 NO), 다음의 프레임이 일괄 판독 파일 기억부(143)에 없는 경우에는(단계 S46의 YES), 단계 S30으로 돌아가서, 일괄하여 읽어들이지 않았던 남은 프레임에 대하여 처리를 계속한다. 즉, 동영상 데이터의 사이즈나 재생 시간, 일괄 판독 파일 기억부(143)의 버퍼 사이즈 등에 따라서는, 동영상 데이터를 일괄하여 읽어들일 수 없는 경우가 있다. 그러므로, 남은 동영상 데이터에 대하여, 제1 버퍼링 방식을 이용할 것인지, 제2 버퍼링 방식을 이용할 것인지를 다시 판단할 필요가 있다.

여기서, 남은 동영상 데이터에 있어서, 시간 T4 > 시간 T5인 경우에는( 단계 S30의 YES), 전술한 제2 버퍼링 방식을 이용하면 된다. 한편, 남은 동영상 데이터에 있어서, 시간 T4 > 시간 T5가 아닌 경우에는(단계 S30의 NO), 도 3의 단계 S14로 돌아가고, 제1 버퍼링 방식을 이용하게 된다.

그리고, 남아 프레임 수가 0이 된 경우에는(단계 S44의 YES), 상기 처리를 종료한다.

전술한 실시예에 따르면, 외부 기록 매체의 데이터 판독 속도와 디코딩 속도에 따라, 더욱 적절한 버퍼링 방식을 선택적으로 사용함으로써, 외부 기록 매체로부터의 데이터 판독 속도와 디코딩 속도가 변화하는 경우라도, 동영상 재생 시의 성능을 충분히 발휘할 수 있다. 그 결과, 동영상 재생에 있어 동영상 데이터의 버퍼링를 더욱 단시간에 완료할 수 있고, 동영상 재생 지시로부터 동영상 재생 개시까지의 대기 시간을 단축할 수 있다.

그리고, 전술한 실시예에서는, 동영상 재생 기능을 가지는 전자 기기로서 설명하였으나, 더욱 구체적으로는, 디지털 카메라를 비롯하여, 촬상 기능을 가지는 휴대 전화기, 스마트 폰, 태블릿 단말기 등의 전자 기기에 적용할 수 있다.

Claims

외부 기록 매체에 기록되어 있는 동영상 데이터를 복수의 판독 방식 중 어느 하나의 방식으로 읽어들이는 판독 수단;
상기 판독 수단에 의해 읽어들여지는 동영상 데이터를 디코딩하는 디코딩 수단;
상기 디코딩 수단에 의한 동영상 데이터의 디코딩 속도와 상기 판독 수단에 의한 동영상 데이터의 판독 속도를 특정하는 특정 수단; 및
상기 특정 수단에 의해 특정된 디코딩 속도와 판독 속도의 관계가 소정의 관계에 있는지의 여부에 따라, 상기 판독 수단이 동영상 데이터를 읽어들일 때의 판독 방식을 선택하는 선택 수단
를 포함하는 전자 기기.
제1항에 있어서,
상기 특정 수단은, 재생 대상이 되는 동영상 데이터의 기록 상태, 동영상 데이터의 재생 조건, 외부 기록 매체의 종류 중 하나 이상의 조건의 상이함에 따라 변화하는 디코딩 속도 또는 판독 속도를 특정하는, 전자 기기.
제1항에 있어서,
상기 판독 수단은, 상기 외부 기록 매체에 기록되어 있는 동영상 데이터를 소정 단위로 읽어들이는 제1 판독 방식과, 상기 외부 기록 매체에 기록되어 있는 동영상 데이터를 복수의 상기 소정 단위로 일괄하여 읽어들이는 제2 판독 방식 중 어느 하나의 방식을 사용하여 동영상 데이터를 읽어들이고,
상기 디코딩 수단은, 상기 판독 수단에 의해 읽어들여지는 동영상 데이터를 상기 소정 단위로 순차 디코딩하고,
상기 특정 수단은, 상기 디코딩 수단에 의해 동영상 데이터를 디코딩하는 디코딩 속도와, 상기 판독 수단이 상기 제1 판독 방식에 의해 동영상 데이터를 읽어들이는 제1 판독 속도와, 상기 판독 수단이 상기 제2 판독 방식에 의해 동영상 데이터를 읽어들이는 제2 판독 속도를 특정하고,
상기 선택 수단은, 상기 특정 수단에 의해 특정된 디코딩 속도와, 제1 판독 속도와, 제2 판독 속도와의 관계가 소정의 관계에 있는지의 여부에 따라, 상기 판독 수단이 동영상 데이터를 읽어들일 때의 판독 방식으로서 상기 제1 판독 방식과 상기 제2 판독 방식 중 어느 하나를 선택하는, 전자 기기.
제3항에 있어서,
상기 판독 수단이 상기 제2 판독 방식에 의해 일괄하여 읽어들인 복수의 상기 소정 단위의 동영상 데이터를 기억하는 일괄 판독 파일 기억 수단; 및
상기 판독 수단에 의해 상기 외부 기록 매체로부터 프레임 단위로 동영상 데이터를 순차 읽어들이게 하고, 상기 순차 읽어들여지는 동영상 데이터를 상기 디코딩 수단에 의해 상기 프레임 단위로 순차 디코딩시키는 제1 버퍼링 방식, 또는 상기 판독 수단이 상기 제2 판독 방식에 의해 상기 외부 기록 매체로부터 일괄하여 읽어들인 복수의 상기 소정 단위의 동영상 데이터를 상기 일괄 판독 파일 기억 수단에 기억시킨 후, 상기 일괄 판독 파일 기억 수단에 기억되어 있는 동영상 데이터를, 상기 디코딩 수단에 의해 상기 프레임 단위로 차례대로 디코딩시키는 제2 버퍼링 방식 중 어느 한쪽을 사용하여 버퍼링 동작을 제어하는 제어 수단을 더 포함하는 전자 기기.
제4항에 있어서,
상기 제어 수단은, 상기 디코딩 수단에 의한 동영상 데이터의 프레임 단위에서의 디코딩 속도와 상기 판독 수단에 의한 상기 외부 기록 매체로부터의 프레임 단위에서의 판독 속도에 기초하여, 상기 제1 버퍼링 방식과 상기 제2 버퍼링 방식 중 어느 한쪽을 선택하는, 전자 기기.
제5항에 있어서,
상기 제어 수단은, 상기 디코딩 수단에 의한 상기 디코딩 속도가 상기 판독 수단에 의한 상기 제1 판독 속도보다 느린 경우에는, 상기 제1 버퍼링 방식을 이용하는 한편, 상기 디코딩 수단에 의한 상기 디코딩 속도가 상기 판독 수단에 의한 상기 제1 판독 속도보다 빠른 경우에는, 상기 제2 버퍼링 방식을 선택하는, 전자 기기.
제4항에 있어서,
상기 디코딩 수단에 의해 디코딩되기 직전의 동영상 데이터를 프레임 단위로 일시적으로 유지하는 디코딩용 버퍼 수단을 더 포함하고,
상기 제2 버퍼링 방식을 이용하는 경우에, 상기 일괄 판독 파일 기억 수단에 기억되어 있는 동영상 데이터를 상기 디코딩용 버퍼 수단에 프레임 단위로 직접 전송하는, 전자 기기.
제4항에 있어서,
상기 제어 수단은, 상기 판독 수단이 상기 제1 판독 방식에 의해 동영상 데이터를 읽어들이는 제1 판독 시간이, 상기 디코딩 수단에 의해 동영상 데이터를 디코딩하는 디코딩 시간에 상기 판독 수단이 상기 제2 판독 방식에 의해 동영상 데이터를 읽어들이는 제2 판독 시간을 더한 시간보다 긴 경우에는, 상기 제2 버퍼링 방식을 이용하는, 전자 기기.
제1항에 있어서,
상기 판독 수단과 상기 디코딩 수단은, 각각, 병행하여 동시 처리 가능한 복수의 프로세서 코어를 탑재한 중앙 처리 장치로 실현되는 것인, 전자 기기.
제1항에 있어서,
표시 수단; 및
상기 디코딩 수단에 의해 디코딩된 동영상 데이터를 상기 표시 수단에 표시하는 표시 제어 수단을 더 포함하는 전자 기기.
외부 기록 매체에 기록되어 있는 동영상 데이터를 복수의 판독 방식 중 어느 하나의 방식으로 읽어들이는 판독 단계;
상기 판독 단계에서 읽어들여지는 동영상 데이터를 디코딩하는 디코딩 단계;
상기 디코딩 단계에서의 동영상 데이터의 디코딩 속도와 상기 판독 단계에서의 동영상 데이터의 판독 속도를 특정하는 특정 단계; 및
상기 특정 단계에서 특정된 디코딩 속도와 판독 속도의 관계가 소정의 관계에 있는지의 여부에 따라, 상기 판독 단계에서 동영상 데이터를 읽어들일 때의 판독 방식을 선택하는 선택 단계
를 포함하는 동영상 디코딩 방법.
전자 기기의 컴퓨터에,
외부 기록 매체에 기록되어 있는 동영상 데이터를 복수의 판독 방식 중 어느 하나의 방식으로 읽어들이는 판독 기능;
상기 판독 기능에 의해 읽어들여지는 동영상 데이터를 디코딩하는 디코딩 기능;
상기 디코딩 기능에 의한 동영상 데이터의 디코딩 속도와 상기 판독 기능에 의한 동영상 데이터의 판독 속도를 특정하는 특정 기능; 및
상기 특정 기능에 의해 특정된 디코딩 속도와 판독 속도와의 관계가 소정의 관계에 있는지의 여부에 따라, 상기 판독 기능이 동영상 데이터를 읽어들일 때의 판독 방식을 선택하는 선택 기능
을 실현시키기 위한 프로그램을 기록한 비일시적인(non-transitory) 기록 매체.