WO2007099580A1

WO2007099580A1 - マルチメディアデータ再生装置および方法

Info

Publication number: WO2007099580A1
Application number: PCT/JP2006/303658
Authority: WO
Inventors: Naoto Otake
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2006-02-28
Filing date: 2006-02-28
Publication date: 2007-09-07

Abstract

　利用者の要求に応じたモードで映像データおよび音響データを復号可能なマルチメディアデータ再生装置を提供することを目的とし、マルチメディアデータ再生装置１は、マルチメディアデータを発生するマルチメディアデータ発生手段１１と、動作モードを選択する動作モード選択手段１２と、選択された動作モードでマルチメディアデータを復号するマルチメディアデータ復号手段１３と、マルチメディアデータ復号手段１３による復号結果を出力する出力手段１４とを含む。

Description

明細書

マルチメディアデータ再生装置および方法

技術分野

[0001] 本発明は、マルチメディアデータ再生装置および方法に関するものである。

背景技術

[0002] 静止画、動画、音響、文字等の各種情報を含む所謂マルチメディアデータの再生装置は、利用者の要求に応じた形態で再生可能であることが望ましい。

[0003] 代表的なマルチメディアデータの符号化方式である MPEG (Moving Picture Exper ts Group)の中には基本データに高品質化データを付加した構造を採用し、基本データだけを使用した場合には通常品質再生となり、基本データと高品質ィ匕データとを使用した場合には高品質再生が可能となる符号ィ匕復号ィ匕方式も規定されている。

[0004] このような特徴をもった符号ィ匕復号ィ匕方式として、 MPEG4—HE—AAC (以下、 A ACPlusという。 ) [ISO/IEC 14496- 3:2001/Amd.1:2003, "Coding of audio-visual objects Part 3: Audio, AMENDMENT 1: Bandwidth Extension", 2003]がある。

[0005] AACPlusにより符号化されたマルチメディアデータは、 AACPlusデコーダにより高品質で復号可能であることは当然であるが、 AACデコーダにより通常品質でも復号可能である。

[0006] また、 AACにより符号ィ匕されたマルチメディアデータは、 AACデコーダにより通常品質で復号可能であることは当然であるが、 AACPlusデコーダにより通常品質でも復号可能である。

[0007] このため利用者は、 AACPlusにより符号化されたマルチメディアデータのコンテンッが音楽データである場合、もしくは、マルチメディアデータの再生速度が 1倍速である場合は、 AACPlusデコーダによる高品質再生を選択し、コンテンツが音声データである場合、もしくは、再生速度が 2倍速である場合は、 AACデコーダによる通常品質再生を選択することができる。

[0008] 上述のように、利用者の要求に応じた再生を可能とするためには、 AACPlus再生

ヽても実時間処理が可能な高性能の処理装置 (MPU、 DSP等）を使用する必要があるが、電力消費量が増加するだけでなぐ経済性も低下することとなる。

[0009] そこで、処理装置の性能が限られている場合にも、利用者の要求に応じたモードで再生可能な装置および方法が既に提案されている（例えば、特許文献 1および特許文献 2参照)。

[0010] 特許文献 1に開示された再生装置および方法は、マルチメディアデータを複数の再生速度で再生するために、複数の再生速度に対応する再生データを予め記憶し、利用者の要求に応じた再生データを再生するものである。

[0011] また、特許文献 2に開示された復号化方法は、自然さを損なわずに映像データを X 倍速再生するために、適当な間隔でフレームを間弓 I 、て復号を行って、る。

特許文献 1：特開 2004— 333679公報 ( [0007]、図 2)

特許文献 2 :特開 2000— 32395公報（[0018]、図 1)

発明の開示

発明が解決しょうとする課題

[0012] し力しながら、特許文献 1に開示された再生装置および方法は、複数の再生速度に対応する再生データを記憶しておく必要があるため大容量メモリが必要となるだけでなぐ実時間処理が必要な 1セグメント放送受信ある、は動画のストリーミング配信、ディジタルラジオ放送受信には適用できなヽとヽぅ課題があった。

[0013] また、特許文献 2に開示された復号化方法は、フレームを間引くと音響が途切れてしまうので、音響データの復号には適用できな、と、う課題があった。

[0014] 本発明は、上記課題を解決するためになされたものであって、 2倍速再生等の高負荷再生処理を行う際に、低負荷の復号処理を選択することによって、装置全体の処理量が限られている場合にも高負荷再生処理を行うことが可能なマルチメディアデータ再生装置および方法を提供することを目的とする。

課題を解決するための手段

[0015] 本発明のマルチメディアデータ再生装置は、マルチメディアデータを発生するマルチメディアデータ発生手段と、動作モードを選択する動作モード選択手段と、前記動作モード選択手段が選択した前記動作モードで前記マルチメディアデータを復号するマルチメディアデータ復号手段と、前記マルチメディアデータ復号手段による復号結果を出力する出力手段とを含む構成を有している。

[0016] この構成により、本発明のマルチメディアデータ再生装置は、利用者の要求に応じた動作モードでマルチメディアデータを復号できる。

[0017] 本発明のマルチメディアデータ再生装置は、前記マルチメディアデータ発生手段力映像データを発生する映像データ発生手段、または、音響データを発生する音響データ発生手段の少なくとも一方を含む構成を有している。

[0018] この構成により、本発明のマルチメディアデータ再生装置は、映像データまたは音響データを発生することができる。

[0019] 本発明のマルチメディアデータ再生装置は、前記映像データ発生手段が、基準品質映像データを発生する基準品質映像データ発生手段、または、前記基準品質映像データと高品質ィヒ映像データとを結合した高品質映像データを発生する高品質映像データ発生手段の少なくとも一方を含む構成を有している。

[0020] この構成により、本発明のマルチメディアデータ再生装置は、基準品質映像データまたは高品質映像データを発生することができる。

[0021] 本発明のマルチメディアデータ再生装置は、前記音響データ発生手段が、基準品質音響データを発生する基準品質音響データ発生手段、または、前記基準品質音響データと高品質化音響データとを結合した高品質音響データを発生する高品質音響データ発生手段の少なくとも一方を含む構成を有している。

[0022] この構成により、本発明のマルチメディアデータ再生装置は、基準品質音響データまたは高品質音響データを発生することができる。

[0023] 本発明のマルチメディアデータ再生装置は、前記基準品質音響データ発生手段が

、前記基準品質音響データである AACデータを発生するものであり、前記高品質音響データ発生手段が、前記高品質音響データである AACPlusデータを発生するものである構成を有している。

[0024] この構成により、本発明のマルチメディアデータ再生装置は、 AACデータまたは A

ACPlusデータを発生することができる。

[0025] 本発明のマルチメディアデータ再生装置は、前記動作モード選択手段が、前記マルチメディアデータ復号手段が備える複数の処理モードの一つを選択する処理モード選択手段と、前記マルチメディアデータ復号手段が備える複数の復号モードの一つを選択する復号モード選択手段と、前記マルチメディアデータ復号手段が備える複数の再生モードの一つを選択する再生モード選択手段とを含む構成を有している

[0026] この構成により、本発明のマルチメディアデータ再生装置は、処理モード、復号モードおよび再生モードを選択できる。

[0027] 本発明のマルチメディアデータ再生装置は、前記処理モード選択手段が、前記マルチメディアデータ復号手段を通常の処理能力で動作させる通常モードと、前記マルチメディアデータ復号手段を前記通常モード動作時より電力消費量が少なくなる処理能力で動作させる省電力モードとの、ずれかを選択する構成を有して、る。

[0028] この構成により、本発明のマルチメディアデータ再生装置は、処理モード選択手段が省電力モードを選択したときには、マルチメディアデータを長時間再生できる。

[0029] 本発明のマルチメディアデータ再生装置は、前記復号モード選択手段が、前記高品質映像データを復号する高品質映像復号モードと前記高品質映像データまたは前記基準品質映像データを復号する基準品質映像復号モードとの選択、もしくは、前記高品質音響データを復号する高品質音響復号モードと前記高品質音響データまたは前記基準品質音響データを復号する基準品質音響復号モードとの選択の少なくとも一方の選択を実行するものである構成を有している。

[0030] この構成により、本発明のマルチメディアデータ再生装置は、高品質映像データまたは高品質音響データを高品質で復号できるだけでなぐ高品質映像データまたは高品質音響データを基準品質で復号することができる。

[0031] 本発明のマルチメディアデータ再生装置は、前記復号モード選択手段が、前記 A ACPlusデータを復号する前記高品質音響復号モードである AACPlus復号モードと、前記 AACPlusデータまたは前記 AACデータを復号する前記基準品質音響復号モードである AAC復号モードとの、ずれかを選択するものである構成を有して!/ヽる。

[0032] この構成により、本発明のマルチメディアデータ再生装置は、 AACPlusデータを高品質で復号できるだけでなく、 AACPlusデータまたは AACデータを基準品質で復号できる。

[0033] 本発明のマルチメディアデータ再生装置は、前記再生モード選択手段が、前記マルチメディアデータを通常再生する通常再生モードと、前記マルチメディアデータを特殊再生する特殊再生モードとの選択を実行するものである構成を有している。

[0034] この構成により、本発明のマルチメディアデータ再生装置は、マルチメディアデータを通常再生または特殊再生することができる。

[0035] 本発明のマルチメディアデータ再生装置は、前記再生モード選択手段が、前記マルチメディアデータを 1倍速で再生する前記通常再生モードである 1倍速再生モードと、前記マルチメディアデータを 2倍速で再生する前記特殊再生モードである 2倍速再生モードとの選択を実行するものである構成を有している。

[0036] この構成により、本発明のマルチメディアデータ再生装置は、マルチメディアデータを 1倍速再生または 2倍速再生することができる。

[0037] 本発明のマルチメディアデータ再生装置は、前記動作モード選択手段が、選択した前記動作モードで前記マルチメディアデータ復号手段が処理不可能と判定したときは、前記動作モードを前記マルチメディアデータ復号手段が処理可能な動作モードに変更する動作モード変更手段を含む構成を有している。

[0038] この構成により、本発明のマルチメディアデータ再生装置は、再生可能なマルチメディアデータのコンテンツの範囲を拡大することができる。

[0039] 本発明のマルチメディアデータ再生装置は、前記動作モード変更手段が、選択した前記処理モードで前記マルチメディアデータ復号手段が処理不可能と判定したときには、前記処理モードを前記マルチメディアデータ復号手段が処理可能な処理モードに変更するものである構成を有して、る。

[0040] この構成により、本発明のマルチメディアデータ再生装置は、処理能力に応じた適切な処理モードを設定することができる。

[0041] 本発明のマルチメディアデータ再生装置は、前記動作モード変更手段が、選択した前記復号モードで前記マルチメディアデータ復号手段が復号不可能であると判定したときには、前記復号モードを前記マルチメディアデータ復号手段が復号可能な復号モードに変更するものである構成を有して、る。 [0042] この構成により、本発明のマルチメディアデータ再生装置は、処理能力に応じた適切な復号モードを設定することができる。

[0043] 本発明のマルチメディアデータ再生装置は、前記動作モード変更手段が、前記処理モード選択手段が省電力モードを選択したときに、前記復号モード選択手段が選択した AACPlus復号モードで前記マルチメディアデータ復号手段が復号不可能と判定したときには、前記復号モードを AAC復号モードに変更するものである構成を有している。

[0044] この構成により、本発明のマルチメディアデータ再生装置は、処理能力に応じた適切な復号モードを設定することができる。

[0045] 本発明のマルチメディアデータ再生装置は、前記動作モード変更手段が、前記復号モード選択手段が選択した高品質映像復号モードおよび AACPlus復号モードで前記マルチメディアデータ復号手段が復号不可能と判定したときには、前記復号モードを AAC復号モードに変更するものである構成を有している。

[0046] この構成により、本発明のマルチメディアデータ再生装置は、処理能力に応じた適切な復号モードを設定することができる。

[0047] 本発明のマルチメディアデータ再生装置は、前記動作モード変更手段が、前記復号モード選択手段が選択した高品質映像復号モードおよび AACPlus復号モードで前記マルチメディアデータ復号手段が復号不可能と判定したときには、前記復号モードを基準品質映像復号モードに変更するものである構成を有している。

[0048] この構成により、本発明のマルチメディアデータ再生装置は、処理能力に応じた適切な復号モードを設定することができる。

[0049] 本発明のマルチメディアデータ再生方法は、マルチメディアデータを発生するマルチメディアデータ発生段階と、動作モードを選択する動作モード選択段階と、前記動作モード選択手段が選択した前記動作モードで前記マルチメディアデータを復号するマルチメディアデータ復号段階と、前記マルチメディア復号段階における復号結果を出力する出力段階とを含む構成を有している。

[0050] この構成により、本発明のマルチメディアデータ再生方法は、高品質映像データまたは高品質音響データを高品質で再生できるだけでなぐ高品質映像データまたは高品質音響データを基準品質で再生することができる。

[0051] 本発明のマルチメディアデータ再生方法は、前記動作モード選択段階が、前記マルチメディアデータ復号段階が含む複数の処理モードの一つを選択する処理モード選択段階と、前記マルチメディアデータ復号手段が含む複数の復号モードの一つを選択する復号モード選択段階と、前記マルチメディアデータ復号手段が含む複数の再生モードの一つを選択する再生モード選択段階とを含む構成を有している。

[0052] この構成により、本発明のマルチメディアデータ再生方法は、処理モード、復号モードおよび再生モードを選択できる。

[0053] 本発明のマルチメディアデータ再生方法は、前記動作モード選択段階が、選択した前記動作モードで前記マルチメディアデータ復号段階が処理不可能であると判定したときは、前記動作モードを前記マルチメディアデータ復号段階で処理可能な動作モードに変更する動作モード変更段階を含む構成を有している。

[0054] この構成により、本発明のマルチメディアデータ再生方法は、処理能力に応じた適切な動作モードを設定することができる。

発明の効果

[0055] 本発明は、 2倍速再生等の高負荷再生処理を行う際に、低負荷の復号モードを選択することによって、装置全体の処理量が限られている場合にも高負荷再生処理を行うことができるという効果を有するマルチメディアデータ再生装置および方法を提供することができるものである。

図面の簡単な説明

[0056] [図 1]図 1は、マルチメディアデータ再生装置のブロック図である。

[図 2]図 2は、ハードウェア構成のブロック図である。

[図 3]図 3は、マルチメディアデータ復号プログラムのフローチャートである。

[図 4]図 4は、マルチメディアデータヘッダ読み込み処理の詳細フローチャートである

[図 5]図 5は、動作モード読み込み処理の詳細フローチャートである。

[図 6]図 6は、動作モード変更処理の詳細フローチャートである。

[図 7]図 7は、必要処理負荷算出処理の詳細フローチャートである。 [図 8]図 8は、利用者設定処理の詳細フローチャートである。

[図 9]図 9は、処理モードに対応した CPUの処理能力 PAを示す表である。

[図 10]図 10は、復号モードおよび再生速度に対応した CPUの処理負荷を示す表である。

[図 11]図 11は、復号モード変更処理の詳細フローチャートである。

[図 12]図 12は、音響データおよび映像データのデータフォーマットを説明する図である。

[図 13]図 13は、復号モード修正処理の詳細フローチャートである。

[図 14]図 14は、第 1の動作モード修正処理の詳細フローチャートである。

[図 15]図 15は、第 2の動作モード修正処理の詳細フローチャートである。

[図 16]図 16は、第 3の動作モード修正処理の詳細フローチャートである。

[図 17]図 17は、第 4の動作モード修正処理の詳細フローチャートである。

符号の説明

1 マルチメディアデータ再生装置

11 マルチメディアデータ発生手段

12 動作モード選択手段

13 マルチメディアデータ復号手段

14 出力手段

21 1セグメント放送受信部

22 マイクロプロセッサシステム

23 増幅器

24 スピーカまたはィャフォン

25 表示ノネノレ

26 ポインタ

27 キーボード

221 音響信号入力インターフェイス (IZF)

222 映像信号入力 I,F

223 CPU 224 メモリ

225 音響信号出力 IZF

226 映像信号出力 IZF

227 操作 I/F

228 DSP (Digital Signal Processor)

229 バス

発明を実施するための最良の形態

[0058] 以下本発明に係るマルチメディアデータ再生装置の実施の形態について、図面を参照しつつ説明する。

[0059] なお、本明細書にお!、て、「処理モード」はマルチメディアデータ復号手段の処理能力を規定し、本実施の形態のマルチメディアデータ復号手段は、通常の処理能力で動作する通常モードと、通常の処理能力より低い処理能力で動作して消費電力を低減する省電力モードとを備える。

[0060] また、本明細書にぉ、て、「復号モード」はマルチメディアデータ復号手段の復号方法を規定し、本実施の形態のマルチメディアデータ復号手段は、高品質映像データを高品質で復号する高品質映像復号モードと、高品質映像データまたは基準品質映像データを基準品質で復号する基準品質映像復号モードと、高品質音響データを高品質で復号する高品質音響復号モードと、高品質音響データまたは基準品質音響データを基準品質で復号する基準品質音響復号モードとを備える。

[0061] なお、本明細書において、「再生モード」はマルチメディアデータ復号手段により復号されたマルチメディアデータの再生方法を規定し、本実施の形態のマルチメディアデータ復号手段は、通常の 1倍速再生を行う通常再生モードと、速度変更再生もしくはエコー再生等の特殊効果再生を行う特殊再生モードとを備える。

[0062] また、本明細書にぉ、て、「符号ィ匕モード」はマルチメディアデータの符号化方式を示すものであり、映像データの符号ィ匕モードには、高品質映像符号化モードと基準品質映像符号ィ匕モードがあり、音響データの符号ィ匕モードには高品質音響符号ィ匕モードと基準品質音響符号ィ匕モードがある。

[0063] さらに、本明細書において、「動作モード」は、「処理モード」、「復号モード」および「再生モード」の総称である。

[0064] また、本明細書において、「映像復号モード」は、高品質映像復号モードと基準品質映像復号モードの総称であり、「音響復号モード」は、高品質音響復号モードと基準品質音響復号モードの総称である。

(第 1の実施の形態）

本実施の形態においては、利用者が処理モードを選択し、 CPU223が復号モードを選択するものとする。また、復号モードは、マルチメディアデータの符号ィ匕モード〖こ対応するものに初期設定されるものとする。また、再生モードは 1倍速再生モード〖こ設定されているものとする。

[0065] マルチメディアデータ再生装置 1は、図 1に示すように、マルチメディアデータを発生するマルチメディアデータ発生手段 11と、動作モードを選択する動作モード選択手段 12と、選択された動作モードでマルチメディアデータを復号するマルチメディアデータ復号手段 13と、マルチメディアデータ復号手段 13による復号結果を出力する出力手段 14とを含む。

[0066] マルチメディアデータ再生装置 1は、図 2のハードウェア構成のブロック図に示すように、マルチメディアデータ発生手段 11として機能する 1セグメント放送受信部 21と、動作モード選択手段 12およびマルチメディアデータ復号手段 13として機能するマイクロプロセッサシステム 22と、出力手段 14として機能する増幅器 23、スピーカまたはィャフォン 24、および表示パネル 25と、動作モードを設定するためのポインタ 26およびキーボード 27とを含む。

[0067] マイクロプロセッサシステム 22は、 1セグメント放送受信部 21が出力する音響信号を入力する音響信号入力インターフェイス (IZF) 221と、 1セグメント放送受信部 21 が出力する映像信号を入力する映像信号入力 IZF222と、マルチメディアデータ復号プログラムを処理する CPU223と、マルチメディアデータ復号プログラムおよび CP U223の処理結果を記憶するメモリ 224と、音響信号を増幅器 23に出力する音響信号出力 IZF225と、映像信号を表示パネルに出力する映像信号出力 IZF226と、ポインタ 26およびキーボード 27に接続される操作 IZF227とがバス 229を介して相互に結合された構成を有する。なお、演算能力を増強するために DSP (Digital Signal P rocessor) 228を使用してもよい。

[0068] 以下マイクロプロセッサシステム 22にインストールされるマルチメディアデータ復号プログラムのフローチャートを参照しつつ、第 1の実施の形態のマルチメディアデータ再生装置の動作を説明する。

[0069] 図 3は、マルチメディアデータ復号プログラムのフローチャートであって、 CPU223 は、 1セグメント放送受信部 21から出力されるマルチメディアデータのヘッダを読み込み (ステップ S31)、マルチメディアデータの符号ィ匕モードを識別する。

[0070] 次に、 CPU223は、復号モード、および、ポインタ 26およびキーボード 27により設定された処理モードを読み込む (ステップ S32)。

[0071] さらに、 CPU223は、設定された動作モードで映像データおよび音響データを復号可能であるか否かを判定し、必要に応じて動作モードを変更する動作モード変更処理を実行する (ステップ S33)。

[0072] 最後に、 CPU223は、所定の復号モードで映像データおよび音響データを復号する（ステップ S 34)。

[0073] 図 4は、ステップ S31のマルチメディアデータヘッダ読み込み処理の詳細フローチヤートであって、 CPU223は、まず、映像データのヘッダを読み込み（ステップ S311 )、次に、音響データのヘッダを読み込む (ステップ S312)。

[0074] 図 5は、ステップ S32の動作モード読み込み処理の詳細フローチャートであって、 C PU223は、まず、表示パネル 25に処理モード選択を指示するメッセージを表示する (ステップ S321)。利用者は、このメッセージに応じてマルチメディアデータ復号プログラムが備える複数の処理モードの一つを選択する (ステップ S322)。次に、 CPU2 23は、マルチメディアデータ復号プログラムが備える複数の復号モードの一つを選択する (ステップ S323)。

[0075] 処理モードとしては、例えば、 CPU223を通常の処理能力で動作させる通常モード、もしくは、 CPU223の処理能力を通常モード動作時より低下させることにより電力消費量が少なくなる省電力モードのいずれかを選択可能である。

[0076] また、映像復号モードとしては、高品質映像復号モードまたは基準品質映像復号モードの、ずれかを選択可能である。 [0077] 音響復号モードとしては、例えば、高品質音響復号モードである AACPlus復号モード、もしくは、基準品質音響復号モードである AAC復号モードのいずれかを選択可能である。

[0078] 図 6は、ステップ S33の動作モード変更処理の詳細フローチャートであって、 CPU2 23は設定された処理モードが省電力モードであるか否かを判定する（ステップ S401

) o

[0079] CPU223は、処理モードが省電力モードであると判定したときは、 CPU223の処理能力 PAを" 280"に設定 (ステップ S402)した後にステップ S404の処理に進む。

[0080] 一方、 CPU223は、処理モードが省電力モードでないと判定したときは、 CPU223 の処理能力 PAを" 500"に設定 (ステップ S403)した後にステップ S404の処理に進む。

[0081] 次に、 CPU223は、マルチメディアデータを復号および再生する際に必要な処理負荷である必要処理負荷 RLを算出する (ステップ S404)。

[0082] 最後に、 CPU223は、処理能力 PAが必要処理負荷 RL以上である力否かを判定（ステップ S405)し、処理能力 PAが必要処理負荷 RL未満であると判定したときは復号モードを変更 (ステップ S406)して、この処理を終了する。

[0083] なお、 CPU223は、処理能力 PAが必要処理負荷 RL以上であると判定したときには、復号モードを変更することなくこの処理を終了するが、利用者が復号モードを高品質力も基準品質に変更できる処理を加えてもょ、 (ステップ S407)。

[0084] 図 7は、ステップ S404の必要処理負荷算出処理の詳細フローチャートであって、 C

PU223は設定された映像復号モードが高品質映像復号モードである力否かを判定する（ステップ S450)。

[0085] CPU223は、映像復号モードが高品質映像復号モードであると判定したときは、必要映像処理負荷 RLVを" 250"に設定 (ステップ S451)した後にステップ S453の処理に進む。

[0086] 一方、 CPU223は、映像復号モードが高品質映像復号モードでないと判定したときは、必要映像処理負荷 RLVを" 200"に設定 (ステップ S452)した後にステップ S4 53の処理に進む。 [0087] その後、 CPU223は設定された音響復号モードが高品質音響復号モードであるか否かを判定する (ステップ S453)。

[0088] CPU223は、音響復号モードが高品質音響復号モードであると判定したときは、必要音響処理負荷 RLAを" 100"に設定 (ステップ S454)した後にステップ S456の処理に進む。

[0089] 一方、 CPU223は、音響復号モードが高品質音響復号モードでないと判定したときは、必要音響処理負荷 RLAを" 50"に設定 (ステップ S455)した後にステップ S45 6の処理に進む。

[0090] 次に、 CPU223は、必要映像処理負荷 RLVと必要音響処理負荷 RLAとを加算して必要処理負荷 RLを算出（ステップ S456)して、この処理を終了する。

[0091] 図 8は、ステップ S407の利用者設定処理の詳細フローチャートであって、 CPU22 3は、表示パネル 25に映像復号モード選択を指示するメッセージを表示する (ステツプ S470)。このメッセージに応じて利用者は映像復号モードを入力する (ステップ S4 71)。

[0092] 次に、 CPU223は、表示パネル 25に音響復号モード選択を指示するメッセージを表示する (ステップ S472)。このメッセージに応じて利用者が音響復号モードを入力（ステップ S473)すると、 CPU223は処理を終了する。

[0093] 図 9は、処理モードに対応した CPU223の処理能力 PAを示す表であり、 CPU223 が通常モードで動作するときの処理能力 PAは" 500"となり、省電力モードで動作するときの処理能力 PAは" 280"となる。

[0094] また、図 10は、復号モードおよび再生モードに対応した CPU223の処理負荷を示す表であり、再生モードが通常再生モードである 1倍速再生モードに設定されている場合は、映像データを基準品質映像復号モードで復号する際の必要映像処理負荷 RLVは" 200"であり、音響データを基準品質音響復号モードで復号する際の必要音響処理負荷 RLAは" 50"である。一方、映像データを高品質映像復号モードで復号する際の必要映像処理負荷 RLVは" 250"であり、音響データを高品質音響復号モードで復号する際の必要音響処理負荷 RLAは" 100"である。

[0095] 再生モードが特殊再生モードである 2倍速再生モードに設定されている場合は、映像データを基準品質映像復号モードで復号する際の必要映像処理負荷 RLVは" 25 0"であり、音響データを基準品質音響復号モードで復号する際の必要音響処理負荷 RLAは" 100"である。一方、映像データを高品質映像復号モードで復号する際の必要映像処理負荷 RLVは" 320"であり、音響データを高品質音響復号モードで復号する際の必要音響処理負荷 RLAは" 200"である。

[0096] 図 11は、ステップ S406で実行される復号モード変更処理の詳細フローチャートであって、 CPU223は音響復号モードが高品質音響復号モードであるか否かを判定（ステップ S51)する。

[0097] CPU223は、音響復号モードが高品質音響復号モードであると判定したときは、音響復号モードを基準品質音響復号モードに変更する (ステップ S52)。

[0098] 次に、 CPU223は、必要音響処理負荷 RLAを" 50"に変更 (ステップ S53)して、必要処理負荷 RLの算出処理を行う（ステップ S54)。

[0099] 次に、 CPU223は、処理能力 PAが必要処理負荷 RL以上であるカゝ否かを判定 (ステツプ S55)して、処理能力 PAが必要処理負荷 RL未満であると判定したときは、ステツプ S56の処理に進む。 CPU223は、処理能力 PAは必要処理負荷 RL以上であると判定したときには、表示パネル 25に基準品質音響復号モードが自動選択される旨のメッセージを表示 (ステップ S57)して、この処理を終了する。

[0100] 一方、 CPU223は、音響復号モードが高品質音響復号モードでないと判定したときは、直接ステップ S56の処理に進む。

[0101] 次に、 CPU223は映像復号モードが高品質映像復号モードである力否かを判定（ステップ S56)する。

[0102] CPU223は、映像復号モードが高品質映像復号モードであると判定したときは、映像復号モードを基準品質映像復号モードに変更する (ステップ S58)。

[0103] 次に、 CPU223は、必要映像処理負荷 RLVを" 200"に変更 (ステップ S59)して、再び必要処理負荷算出処理を行う（ステップ S60)。

[0104] 次に、 CPU223は、処理能力 PAが必要処理負荷 RL以上であるカゝ否かを判定 (ステツプ S61)して、処理能力 PAが必要処理負荷 RL以上であると判定したときには、表示パネル 25に基準品質音響復号モードおよび基準品質映像復号モードが自動選択される旨のメッセージを表示 (ステップ S62)して、この処理を終了する。

[0105] なお、 CPU223は、ステップ S56で映像復号モードが高品質映像復号モードでないと判定した場合、および、ステップ S61で処理能力 PAが必要処理負荷 RL未満であると判定したときは、マルチメディアデータが再生できなヽ旨のメッセージを表示（ステップ S63)して、この処理を終了する。

[0106] 例えば、処理モードとして省電力モードを選択し、 1セグメント放送受信部 21が 1セグメント放送を受信してヽる状況を想定する。

[0107] 1セグメント放送では、映像信号を H. 264 (画面サイズは QVGA)で、音響信号を

AACPlusで符号化するように規定されて!、る。

[0108] CPU223は、 1セグメント放送受信部 21から出力される映像データおよび音響データのヘッダを読み込み、映像データの符号ィ匕モードが基準品質映像符号ィ匕モードであり、音響データの符号ィヒモードが高品質音響符号ィヒモードである AACPlus符号ィ匕モードであることを識別する。

[0109] なお、本実施の形態にぉ、て、 1セグメント放送の映像データは、基準品質映像データに高品質ィ匕映像データを結合した構成を有していないので、基準品質映像復号モードで復号される。

[0110] 処理モードとして省電力モードが選択されている場合は、 CPU223の処理能力 PA は" 280"に設定される。

[0111] 映像データの符号ィ匕モードは基準品質映像符号ィ匕モードであるので、 CPU223は、基準品質映像復号モードでマルチメディアデータを復号すればよぐ必要映像処理負荷 RLVは" 200"となる。これに対して、音響データの符号ィ匕モードは高品質音響符号ィ匕モードであるので、高品質音響復号モードでマルチメディアデータを復号する必要があり、必要音響処理負荷 RLAは" 100"となる。

[0112] 従って、必要処理負荷 RLは" 200+ 100 = 300"となり、省電力モードで動作する CPU223の処理能力 PA"280"より大きくなる。

[0113] この結果、 CPU223は、音響復号モードを高品質音響復号モードである AACPlu s復号モードから基準品質音響復号モードである AAC復号モードに変更して、必要処理負荷 RLを" 200 + 50 = 250"とし、 1セグメント放送の受信を開始する。 [0114] 図 12は音響データおよび映像データのデータフォーマットを説明する図である。図 12 (a)は、 AACPlusデータのフォーマットの模式図であって、 AACPlusデータは、ヘッダに 24kHzでサンプリングされた音響データが付加された AACデータに 48 kHzでサンプリングした音響データがさらに付加された構成を有している。

[0115] このため、 AACPlusデータは AACPlus復号モードによって高品質で復号できるだけでなぐ 48kHzでサンプリングした音響データを無視することにより AAC復号モードによって基準品質で復号することも可能となっている。

[0116] よって、音響復号モードを AAC復号モードに変更しても、音響出力の品質は低下するものの、 1セグメント放送受信には支障を生じな、。

[0117] 図 12 (b)は、動画像圧縮形式の一例である Motion—JPEG (Joint Photographic E xperts Group)ストリームのデータフォーマットの模式図である。このフォーマットでは、各ピクチャについての画像符号ィ匕データとそのヘッダ力も構成される。

[0118] 通常は、全てのピクチャについて順次復号を行うことで動画再生が行われる。一方、全てのピクチャについて復号を行わず、一定間隔でピクチャを無視することによつて処理量を減らすことができる。例えば、全てのピクチャを復号し、 30フレーム毎秒で表示する処理に対して、 1ピクチャ間隔で（2ピクチャにつき、 1ピクチャを間引いて）復号を行い 15フレーム毎秒のフレーム間隔に減少させる処理を行うことにより、処理量を減らすことができる。

[0119] このように、映像データのフレーム間隔に着目し、高品質映像復号モードとして、映像データが有する全てのフレームについて復号を行うフレーム数不変更復号モードを実現し、また、基準品質映像復号モードとして、復号を行う対象となるフレーム数を減ずることによって復号の処理量を軽減するフレーム数変更復号モードを実現することが可能である。

[0120] さらに、画像データの解像度に着目し、高品質映像復号モードとして、映像データの画像サイズを変更せずに復号を行う高解像度復号モードを実現し、また、基準品質映像復号モードとして、解像度の低い映像データを復号すること、もしくは、解像度の高い映像データの画像サイズを縮小することによって復号の処理量を軽減する低解像度復号モードを実現することも可能である。 [0121] 上記の高解像度復号モードおよび低解像度復号モードに対応する映像データフォ一マット例を以下に説明する。

図 12 (c)は、 1フレームが QVGA (320画素 X 240画素）サイズ相当の画像を示している。この画像は、例えば、左上隅の画素（0番）から 4画素（0番、 1番、 320番、 32 1番）を 1つのブロックとして、以下 4画素ずつを一まとまりとして捉えると、 80 X 60ブロックの集合と考免ることができる。

[0122] そして、各ブロックの左上隅（1ライン目は、 0番、 2番、 4番、 · · ·、 318番まで、 2ライン目は、 320番、 322番、 324番、 · · ·、 638番まで、以下同様）の画素値を各ブロックの代表値として表現することとした「基準品質映像データ」を定義し、係る画素値の連続を一つのデータとしてヘッダの後続に配置し、次に、各ブロックの他の画素の連続を高品質映像データへの差分データである「高品質ィ匕映像データ」と定義して「基準品質映像データ」の後続に配置することによって、音響データの AACPlusデータのフォーマットに相当するデータフォーマットを定義することが可能である。即ち、本発明は、係る構造のデータフォーマットに対しても適用可能である。

[0123] 以上述べたように、本発明は、取り扱うデータの性質が音響データであるか映像データであるかを問わず、次の性質を有するデータフォーマットに対して一様に効果を奏する。すなわち、 i) 2以上の復号品質で復号可能なデータフォーマットであって、 ϋ )それぞれの復号品質に依拠する各データ部分は、たがいに前方互換または上位互換なように構成されるデータフォーマットである。

[0124] 換言すると、ある品質に相当するデータに他の品質のデータ情報を付加することにより他の品質でデータを復号可能なように構成されたデータフォーマットは、本発明で適用可能である。

[0125] なお、上記実施の形態においては、マルチメディアデータ発生手段 11は 1セグメント放送受信部 21であるとしている力これに限定されるものではなぐマルチメディアデータを記憶したハードディスクドライブあるいは半導体メモリ等の記録媒体であってちょい。

[0126] また、上記実施の形態においては、音響復号モードの品質を低下させた後に映像復号モードの品質を低下させる処理の例を示したが、逆に、映像復号モードの品質を低下させた後に音響復号モードの品質を低下させる処理を行うことも可能である。

[0127] また、上記実施の形態においては、利用者が処理モードを選択し、 CPU223が復号モードを選択する例を示した力 CPU223が処理モードを選択してもよいし、利用者が復号モードを選択してもよ、。

[0128] 以上説明したように、第 1の実施の形態によれば、選択した処理モードの処理能力で実行可能な復号モードでマルチメディアデータを復号することが可能となる。

(第 2の実施の形態）

本実施の形態においては、利用者が再生モードを 2倍速再生モードに設定して、マルチメディアデータを 2倍速再生する場合を想定する。利用者が処理モードとして省電力モードを選択した場合は、 CPU223の処理能力 PAは" 280"に設定される。

[0129] この場合は、映像復号モードとして高品質映像復号モードおよび基準品質映像復号モードのいずれを選択しても、音響復号モードに係わらず、必要復号付加 RLは C PU223の処理能力 PA"280"以上となるので、省電力モードによる 2倍速再生は不可能である。

従って、 CPU223は、処理モードを省電力モードから通常モードに変更する。

[0130] 図 13は、 CPU223がステップ S61を終了した後に実行する復号モード修正処理の詳細フローチャートであって、 CPU223は、処理モードを通常モードに切り替える旨のメッセージを表示（ステップ S611)し、処理モードを省電力モードから通常モードに変更する (ステップ S612)。

[0131] 以上説明したように、第 2の実施の形態によれば、選択した処理モードの処理能力で実行可能な復号モードが存在しなヽ場合に、異なる処理モードを選択することが可能となる。

(第 3の実施の形態）

利用者が処理モードとして通常モードを選択して、る場合に、再生モードとして 2倍速再生モードを選択して、マルチメディアデータを 2倍速再生する場合を想定する。

CPU223の処理能力 PAは" 500"に設定される。

[0132] 映像復号モードが高品質映像復号モードである場合は、音響復号モードとして高品質音響復号モードを選択すると、必要処理負荷 RLは" 320 + 200 = 520"となり、通常モードで動作する CPU223の処理能力 PA"500"より大きくなる。この結果、 CP U223は、音響復号モードを基準品質音響復号モードに変更する。

[0133] なお、 2倍速再生の際は、利用者は、音質が劣化しても許容する場合が多!、ので、利用者に音響復号モードを変更する旨のメッセージを通知する必要はな、。

[0134] 図 14は、第 1の動作モード修正処理の詳細フローチャートであって、 CPU223は、利用者が 2倍速再生モードを設定したか否かを判定 (ステップ S701)して、利用者が 2倍速再生モードを設定したと判定したときには、音響復号モードを基準品質音響復号モードに設定する (ステップ S702)。 CPU223は、利用者が 2倍速再生モードを設定していないと判定したときには、音響復号モードを高品質音響復号モードに設定する（ステップ S 703)。

[0135] 以上説明したように、第 3の実施の形態によれば、 1倍速再生時ほど高い音質が要求されない 2倍速再生時においては、音響復号モードを基準品質音響復号モードに設定することにより、選択した再生モードが必要とする処理負荷が大きい場合には、処理負荷の小さい復号モードでマルチメディアデータを復号することが可能となる。 (第 4の実施の形態）

マルチメディアデータのヘッダがコンテンツの種類を表すフラグを含む場合には、そのフラグによって復号モードを制御してもよい。

[0136] 図 15は、 CPU223がマルチメディアデータ復号プログラムのステップ S32とステツプ S33の間で実行する第 2の動作モード修正処理の詳細フローチャートであって、 C PU223はマルチメディアデータ復号プログラムのステップ S31で取得したマルチメディァデータのヘッダを解析し、コンテンツが音楽プログラムである力否かを判定する（ステップ S711)。

[0137] CPU223は、コンテンツが音楽プログラムであると判定したときは音響復号モードを高品質音響復号モードに設定 (ステップ S712)し、コンテンツが音楽プログラムでないと判定したときは音響復号モードを基準品質音響復号モードに設定 (ステップ S71 3)してこの処理を終了する。

[0138] 以上説明したように、第 4の実施の形態によれば、コンテンツが音楽プログラムであれば AACPlus復号モードで復号し、コンテンツが音楽プログラムでなぐ例えば-ュースプログラムであれば AAC復号モードで復号することが可能となる。これにより、聴覚上の品質を確保しつつ長時間再生を行うことができる。

(第 5の実施の形態）

本発明のマルチメディアデータ復号装置がモパイル機器、例えば携帯電話に組み込まれている場合には、ノッテリの蓄電量が少なくなつたときに、処理モードを自動的に省電力モードに変更するようにしてもょ、。

[0139] 図 16は、 CPU223がマルチメディアデータ復号プログラムのステップ S32とステツプ S33の間で実行する第 3の動作モード修正処理の詳細フローチャートであって、 C PU223はバッテリの端子電圧を読み込み、ノッテリの蓄電量が十分であるか否かを判定する (ステップ S721)。

[0140] CPU223は、ノッテリの蓄電量が十分であると判定したときは処理モードを通常モードに設定 (ステップ S722)し、ノッテリの蓄電量が十分でないと判定したときは処理モードを省電力モードに設定 (ステップ S723)してこの処理を終了する。

[0141] 以上説明したように、第 5の実施の形態によれば、ノッテリの蓄電量が少なくなつたときに、処理モードを自動的に省電力モードに変更することが可能となる。

(第 6の実施の形態）

本発明のマルチメディアデータ再生装置にお、て、スピーカだけでなくィャフォンからも音響出力可能である構成を有して、る場合には、ィャフォンジャックが挿入されたときは高品質音響復号モードが選択されるようにしてもよい。

[0142] 図 17は、 CPU223がマルチメディアデータ復号プログラムのステップ S32とステツプ S33の間で実行する第 4の動作モード修正処理の詳細フローチャートであって、 C PU223は増幅器 23にィャフォンが接続されているか否かを判定する（ステップ S 73 D o

[0143] CPU223は、ィャフォンが接続されていると判定したときは音響復号モードを高品質音響復号モードに設定 (ステップ S732)し、ィャフォンが接続されず、スピーカから音響が出力されると判定したときは音響復号モードを基準品質音響復号モードに設定 (ステップ S733)してこの処理を終了する。

[0144] 以上説明したように、第 6の実施の形態によれば、ィャフォンジャックが挿入されたときは高品質音響復号モードを選択することが可能となる。なお、ィャフォンほど音質が求められないスピーカで再生する場合には、音響復号モードを基準品質音響復号モードとすることにより、低消費電力化を図ることができる。

[0145] なお、本発明の実施の形態では、主にオーディオデータ、特に AACと AACPlus で圧縮されたマルチメディアデータを例にして説明したが、同様の特徴を持つ任意のメディア（ビデオ、テキスト、データ等）や、 MPEG4、 AMR等の符号化方式で圧縮されたマルチメディアデータに対しても適用可能である。

[0146] また、本発明の実施の形態では、 AACと AACPlusのように既に前方互換性のある符号ィ匕方式を対象に説明したが、ある符号化方式 Aを独自に品質を下げて処理量を軽くして A'として再生できる機能を実装したデコーダに対して、 Aと A'を選択する方式としても利用できる。

産業上の利用可能性

[0147] 以上のように、本発明に係るマルチメディアデータ再生装置は、 2倍速再生等の高負荷再生処理を行う際に、低負荷の復号モードを選択することによって、装置全体の最大処理量を抑えることができるため、装置全体の処理量が限られている場合にも高負荷再生処理を行うことが可能であり、移動端末に搭載する再生装置として有用である。

Claims

請求の範囲

[1] マルチメディアデータを発生するマルチメディアデータ発生手段と、

動作モードを選択する動作モード選択手段と、

前記動作モード選択手段が選択した前記動作モードで前記マルチメディアデータを復号するマルチメディアデータ復号手段と、

前記マルチメディアデータ復号手段による復号結果を出力する出力手段とを含むマルチメディアデータ再生装置。

[2] 前記マルチメディアデータ発生手段が、

映像データを発生する映像データ発生手段、または、音響データを発生する音響データ発生手段の少なくとも一方を含む請求項 1に記載のマルチメディアデータ再生装置。

[3] 前記映像データ発生手段が、

基準品質映像データを発生する基準品質映像データ発生手段、または、前記基準品質映像データと高品質ィ匕映像データとを結合した高品質映像データを発生する高品質映像データ発生手段の少なくとも一方を含む請求項 2に記載のマルチメディアデータ再生装置。

[4] 前記音響データ発生手段が、

基準品質音響データを発生する基準品質音響データ発生手段、または、前記基準品質音響データと高品質化音響データとを結合した高品質音響データを発生する高品質音響データ発生手段の少なくとも一方を含む請求項 2に記載のマルチメディアデータ再生装置。

[5] 前記基準品質音響データ発生手段が、前記基準品質音響データである AACデータを発生するものであり、

前記高品質音響データ発生手段が、前記高品質音響データである AACPlusデータを発生するものである請求項 4に記載のマルチメディアデータ再生装置。

[6] 前記動作モード選択手段が、

前記マルチメディアデータ復号手段が備える複数の処理モードの一つを選択する処理モード選択手段と、前記マルチメディアデータ復号手段が備える複数の復号モードの一つを選択する復号モード選択手段と、

前記マルチメディアデータ復号手段が備える複数の再生モードの一つを選択する再生モード選択手段とを含む請求項 1から請求項 5のいずれか一項に記載のマルチメディアデータ再生装置。

[7] 前記処理モード選択手段が、

前記マルチメディアデータ復号手段を通常の処理能力で動作させる通常モードと、前記マルチメディアデータ復号手段を前記通常モード動作時より電力消費量が少なくなる処理能力で動作させる省電力モードとのいずれかを選択する請求項 6に記載のマルチメディアデータ再生装置。

[8] 前記復号モード選択手段が、

前記高品質映像データを復号する高品質映像復号モードと前記高品質映像データまたは前記基準品質映像データを復号する基準品質映像復号モードとの選択、もしくは、前記高品質音響データを復号する高品質音響復号モードと前記高品質音響データまたは前記基準品質音響データを復号する基準品質音響復号モードとの選択の少なくとも一方の選択を実行するものである請求項 6に記載のマルチメディアデータ再生装置。

[9] 前記復号モード選択手段が、

前記 AACPlusデータを復号する前記高品質音響復号モードである AACPlus復号モードと、前記 AACPlusデータまたは前記 AACデータを復号する前記基準品質音響復号モードである AAC復号モードとのいずれかを選択するものである請求項 8 に記載のマルチメディアデータ再生装置。

[10] 前記再生モード選択手段が、

前記マルチメディアデータを通常再生する通常再生モードと、前記マルチメディアデータを特殊再生する特殊再生モードとの選択を実行するものである請求項 6に記載のマルチメディアデータ再生装置。

[11] 前記再生モード選択手段が、

前記マルチメディアデータを 1倍速で再生する前記通常再生モードである 1倍速再生モードと、前記マルチメディアデータを 2倍速で再生する前記特殊再生モードである 2倍速再生モードとの選択を実行するものである請求項 10に記載のマルチメディアデータ再生装置。

[12] 前記動作モード選択手段が、

選択した前記動作モードで前記マルチメディアデータ復号手段が処理不可能と判定したときは、前記動作モードを前記マルチメディアデータ復号手段が処理可能な動作モードに変更する動作モード変更手段を含む請求項 6に記載のマルチメディアデータ再生装置。

[13] 前記動作モード変更手段が、

選択した前記処理モードで前記マルチメディアデータ復号手段が処理不可能と判定したときには、前記処理モードを前記マルチメディアデータ復号手段が処理可能な処理モードに変更するものである請求項 12に記載のマルチメディアデータ再生装置。

[14] 前記動作モード変更手段が、

選択した前記復号モードで前記マルチメディアデータ復号手段が復号不可能であると判定したときには、前記復号モードを前記マルチメディアデータ復号手段が復号可能な復号モードに変更するものである請求項 12に記載のマルチメディアデータ再生装置。

[15] 前記動作モード変更手段が、

前記処理モード選択手段が省電力モードを選択したときに、前記復号モード選択手段が選択した AACPlus復号モードで前記マルチメディアデータ復号手段が復号不可能と判定したときには、前記復号モードを AAC復号モードに変更するものである請求項 12に記載のマルチメディアデータ再生装置。

[16] 前記動作モード変更手段が、

前記復号モード選択手段が選択した高品質映像復号モードおよび AACPlus復号モードで前記マルチメディアデータ復号手段が復号不可能と判定したときには、前記復号モードを AAC復号モードに変更するものである請求項 12に記載のマルチメディァデータ再生装置。

[17] 前記動作モード変更手段が、

前記復号モード選択手段が選択した高品質映像復号モードおよび AACPlus復号モードで前記マルチメディアデータ復号手段が復号不可能と判定したときには、前記復号モードを基準品質映像復号モードに変更するものである請求項 12に記載のマルチメディアデータ再生装置。

[18] マルチメディアデータを発生するマルチメディアデータ発生段階と、

動作モードを選択する動作モード選択段階と、

前記動作モード選択手段が選択した前記動作モードで前記マルチメディアデータを復号するマルチメディアデータ復号段階と、

前記マルチメディア復号段階における復号結果を出力する出力段階とを含むマルチメディアデータ再生方法。

[19] 前記動作モード選択段階が、

前記マルチメディアデータ復号段階が含む複数の処理モードの一つを選択する処理モード選択段階と、

前記マルチメディアデータ復号手段が含む複数の復号モードの一つを選択する復号モード選択段階と、

前記マルチメディアデータ復号手段が含む複数の再生モードの一つを選択する再生モード選択段階とを含む請求項 18に記載のマルチメディアデータ再生方法。

[20] 前記動作モード選択段階が、

選択した前記動作モードで前記マルチメディアデータ復号段階が処理不可能であると判定したときは、前記動作モードを前記マルチメディアデータ復号段階で処理可能な動作モードに変更する動作モード変更段階を含む請求項 18または請求項 19に記載のマルチメディアデータ再生装置。