WO2005006305A1

WO2005006305A1 - メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム

Info

Publication number: WO2005006305A1
Application number: PCT/JP2004/009247
Authority: WO
Inventors: Tadamasa Toma; Yoshinori Matsui
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2003-07-11
Filing date: 2004-06-23
Publication date: 2005-01-20
Also published as: JP2005049834A; CN1823368A; EP1647968A4; EP1647968A1; KR20060029137A; US20060139379A1

Abstract

　本発明は、動画を含む複数メディアからなるマルチメディアデータを多様な表示方法で表示画面に表示するメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムを提供するものである。メディアデータ表示装置（８５）は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、スケーリング判定部（８７）と、スケーリング部（８９）と、表示部（１９）とを備えている。スケーリング判定部（８７）は、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行う。スケーリング部（８９）と表示部（１９）とは、マルチメディアデータを表示する手段であって、スケーリング判定部（８７）の判定結果に基づいて、スケーリングを行うかどうかを切り替えて表示する。

Description

明細書メディァデータ表示装置、メディァデータ表示方法およびメディァデータ表示プログラム

(技術分野）

本発明は、メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム、特に、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデ一タ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムに関する。

(背景技術）

近年、インターネットなどの通信網を通じて、ビデオ、オーディオあるいはテキストデータなどを配信する技術の開発が行われている。例えばデジタル化されたビデオオーディオあるいはテキストデータなどを RT P (Re a l t i me T r a n s p o r t P r o t o c o l ) 、 HTT Pz 「GP (H y p e r T e t T r a n s p o r t P r o t o c o o l _¾ T r a n sm i s s i o n Co n t r o l P r o t o c o l ) などの通sプロ卜コレ Iこ従ってバケツ卜化し伝送する方式である。映像音声の符号化方式として MP EG— 4を用い、ファイルの形式として M P 4 ( I SO/ I EC 1 4496-1 : 200 1 ) ファイルを用いたビデオ、オーディオあるいはテキストデータなどの配信についての従来技術（例えば、特開 2002—1 99370号公報（第 6頁）参照。）が知られている。なお、 R T Pや T S (T r a n s p o r t S t r e a m、デジタル放送で使用) の場合は M P 4ファイルはそのまま伝送されず符号化データそのものがバケツ卜化されて伝送されるが、 HTT P/TC Pの場合は M P 4ファイルがそのまま伝送される。

従来、 MP 4ファイルに多重化されたビデオを表示する際には、 MP 4フアイルが有するビデオの表示領域サイズとビデオの画像サイズとに基づいて表示が行われる。すなわち、ビデオの表示領域サイズとビデオの画像サイズとが異なる場合に、ビデオの画像サイズをビデオの表示領域サイズにスケーリングして表示することが必要とされている。

図 29〜図 32を用いて、 MP4ファイルの構造について説明しつつ、ビデオの表示領域サイズとビデオの画像サイズとについて説明を加える。

図 29は、 M P 4ファイルのファイル構造を説明する説明図である。 MP 4フアイルは、 B o Xと呼ばれるオブジェクトの集合体である。 Bo xは、階層的に配置され（図 29 (a) 参照）、それぞれの B o Xは、 [s i z e] 、 [t y p e] および [データ] から構成される（図 29 (b) 参照）。 [s i z e] は B o Xのデータサイズを示す。 [t y p e] は、 B o xを識別するアルファべット 4文字（例えば、後述する 'mo o v' あるいは ' t r a k' など）を格納する。 [データ] は、 [t y p e] に対応したデータを格納する。また、多くの B

0 Xでは、さらに [ V e r s i o n] および [ f l a g s ] を格納している（図 29 (c) 参照）。このデータ構造によ!^ 認識できない [ t y p e] の B o X が取得されても、その B o Xを無視してスキップし、処理を進めることが可能となっている。

図 30は M P 4ファイルのデータ格納方法を説明する説明図である。 MP 4 ファイルは F i l e T y p e B o (以下、 ' f t y p' という）、 Mo v i e Bo x (J¾ _¾ mo o v といつおよぴ iVl e d i a D a t a B o x (以下、 'md a t ' という）を備えている。

' f t y p ' は、 IVi P 4ファイルの先頭に配置され、 MP 4ファイルが準拠するスペックを示す識別子 ( [m a j o r— b r a n d ] あるいは [ c o m p a t

1 b I e__b r a n d] など）を示す。例えば、 3GPP (T h i r d Ge n e r a t i o n Pa r t n e r s h i p P r o j e c t) 規格準拠の場合は、

[3 g p 4] あるいは [3 g p 5] が使用される。 'mo o v' は、ヘッダ情報を格納し、 M P 4ファイルに 1つ備えられる。具体的には、 'mo o v ' は、 M P 4ファイルに含まれるメディアの再生にかかる情報（タイムスケール、デュレ —シヨンなど）を格納した M o V i e H e a d e r B o x (以下、 ' m v h d，という） (図示せず) と、メディア毎のヘッダ情報（フレームサイズ、フレームデュレーシヨン、初期化情報、データ格納場所など）を格納した T r a c k Bo x (以下、 ' t r a k ' という）とを有している。例えば、オーディオとビデォを含む M P 4フアイルでは、オーディオ用、ビデオ用といったメディア毎に独立した ' t r a k' が存在する。 'md a t ' は、各メディアのデータをサンプルと呼ばれるメディアの再生単位（例えば、ビデオであればフレームなど）で格納する。 'md a t ' 内におけるサンプルの格納位置は、 'mo o v ' により指定される。以下では、各メディアのヘッダ情報は全て 'mo o v' に格納される構造をもつファイルについて説明する。なお、 MP4では、メディアデータを複数の区間に分割し、分割した単位毎にヘッダ情報を付加していく構造（フラグメン卜と呼ばれる）も定義されているが、ここでは説明を省略する。

図 31は、 ' t r a k ' の構造を説明する説明図である。 ' t r a k ' は、 T r a c k H e a d e r Bo x (以下、 ' t k h d ' という）および M e d i a B o x (以下、 'md i a，という）を有している。

' t k h d ' は、ビデオであればビデオ表示領域のサイズ（Wp， H p) を備えておリ、テキス卜であればビデオ表示領域の左上の点を基準として表現した、テキスト表示領域の左上の点の座標（T X , T およびテキスト表示領域のサィズ（Wt, H t) を備えている。ここで、図 32に、ビデオ表示領域 300とテキスト表示領域 301との位置関係を示す。表示画面 302中にビデオ表示領域 300が設定されている。ビデオ表示領域 300は、サイズ（Wp， H p) を有している。テキスト表示領域 301は、ビデオ表示領域 300の左上の点を基準とした座標（T x， T y ) において、サイズ（Wt， H t ) を有している。

'md i a ' (図 31参照）は、 Me d i a H e a d e r Bo x (以下、 'md h d ' という) （図示せず）、 H a n d l e r Re f e r e n c e B o x (以下、 h d I r，としゝっねよぴ M e d i a I n f o rma t i o n Bo x (以下、 'm i n f ' という）を有している。 'md h d ' は、 ' t r a k' に格納されるメディアの再生にかかる情報（タイムスケール、デュレーシヨンなど）を格納する。 ' d I r ' は、 ' t r a k ' に格納されるメディアの種類を示す識別子（ビデオ [V i d e：] 、オーディオ [_S o u n] 、テキス卜 [ t e x t] などの h a n d I e r一 t y p e) を格納する。 MP 4ファイルの再生時には ' h d I r ' を参照することにより、 ' t r a k' に格納されるメディァの種類を判別する。

'm i n f ' は、 V i d e o Me d i a H e a d e r Bo x (以下、 ' vmh d ' とし、う) (図示せず) 、 D a t a I n f o rma t i o n Bo x (以下、 ' d i n f ' という） (図示せず) および S amp I e T a b l e Bo x (以下、 ' s t b I ' という）などを格納している。 ' mh d ' は、ビデオの表示にかかる基本的な情報を有している。 'd i n f ' は、 ' t r a k ' に格納されるメディアの情報の格納位置を示す D a t a Re f e r e n c e Bo x (以下、 ' d r e f ' という） (図示せず）などを有している。

' s t b I ' は、 S amp l e S i z e Bo x (以下、 ' s t s z ' といつ) 、 D e c o d i n g T i me t o S amp l e Bo x (以、 ' s t t s，とし、う) 、 S amp l e D e s c r i p t i o n Bo x (以下、 ' s t s d，とし、う) 、 S amp l e T o Ch u n k B o x (以下、 ' s t s c ' という）（図示せず）および C h u n k O f f s e t Bo x (以下、 ' S t G O ' という）（図示せず）などを有している。

' s t s z ' はサンプル毎のサイズを格納している。 ' s t t s ' はサンプル毎の再生時間長を格納している。 ' s t s d，は、ビデオであれば、 V i s u a I S amp l e E n t r yと呼ばれるサンプルの再生情報を格納している。 V i s u a l S amp l e E n t r yは、えぱビデオの画像サイズ (W , H V ) などを格納している。 ' s t s c ' は、 V i s u a l S amp I e E n t r yと各サンプルとを関連付ける情報を格納している。

図 33に、上記で説明した MP 4ファイルのデータ構造をまとめて示す。ビデォの表示領域サイズ（Wp， H p) とビデオの画像サイズ（Wv， H v) とは、それぞれ ' t k h d ' および ' s t s d ' の [データ] として格納されている。図 34および図 35を用いて、従来のビデオのスケーリング表示について説明する。

図 34は、従来の MP4ファイルのメディアデータ表示装置 1 0の構造を説明するブロック図である。メディアデータ表示装置 1 0は、例えば、サーバに蓄積された MP 4ファイルを HTT Pによりダウンロードして再生する装置や S D力一ドなどの記録媒体に蓄積された MP 4ファイルを再生する装置であって、テレビ、パーソナルコンピュータ（PC) 、携帯電話、あるいはその他の画像信号を表示可能な装置において備えられている。メディアデータ表示装置 1 0は、デ一タ取得部 1 1とヘッダ分離部 1 2とサンプル情報取得部 1 3とサンプル取得部 1 4と復号部 1 5とフレームメモリ 1 6と基本表示情報取得部 1 7とスケーリング部 1 8と表示部 1 9とを備えている。

データ取得部 1 1は、 MP 4ファイルを取得する。ヘッダ分離部 1 2は、 MP 4ファイルから、およ S t C O

，などのサンプルに関する情報と、 ' t k h d ' および ' s t s d ' などの表示に関する情報とを分離する。サンプル情報取得部 1 3は、 ⁴ s t t s ' 、 ' s t

S G ' 、 ' S t S Z ' および ' S t C O ' などのサンプルに関する情報を取得する。サンプル取得部 1 4は、サンプル情報取得部 1 3の取得したサンプルに関する情報から、サンプルのサイズ、格納位置、復号■表示時間などを取得する。さらにサンプル情報取得部 1 3から取得した情報に基づいて、データ取得部 1 1 にサンプルのデータを要求する。復号部 1 5はサンプル取得部 1 4が取得したサンプルのデータをサンプル毎に復号化する。フレームメモリ 1 6は復号化されたサンプルのデータを、例えばフレーム毎に記憶する。基本表示情報取得部 1 7は、 ' t k h d ' および ' s t s d ' などの表示に関する情報を取得する。ここで、 ' t k h d ' には、ビデオの表示領域サイズ（Wp, H p) が含まれており、 ' s t s d ' には、ビデオの画像サイズ（Wv， H v) が含まれている。スケーリング部 1 8は、基本表示情報取得部 1 7からビデオの表示領域サイズ (Wp, H p) およびビデオの画像サイズ (Wv, H v) を取得する。さらに、フレームメモリ 1 6が記憶する画像サイズ（Wv， H v) のフレームデータを表示領域サイズ（Wp, H p) に f ί I Iモードでスケーリングする。表示部 1 9 は、スケーリング部 1 8からビデオの表示領域サイズ (Wp, H p) およぴスケ —リング後のフレームデータを取得し、ビデオの表示用データを表示用メモリ（図示せず）などに書き込む。

図 35は、スケーリングについて説明する説明図である。フレームメモリ 1 6 が記憶するフレームデータ 305の画像サイズ（Wv， H v) と基本表示情報取得部 1 7が取得する表示領域サイズ (Wp, H p) とが異なる場合に、フレームデータ 3 0 5は、ビデオ表示領域 3 0 0に f i I Iモードでスケーリングされる

(発明の開示）

従来のメディアデータ表示装置 1 0では、ビデオは、 ' t k h d ' に示されるビデオの表示領域サイズ（W p， H p ) にスケーリングされて表示される。このため、表示が画一的になり、多様な表示方法を実現することが難しい。また、従来のメディアデータ表示装置 1 0では、ビデオの表示に際して、 1秒あたり数〜数十回のスケーリングが必要となり、 C P Uへの負荷が高く、電力消費も高く、特に、低消費電力、低処理量が求められる携帯端末では問題となる。

本発明の課題は、動画を含む複数メディァからなるマルチメディァデータを多様な表示方法で表示画面に表示するメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムを提供することを課題とする。本発明の他の課題は、端末の能力、使用時などの条件によって表示方法を切り替えるメディアデータ表示装置、メディアデータ表示方法おょぴメディアデータ表示プログラムを提供することを課題とする。

請求項 1に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であってスケーリング判定手段とメディアデータ表示手段とを備えている。スケーリング判定手段は、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行う。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、スケーリング判定手段の判定結果に基づいて、スケーリングを行うかどうかを切り替えて表示する。

ここで、マルチメディアデータとは、例えば、ビデオ、オーディオ、テキストあるいは静止画などを多重して格納する M P 4ファイルなどである（以下、この欄において同じ）。

本発明のメディアデータ表示装置では、スケーリング判定手段がスケーリング表示するか否かの判定を行うため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリング表示せずに動画の表示を行うことも可能であり、その場合は装置への処理負荷が軽減される。

請求項 2に記載のメディアデータ表示装置は、請求項 1に記載のメディアデータ表示装置であって、スケーリング判定手段は、マルチメディアデータが有するスケーリング判定情報に基づいて、判定を行う。

本発明のメディアデータ表示装置では、スケーリング判定情報に基づいて、スケーリング判定手段がスケ一リングの有無を決定する。ここで、スケ一リング判定情報には、マルチメディァデータの作成者のスケーリング表示に対する意図が表れているため、動画はマルチメディアデータの作成者の意図を反映して表示される。

請求項 3に記載のメディァデータ表示装置は、請求項 2に記載のメディアデ一タ表示装置であって、スケーリング判定情報は、スケーリングを行うか否かを示すフラグ情報である。

本発明のメディアデータ表示装置ではフラグ情報に基づいてスケーリング判定手段がスケーリングの有無を決定する。

請求項 4に記載のメディアデータ表示装置は、請求項 1に記載のメディアデータ表示装置であって、スケーリング判定手段は、搭載されたバッテリーの残量に基づいて、判定を行う。スケーリング判定手段は例えば、バッテリー残量が少ない場合スケーリング表示を行わない。

本発明のメディアデータ表示装置では、バッテリー残量に応じて、スケ一リング表示を行うか否かを判定するため、例えば、バッテリー残量が少ない場合にスケーリング表示を行わないとすると、電力の消費を抑えることができ、その結果メディアデータ表示装置の使用時間を延ばすことが可能となる。

請求項 5に記載のメディアデータ表示装置は、請求項 1に記載のメディアデータ表示装置であって、スケーリング判定手段は、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかを設定させるスケーリング設定手段を有している。ここで、スケーリング設定手段は、例えば、スケーリングの有無を直接指定させるものであっても良いし、メディアデータ表示装置の動作設定を行わせ、間接的にスケーリングの有無を指定させるものであっても良い。本発明のメディアデ一タ表示装置では、スケーリング設定手段に対する使用者の設定に応じて、スケーリング判定手段がスケーリング表示を行うか否かを判定するため、動画は使用者のスケ一リングに対する意図を反映して表示される。請求項 6に記載のメディアデータ表示装置は、請求項 1に記載のメディアデータ表示装置であって、スケーリング判定手段は、動画の属性に基づいて、判定を行う。ここで、動画の属性とは、例えば、動画の画像サイズやフレームレートなどである。

本発明のメディアデータ表示装置では、例えば、フレームレートが高いなどメディァデータ表示装置の処理負荷が高い場合に、スケーリング判定手段がスケ —リングを行わないと決定する。これにより、メディアデータ表示装置に過剰な処理負荷をかけることが防がれる。

請求項 7に記載のメディアデ一タ表示装置は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であってスケーリング手段と、メディアデータ表示手段とを備えている。スケーリング手段は表示画面中において動画を表示可能な動画表示領域に対して動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケ一リングを行う。メディアデータ表示手段は、マルチメディアデータを表示する手段であってスケーリング手段によスケーリングされた動画を動画表示領域内に表する。

本発明のメディアデータ表示装置では、指定されたスケーリング方式によリスケーリング手段が動画のスケ一リングを行うため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、多様な方式でスケ一リング表示される。

請求項 8に記載のメディァデータ表示装置は、請求項 7に記載のメディアデ一タ表示装置であって、スケーリング手段は、マルチメディアデータからスケーリング指定情報を取得する。

ここで、スケーリング指定情報とは、例えば、採用されるスケーリングの方式を示すフラグ情報や、採用されるスケーリングの方式を示す番号情報などである。本発明のメディアデータ表示装置では、スケーリング手段がマルチメディアデータからスケーリング指定情報を取得するため、動画はマルチメディアデータの作成者の意図を反映してスケーリング表示される。

請求項 9に記載のメディアデータ表示装置は、請求項 7又は 8において、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行うスケーリング判定手段をさらに備えている。メディアデータ表示手段は、スケーリング判定手段の判定結果に基づいて、スケーリングを行うかどうかを切リ替えて表示する

本発明のメディアデータ表示装置では、スケーリング判定手段がスケーリング表示するか否かの判定を行うため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリング表示せずに動画の表示を行うことも可能であり, その場合は装置への処理負荷が軽減される。

請求項 1 0に記載のメディアデータ表示装置は、請求項 7に記載のメディアデータ表示装置であって、スケーリング指定情報を設定させるスケーリング方式設定手段をさらに備える。

本発明のメディアデータ表示装置では、スケ一リング方式設定手段によリスケ一リング方式が設定されるため、動画は、メディアデータ表示装置の使用者の意図を反映してスケーリング表示される。

請求項 1 1に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であつて、スケーリング判定ステップと、メディアデータ表示ステップとを備えているスケーリング判定ステップは、動画を画像サイズを変更して表示するか、画像サィズを変更せず表示するかの判定を行う。メディアデ一タ表示ステツプは、マルチメディアデータを表示するステップであって、スケーリング判定ステツプの判定結果に基づいて、動画を表示する。

本発明のメディアデータ表示方法では、スケーリング判定ステップでスケーリング表示するか否かの判定を行うため、動画は、ある一定の領域に画一的にスケ一リング表示されるのではなく、マルチメディァデータの作成者の意図するサイズで表示される。また、スケーリングせずに動画の表示を行うことも可能であり、その場合は処理負荷が軽減される。

請求項 1 2に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディァデータを表示画面に表示するメディアデータ表示方法であつて、スケーリングステップと、メディアデータ表示ステップとを備えている。スケーリングステップは、表示画面中において動画を表示可能な動画表示領域に対して動画をスケーリングする方式を指定するスケ一リング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデ一タを表示するステップであって、スケーリングステップによ yスケーリングされた動画を動画表示領域内に表示する。

本発明のメディアデータ表示方法では、指定されたスケーリング方式によリスケ一リングステップで動画のスケーリングを行う。このため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、多様な方式でスケーリング表示される。

請求項 1 3に記載のメディアデータ表示プログラムは、コンピュータによ _¾ 動画を含む複数メディァからなるマルチメディァデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであってメディアデータ表示プログラムは、コンピュータに、スケーリング判定ステップと、メディアデータ表示ステップとを備えるメディアデータ表示方法を行わせる。スケーリング判定ステップは、動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケ一リング判定ステップの判定結果に基づいて、動画を表示する。

本発明のメディアデータ表示プログラムでは、スケ一リング判定ステップでスケ一リング表示するか否かの判定を行うため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことも可能であり、その場合は処理負荷が軽減される。

請求項 1 4に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディァからなるマルチメディァデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、メディアデータ表示プログラムは、コンピュータに、スケーリングステップと、メディアデータ表示ステップとを備えるメディアデータ表示方法を行わせる。スケ —リングステップは、表示画面中において動画を表示可能な動画表示領域に対して動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデ一タを表示するステップであって、スケーリングステップによリスケ一リングされた動画を動画表示領域内に表示する。

本発明のメディアデータ表示プログラムでは、指定されたスケーリング方式によりスケーリングステップで動画のスケーリングを行う。このため、動画は、ある一定の領域に画一的にスケ一リング表示されるのではなく、多様な方式でスケーリング表示される。

以上に記載の本発明によリ、動画を含む複数メディァからなるマルチメディアデータを多様な表示方法で表示画面に表示するメディァデータ表示装置メディァデータ表示方法およびメディアデータ表示プロダラ厶が提供される。

また以上に記載の本発明により、端末の能力、使用時などの条件によって表示方法を切り替えるメディアデータ表示装置、メディアデータ表示方法おょぴメディアデータ表示プログラムが提供される。 (図面の簡単な説明）

第 1図は、本発明に係る第 1実施形態としてのメディアデータ表示装置のプロック構成図である。

第 2図は、表示用データにおけるフレームデータとビデオ表示領域との関係を示す図である（第 1実施形態）。

第 3図は、メディアデータ表示方法を示すフローチャートである（第 1実施形態）。

第 4図は、本発明に係る第 2実施形態としてのメディアデータ表示装置のプロック構成図である。

第 5図は、 ' s t d c ' のシンタックスを表す図である (第 2実施形態) 。第 6図は、表示用データにおけるフレームデータとビデオ表示領域との関係を示す図である（第 2実施形態）。

第 7図は、メディアデータ表示方法を示すフローチャートである（第 2実施形第 8図は、表示用データにおけるフレームデータとビデオ表示領域との関係を示す図である（第 2実施形態）。

第 9図は、表示用データにおけるフレームデータとビデオ表示領域との関係を示す図である（第 2実施形態）。

第 1 0図は、第 2実施形態の変形例としてのメディアデータ表示装置のブロック構成図である。

第 1 1図は、表示用データにおけるフレームデータとビデオ表示領域との関係を示す図である（第 2実施形態の変形例）。

第 1 2図は、第 2実施形態の変形例としてのメディアデータ表示装置のブロック構成図である（第 2実施形態の変形例）。

第 1 3図は、表示用データにおけるフレームデータとビデオ表示領域との関係を示す図である（第 2実施形態の変形例）。

第 1 4図は本発明に係る第 3実施形態としてのメディアデータ表示装置のプ口ック構成図である。

第 1 5図は、 ' s t s のシンタックスを示す図である（第 3実施形態）。第 1 6図は、各種スケーリング方法を示す図である（第 3実施形態）。

第 1 7図は、スケーリング部の動作を説明するための図である (第 3実施形第 1 8図は、スケーリング部の動作を説明するための図である（第 3実施形態）。

第 1 9図は、メディアデータ表示方法を示すフローチャートである（第 3実施形態）。

第 2 0図は、 ' s t s にのシンタックスを示す図である（第 3実施形態）。第 2 1図は、第 3実施形態の変形例としてのメディアデータ表示装置のブロック構成図である。第 22図は、 's t s のシンタックスを示す図である（第 3実施形態）。第 23図は、コンテンツ供給システムの全体構成を示すブロック図である（第 4実施形態）。

第 24図は、動画像符号化方法、動画像復号化方法を用いた携帯電話の例である（第 4実施形態）。

第 25図は、携帯電話のブロック図である（第 4実施形態）。

第 26図は、ディジタル放送用システムの例である（第 4実施形態）。

第 27図は、 's t s のシンタックスを示す図である（その他）。

第 28図は、 V i s u a l S amp l e E n t r yから表示関連情報を取得する方法について説明する説明図である（その他）。

第 29図は、従来技術としての MP 4ファイル構造である。

第 30図は、 MP 4ファイルのデータ格納方法である (従来技術) o

第 31図は、 T r a c k B o xの構造である（従来技術）。

第 32図は、ビデオ表示領域とテキスト表示領域との位置関係を示す図である (従来技術）。

第 33図は、 MP 4ファイルのデータ構造である（従来技術）。

第 34図は従来のメディアデータ表示装置のブロック構成図である（従来技術) o

第 35図は、スケーリングを説明する図である（従来技術）。

(発明を実施するための最良の形態）

以下の各実施形態においては、メディァデータ表示装置によるメディアデ一タ表示方法を説明する。なお、以下の各実施形態ではビデオを例に表示方法の説明を行うが、 JPEG (Joint Photographic Experts Group) などの静止画についても同様の表示方法を適用することができる。

[第 1実施形態]

図 1〜図 3を用いて、本発明の第 1実施形態について説明する。

図 1は、本発明の第 1実施形態としてのメディアデータ表示装置 20の構造を説明するブロック図である。メディアデータ表示装置 20は、例えば、サーバに蓄積された MP4ファイル（図 29〜図 33参照。以下、「発明の実施の形態」において同じ。）を HTT Pによりダウンロードして再生する装置や SDカードなどの記録媒体に蓄積された MP4フアイルを再生する装置であって、テレビ、パーソナルコンピュータ（PC) 、携帯電話、あるいはその他の画像信号を表示可能な装置において備えられている。

従来のメディアデータ表示装置 1 0では、 MP 4ファイルが有するビデオは、 ' s t s d，が格納する画像サイズ（Wv， H v) に関わらず、 ' t k h d，が格納する表示領域サイズ（Wp， H p) にスケーリングして表示される。一方、メディアデータ表示装置 20は、スケーリング部 1 8 (図 34参照）を備えず、 MP 4フアイルが有するビデオをスケーリングしないで表示する o

ここで、 MP4ファイルは、ビデオ表示領域のサイズをメディアデータ表示装置 20において自由に設定させる場合には、 ' t k h d' が格納する表示領域サィズ（Wp， H p) に特別の値（例えば、 (Wp, H p) = (0， 0) など）を格納することとする。すなわち、 M P 4ファイルが表示領域サイズ（Wp， H p) に特別の値を有する場合にはビデオ表示領域のサイズは、 MP 4ファイル中では指定されないことを示している。

(1 ) メディアデータ表示装置 20の構成

図 1に示す本凳明のメディアデータ表示装置 20において図 34に示す従来のメディアデータ表示装置 1 0と相違する部分について説明する。なお、従来のメディアデータ表示装置 1 0と同様の動作を行う部分については、同じ符号を付し、説明を省略する。

メディアデータ表示装置 20は、表示領域変換部 21と端末表示画面サイズ取得部 22とを備えている点においてメディアデータ表示装置 1 0と相違している。端末表示画面サイズ取得部 22は、表示部 1 9が出力するビデオの表示用データを表示する表示画面（図示せず）の表示画面サイズ（Wd， H d) を取得する。表示領域変換部 21は、基本表示情報取得部 1 7から、 ' t k h d ' が格納する表示領域サイズ（Wp， H p) を取得する。さらに、表示領域変換部 21は、表示領域サイズ（Wp， H p) の値と、表示画面サイズ（Wd， H d) の値に基づいて、ビデオ表示領域の設定を行う。表示部 1 9は、フレームメモリ 1 6が記憶するビデオのフレームデータを、表示領域変換部 21が設定するビデオ表示領域において表示するよう表示用データを出力する。

(2) 表示領域変換部 21の動作

表示領域変換部 21のビデオ表示領域の設定について、さらに詳しく説明を加える。

表示領域変換部 21は、基本表示情報取得部 1 7から取得した表示領域サイズ (Wp， H p) が特別の値（0, 0) を示さない場合、取得した表示領域サイズ (Wp， H p) をビデオ表示領域のサイズとして設定する。

一方、表示領域変換部 21は、基本表示情報取得部 1 7から取得した表示領域サイズ（Wp， H p) が特別の値（0， 0) を示す場合、表示画面サイズ（Wd， H d) をビデオ表示領域のサイズとして設定する。

図 2を用いて、表示用データにおけるフレームデータとビデオ表示領域との関係について説明する。フレームデータ 24は画像" ィズ（Wv， H v) を有しておりビデオ表示領域 25において _¾ スケーリングされずに表示される。ビデォ表示領域 25のサイズは表示領域変換部 21により表示領域サイズ（W ρ， H p) あるいは表示画面サイズ（Wd, H d) のいずれかに設定されている。図 2では、フレームデータ 24はビデオ表示領域 25にセンタリングして表示されている。ここで、フレームデータ 24のビデオ表示領域 25に対する位置は、表示部 1 9により決定されている。

(3) メディアデータ表示装置 20におけるメディアデータ表示方法

図 3を用いて、メディアデータ表示装置 20におけるメディアデータ表示方法について説明する。

表示領域変換部 21は、端末表示画面サイズ取得部 22から表示画面サイズ (Wd, H d) を取得する（ステップ S 26) 。さらに、表示領域変換部 21は、基本表示情報取得部 1 7から、 ' t k h d' が格納する表示領域サイズ（Wp， H p) を取得する（ステップ S 27)。

表示領域変換部 21は、基本表示情報取得部 1 7から取得した表示領域サイズ (Wp， H p) が特別の値 (0， 0) を示さない場合 (ステップ S 28) 、取得した表示領域サイズ（Wp， H p) をビデオ表示領域のサイズとして設定する (ステップ S 29) 。一方、表示領域変換部 21は、基本表示情報取得部 1 7から取得した表示領域サイズ（Wp， H p) が特別の値（0， 0) を示す場合（ステツプ S 28) 、表示画面サイズ（Wd， H d) をビデオ表示領域のサイズとして設定する (ステップ S30)。

表示部 1 9は、フレームメモリ 1 6が記憶するフレームデータをスケ一リングしないでビデオ表示領域に表示するよう表示用データを出力する（ステップ S 3 1 ) o

(4) メディアデータ表示装置 20の効果

従来のメディアデータ表示装置 1 0では、ビデオの表示に際して、 1秒あたり数〜数十回のスケーリングが必要となり、 C PUへの負荷が高く、電力消費も高し、。一方、本願発明の実施形態としてのメディアデータ表示装置 20では、スケーリングを必要とせず、処理量の低減および消費電力の低減が実現可能となる。このことは、メディァデータ表示装置 20が携帯端末などにおいて備えられる場合に特に有効な効果となる。

また、取得した表示領域サイズ（Wp， H p) が特別の値を示す場合に、メディァデータ表示装置 20では、ビデオ表示領域のサイズを表示画面の大きさに応じて設定することが可能となる。このため、適切な大きさでビデオの表示を行うことが可能となる。

また、 MP EG— 4 AVC (A d v a n c e d V i d e o C o d i n g) では、ビデオの途中でフレームデータの画像サイズ（Wv， H v) が変化する。このようなビデオを表示する際に、メディアデータ表示装置 20では、必ずしも（Wp， H p) にスケーリングする必要ないため、フレームデータの画像サィズ（Wv， H v) に応じた表示を行うことが可能となる。

(5) メディアデータ表示装置 20の変形例

本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

(5-1 ) 表示領域変換部 21の第 1変形例

(5-1 -1 )

基本表示情報取得部 1 7から取得した表示領域サイズ（Wp， H p) が特別の値（0， 0) を示す場合、表示領域変換部 21は、表示画面サイズ（Wd， H d) とテキストや静止画などの ' t r a k ' が有する表示領域サイズとを取得し、ビデオ表示領域のサイズを設定するものであっても良い。

この場合、他メディァの表示領域を考慮してビデオ表示領域を設定することが可能となる。

(5-1 -2)

基本表示情報取得部 1 7から取得した表示領域サイズ（Wp， H p) が特別の値（0， 0) を示す場合、表示領域変換部 21は、メディアデータ表示装置 20 の処理能力（C PUの周波数、メモリ量、データ転送速度、バス速度）に応じて、ビデオ表示領域のサイズを設定するものであっても良い。

この場合、処理能力に余裕があれば、より広い領域においてビデオの表示を行うことが可能となる。

(5-1 -3)

基本表示情報取得部 1 7から取得した表示領域サイズ（Wp, H p) が特別の値（0， 0) を示す場合表示領域変換部 21は、予め設定されたサイズにビデォ表示領域を設定するものであってもよい。具体的にはメディアデータ表示装置 20は、ユーザにビデオ表示領域のサイズを設定させるサイズ設定部をさらに備え設定されたサイズにビデオ表示領域を設定する、あるいは省電力モードなどといったメディアデータ表示装置 20の動作状況に応じて設定されたサイズにビデオ表示領域を設定するものであっても良い。

この場合、ユーザの意図するビデオの表示を行うことが可能となる。

(5-2) 表示領域変換部 21の第 2変形例

基本表示情報取得部 1 7から取得した表示領域サイズ（Wp， H p) が特別の値（0， 0) を示さない場合であって、表示領域サイズ（Wp， H p) と表示画面サイズ（Wd， H d) とが異なるサイズである場合に、表示領域変換部 21は、表示画面サイズ（Wd， H d) にビデオ表示領域のサイズを設定するものであつても良い。

この場合、常に表示画面に対して適切なサイズでビデオの表示を行うことが可能となる。 (5-3) 表示部 1 9の変形例

図 2の説明において、「フレームデータ 24は、ビデオ表示領域 25にセンタリングして表示されている」と記載した。ここで、必ずしもセンタリングして表示する必要はない。

また、図 2の説明において、「フレームデータ 24のビデオ表示領域 25に対する位置は、表示部 1 9により決定される」と記載した。ここで、メディアデータ表示装置 20は、フレームデータ 24の表示位置を決定する表示位置決定部を備えていてもよい。この際、表示部 1 9は、表示位置決定部から表示位置を取得し、表示用データを出力する。

[第 2実施形態]

図 4〜図 1 3を用いて、本発明の第 2実施形態について説明する。

図 4は、本発明の第 2実施形態としてのメディアデータ表示装置 35の構造を説明するブロック図である。メディアデータ表示装置 35は、例えば、サーバに蓄積された P4ファイルを H T T Pによダゥンロードして再生する装置や S D力一ドなどの記録媒体に蓄積された M P 4ファイルを再生する装置であって、テレビ、パーソナルコンピュータ（PC) 、携帯電話あるいはその他の画像信号を表示可能な装置において備えられている。

メディアデータ表示装置 35は、図 1を用いて説明したメディアデータ表示装置 20と同様 _¾ スケーリング部 1 8 (図 34参照）を備えず、 MP 4ファイルが有するビデオをスケーリングしないで表示する。

ここで、メディアデータ表示装置 35が取得する MP 4ファイルは、ビデオのフレームデータ毎に優先的に表示する領域を指定する S amp I e D i s p I a y Ce n t e r Bo x (以下、 ' s t d c ' という）を ' s t b I ，に格納しているとする。

図 5に ' s t d c，のシンタックス例を示す。 ' s t d c ' は、図 29 (b) を用いて説明した B o Xと同様の構造を有している。ここで、 [e n t r y— c o u n t] は、 ' s t d c ' に含まれるエントリ数を示している。 [s amp I e― G o u n tj は、 [ d i s p I a y _ c e n t e r _ x」および [d i s p I a y c e n t e r_y] の値が同一である、連続するサンプルの数を示してし、る。 [ d i s p I a y一 c e n t e r一 x ] およぴ [ d i s p I a y― c e n t e r— y] は、それぞれのサンプル毎（例えば、フレームデータ毎）に優先的に表示する領域の中心の X座標および Y座標を示している。以下、（d i s p I a y― c e n t e r― x， d i s p I a y― c e n t e r― y ) で表される挫標を優先表示座標といい、（d c x， d c y) と記載する。なお、優先領域の指定方法は本方法に制限されるものではなく、例えば、同一対角線上にある 2頂点の座標を示すこととしてもよい。また、優先度を順位付けして指定することとしてもよい。さらに、優先度以外の指標により画像領域を分類することとしてもよいし、優先領域の指定をさらに大きな単位、例えば、複数のサンプルのグループであるチャンク単位や卜ラック単位で行うこととしてもよい。

(1 ) メディアデータ表示装置 35の構成

図 4に示す本発明のメディアデータ表示装置 35において、図 34に示す従来のメディアデータ表示装置 1 0と相違する部分について説明する。なお、従来のメディアデータ表示装置 1 0と同様の動作を行う部分については、同じ符号を付し、説明を省略する。

メディアデータ表示装置 20は _¾ 拡張表示情報取得部 37と表示位置法定部 3 8とを備えている点においてメディアデータ表示装置 1 0と相違している。さらにヘッダ分離部 36は、 MP 4ファイルが有する ' s t d c ' を認識し分離することが可能である。

拡張表示情報取得部 37は、ヘッダ分離部 36が分離する ' s t d c ' を取得し、フレームデータ毎の優先表示座標（d c x， d c y) を出力する。表示位置決定部 38は、基本表示情報取得部 1 7から、 ' t k h d ' が格納する表示領域サイズ（Wp， H p) および ' s t s d' が格納する画像サイズ（Wv， H v) を取得し、拡張表示情報取得部 37から、優先表示座標（d c X， d c y ) を取得する。表示位置決定部 38は、画像サイズ（Wv， H v) のフレームデータの優先表示座標（d c x， d c y) と表示領域サイズ（Wp， H p) のビデオ表示領域の中心とが一致するように、ビデオ表示領域におけるフレームデータの表示位置を決定する。表示部 1 9は、フレームメモリ 1 6が記憶するフレームデータを、表示位置決定部 38が決定する表示位置において表示するよう表示用データを出力する。

図 6を用いて、表示用データにおけるフレームデータ 45とビデオ表示領域 4 6との関係について説明する。なお、図 6は表示領域サイズ（Wp， H p) が画像サイズ（Wv， H V ) より大きしたがって動画の全体が表示されている。フレームデータ 45は、画像サイズ（Wv， H v) を有しており、ビデオ表示領域 46において、スケーリングされずに表示される。ビデオ表示領域 46は、表示領域サイズ（Wp， H p) を有している。フレームデータ 45の表示位置は、優先表示座標（d G X， d c y ) とビデオ表示領域の中心点とがー致するように決定される。

(2) メディアデータ表示装置 35におけるメディアデータ表示方法図 7を用いて、メディアデータ表示装置 35におけるメディアデータ表示方法について説明する。

ヘッダ分離部 36は、 MP 4ファイルから ' t k h d ' 、 ' s t s d ' および ' s t d c ' を分離する（ステップ S 48) 。表示位置決定部 38は、基本表示情報取得部 1 7から ' t k h d ' が格納する表示領域サイズ（Wp, H p) と 's t s d' が格納する画像サイズ（Wv， H v) とを取得し、拡張表示情報取得部 37から、 ' s t d c ' が格納する優先表示座標（d c X , d c y ) を取得する（ステップ S49) 。さらに表示位置決定部 38は取得した表示領域サィズ（Wp， H p) と画像サイズ（Wv， H V ) と優先表示座標（d G jc， d c y ) とに基づいて、ビデオ表示領域におけるフレームデータの表示位置を決定する (ステップ S 50) 。表示部 1 9は、フレームメモリ 1 6が記憶するフレームデータを、表示位置決定部 38が決定する表示位置において、スケーリングしないで表示するよう表示用データを出力する（ステップ S51 ) 。

(3) メディアデータ表示装置 35の効果

従来のメディアデータ表示装置 1 0では、ビデオの表示に際して、 1秒あたり数〜数十回のスケーリングが必要となり、 C PUへの負荷が高く、電力消費も高し、。一方、本願発明の実施形態としてのメディアデータ表示装置 35では、スケ —リングを必要とせず、処理量の低減および消費電力の低減が実現可能となる。このことは、メディァデータ表示装置 35が携帯端末などにおいて備えられる場合に特に有効な効果となる。

メディアデータ表示装置 35では、表示位置決定部 38が動画表示位置を決定するため、表示部 1 9が動画を適切な位置に表示することができる。

さらに、メディアデータ表示装置 35では、サンプル毎（フレームデータ毎）に重要な部分を優先的に表示させることが可能となる。特に、表示領域サイズ (Wp, H p) が画像サイズ（Wv， H v) よりも小さい場合に、サンプル毎に優先的に表示する領域を切り替えることになリ、コンテンツ提供者の意図を反映した視覚的効果の高い表示が可能となる。なお、この効果は、優先領域の指定がさらに大きな単位、例えば、複数のサンプルのグループであるチャンク単位や卜ラック単位で行なわれる場合にも同様である。さらに、優先領域の指定をチャンク単位やトラック単位で行う場合には、サンプル毎に行う場合に比べて、処理負荷を削減することが可能となる。

また MP EG— 4 AVC (A d v a n c e d V i d e o C o d i n g) では、ビデオの途中でフレームデータの画像サイズ（Wv， H v) が変化する。このようなビデオを表示する際に、メディアデータ表示装置 35ではフレ —ムデータの画像サイズ（Wv， H v) に応じた表示を行うことが可能となる。本発明の前提となる MP 4ファイルでは新しく定義された ' s t d G ' を有している。このため、 ' s t d c ' に対応しない従来のメディアデータ表示装置 1 0において、 's t d c ' を有する MP4ファイルを取得した場合、 ' s t d c ' は認識されず、スキップされる。すなわち、従来のメディァデータ表示装置 1 0の表示には影響を与えず、 ' s t d _c ' を認識可能な装置には、新しい機能を実現させる MP 4ファイルのデータ構造が提供されている。

(4) メディアデータ表示装置 35の変形例

(4-1 ) 表示位置決定部 38の変形例

(4- 1 - 1 )

表示位置決定部 38は、画像サイズ（Wv， H v) が表示領域サイズ（Wp， H p) よりも小さい際には、優先表示座標（d c x， d c y) とビデオ表示領域の中心とが一致するように表示位置を決定した場合に、ビデオ表示領域に余裕があれば、決定した表示位置を自動的に調整するものであってもよい。図 8を用いて、フレームデータ 52とビデオ表示領域 53との関係について説明する。図 8 (a) に、フレームデータ 52の優先表示座標（ d c X， d c y ) とビデオ表示領域 53の中心とがー致するように表示位置を決定した場合のフレームデータ 52とビデオ表示領域 53との位置関係を示す。この場合、ビデオ表示領域 53には、表示余裕 54があり、フレームデータ 52には、非表示領域 5 5がある。

そこで、優先表示座標（d G x， d c y ) をビデオ表示領域 53内に含み、かつフレームデータ 52のできるだけ広い領域が表示されるように、フレームデータ 52の表示位置を調整する。図 8 (b) に調整後のフレームデータ 52とビデォ表示領域 53との位置関係を示す。

図 9を用いて、フレームデータ 52' とビデオ表示領域 53' との関係の他の例について説明する。なお、図 8の例では画像サイズ (Wv, H v) が表示領域サイズ（Wp， H p) よりも小さかったがこの例では画像サイズ（Wv, H v) が表示領域サイズ（Wp， H p) よりも大きい。図 9 (a) に、フレームデータ 52' の優先表示座標（d c x, d c y ) とビデオ表示領域 53' の中心とがー致するように表示位置を決定した場合のフレームデータ 52 ' とビデオ表示領域 53' との位置関係を示す。この場合、ビデオ表示領域 53，には、表示余裕 54' があ _¾ フレー厶データ 52' には非表示領域 55' がある。

そこで、優先表示座標（d c X， d c y ) をビデオ表示領域 53' 内に含み、かつ、フレームデータ 52' のできるだけ広い領域が表示されるように、フレ一ムデータ 52' の表示位置を調整する。図 9 (b) に調整後のフレームデータ 5 2' とビデオ表示領域 53' との位置関係を示す。この場合は、フレームデータ 52' の全ては表示されないが、優先表示領域が確実に表示され、さらに灰色の領域 56' が表示される。

これにより、コンテンツ提供者の意図を反映した視覚的効果の高い表示が可能となることに加え、ビデオ表示領域を有効に利用し、より多くの情報を表示することが可能となる。

(4-1—2)

表示位置決定部 38は、基本表示情報取得部 1 7から、 ' t k h d ' が格納する表示領域サイズ（Wp， H p) と 's t s d' が格納する画像サイズ（Wv， H v) とを取得し、表示領域サイズ（Wp， H p) が画像サイズ（Wv， H v) よりも大きい場合には、 ' s t d c，をスキップするものであってもよい。その場合は、下記の (4-2) の動作にしたがって表示を行う。

(4-2) 's t d c' を利用しない場合の表示位置決定について

MP 4ファイルが ' s t d c ' を備えない場合、あるいはメディアデータ表示装置が 's t d c ' を認識できない装置である場合にも、ビデオ表示領域におけるビデオの表示位置を決定することが必要である。

(4-2- 1 )

M P 4フアイルが ' s t d c ' を備えない場合のメディアデータ表示装置 35 の動作について説明する。

表示位置決定部 38は、拡張表示情報取得部 37からフレームデータ毎の優先表示座標（d c x， d c y ) が取得できない場合、ビデオ表示領域の所定の点 (左上、右上、左下、右下あるいは中心など）とフレームデータの所定の点 (左上、右上左下、右下あるいは中心など）とが一致するようにフレームデ一タの表示位置を決定する。

これにより 1¥1?4ファィルが ' 3 1 €! (3 ' を備えない場合であっても _¾ フレ —ムデータの表示位置を決定することが可能となる。

(4-2-2)

さらに、メディアデータ表示装置は、 's t d c ' を解釈できない場合は、ュ —ザの指定によリフレームデータの表示位置を決定してもよい。

< 1 >

図 1 0は、第 2実施形態の変形例としてのメディアデータ表示装置 56の構造を説明するブロック図である。メディアデータ表示装置 56は、図 1を用いて説明したメディアデータ表示装置 20と同様、スケーリング部 1 8 (図 34参照）を備えず、 MP4フアイルが有するビデオをスケーリングしないで表示する。図 1 0に示すメディアデータ表示装置 56における、図 34に示す従来のメディァデータ表示装置 1 0と相違する部分について説明する。なお、従来のメディァデータ表示装置 1 0と同様の動作を行う部分については、同じ符号を付し、説明を省略する

メディアデ一タ表示装置 56は、表示位置設定部 57と表示位置決定部 58とを備えている点においてメディアデータ表示装置 1 0と相違している。

表示位置設定部 57は、ユーザにフレームデータの表示位置を設定させる。例えば、表示位置を [中央、上寄せ、下寄せ、右寄せ、左寄せ] などの中から選択させる。表示位置決定部 58は、基本表示情報取得部 1 7から ' t k h d ' が格納する表示領域サイズ（Wp， H p) と ' s t s d ' が格納する画像サイズ (Wv， H v) とを取得する。さらに、表示位置設定部 57の設定に基づいて、ビデオ表示領域におけるフレームデータの表示位置を決定する。表示部 1 9は、フレームメモリ 1 6が記憶するフレームデータを、表示位置決定部 58が決定する表示位置において表示するよう表示用データを出力する。

< 2 >

図 1 1 (a) を用いて、表示用データにおけるフレームデータ 61とビデオ表示領域 62との関係について説明する。フレームデータ 61は画像サイズ（W V , H v) を有しており、ビデオ表示領域 62において、スケーリングされずに表示される。ビデオ表示領域 62は、表示領域サイズ（Wp, H p) を有している。フレームデータ 61の表示位置は、表示位置設定部 57により [上寄せ] が選択された場合、フレームデータ 61の上辺とビデオ表示領域の上辺とがー致するように表示位置が決定される。また、左右の位置はビデオ表示領域 62に対して、フレームデータ 61がセンタリングされるように決定される。

なお、図 1 1 (a) は、表示領域サイズ (Wp, H p) が画像サイズ (Wv， H v) よりも大きい場合について示している。表示領域サイズ（Wp， H p) 力画像サイズ（Wv， H v) よりも小さい場合、フレームデータ 63のうちビデオ表示領域 64に含まれる部分だけが表示される。図 1 1 (b) は、表示位置設定部 57により [上寄せ] が選択された場合のフレームデータ 63とビデオ表示領域 64との関係について示している。

<3>

このメディアデータ表示装置 56では、ユーザの意図を反映したより効果的な表示を行うことが可能となる。 <4>

なお、表示位置設定部 57は、ユーザに表示位置を [中央、上寄せ、下寄せ、右寄せ、左寄せ] などの中から選択させるだけでなく、表示位置のデータ（レイァゥトおよびサイズなど）を入力させるものであってもよい。

(4-2-3)

メディアデータ表示装置は、 M P 4フアイルが有するビデオ以外のメディア (テキスト、静止画など）の表示位置に基づいてフレームデータの表示位置を決し ^よし、 o

なお、メディアデータ表示装置が ' s t d c ' を解釈できる際にも、ユーザー設定や予め決められた表示方法に従って表示することとしてもよい。

< 1 >

図 1 2は、第 2実施形態の変形例としてのメディアデータ表示装置 70の構造を説明するプロック図である。メディアデータ表示装置 70は、図 1を用いて説明したメディアデータ表示装置 20と同様、スケーリング部 1 8 (図 34参照）を備えず MP 4ファイルが有するビデオをスケーリングしないで表示する。図 1 2に示すメディアデータ表示装置 70において、図 34に示す従来のメディァデータ表示装置 1 0と相違する部分について説明する。なお、従来のメディァデータ表示装置 1 0と同様の動作を行う部分については、同じ符号を付し _¾ 説明を省略する

メディアデータ表示装置 70は、表示位置決定部 71を備えている点においてメディアデータ表示装置 1 0と相違している。

表示位置決定部 71は、基本表示情報取得部 1 7から、ビデオの ' t k h d ' が格納する表示領域サイズ (Wp, H p) と 's t s d' が格納する画像サイズ (Wv, H v) とを取得する。さらに、テキストの ' t k h d' が格納するテキスト表示領域の表示位置（T x， T y) とテキスト表示領域の表示領域サイズ (Wt， H t ) とを取得する。さらに、表示位置決定部 71は、取得した情報にも基づいて、ビデオ表示領域におけるフレームデータの表示位置を決定する。具体的には、テキスト表示領域の上端とフレームデータの下端とを一致させるように上下方向の位置を決定し、テキスト表示領域の中心とフレームデータの中心とを一致させるように左右方向の位置を決定する。表示部 1 9は、フレームメモリ 1 6が記憶するフレームデータを、表示位置決定部 71が決定するビデオの表示位置において表示するよう表示用データを出力する。

図"！ 3を用いて、表示用データにおけるフレームデータ 76とビデオ表示領域 77とテキスト表示領域 78との位置関係を説明する。表示画面 79において、表示領域サイズ（Wp， H p) を有するビデオ表示領域 77が設定されている。さらに、ビデオ表示領域 77の左上の点を基準として、座標（T x， T y) において、表示領域サイズ（Wt， H t ) を有するテキスト表示領域 78が設定されている。

ここで、画像サイズ（Wv， H v) を有するフレームデータ 76の上下方向の表示位置は、テキスト表示領域 78の上方向に隣接するように決定される。また、フレームデータ Ί 6の左右方向の表示位置は、フレームデータ Ί 6の中心とテキス卜表示領域 78の中心との左右方向の位置が一致するように決定される。

< 2 >

このメディアデータ表示装置 70では、フレームデータの表示位置は、 ΜΡ4 ファイルが有するビデオ以外のメディア（テキスト、静止画など）の表示位置に基づいて決定される。このため、それぞれのメディアが適切な位置に表示され、情報表示の視認性が向上する。

なお、フレームデータは、テキスト表示領域の上方向に隣接するよう表示されると記載したが、本発明の効果は、特に上方向に限定されるものではなく、下方向であっても、その他の方向であっても良い。

また、テキストの ' t k h d ' が格納するテキスト表示領域の表示位置（T x， T y) とテキスト表示領域の表示領域サイズ (Wt, H t) とだけでなく、テキス卜表示領域中におけるテキストサンプルの表示位置に基づいてフレームデータの表示位置を決定するものであっても良い。

[第 3実施形態]

図 1 4〜図 22を用いて、本発明の第 3実施形態について説明する。

図 1 4は、本発明の第 3実施形態としてのメディアデータ表示装置 85の構造を説明するブロック図である。メディアデータ表示装置 85は、例えば、サーバに蓄積された MP 4ファイルを HTT Pによりダウンロードして再生する装置や S Dカードなどの記録媒体に蓄積された MP 4フアイルを再生する装置であって、テレビ、パーソナルコンピュータ（PC) 、携帯電話、あるいはその他の画像信号を表示可能な装置において備えられている。

メディアデータ表示装置 85は、 MP 4ファイルから取得される情報に基づいて、ビデオのフレームデータをスケーリングするか否かを決定する。

ここで、メディアデータ表示装置 85が取得する MP 4ファイルは、 [第 2実施形態] において図 5を用いて説明した ' s t d c ' を備えることがあるとする。さらにメディアデータ表示装置 85が取得する M P 4ファイルは、サンプル毎 (フレームデータ毎）にスケーリング方法を指定する S amp I e S c a l e Bo x (以下、 ' s t s I ' という）を ' s t b に備えることがあるとする。なお、スケーリング方法の指定はサンプル毎に限定されるものではなく、さらに大きな単位、例えば複数のサンプルのグループであるチャンク単位やトラック単位で指定することとしてもよい。この場合サンプル毎にスケーリング方法を指定する場合に比べて、処理負荷を削減することが可能となる。

図 1 5に ' s t s にのシンタックス例を示す。 ' s t s は図 29 (b) を用いて説明した B o Xと同様の構造を有している。ここで、 [f i I I — f l a g] がセットされている場合には f i I Iモードでのスケーリングを指定する。 [h i d d e n— f I a g] がセッ卜されている場合には、 h i d d e nモ一ドでのスケ一リングを指定する。 [me e t_f I a g] が、セットされている場合には、 me e tモードでのスケーリングを指定する。 [s i i c e— x— f I a g] がセッ卜されている場合には、 X軸（画面左右方向）に s I i c eモードでのスケーリングを指定する。 [s I i c e_y_f I a g] がセットされている場合には、 Y軸（画面上下方向）に s I i G eモードでのスケ一リングを指定する。なお、 ' s t s では、 [f i l l— f l a g] 、 [ h i d d e n一 f I a g ] 、 [me e t一 x― f I a g] 、 Lm e e t一 y一 f I a g] 、 [ s I i c e― x一 f I a g] 、 [ s I i c e― y― f I a g] の中で最大 1つのフラグが必ずセッ卜されている。

図 1 6を用いて、それぞれのスケーリング方法について説明を加える。 f i l l モードは、画像サイズ（Wv， H v) のフレームデータ（図 1 6 (a) 参照）を表示領域サイズ（Wp, H p) にスケーリングして表示するモードである（図 1 6 (b) 参照) 。

h i d d e nモードは、画像サイズ（W v， H v ) のフレームデータ（図 1 6 (a) 参照）のスケーリングは行わずに、表示領域サイズ（Wp， H p) のビデォ表示領域の範囲で表示できる部分を表示するモードである（図 1 6 (c) 参照）。より詳しくは、（Wv<Wp) 又は（H v<H p) である場合には、ビデォ表示領域においてフレームデータが表示されない領域には、特定の背景色が表示される。一方、（Wv>Wp) 又は（H v>H p) である場合には、（Wp， H p) からはみ出すフレームデータはクリップされる。

me e tモ一ドは、フレームデータのァスぺクト比（画像の縦■横サイズの比、 [Wv ： H v] ) を保ったまま、縦 Z横サイズのいずれか一方が、ビデオ表示領域と等しくなるまでスケーリングして表示するモードである。ビデオ表示領域においてフレームデータが表示されない領域には、特定の背景色が表示される。このモードでは、フレームデータはクリップされない。

s I i c eモードは、フレームデータのァスぺクト比（画像の縦'横サイズの比、 [Wv ： H v] ) を保ったまま _¾ 縦あるいは横サイズが、ビデオ表示領域と等しくなるまでスケーリングして表示する。ビデオ表示領域においてフレームデータが表示されない領域には、特定の背景色が表示される。このモードでは、フレームデータはクリップされることがある。

(1 ) メディアデータ表示装置 85の構成

図 1 4に示す本発明のメディアデータ表示装置 85において、図 34に示す従来のメディアデータ表示装置 1 0と相違する部分について説明する。なお、従来のメディアデータ表示装置 1 0と同様の動作を行う部分については、同じ符号を付し、説明を省略する。

メディアデータ表示装置 85は、拡張表示情報取得部 86とスケーリング判定部 87とを備えている点においてメディアデータ表示装置 1 0と相違している。さらに、ヘッダ分離部 88は、 MP 4ファイルが有する ' s t d c，および 's t s I ' を認識し、分離することが可能である。また、スケ一リング部 89は、スケーリング判定部 87の判定結果に基づいて、スケ一リングを行うことが可能である。

拡張表示情報取得部 86は、ヘッダ分離部 88が分離する ' s t d c ' および ' s t s を取得する。スケーリング判定部 87は、拡張表示情報取得部 86 が ' s t s を取得した場合に、スケ一リングを行うと判定する。スケーリング部 89は、基本表示情報取得部 1 7から、 ' t k h d ' が格納する表示領域サィズ（Wp， H p) および ' s t s d ' が格納する画像サイズ（Wv， H v) を取得し、拡張表示情報取得部 37から、 ' s t d c ' が格納する優先表示座標 (d c X , d c y ) (図 5参照）および 's t s が格納するスケーリング方法を取得する。さらに、スケーリング部 89は、スケ一リング判定部 87の判定結果を取得し、判定結果が肯定的であれば、スケーリングを実行する。スケーリングされたフレームデータは、フレームデータの表示領域サイズ（Wp， H p) とともに表示部 1 9に出力される。

(2) スケーリング部 89の動作

スケーリング部 89のスケーリング動作について説明を加える。スケーリング部 89は、 ' s t d G ' が格納する優先表示領域の情報に基づいてスケーリングを行う。具体的には、 's t d c ' は、優先表示領域の中心点の座標である優先表示座標（d c x， d c y ) を格納している。そこで、スケーリング部 89は _¾ 優先表示座標（d G, X， d c y) から、優先表示領域を見積もり、優先表示領域が表示領域サイズ（Wp， H p) のビデオ表示領域に表示されるよう自動的に表示位置を調節する。さらに具体的には、スケーリング部 89は、優先領域が欠けないような適切なスケーリング方法を選択する。

図 1 7を用いて、さらに具体的に説明する。画像サイズ（Wv， H v) のフレー厶データ 90に対して、優先表示座標（d c x， d c y ) が取得されているとする（図 1 7 (a) 参照）。スケーリング部 89は、優先表示座標（d c x， d c y) を中心とする領域のうち、フレームデータ 90内における最大領域を優先表示領域 91とする（図 1 7 (b) 参照）。この場合、優先表示領域 91はフレームデータ 90の左下部分である。スケーリング部 89が取得したスケーリング方法が f i I Iモードである場合、スケ一リング部 89は、優先表示領域 91を例えば x方向に s I i c eモードでスケーリングし、表示領域サイズ (Wp, H p) と同じサイズとする（図 1 7 (c) 参照）。その結果、優先表示領域 91が表示される。

さらに、図 1 8を用いて、他の実施例について説明する。画像サイズ（Wv， H V ) のフレームデータ 90' に対して、優先表示座標（d c x， d c y) が取得されているとする (図 1 8 (a) 参照) 。スケーリング部 89は、優先表示座標（d c x， d c y) を中心とする領域のうち、フレームデータ 90' 内における最大領域を優先表示領域 91 ' とする（図 1 8 (b) 参照）。この場合は、優先表示領域 91 ' はフレームデータ 90' の左上である。この実施例では、画像サイズ（Wv， H V ) の縦横比が表示領域サイズ（Wp， H p) の縦横比と異なつておリ (前記実施例に比べて H Vに対して Wvが短い）、しかも優先表示領域 91 ' がフレームデータ 90' の左上に位置している。したがって、この実施形態で s I i c eモードを採用し、 X方向に s I i G eモードでスケーリングすると優先表示領域 91 ' が欠けて表示されてしまう。

そこで、スケーリング方法として f i I Iモードが選択され、その結果、スケ一リング部 89は、優先表示領域 91 ' を f i I Iモードでスケーリングし表示領域サイズ（Wp， H p) と同じサイズとする（図 1 8 ( c ) 参照）。このようにスケーリング部 89が優先表示座標（d c X , d c y ) から優先表示領域を見積もり、優先表示領域 91 ' が表示領域サイズ（Wp， H p) のビデオ表示領域に表示されるように適切なスケーリング方法を選択するため、優先表示領域 91 ' が確実に表示される。

なお、 ' s t d c ' が存在しない場合には、画像の左上と表示領域の左上とを一致させた状態を基準としてスケーリングを行う。ここで、画像の左下、右上、右下、あるいは中心と、表示領域の左下、右上、右下、あるいは中心を一致させた状態をスケーリングの基準とすることとしてもよいし、基準状態をユーザが設定することとしてもよい。

(3) メディアデータ表示装置 85におけるメディアデータ表示方法図 1 9を用いて、メディアデータ表示装置 85におけるメディアデータ表示方法について説明する。へッダ分離部 88は、 MP4フアイルから ' t k h d，、 's t s d，、 ' s t d c ' および ' s t s を分離する（ステップ S 95) 。スケ一リング部 8 9は、基本表示情報取得部 1 7から、 ' t k h d ' が格納する表示領域サイズ (Wp， H p) および 's t s d' が格納する画像サイズ（Wv, H v) を取得し、拡張表示情報取得部 37から、 ' s t d _C ' が格納する優先表示座標（d c x， d c y ) および ' s t s が格納するスケーリング方法を取得する（ステップ S 96) 。スケーリング判定部 87は、拡張表示情報取得部 86が ' s t s I ' を取得した場合に、スケーリングを行うと判定する（ステップ S 97) 。スケ一リングを行うと判定された場合、スケ一リング部 89は、フレームメモリ 1 6が記憶するフレームデータの優先表示領域を表示領域サイズ（W p， H p) にスケ一リングして出力する (ステップ S 98) 。スケーリングを行わないと判定された場合、スケーリング部 89は、フレームメモリ 1 6が記憶するフレー厶デ一夕の優先表示領域をスケーリングせずに出力する（ズテツプ S 99) 。

ここで ' s t s I ' が存在する際にもスケーリングモードとして h i d d e nモードが設定されている際にはスケーリングは行われない。また、 MP4フアイル内に ' S t S にが存在するが端末が ' S t S を解釈できない場合には _¾ ' t k h d ' に示される表示領域サイズ（Wp， H p) に f i I Iモードでスケーリングすることとしてもよい。

以上では ' S t S にが存在する際には、必ず ' S t S に示されるスケーリング動作に従ってスケーリングして表示することとしたが、 ' s t s のスケーリング動作に従うかどうかを端末側で選択できるようにするための情報を追加することとしてもよい。この情報を 's t s 内で設定する際のシンタツクス例を図 20に示す。ここで、 [c o n s t r a i n t_f I a g] がセッ卜されている際には、必ず ' s t s に示されるスケ一リング動作に従ってスケーリングすることを示し、セッ卜されていなければ、スケーリングするかどうかを端末で選択できることを示す。従って、 [c o n s t r a i n t— f l a g] がセットされていなければ、端末のバッテリー残量、あるいはユーザ設定内容などの情報を元に、スケーリングするかどうかを判定することとしてもよい。さらに、 ' s t s I ' が存在しない場合には必ず表示領域サイズ (Wp， H p) に f i I Iモ一ドでスケ一リングすることとすれば、 ' s t d c，は ' s t s I ' が存在する場合にのみ使用される。このため、メディアデータ表示装置 8 5が取得する M P 4ファイルは、 ' s t s I ，が存在する場合にのみ、 ' s t d c' を格納できることとしてもよい。

このように動作することにより、従来の MP4ファイルを再生する際の表示動作と後方互換性を保ちつつ、 ' s t s I ' および ' s t d c ' を解釈できる端末に対しては表示動作に関する拡張機能を提供することができる。

(4) メディアデータ表示装置 85の効果

メディアデータ表示装置 85では、スケーリングの有無を ' s t s に基づいて判断することが可能となる。ここで、 ' s t s I ' は、スケーリング方法を示す B o Xである。このため、 ' s t s にがあれば、 M P 4ファイルの提供者はフレームデータがスケーリング表示されること意図していると考えられる。すなわち M P 4ファイルの提供者の意図を反映した表示が可能となる。

従来のメディアデータ表示装置 1 0ではビデオの表示に際して 1秒あたり数〜数十回のスケーリングが必要となり G P Uへの負荷が高く電力消費も高い。一方、メディアデータ表示装置 85では、 ί&ずしもスケーリングを必要とせず、処理量の低減および消費電力の低減が実現可能となる。このことはメディァデータ表示装置 85が携帯端末などにおいて備えられる場合に特に有効な効果となる。

なお、本発明の前提となる ΜΡ4フアイルでは、新しく定義された ' s t s I ' を有している。このため、 ' s t s I ' に対応しない従来のメディアデ一タ表示装置 1 0において、 's t s を有する MP 4ファイルを取得した場合、 's t s は認識されず、スキップされる。すなわち、従来のメディアデータ表示装置 1 0の表示には影響を与えず、 ' s t s を認識可能な装置には、新しい機能を実現させる、 MP 4ファイルのデータ構造が提供されている。

(5) メディアデータ表示装置 85の変形例

(5-1 ) メディアデータ表示装置 85の変形例

(5-1 -1 )

メディアデータ表示装置 85は、スケーリング判定部 87を備えず、常にスケ一リング表示を行うものであっても良い。ここでは、スケーリング部は、スケ一リング表示を行うと判定されたスケ一リング部 89と同様の動作を常に行うこととなる。

また、拡張表示情報取得部 86が ' s t s および ' s t d c，を取得しない場合に、スケーリング部 89は、 f i I Iモードではなく、 me e tモードあるいは s I i c eモードでスケーリングを行うものであっても良い。

さらに、 f i I Iモード、 me e tモ一ドあるいは s l i c eモ一ドでスケ一リングを行う場合には、 1 2、 1 4、 2、 3倍など整数倍率でのみスケーリングするものであっても良い。

例えば、 1 /2倍にスケーリングする際には、隣接する 2画素毎に順に処理できるなど、スケーリング時の処理が簡単化され、結果として省電力となる。

(5— 1—2)

メディアデータ表示装置 85は、拡張表示情報取得部 86およびスケーリング判定部 87を備えず、ユーザの指定によりスケーリングの有無およぴスケ一リングの方法を決定するものであっても良い。

図 21は、第 3実施形態の変形例としてのメディアデータ表示装置 1 00の構造を説明するブロック図である。図 21に示すメディアデータ表示装置 1 00において、図 1 4に示すメディアデータ表示装置 85と相違する部分について説明する。なお、メディアデータ表示装置 85と同様の動作を行う部分については、同じ符号を付し、説明を省略する。

メディアデータ表示装置 1 00は、メディアデータ表示装置 85が備える拡張表示情報取得部 86とスケーリング判定部 87とを備えない点、およびスケーリング方法設定部 1 01 を備えている点において、メディアデータ表示装置 85と相違している。スケーリング方法設定部 1 01は、ユーザにスケーリング方法 (f i l lモード、 me e tモードあるいは s I i c eモードなど）を設定させる。また、スケーリング部 1 02は、スケーリング方法設定部 1 01が設定したスケーリング方法により、フレームメモリ 1 6が記憶する画像サイズ（Wv， H v) のフレームデータを表示領域サイズ（Wp， H p) のビデオ表示領域にスケ —リングする。これにより、スケーリングの有無およびスケーリング方法に対して、ユーザの意志を反映することが可能となる。

(5-2) スケ一リング判定部 87の変形例

(5-2- 1 )

スケーリング判定部 87は、拡張表示情報取得部 86が ' s t s I ' を取得したことによるスケーリングの有無の判定に変えて、あるいは加えて、搭載されたバッテリーの残量に応じてスケーリングの有無を判定するものであっても良い。すなわち、スケーリング判定部 87は、図示しないバッテリー管理部からバッテリー残量を取得し、スケーリングの有無を判定することとなる。

バッテリーの残量が少ない場合に、バッテリーの残量によるスケーリングの有無の判定を優先させることにより、スケーリングによる電力消費を抑え、メディァデータ表示装置 85の使用可能時間を延ばすことが可能となる。

また、バッテリーの残量が多い場合には、 ' s t s I ' の取得の有無にかかわらず、スケーリング表示することも可能である。

(5-2-2)

スケーリング判定部 87は、拡張表示情報取得部 86が ' _S t s を取得したことによるスケーリングの有無の判定に変えてあるいは加えてユーザの設定に応じてスケーリングの有無を切り替えても良い。すなわち、スケーリング判定部 87は図示しないスケーリング設定部からの設定により、スケーリングの有無を切り替えることとなる。

具体的には、ユーザは、メディアデータ表示装置を搭載する携帯端末などのメニュー画面における「スケーリング」メニューでスケーリングの有無を指定することとしてもよいし、「省電力設定」メニューで、省鼋カモードが選ばれた場合にスケーリングしないこととしてもよい。

また、 ' s t s の取得の有無にかかわらず、ユーザの設定を常に優先させてもよい。

(5-2-3)

スケーリング判定部 87は、 MP4ファイルから取得される ' s t s 以外の情報からスケーリングの有無を判定しても良い。 < 1 >

スケーリング判定部 87は、拡張表示情報取得部 86が ' s t d c' を取得し, かつ ' s t s を取得しない場合には、スケーリングを行わないものであっても良い。

<2>

スケーリング判定部 87は、基本表示情報取得部 1 7が取得する ' f t y p' に基づいて、スケーリングの有無を判定しても良い。例えば、ある特定のスぺックを示す識別子 ( [m a j o r― b r a n d] あるし、は [c omp a t i b I e — b r a n d] など）が含まれているか否かによリ、スケーリングの有無を判定してもよい。

< 3 >

スケーリング判定部 87は、基本表示情報取得部 1 7が取得する 'mv h d' あるいは ' t k h d ' に基づいて、スケーリングの有無を判定しても良い。

例えば、 ' t k h d ' のデュレーション、および ' s t s z ' など ' s t b I ' 内の B o xから得られるトラック内の総サンプル数、あるいは 's t t s ' に示されるサンプルのデュレ一シヨンにもとづいてフレームデータのフレームレートを判断し、フレームレートがある設定値以下（例えば、設定値 1 f r am e/sに対してフレームレートが 0. 5 f r ame/s) の場合に、スケ一リングを行うものであっても良い。

また、メディアデータ表示装置 85が、 1 フレームの復号 '表示処理に割り当て可能な時間 (例えば 1 5 f r ame/sの場合、 1 /1 5秒) に対して、復号に要する時間とスケーリングに要する時間が割り当て可能な時間以下になる場合に、スケ一リングを行うものであっても良い。

この場合、メディアデータ表示装置 85の処理量に応じて、スケーリングの有無を切り替えることが可能となる。

(6) その他

(6-1 )

M P 4ファイルにおいて、 ' s t s I ' は、 ' s t b I ' に格納されサンプル毎にスケーリング方法を指定すると記載した。ここで、 ' s t s は、 ' t r a k ' に格納され、トラック毎に同一のスケーリング方法を指定するものであつても良い。なお、トラック単位でスケーリング方法を示す際のシンタックス例を図 22に示す。このとき、 ' s t s は ' t r a k ' 直下に配置されることが望ましい。また、複数のサンプルのグループであるチャンク単位でスケーリングの方法が指定されてもかまわない。

(6-2)

上記実施形態で説明した ' s t d c ' と ' s t s とは、同じ B o Xに含まれる情報であってもよい。例えば、メディアデータ表示装置 85が取得する MP 4ファイルにおいて、 ' s t d c ' が格納する優先領域の情報などは、 ' s t s I，に含まれていてもよい。また、その逆も同様である。

(6— 3)

図 1 5や図 20に示したシンタックスでは、スケーリング方法は、フラグ情報として指定される。

ここでスケーリング方法は、例えば、 8ピッ卜で表される [s e a l e— m e t h o d] の値により指定されてもよい。より具体的には、 f i I Iモード、 h i d d e nモー卜、 me e t Έ— _¾ X軸凼面左右方向) 0 s I i c eモ一ド、 Y軸（画面上下方向）の s I i c eモードのそれぞれに対して、 [1 ] ~ [5] のいずれかの値が与えられる。

また、これに限らず、スケーリング方法を特定するための情報であれば、どのような形式が用いられてもよい。

さらに、この場合、 [s c a I e— me t h o d] の残りの値、例えば、 1 2 8〜 255の値は、ユーザ指定領域として、以下のように用いることが可能である。

(6-3- 1 )

ユーザ指定領域は、上記実施形態で説明したスケーリング方法や優先領域の情報以外の、スケーリング方法や優先領域の情報、を示すために用いられてもよい < 1 >

例えば、 3 G P P (3 r d G e n e r a t i o n P a r t n e r s h i p P r o j e c t ) などの標準規格、あるいはサービス事業者の運用規格、により定められたスケーリング方法や優先領域の情報を示すために用いられてもよい。この場合、標準規格、あるいは運用規格に割り振られた固有の番号がユーザ指定領域に格納される。

< 2 >

また、例えば、トラックの画像を表示する際の優先順位を示すために用いられてもよい。具体的には、 [ s e a l e一 m e t h o d ] の特定ビッ卜（上位 3ビットなど）を用いて優先順位が示される。これにより、例えば、テキストトラックの優先度が 2、ビデオトラックの優先度が 1である際には、オーバーレイするなどしてテキストを優先的に表示するなどの動作が可能となる。

< 3 >

また、例えば、 T V放送、あるいはダウンロード/ストリーミングコンテンツなどのメインコンテンッの補助データとして M P 4ファイルを送信する際に、補助データであることを示すために用いられてもよい。具体的には、補助データは予め定められた方法で表示するなど補助データとメインコンテンツで表示方法を切り替えることが可能となる。

( 6 - 3 - 2 )

ユーザ指定領域は以下のような情報を示すために用いられてもよい。

< 1 >

例えば、スクロールに関する情報を示すために用いられてもよい。スクロールに関する情報とは、具体的には、デフオル卜 (スクロールしない状態) の表示領域を示す情報や、端末がスクロール機能を有し、かつ画像の全領域を一度に表示できない場合には、スクロール機能を有効にすべきかどうかを示すフラグ情報などを含む情報である。これにより、例えば、スクロールにより表示すべき画像がスケーリングされ、不適切に表示されることが防止される。言い換えれば、スクロールにより表示すべき画像を適切に表示することが可能となる。

< 2 >

また、例えば、マルチメディアデ一タの表示を行う端末の能力に関連づけられた複数の表示関連情報を示すために用いられてもよい。ここで、表示関連情報とは、サンプルの表示に関連する情報であり、例えば、 ' s t b I ' に格納される情報などである。より詳しくは、表示関連情報は、 V i s u a l S amp I e E n t r yに含まれる情報や、上記した ' s t s に含まれる情報や、 's t d c ' に含まれる情報などである。

このユーザ指定領域は、例えば、端末の能力に関連づけられた複数の ' S t S I ' により複数の表示関連情報を示すものであってもよいし、 ' s t s に複数のエントリを有することで端末の能力に関連づけられた複数の表示関連情報を示すものであってもよい。複数の ' s t s を使用する際には、それぞれ 1つの ' s t s を格納した V i s u a I S amp l e E n t r を複数個もつことにしてもよい。

表示関連情報と端末の能力との関連づけは、例えば、表示関連情報毎に、 H i g h, Me d i um, L o wなど端末の能力の識別子を付加することによリ行われる。表示を行う端末では、能力が高い場合には、 H i g hに相当する情報、能力が低い場合には、 L owに相当する情報に基づいて表示が行われる。

これによリ、端末の能力に応じた表示関連情報を取得することが可能となリ _¾ 例えば、マルチメディアデータの表示を行う受信端末の能力に応じて最適な表示方法により表示を行うことが可能となる。

また _¾ 同一 MP4ファイルを複数端末で同時に視聴するような場合に、最も能力の低い端末に対応する表示関連情報に基づいて表示が行われる。この場合、能力の異なる複数の端末の全てにおいて、同一の表示を行うことが可能となる。なお、それぞれの端末の能力は、予め定められた端末間の通信により交換される。

< 3 >

また、例えば、メインコンテンツと補助データ（上記（6— 3— 1 ) <3>参照）とを同時に表示する際の位置関係、レイヤ、スケーリング方法などを指定する情報を示すために用いられてもよい。

[第 4実施形態]

本発明の第 4実施形態として、メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラムの応用例と、それを用いたシステムとを図 23〜図 26を用いて説明する。

図 23は、コンテンツ配信サービスを実現するコンテンツ供給システム e X 1 00の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局 e X 1 07〜e X 1 1 0が設置されている。

このコンテンツ供給システム e X 1 00は、例えば、インターネット e X 1 0 1にインタ一ネットサービスプロバイダ e X 1 02および電話網 e x 1 04、おょぴ基地局 e X 1 07〜e X 1 1 0を介して、コンピュータ e x 1 1 1、 PDA (p e r s o n a l d i g i t a l a s s i s t a n t ) e x "M 2、カメラ e x 1 1 3、携帯電話 e x 1 1 4、カメラ付きの携帯電話 e x 1 1 5などの各機器が接続される。

しかし、コンテンツ供給システム e X 1 00は図 23のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 e x 1 07〜e x 1 1 0を介さずに、各機器が電話網 e x 1 04に直接接続されてもよい。

カメラ e X 1 1 3はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電言舌は、 PDG (P e r s o n a l D i g i t a l Co mm u n

1 c a t i o n s ) 方式 CDMA (Co d e D i v i s i o n Mu l t i p i e Ac c e s s) 方式 W— CDMA (W i d e b a n d— Co d e D i v i s i o n Mu l t i p l e Ac c e s s) 方式、若しくは GSM ( G I o b a I S y s t em f o r Mo b i l e C o mm u n i c a t i o n s ) 方式の携帯電話機、または P H S (P e r s o n a I H a n d y p h o n e S y s t em) 等であり、いずれでも構わない。

また、ストリーミングサーバ e X 1 03は、カメラ e x 1 1 3から基地局 e x 1 09、電話網 e x 1 04を通じて接続されており、カメラ e x 1 1 3で取り込んだ符号化データを MP4ファイルとして蓄積しておき、そのファイルを伝送する c また、カメラ付き携帯電話で撮影した動画像を符号化して多重化し、多重化データをサーバ e x 1 03に送信することも可能である。なお、撮影したデータの符号化処理はカメラ e X 1 1 3で行っても、データの送信処理をするサーバ等で行つてもよい。また、カメラ e X 1 1 6で撮影した動画データはコンピュータ e X 1 1 1 を介してストリーミンダサ一 / e X 1 03に送信されてもよい。カメラ e x 1 1 6はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラ e X 1 1 6で行ってもコンピュータ e X 1 1 1で行つてもどちらでもよい。また、符号化処理はコンピュータ e X 1 1 1やカメラ e X 1 1 6が有する L S I e X 1 1 7において処理することになる。なお、画像符号化 '復号化用のソフトウェアをコンピュータ e X 1 1 1等で読み取り可能な記録媒体である何らかの蓄積メディア（CD— ROM、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話 e X 1 1 5で動画データを送信してもよい。このときの動画データは携帯電話 e X 1 1 5が有する L S Iで符号化処理されたデータである。このように、本発明を配信システムに適用される場合は、予め蓄積された MP4ファイルを HTTP用ストリーミングサーバから配信する。つまり、符号化データそのものをパケット化して配信するのではなく、 MP4ファイルそのものを伝送する。

また、ス卜リ一ミングサーバ e X 1 03は、カメラ e X 1 1 3から基地局 e x 1 09_¾ 電話網 e X 1 04を通じて接続されており、カメラ e x 1 1 3を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる c なお、以上に述べたようにライブ配信を行うためには、 M P 4ファイルをリアルタイムで作成することが必要とな _¾ フラグメン卜化した M P 4ファイルを用いることになる。そして、フラグメント化した MP4を用いれば、 H T T P/T C P を利用した、ライブ配信に近い低遅延の配信が可能である。

このコンテンツ供給システム e X 1 00では、ユーザがカメラ e X 1 1 3、力メラ e x l 1 6等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバ e X 1 03に送信する一方で、ストリーミングサーバ e X 1 03は要求のあったクライアン卜に対して上記コンテンッデータをストリーム配信する。クライアントとしては、符号化処理されたデ —タを復号化することが可能な、コンピュータ e X 1 1 1、 P DA e x 1 1 2、カメラ e x 1 1 3、携帯電話 e x 1 1 4等がある。このようにすることでコンテンッ供給システム e x 1 00は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。また、コンテンツの再生に際しては、上記実施形態のメディアデータ表示装置、メディアデ一タ表示方法およびメディァデータ表示方法をコンピュータを実現するメディアデータ表示プログラムを用いてもよい。例えば、コンピュータ e x 1 1 1、 PDAe x 1 1 2、カメラ e x 1 1 3、携帯電話 e x 1 1 4等は、上記実施形態で示したメディアデータ表示方法を実現するメディアデータ表示プロダラムを備えていてもよい。

一例として携帯電話について説明する。

図 24は、上記実施形態のメディアデータ表示装置を用いた携帯電話 e X 1 1 5を示す図である。携帯電話 e X 1 1 5は、基地局 e x 1 1 0との間で電波を送受信するためのアンテナ e X 201、 CCDカメラ等の映像、静止画を撮ることが可能なカメラ部 e X 203、カメラ部 e x 203で撮影した映像、アンテナ e X 201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 e x 202、操作キー e X 204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部 e 208 , 音声入力をするためのマイク等の音声入力部 e x 205、撮影した動画もしくは静止画のデータ、受信したメールのデータ動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディア e X 207、携帯電話 e x 1 1 5に記録メディア e X 207を装着可能とするためのスロッ卜部 e x 206 を有している。記録メディア e 207は SDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリである EE PROM (E I e c t r i c a I I y E r a s a b l e a n d P r o g r amma b l e R e a d On l y Memo r y ) の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話 e x 1 1 5について図 25を用いて説明する。携帯電話 e x 1 1 5は表示部 e X 202および操作キー e x 204を備えた本体部の各部を統括的に制御するようになされた主制御部 e X 31 1に対して、電源回路部 e x 3 1 0、操作入力制御部 e X 304、画像符号化部 e x 31 2、カメラインターフエース部 e x 303 LCD (L i q u i d C r y s t a l D i s p I a y ) 制御部 e x 302、画像復号化部 e x 309、多重分離部 e x 308、記録再生部 e x 3 O 7、変復調回路部 e x 3 0 6および音声処理部 e x 3 0 5が同期バス e X 3 1 3を介して互いに接続されている。

電源回路部 e X 3 1 0は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによリカメラ付ディジタル携帯電話 e X 1 1 5を動作可能な状態に起動する。

携帯電話 e x 1 1 5は、 C P U、 R O Mおよび R A M等でなる主制御部 e X 3 1 1の制御に基づいて、音声通話モード時に音声入力部 e X 2 0 5で集音した音声信号を音声処理部 e X 3 0 5によってディジタル音声データに変換し、これを変復調回路部 e X 3 0 6でスぺクトラム拡散処理し、送受信回路部 e x 3 0 1でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナ e X 2 0 1を介して送信する。また携帯電話 e x 1 1 5は、音声通話モード時にアンテナ e X 2 0 1で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部 e X 3 0 6でスぺクトラム逆拡散処理し、音声処理部 e X 3 0 5によってアナログ音声信号に変換した後、これを音声出力部 e X 2 0 8を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合本体部の操作キー e X 2 0 4の操作によって入力された電子メールのテキストデータは操作入力制御部 e X 3 0 4を介して主制御部 e 3 1 1に送出される。主制御部 e x 3 1 1 はテキストデータを変復調回路部 e X 3 0 6でスペクトラム拡散処理し、送受信回路部 e X 3 0 1でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナ e X 2 0 1を介して基地局 e x 1 1 0へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部 e X 2 0 3で撮像された画像データをカメラインタ一フヱ一ス部 e X 3 0 3を介して画像符号化部 e X 3 1 2に供給する。また、画像データを送信しない場合には、カメラ部 e x 2 0 3で撮像した画像データをカメラインタ一フェース部 e x 3 O 3および L C D制御部 e x 3 0 2を介して表示部 e x 2 0 2に直接表示することも可能である。画像符号化部 e X 3 1 2は、カメラ部 e X 2 0 3から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部 e X 3 0 8に送出する。また、このとき同時に携帯電話 e X 1 1 5は、カメラ部 e x 2 O 3で撮像中に音声入力部 e X 2 0 5で集音した音声を音声処理部 e x 3 0 5を介してディジタルの音声データとして多重分離部 e X 3 0 8に送出する。

多重分離部 e X 3 0 8は、画像符号化部 e x 3 1 2から供給された符号化画像データと音声処理部 e X 3 0 5から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部 e X 3 0 6でスぺクトラム拡散処理し、送受信回路部 e X 3 0 1でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナ e X 2 0 1を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナ e X 2 0 1を介して基地局 e x 1 1 0から受信した受信信号を変復調回路部 e X 3 0 6でスぺクトラム逆拡散処理し、その結果得られる多重化データを多重分離部 e X 3 0 8に送出する。

また、アンテナ e X 2 0 1を介して受信された多重化データを復号化するには、多重分離部 e X 3 0 8は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットス卜リームとに分け、同期バス e X 3 1 3を介して当該符号化画像データを画像復号化部 e x 3 0 9に供給すると共に当該音声データを音声処理部 e X 3 0 5に供給する。

次に、画像復号化部 e X 3 0 9は画像データの符号化ビットストリームを復号することによリ再生動画像データを生成し、これを L G D制御部 e X 3 0 2を介して表示部 e X 2 0 2に供給しこれにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。

また、画像復号化部 e X 3 0 9は、上記実施形態のメディアデータ表示装置としての役割を果たす。

このとき同時に音声処理部 e X 3 0 5は、音声データをアナログ音声信号に変換した後、これを音声出力部 e X 2 0 8に供給し、これにより、例えばホームべ —ジにリンクされた動画像ファイルに含まる音声データが再生される。

さらに、上記実施形態のメディァデータ表示方法を実現するメディアデータ表示プログラムを備えていてもよい。また、図 2 6に示すように、記録媒体である G Dや D V D等の蓄積メディア e x 4 O 2に記録した符号化ビットストリ一厶の多重化データを読み取り、復号化する再生装置 e X 4 0 3にも上記実施形態のメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示方法を実現するメディアデータ表示プログラムを実装することが可能である。この場合、再生された映像信号はモニタ e X 4 0 4に表示される。また、ケーブルテレビ用のケーブル e X 4 0 5または衛星 Z地上波放送のアンテナ e x 4 0 6に接続されたセッ卜トップボックス e X 0 7内に上記実施形態のメディアデータ表示装置を実装し、これをテレビのモニタ e X 4 0 8で再生する構成も考えられる。このときセッ卜トップボックスではなく、テレビ内にメディアデータ表示装置を組み込んでも良い。また、アンテナ e X 1 1を有する車 e x 4 1 2で放送衛星 e X 4 1 0からまたは基地局 e x 1 0 7等から信号を受信し、車 e x 4 1 2が有する力一ナビゲ一シヨン e X 4 1 3等の表示装置に動画を再生することも可能でめる。

さらに、画像信号を符号化して多重化し、記録媒体に記録することもできる。具体例としては、 D V Dディスク e X 4 2 1に画像信号を記録する D V Dレコーダゃ、ハ一ドディスクに記録するディスクレコーダなどのレコーダ e X 4 2 0がある。さらに S Dカード e X 4 2 2に記録することもできる。レコーダ e x 4 2 0が上記実施形態のメディアデータ表示装置を備えていれば、 D V Dディスク e X 4 2 1や S Dカード e X 4 2 2に記録した画像信号を再生しモニタ e > 4 0 8に表示することができる。

なお、力一ナビゲ一シヨン e X 4 1 3の構成は例えば図 2 5に示す構成のうち、カメラ部 e X 2 0 3とカメラインタ一フェース部 e X 3 0 3、画像符号化部 e x 3 1 2を除いた構成が考えられ、同様なことがコンピュータ e X 1 1 1やテレビ (受信機） e X 4 0 1等でも考えられる。

また、上記携帯電話 e X 1 1 4等の端末は、符号化器 '復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通リの実装形式が考えられる。

このように、上記実施形態のメディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示方法を実現するメディアデータ表示プログラムを上述したいずれの機器 'システムに用いることは可能であリ、上記実施形態で説明した効果を得ることができる。 [その他]

上記 [第 1実施形態] 〜 [第 4実施形態] にそれぞれ記載した内容は、その要旨を逸脱しない範囲で種々の変形、組み合わせが可能である。

( 1 )

[第 1実施形態] において図 1を用いて説明した表示領域変換部 2 1および端末表示画面サイズ取得部 2 2は、 [第 2実施形態] において図 4を用いて説明したメディアデータ表示装置 3 5において備えられていても良い。

この場合、表示位置決定部 3 8は、表示領域変換部 2 1が設定するビデオ表示領域において、優先表示領域を表示することとなる。

( 2 )

[第 1実施形態] において図 1を用いて説明した表示領域変換部 2 1および端末表示画面サイズ取得部 2 2は、 [第 3実施形態] において図 1 4あるいは図 2

1を用いて説明したメディアデータ表示装置 8 5あるいはメディアデータ表示装置 1 0 0において備えられていても良い。この場合、スケーリング部 8 9あるいはスケーリング部 1 0 2は、表示領域変換部 2 1が設定するビデオ表示領域に対して、フレームデータをスケーリングすることとなる。そのため動画表示領域設定機能とスケーリング機能の両方が実現される。そして、スケーリング部がスケーリング判定手段からの判定結杲に基づいてスケーリングを行わない場合は第 1 実施形態と同様の効果が得られる。

また、 [第 2実施形態] において図 4を用いて説明した表示位置決定部 3 8をさらに備え、スケーリングしない場合には、表示位置を決定して表示させることとしても良い。

( 3 )

M P 4ファイルは、ビデオ、オーディオ、あるいはテキストデータを多重して記録することに用いられることもある。例えば、携帯電話などのカメラにより撮影したビデオ、オーディオを M P 4ファイルとして記録するといつた用途に用いられる。

上記実施形態で記載した ' s t d c ' および ' s t s I ' は、 M P 4ファイルの記録に際して、 M P 4ファイルの作成者によりあらかじめ設定されることが可能である。また、ビデオ表示領域の表示領域サイズ（Wp， H p) についても、ビデオの記録中に設定されることが可能である。ここで、記録されるビデオの画像サイズ（Wv， H v) が変化する場合には、画像サイズ（Wv, H v) の最大値を表示領域サイズ（Wp， H p) として設定することも可能である。

これにより、ビデオの表示に際して、メディアデータ表示装置に余裕のある表示領域サイズ（Wp， H p) を設定することが可能となる。

(4)

MP EG— 2 V i d e oの P a n— s c a nと ' s t d c，を用いた優先表示領域の表示とを組み合わせて使用しても良い。

M P EG— 2 V i d e oの P a n— s c a nにおいては、ビデオ画像の中心とディスプレイの中心との差分値を設定することにより、表示すべき領域を指定する。

ここで、 P a n— s G a nは、復号した画像フレー厶のうち、指定された領域のみを切り出して表示するために用いられる。すなわち _¾ ビデオ表示領域に余裕がある場合でも指定領域以外のビデオを表示しない。

一方、 ' s t d c ' では表示画面が小さくかつスケーリング機能を持たない装置において優先して表示されるべき領域の中心を示すことにより効果的な表示を行うことを目的としている。すなわち表示する範囲を制限しているものではなく、ビデオ表示領域に余裕がある場合にはビデオ表示領域全体にビデオを表示することが可能である。

そこで、 P a n— s c a nと ' s t d c ' を用いた優先表示領域の表示を組み合わせ、 P a n— s c a nで切り出した指定領域が、表示画面よりも大きいサイズである場合に、切リ出した領域のどこに優先度があるかを設定し、そこを中心に表示することが可能となる。

(5)

上記各実施形態では、フラグメントを使用しない MP 4ファイルについて述べたが、フラグメント化した MP 4ファイルにおいても同様の表示動作が可能である。なお、フラグメント化した MP 4ファイルにおいてサンプル毎に表示情報を設定する際には、表示情報は各フラグメント内で設定されることとなる。 (6)

上記各実施形態では、表示関連情報として優先領域、あるいはスケーリング情報を使用したが、他の表示関連情報の使用を制限するものではない。また、表示効果の設定など他の表示関連情報と組み合わせることとしてもよい。

(7)

上記各実施形態では、優先領域の指定やスケーリング方法の指定は、チャンク単位で行われてもよい、と記載した。

図 27〜図 28を用いて、これらの指定をチャンク単位で行う場合について詳しく説明を行う。

'md a t ' 内に格納されているサンプルは、 1以上のサンプル毎にチャンクと呼ばれる単位にグループ化されており、チャンクとサンプルエントリとを関連付けることにより、チャンク単位の情報が示される。ここで、サンプルエントリとは、 ' s t s d ' 内のエントリであり、例えば、サンプルを復号化する際の初期化情報が格納される。特にビデオトラック用のサンプルエントリは、 V i s u a I S amp l e E n t r yと呼ばれる。また、チャンクとサンプルェン卜リとの関連付けは _¾ ' S t S C ' 内に記載されている。

上記実施形態で説明した優先領域やスケーリング方法を指定する情報（ ' s t d G，， ' s t s など）は ' s t b I ' の直下ではなく、 ' s t s d ' の V i s u a l S amp l e En t r y内に格納されていてもよい。これによリ、チャンク毎に ' s t s c ' を参照することによリ、 ' s t d c ' 、 ' s t s

1 ' などの表示関連情報をチャンク単位で切り替えることが可能となる。

ここで、図 27を用いて、 ' s t s d' の V i s u a l S amp l e En t r y内に格納される ' s t s I ' のシンタックスを示す。図 27に示す ' s t s は、図 29 (b) を用いて説明した Bo xと同様の構造を有しており、優先領域やスケーリング方法を指定する情報が同じ B o Xに含まれている点に特徴を有している。以下、シンタックスの内容について説明を加える。

[c o n s t r a i n t一 f l a g] は、 's t s が含むスケーリング方法に従った表示を行うか否かについて示すための情報であり、上記実施形態で図

20を用いて説明したのと同様である。例えば、フラグ ONの場合（例えば、ビッ卜が値 [1 ] を示す場合）、後述する [s e a l e— me t h o d] に示される方法によリスケーリングが行われる。また例えば、フラグ OF Fの場合 (例えば、ビッ卜が値 [0] を示す場合) 、スケーリング動作は、端末側が選択することができ、スケ一リングせずに表示を行ってもよい。またスケ一リングして表示を行う場合であっても、必ずしも [s e a l e— me t h o d ] に示される方法に従わなくてもよい。

[s e a l e— me t h o d ] は、スケーリング方法を示すための情報であり, 値によリスケーリング方法が割リ当てられている。割リ当ての一例を以下に示す例えば、値 [1 ] により ' f i I モードが指定される。値 [2] により 'h i d d e n ' モードが指定される。値 [3] により、 'me e t ' モ一ドが指定される。値 [4] により ' s i i c e_x，モードが指定される。値 [5] によリ 's i i c e一 y ' モードが指定される。

ここで、 [s e a l e— me t h o d] に対しては、 8ビッ卜の領域が割り当てられている。この場合に例えば値 [1 28〜255] をユーザ指定領域として用いることが可能な点は、上記実施形態で説明したのと同様である。

[ d i s p I a y一 c e n t e r一 j およひ [ d i s p I a y一 c e n t e r_y] は上記実施形態と同様の情報であ!^ 優先領域を指定するための情報である。それぞれの情報は、デフォルト値として値 [0] を格納する。

図 28では、 1 -30, 31 -1 20, 1 21— 1 80番目のサンプルがそれぞれ 1， 2， 3番目のチャンクに格納されている。さらに、各チャンクは、それぞれ 1， 2, 3番目のサンプルエントリを参照する。各サンプルエントリでは、異なる優先領域の中心座標、あるいは異なるスケ一リング方法を格納しており、チャンク毎にそれらを切り替えて表示を行うことが可能となる。

なお、上記説明で、 's t d c' ， 's t s などは、 ' s t s d ' の V i s u a I S amp l e E n t r y内に格納されている、と記載した。ここで、 ' s t d c ' , ' s t s などは ' s t b の直下に配置されていてもよい。この場合、それぞれの ' s t d c ' ， ' s t s などと、それぞれのチャンクとを関連づける情報が、別途格納される。また、 I SO B a s e F o r ma t ( I S 0/ I EC 1 4496- 1 2) の Ame n d m e n t 1. あるいは A VC F i l e F o r ma t ( I SO/ I EC 1 4496- 1 5) において規格化された S amp l e t o G r o u p 30 乂（ ' 3 8 ' ）と53 m p I e G r o u p D e s c r i p t i o n Bo x ( ' s g p d' ) を用 Ι て、 ' s t d c ' ' ' s t s I ' などとチャンクを関連付けてもよい。このとき, 's t d c，， 's t s などの情報を格納する V i s u a I S amp l e G r o u p E n t r yのタイプが新規に定義される。

[付記]

上記実施形態に記載の発明は、次の様に表現することも可能である。

〈付記の内容〉

(付記 1 )

動画を含む複数メディァからなるマルチメディァデータを表示画面に表示するメディアデータ表示装置であって、

前記動画の表示位置である動画表示位置を決定する動画表示位置決定手段と、前記マルチメディアデータを表示する手段であって、前記動画表示位置決定手段により決定された前記動画表示位置において、前記動画を画像サイズを変更せずに表示するメディアデータ表示手段と、

を備えるメディァデータ表示装置。

(付記 2)

前記マルチメディアデ一タは、前記表示画面における前記動画以外のメディァの表示位置を示すメディァ表示位置情報を有し、

前記動画表示位置決定手段は、前記メディア表示位置情報に応じて、前記動画表示位置を決定する、

付記 1に記載のメディアデータ表示装置。

(付記 3)

前記動画表示位置を設定可能な動画表示位置設定手段をさらに備え、

前記動画表示位置決定手段は、前記動画位置設定手段の設定に基づいて、前記動画表示位置を決定する、

付記 1に記載のメディアデータ表示装置。

(付記 4) 前記マルチメディアデータは、前記動画において優先的に表示される領域である優先表示領域を示す優先表示領域情報を有し、

前記動画表示位置決定手段は、前記優先表示領域情報に基づいて、前記動画表示位置を決定する、

付記 1に記載のメディアデータ表示装置。

(付記 5 )

前記マルチメディァデータは、前記表示画面中において前記動画を表示可能な動画表示領域を示す動画表示領域情報を有し、

前記優先表示領域情報は、前記優先表示領域の中心を示す情報であり、前記動画表示位置決定手段は、前記動画表示領域情報と前記優先表示領域情報とに基づいて、前記動画表示領域の中心と前記優先表示領域の中心とがー致するように前記動画表示位置を決定する、

付記 4に記載のメディァデータ表示装置。

(付記 6 )

前記マルチメディアデータは、前記表示画面中において前記動画を表示可能な動画表示領域を示す動画表示領域情報を有し、

前記動画表示位置決定手段は、前記優先表示領域を含み、かつ、できるだけ広い領域の動画が表示されるように前記動画表示位置を法定する

付記 4又は 5に記載のメディアデータ表示装置。 .

(付記 7 )

前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、前記動画表示領域を所定のサイズに設定する動画表示領域設定手段前記マルチメディアデータを表示する手段であって、前記動画表示領域設定手段により設定された前記所定のサイズの前記動画表示領域において、前記動画を画像サイズを変更せずに表示するメディアデータ表示手段と、を備えるメディアデータ表示装置。

(付記 8 )

前記マルチメディアデータから取得された動画表示領域情報に基づいて、前記表示画面中において前記動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、前記動画表示領域を前記所定のサイズに設定する動画表示領域設定手段と

前記マルチメディアデ一タを表示する手段であって、前記動画表示領域設定手段により設定された前記所定のサイズの前記動画表示領域において、前記動画を画像サイズを変更せずに表示するメディアデータ表示手段と、

を備えるメディアデータ表示装置。

(付記 9 )

動画を含む複数メディアからなるマルチメディァデータを表示画面に表示するメディアデータ表示装置であって

前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、前記動画表示領域を所定のサイズに設定する動画表示領域設定手段と、

前記動画表示領域設定手段によリ設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケ一リング手段と、

前記マルチメディアデ一タを表示する手段であって、前記スケーリング手段によリスケ一リングされた前記動画を前記動画表示領域内に表示するメディアデ一タ表示手段と、

を備えるメディアデータ表示装置。

(付記 1 0 )

動画を含む複数メディアからなるマルチメディァデータを表示画面に表示するメディアデータ表示装置であって、前記マルチメディアデータから取得された動画表示領域情報に基づいて、前記表示画面中において前記動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、前記動画表示領域を前記所定のサイズに設定する動画表示領域設定手段と、

前記動画表示領域設定手段によリ設定された前記所定のサイズの前記動画表示領域に対して、'前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケ一リングを行うスケーリング手段と、

前記マルチメディアデ一タを表示する手段であって、前記スケ一リング手段によリスケ一リングされた前記動画を前記動画表示領域内に表示するメディアデ一タ表示手段と、

を備えるメディアデータ表示装置。

(付記 1 1 )

動画を含む複数メディアからなるマルチメディァデータを表示画面に表示するメディァデータ表示方法であって、

前記動画の表示位置である動画表示位置を決定する動画表示位置決定ステップと

前記マルチメディアデータを表示するステツプであって前記動画表示位置決定ステップにより決定された前記動画表示位置において、前記動画を画像サイズを変更せずに表示するメディアデータ表示ステップと、

を備えるメディアデータ表示方法。

(付記 1 2 )

動画を含む複数メディアからなるマルチメディァデータを表示画面に表示するメディアデータ表示方法であって、

前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、前記動画表示領域を所定のサイズに設定する動画表示領域設定ステップと、

前記マルチメディアデータを表示するステップであって、前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域において、前記動画を画像サイズを変更せずに表示するメディアデータ表示ステップと、を備えるメディアデータ表示方法。

(付記 1 3 )

動画を含む複数メディァからなるマルチメディァデータを表示画面に表示するメディアデータ表示方法であって、

前記マルチメディアデータから取得された動画表示領域情報に基づいて、前記表示画面中において前記動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、前記動画表示領域を前記所定のサイズに設定する動画表示領域設定ステップと、

(付記 1 4 )

動画を含む複数メディァからなるマルチメディァデータを表示画面に表示するメディァデータ表示方法であって

前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に前記動画表示領域を所定のサイズに設定する動画表示領域設定ステップと、

前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリングステップと、前記マルチメディアデータを表示するステップであって、前記スケーリングステツプによりスケーリングされた前記動画を前記動画表示領域内に表示するメディアデ一タ表示ステップと、

を備えるメディアデータ表示方法。

(付記 1 5 )

前記動画表示領域設定ステツプによリ設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケ一リングを行うスケ一リングステップと、前記マルチメディアデータを表示するステップであって、前記スケーリングステツプによリスケーリングされた前記動画を前記動画表示領域内に表示するメディァデータ表示ステップと、

を備えるメディアデータ表示方法。

(付記 1 6 )

コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディァデータ表示方法を行うためのディアデ一タ表示プログラムであって、

前記メディアデータ表示プログラムは、コンピュータに、

前記動画の表示位置である動画表示位置を決定する動画表示位置決定ステップ前記マルチメディアデータを表示するステップであって、前記動画表示位置決定ステップにより決定された前記動画表示位置において、前記動画を画像サイズを変更せずに表示するメディアデータ表示ステップと、

を備えるメディアデータ表示方法を行わせるものである、

メディアデータ表示プログラム。

(付記 1 7 )

コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、

前記メディアデータ表示プログラムは、コンピュータに、前記マルチメディアデータから取得された動画表示領域情報から、前記表示画面中において前記動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、前記動画表示領域を所定のサイズに設定する動画表示領域設定ステップと、

前記マルチメディアデータを表示するステップであって、前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域において、前記動画を画像サイズを変更せずに表示するメディアデータ表示ステップと、を備えるメディアデータ表示方法を行わせるものである、

メディアデータ表示プログラム。

, (付記"！ 8 )

コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデ一タ表示方法を行うためのメディアデ一タ表示プログラムであって

前記メディアデータ表示プログラムは _¾ コンピュータに、

前記マルチメディアデータから取得された動画表示領域情報に基づいて、前記表示画面中において前記動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に _¾ 前記動画表示領域を前記所定のサイズに設定する動画表示領域設定ステップと、

メディアデータ表示プログラム。

(付記 1 9 )

前記メディアデータ表示プログラムは、コンピュータに、

前記動画表示領域設定ステップによリ設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケ一リングステップと、前記マルチメディアデータを表示するステップであって、前記スケ一リングステップによリスケーリングされた前記動画を前記動画表示領域内に表示するメディアデ一タ表示ステップと、

を備えるメディアデータ表示方法を行わせるものである、

メディアデータ表示プログラム。

(付記 2 0 )

コンピュータにより動画を含む複数メディァからなるマルチメディアデ一タを表示画面に表示するメディアデ一タ表示方法を行うためのメディァデータ表示プログラムであって

前記メディアデータ表示プログラムは、コンピュータに

前記動画表示領域設定ステップにより設定された前記所定のサイズの前記動画表示領域に対して、前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリングステップと、前記マルチメディアデータを表示するステップであって、前記スケーリングステップによリスケ一リングされた前記動画を前記動画表示領域内に表示するメディァデータ表示ステップと、

を備えるメディアデータ表示方法を行わせるものである、

メディアデータ表示プログラム。

〈付記の説明〉付記 1に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディアデ一タを表示画面に表示するメディァデータ表示装置であって、動画表示位置決定手段と、メディアデータ表示手段とを備えている。動画表示位置決定手段は、動画の表示位置である動画表示位置を決定する。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、動画表示位置決定手段により決定された動画表示位置において、動画を画像サイズを変更せずに表示する。

ここで、表示位置とは、例えば、動画の全体が表示される場合には、表示画面内における位置を意味し、動画の一部が表示される場合には、動画内における表示部位の位置を意味している（以下、この欄において同じ）。また、マルチメディァデータとは、例えば、ビデオ、オーディオ、テキストあるいは静止画などを多重して格納する M P 4ファイルなどである（以下、この欄において同じ）。本発明のメディアデータ表示装置では、メディアデ一タ表示手段が画像サイズを変更せずに動画を表示するため動画は、ある一定の領域に画一的にスケーリング表示されるのではなくマルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで装置への処理負荷が軽減される。さらに、このメディアデータ表示装置では、動画表示位置決定手段が動画表示位置を決定するため、動画は適切な位置に表示される。

付記 2に記載のメディアデータ表示装置は _¾ 付記 1に記載のメディアデータ表示装置であって、マルチメディアデータは、表示画面における動画以外のメディァの表示位置を示すメディァ表示位置情報を有している。動画表示位置決定手段は、メディア表示位置情報に応じて、動画表示位置を決定する。ここで、動画以外のメディアとは、例えば、テキス卜や静止画などである。

本発明のメディアデータ表示装置では、動画以外のメディァの表示位置に基づいて動画の表示位置を決定するため、動画は、動画以外のメディアの表示位置との関係で適切な位置に表示される。

付記 3に記載のメディアデータ表示装置は、付記 1に記載のメディアデータ表示装置であって、動画表示位置を設定可能な動画表示位置設定手段をさらに備えている。動画表示位置決定手段は、動画位置設定手段の設定に基づいて、動画表示位置を決定する。

本発明のメディァデータ表示装置では、動画表示位置を設定可能な動画表示位置設定手段をさらに備えており、動画表示位置決定手段は動画位置設定手段の設定に基づいて動画表示位置を決定するため、例えば、ユーザが動画表示位置決定手段を設定すると、動画はユーザが意図する表示位置に表示される。

付記 4に記載のメディアデータ表示装置は、付記 1に記載のメディアデータ表示装置であって、マルチメディアデータは、動画において優先的に表示される領域である優先表示領域を示す優先表示領域情報を有している。動画表示位置決定手段は、優先表示領域情報に基づいて、動画表示位置を決定する。ここで、優先表示領域情報は、例えば、優先表示領域の中心の座標を指定する。

本発明のメディアデ一タ表示装置では、マルチメディアデ一タは優先表示領域情報を有しており、動画表示位置決定手段は優先表示領域情報に基づいて動画表示位置を決定するため、動画の重要度が高いと考えられる領域が表示される。付記 5に記載のメディアデータ表示装置は付記 4に記載のメディアデータ表示装置であって、マルチメディアデータは _¾ 表示画面中において動画を表示可能な動画表示領域を示す動画表示領域情報を有している。優先表示領域情報は、優先表示領域の中心を示す情報である。動画表示位置決定手段は _¾ 動画表示領域情報と優先表示領域情報とに基づいて動画表示領域の中心と優先表示領域の中心とが一致するように動画表示位置を決定する。

本発明のメディアデータ表示装置では、優先表示領域情報は優先表示領域の中心を示す情報であり、動画表示位置決定手段は動画表示領域の中心と優先表示領域の中心とがー致するように動画表示位置を決定するため、動画の重要度の高いと考えられる領域が適切に表示される。

付記 6に記載のメディァデータ表示装置は、付記 4又は 5に記載のメディアデ —タ表示装置であって、マルチメディアデータは、表示画面中において動画を表示可能な動画表示領域を示す動画表示領域情報を有している。動画表示位置決定手段は、優先表示領域を含み、かつ、できるだけ広い領域の動画が表示されるように動画表示位置を決定する。

本発明のメディアデータ表示装置では、動画表示位置決定手段は、優先表示領域を含み、かつ、できるだけ広い領域の動画が表示されるように動画表示位置を決定するため、動画は、マルチメディアデータの作成者の意図を反映しつつ、動画表示領域を有効に利用して表示される。

付記 7に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、動画表示領域設定手段と、メディアデータ表示手段とを備えている。動画表示領域設定手段は、マルチメディアデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、動画表示領域設定手段によリ設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。なお、本願発明は、スケーリング手段を有し、スケーリングをする/しないを選択できる装置にも適用できる。

本発明のメディアデータ表示装置では、メディアデータ表示手段が画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなくマルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、装置への処理負荷が輊減される。さらに動画表示領域設定手段が所定の場合に動画表示領域を所定のサイズに設定するため、動画はメディアデータ表示装置にとって適切な動画表示領域において表示される。

付記 8に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディァデータを表示画面に表示するメディアデータ表示装置であって、動画表示領域設定手段と、メディアデータ表示手段とを備えている。動画表示領域設定手段は、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示手段は、マルチメディアデータを表示する手段であって、動画表示領域設定手段により設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。なお、本願発明は、スケーリング手段を有し、スケ一リングをするノしないを選択できる装置にも適用できる。

本発明のメディァデータ表示装置では、メディァデータ表示手段が画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、装置への処理負荷が軽減される。さらに、動画表示領域設定手段が動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。

付記 9に記載のメディァデータ表示装置は、動画を含む複数メディァからなるマルチメディアデータを表示画面に表示するメディアデータ表示装置であって、動画表示領域設定手段と、スケーリング手段と、メディアデータ表示手段とを備えている。動画表示領域設定手段は、マルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。スケ一リング手段は、動画表示領域設定手段により設定された所定のサイズの動画表示領域に対して、動画をスケ一リングする方式を指定するスケーリング指定情報に基づいて動画のスケーリングを行う。メディアデータ表示手段は、マルチメディアデータを表示する手段であってスケ一リング手段によリスケ一リングされた動画を動画表示領域内に表示する。

本発明のメディアデータ表示装置では、動画表示領域設定手段がマルチメディァデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリング手段が動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定手段が動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。

付記 1 0に記載のメディアデータ表示装置は、動画を含む複数メディアからなるマルチメディァデータを表示画面に表示するメディァデータ表示装置であって、動画表示領域設定手段と、スケーリング手段と、メディアデータ表示手段とを備えている。動画表示領域設定手段は、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリング手段は、動画表示領域設定手段により設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示手段は、マルチメディアデ一タを表示する手段であって、スケーリング手段によリスケーリングされた動画を動画表示領域内に表示する。

本発明のメディァデータ表示装置では、動画表示領域設定手段がマルチメディァデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリング手段が動画表示領域に対して動画のスケ —リングを行う。このように動画表示領域設定手段が動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。

付記 1 1に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディァデータを表示画面に表示するメディァデータ表示方法であって、動画表示位置決定ステップと、メディアデータ表示ステップとを備えている。動画表示位置決定ステップは、動画の表示位置である動画表示位置を決定する。メディアデータ表示ステップは、マルチメディアデータを表示するステップであつて、動画表示位置決定ステップにより決定された動画表示位置において、動画を画像サイズを変更せずに表示する。

本発明のメディァデータ表示方法では、メディァデータ表示ステツプで画像サィズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケ一リング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、処理負荷が軽減される。さらに、このメディアデータ表示方法では、動画表示位置決定ステップで動画表示位置を決定するため、動画は適切な位置に表示される。

付記 1 2に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって、動画表示領域設定ステップと、メディアデータ表示ステップとを備えている。動画表示領域設定ステツプは、マルチメディァデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。

本発明のメディアデータ表示方法では、メディアデータ表示ステツプで画像サィズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケ -リング表示されるのではなく、マルチメディァデータの作成者の意図するサイズで表示される。また、スケーリングせずに動画の表示を行うことで、処理負荷が軽減される。さらに、動画表示領域設定ステップで所定の場合に動画表示領域を所定のサイズに設定するため、動画は適切な動画表示領域において表示される付記 1 3に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法であって, 動画表示領域設定ステップとメディアデータ表示ステップとを備えている。動画表示領域設定ステツプはマルチディァデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサィズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。メディァデータ表示ステツプは、マルチメディアデ一タを表示するステツプであつて、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。

本発明のメディアデータ表示方法では、メディアデータ表示ステップで画像サィズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケ —リング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、処理負荷を軽減することが可能となる。さらに、動画表示領域設定ステップで動画表示領域を所定のサイズに設定するため、動画はユーザの利用する装置の動画表示領域において適切に表示される。

付記 1 4に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディァデータを表示画面に表示するメディァデータ表示方法であって, 動画表示領域設定ステップと、スケーリングステップと、メディアデータ表示ステツプとを備えている。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリングステップは、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケ一リングステツプによリスケーリングされた動画を前記動画表示領域内に表示する。 .

本発明のメディアデータ表示方法では、動画表示領域設定ステツプがマルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリングステツプが動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定ステップが動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。

付記 1 5に記載のメディアデータ表示方法は、動画を含む複数メディアからなるマルチメディァデータを表示画面に表示する方法であって、動画表示領域設定ステップと、スケーリングステップと、メディアデータ表示ステップとを備えている。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリングステップは、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケ一リング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケーリングステップによりスケーリングされた動画を動画表示領域内に表示する。

本発明のメディアデ一タ表示方法では、動画表示領域設定ステツプがマルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリングステツプが動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定ステップが動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。

付記 1 6に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディァからなるマルチメディアデ一タを表示画面に表示するメディアデ一タ表示方法を行うためのメディアデータ表示プログラムであって、メディアデ-^タ表示プログラムは、コンピュータに、動画表示位置決定ステップと、メディァデータ表示ステップとを備えるメディァデータ表示方法を行わせる。動画表示位置決定ステップは動画の表示位置である動画表示位置を決定する。メディァデータ表示ステツプは、マルチメディアデ一タを表示するステツプであつて、動画表示位置決定ステップにより決定された動画表示位置において動画を画像サイズを変更せずに表示する。

本発明のメディアデータ表示プログラムでは、メディアデータ表示ステップで画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケ一リング表示されるのではなく、マルチメディァデータの作成者の意図するサイズで表示される。また、スケーリングせず動画の表示を行うことで、処理負荷が軽減される。さらに、このメディアデータ表示プログラムでは、動画表示位置決定ステップで動画表示位置を決定するため、動画は適切な位置に表示される。

付記 1 7に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディァからなるマルチメディアデータを表示画面に表示するメディァデータ表示方法を行うためのメディアデータ表示プログラムであって、メディァデータ表示プログラムは、コンピュータに、動画表示領域設定ステップと、メディアデータ表示ステップとを備えるメディアデータ表示方法を行わせる。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。

本発明のメディァデータ表示プログラムでは、メディアデ一タ表示ステツプで画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケーリング表示されるのではなく、マルチメディアデータの作成者の意図するサイズで動画が表示される。また、スケーリングせず動画の表示を行うことで、処理負荷が軽減される。さらに、動画表示領域設定ステップで所定の場合に動画表示領域を所定のサイズに設定するため、動画は適切な動画表示領域において表示される。

付記 1 8に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディァからなるマルチメディアデ一タを表示画面に表示するメディァデータ表示方法を行うためのメディアデータ表示プログラムであって、メディァデータ表示プログラムはコンピュータに、動画表示領域設定ステップと _¾ メディアデ一タ表示ステツプとを備えるメディアデータ表示方法を行わせる。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサィズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。メディアデータ表示ステップは、マルチメディアデータを表示するステップであつて、動画表示領域設定ステツプによリ設定された所定のサイズの動画表示領域において、動画を画像サイズを変更せずに表示する。

本発明のメディアデータ表示プログラムでは、メディアデータ表示ステップで画像サイズを変更せずに動画を表示するため、動画は、ある一定の領域に画一的にスケ一リング表示されるのではなく、マルチメディァデータの作成者の意図するサイズで動画が表示される。また、スケーリングせずに動画の表示を行うことで、処理負荷が軽減される。さらに、動画表示領域設定ステップで動画表示領域を所定のサイズに設定するため、動画は、ユーザの利用する装置の動画表示領域において適切に表示される。

付記 1 9に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディァからなるマルチメディァデータを表示画面に表示するメディァデータ表示方法を行うためのメディアデータ表示プログラムであって、メディァデータ表示プログラムは、コンピュータに、動画表示領域設定ステップと、スケーリングステップと、メディアデータ表示ステップとを備えるメディアデ一タ表示方法を行わせる。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報から、表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリングステップは、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、動画のスケーリングを行う。メディアデータ表示ステップは、マルチメディアデータを表示するステップであって、スケ一リングステツプによリスケーリングされた動画を前記動画表示領域内に表示す

本発明のメディアデ一タ表示プログラムでは、動画表示領域設定ステップがマルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が任意のサイズであると判断される場合に動画表示領域を所定のサイズに設定し、次にスケーリングステツプが動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定ステップが動画表示領域を所定のサイズに設定するため、動画はユーザの利用する動画表示領域において適切に表示される。

付記 2 0に記載のメディアデータ表示プログラムは、コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディァデータ表示方法を行うためのメディアデータ表示プログラムであって、メディアデ一タ表示プログラムは、コンピュータに、動画表示領域設定ステップと、スケーリングステップと、メディアデータ表示ステップとを備えるメディアデ一タ表示方法を行わせる。動画表示領域設定ステップは、マルチメディアデータから取得された動画表示領域情報に基づいて、表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に、動画表示領域を所定のサイズに設定する。スケーリングステップは、動画表示領域設定ステップにより設定された所定のサイズの動画表示領域に対して、動画をスケーリングする方式を指定するスケ一リング指定情報に基づいて、動画のスケーリングを行う。メディァデータ表示ステツプは、マルチメディアデ一タを表示するステツプであつて、スケーリングステップによリスケ一リングされた動画を動画表示領域内に表示する。

本発明のメディアデータ表示プログラムでは、動画表示領域設定ステップがマルチメディアデータから取得された動画表示領域情報から表示画面中において動画を表示可能な動画表示領域が所定のサイズと異なると判断される場合に動画表示領域を所定のサイズに設定し、次にスケ一リングステップが動画表示領域に対して動画のスケーリングを行う。このように動画表示領域設定手段が動画表示領域を所定のサイズに設定するため動画はユーザの利用する動画表示領域において適切に表示される。

(産業上の利用可能性）

本発明に係るメディァデータ表示装置、メディァデータ表示方法おょぴメディァデータ表示プログラムは、動画を含む複数メディアからなるマルチメディアデ —タを多様な表示方法で表示画面に表示することができ、上記分野において有用である。

Claims

請求の範囲

動画を含む複数メディァからなるマルチメディアデ一タを表示画面に表示するメディアデータ表示装置であって、

前記動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行うスケーリング判定手段と、

前記マルチメディァデータを表示する手段であって、前記スケ一リング判定手段の判定結果に基づいて、スケーリングを行うかどうかを切り替えて表示するメディアデータ表示手段と、

を備えるメディアデータ表示装置。

2.

前記スケ一リング判定手段は、前記マルチメディァデータが有するスケ一リング判定情報に基づいて、前記判定を行う

請求項 1に記載のメディアデータ表示装置。

3.

前記スケ一リング判定情報は、スケーリングを行うか否かを示すフラグ情報で

¾>る、

請求項 2に記載のメディアデータ表示装置。

4.

前記スケーリング判定手段は、搭載されたバッテリーの残量に基づいて、前記判定を行う、

請求項 1に記載のメディアデータ表示装置。

5 .

前記スケーリング判定手段は、前記動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかを設定させるスケーリング設定手段を有している、

請求項 1に記載のメディアデータ表示装置。

6 . 前記スケーリング判定手段は、前記動画の属性に基づいて、前記判定を行う、請求項 Tに記載のメディァデータ表示装置。

7 .

前記表示画面中において前記動画を表示可能な動画表示領域に対して前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケ一リングを行うスケ一リング手段と、

前記マルチメディアデータを表示する手段であって、前記スケーリング手段によリスケ一リングされた前記動画を前記動画表示領域内に表示するメディアデ一タ表示手段と、

を備えるメディアデータ表示装置。

8.

前記スケ一リング手段は _¾ 前記マルチメディアデータから前記スケ一リング指定情報を取得する、

請求項 7に記載のメディアデ一タ表示装置。

9 .

前記動画を画像サイズを変更して表示するか画像サイズを変更せず表示するかの判定を行うスケーリング判定手段をさらに備えており

前記メディァデータ表示手段は、前記スケーリング判定手段の判定結果に基づいて、スケ一リングを行うかどうかを切り替えて表示する、

請求項 7又は 8に記載のメディァデータ表示装置。

1 0 .

前記スケーリング指定情報を設定させるスケーリング方式設定手段をさらに備える、

請求項 7に記載のメディアデータ表示装置。動画を含む複数メディアからなるマルチメディァデータを表示画面に表示するメディアデータ表示方法であって、前記動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行うスケーリング判定ステップと、

前記マルチメディアデータを表示するステップであって、前記スケーリング判定ステップの判定結果に基づいて、前記動画を表示するメディアデータ表示ステップと、

を備えるメディアデータ表示方法。

1 2 .

動画を含む複数メディァからなるマルチメディアデ一タを表示画面に表示するメディアデータ表示方法であって、

前記表示画面中において前記動画を表示可能な動画表示領域に対して前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケーリングを行うスケーリングステップと、

前記マルチメディアデータを表示するステップであって、前記スケ一リングステツプによリスケ一リングされた前記動画を前記動画表示領域内に表示するメディァデータ表示ステップと

を備えるメディァデータ表示方法。

1 3 .

コンピュータによリ、動画を含む複数メディァからなるマルチメディアデ一タを表示画面に表示するメディァデータ表示方法を行うためのメディァデータ表示プログラムであって、

前記メディアデータ表示プログラムは、コンピュータに、

前記動画を画像サイズを変更して表示するか、画像サイズを変更せず表示するかの判定を行うスケーリング判定ステップと、

を備えるメディアデータ表示方法を行わせるものである、

メディアデータ表示プログラム。

1 4 . コンピュータにより、動画を含む複数メディアからなるマルチメディアデータを表示画面に表示するメディアデータ表示方法を行うためのメディアデータ表示プログラムであって、

前記メディアデータ表示プログラムは、コンピュータに、

前記表示画面中において前記動画を表示可能な動画表示領域に対して前記動画をスケーリングする方式を指定するスケーリング指定情報に基づいて、前記動画のスケ一リングを行うスケーリングステップと

前記マルチメディアデータを表示するステップであって、前記スケ一リングステップによリスケ一リングされた前記動画を前記動画表示領域内に表示するメディァデータ表示ステップと、

を備えるメディアデータ表示方法を行わせるものである、

メディアデータ表示プログラム。