JP6218825B2 - マルチメディアエレメントの配置のためのマークアップを構成する方法及び装置 - Google Patents

Description

本発明は、マルチメディアエレメント（multimedia element）に関し、特に、マルチメディアエレメントの空間的及び時間的な配置及び同期化のためのマークアップを構成する方法に関するものである。

マルチメディアサービスに対する需要は、継続して増加しており、現在のディスプレイ装置のために様々なマルチメディアサービスを提供し、様々なマルチメディアサービスの提供のための新たなマークアップを構成する必要性も増加している。
ウェブでのマルチメディアエレメントを定義する技術は、大きくハイパーテキストマークアップ言語（Hypertext Markup Language：ＨＴＭＬ）及び同期マルチメディア統合言語（Synchronized Multimedia Integration Language：ＳＭＩＬ）を含む。以下では、図１及び図２を参照して、ＨＴＭＬ及びＳＭＩＬについてより詳細に説明する。

図１は、従来技術によるマルチメディア通信システムにおけるＨＴＭＬ文書構造を示す図である。
図１を参照すると、ＨＴＭＬは、ハイパーテキスト文書構造を定義するためのマークアップ言語であって、現在、ウェブでもっとも幅広く使われている技術であり、バージョン５の改正作業が現在進められている。ＨＴＭＬバージョン５では、ビデオ、オーディオなどのようなマルチメディアサービスに対するサポートが強化されたが、ＨＴＭＬは、基本的に静的文書の構造を定義するための言語であるので、メディアの時間的な配置又は相互作用、同期化（synchronization）などのような機能をサポートできない。

図１に示すように、ＨＴＭＬ文書構造は、＜header＞、＜nav＞、＜section＞、＜article＞、＜footer＞、及び＜aside＞を含む。＜header＞は、ロゴ領域を示し、＜nav＞は、メニュー領域を示し、＜section＞は、本文の内容を示し、＜article＞は、本文内の主要コンテンツ領域を示し、＜footer＞は、サイトの下部を示し、＜aside＞は、サブ領域又は広告コンテンツ領域を示す。

図２は、従来技術によるマルチメディア通信システムにおけるＳＭＩＬを用いてマルチメディアエレメントを配置する例を示す図である。
図２を参照すると、ＳＭＩＬは、ウェブにおいてビデオ、オーディオ、イメージ、テキストなどのようなマルチメディアデータを拡張マークアップ言語（eXtensible Markup Language：ＸＭＬ）を用いて時間的にかつ空間的に配置し制御するために確立されたワールドワイドウェブコンソーシアム（World Wide Web Consortium：Ｗ３Ｃ）標準である。

図２に示すように、ＳＭＩＬの使用を通してマルチメディアデータを時間的にかつ空間的に配置し制御できるという長所がある。しかしながら、ＳＭＩＬがＸＭＬ言語で定義されるので、ＳＭＩＬは、ウェブブラウザでＳＭＩＬにより定義された文書をレンダリングするために個別のプレーヤーを必要とし、したがって、現在の産業界では実際に使用されていない標準である。
上述したように、マルチメディアエレメントは、上述したＨＴＭＬ又はＳＭＩＬで定義されるが、ＨＴＭＬ及びＳＭＩＬのすべては、メディアの配置だけ可能であり、どちらでも複数の領域を含む場面（scene）の構成は、不可能であるという問題点がある。

本発明は、上述した課題又は不都合な点を解決し、少なくとも以下に示す優位性を提供する。すなわち、本発明の目的は、マルチメディア通信システムにおけるマルチメディアエレメントを場面、領域、及びメディアレベルに細分化してマークアップを構成する方法及び装置を提供することにある。
本発明の別の目的は、マルチメディア通信システムにおけるマルチメディアエレメントを時間的に及び／又は空間的に配置し、マルチメディア間の同期化をサポートできるマークアップを構成する方法及び装置を提供することにある。

上記のような目的を達成するために、本発明の一態様によれば、マルチメディア通信システムにおけるマルチメディアエレメントの配置のためのマークアップを構成する方法が提供される。この方法は、場面配置情報、領域記述情報、及びマルチメディア記述情報を含むマークアップを構成するステップと、構成されたマークアップに従ってマルチメディアエレメントを空間的及び時間的に配置するステップとを含むことを特徴とする。

本発明の別の態様によれば、マルチメディア通信システムにおけるマルチメディアエレメントの配置のためのマークアップを構成するディスプレイ装置が提供される。このディスプレイ装置は、場面に含まれる複数の領域の各々に対応する領域記述情報を構成し、複数の領域の各々に含まれる少なくとも１つのマルチメディアに対応するマルチメディア記述情報を構成し、複数の領域のそれぞれの空間的な配置及び時間的な配置を記述する場面配置情報を構成し、場面配置情報、領域記述情報、及びマルチメディア記述情報を含むマークアップを構成するマークアップ構成部と、マークアップに基づいて場面を表示するディスプレイ部とを含むことを特徴とする。

本発明は、マルチメディアエレメントの空間的な及び／又は時間的な配置だけでなくマルチメディア間の同期化手段も提供できる。また、拡張可能なマークアップをサポートできないブラウザでも基本的な場面の構成が可能である。さらに、場面記述情報、実際の領域記述、及びメディア表現情報を分離することにより、将来に複数のデバイスで場面情報を様々に構成し使用できる手段を提供する。
本発明の他の目的、利点、及び顕著な特徴は、添付の図面及び本発明の実施形態からなされた以下の詳細な説明から、この分野の当業者に明確になるはずである。

従来技術によるマルチメディア通信システムにおけるハイパーテキストマークアップ言語（ＨＴＭＬ）文書構造を示す図である。 従来技術によるマルチメディア通信システムにおける同期マルチメディア統合言語（ＳＭＩＬ）を用いてマルチメディアエレメントを配置する例を示す図である。 本発明の実施形態によるマルチメディア通信システムにおけるディスプレイ装置のための場面を構成する一例を示す図である。 本発明の第１の実施形態によるマルチメディア通信システムにおけるマークアップを構成する例を示す図である。 本発明の第２の実施形態によるマルチメディア通信システムにおけるマークアップを構成する例を示す図である。 本発明の第１の実施形態によるマルチメディア通信システムで構成されるマークアップ及びマークアップに基づいて実行される場面の例を示す図である。 本発明の第２の実施形態によるマルチメディア通信システムで構成されるマークアップに基づいて実行される場面の例を示す図である。 本発明の実施形態によるマルチメディア通信システムで構成されるマークアップをサポートするブラウザで構成される場面の例を示す図である。 本発明の実施形態によるマルチメディア通信システムにおけるＨＴＭＬのみをサポートするブラウザで構成される場面の例を示す図である。 本発明の実施形態によるマルチメディア通信システムで構成されるマークアップに基づいてディスプレイ装置が場面を空間的に構成するプロセスを示すフローチャートである。 本発明の第１の実施形態によるマルチメディア通信システムで構成されるマークアップに基づいてディスプレイ装置が場面を時間的に構成するプロセスを示すフローチャートである。 本発明の第２の実施形態によるマルチメディア通信システムで構成されるマークアップに基づいてディスプレイ装置が場面を時間的に構成するプロセスを示すフローチャートである。 本発明の実施形態によるマルチメディア通信システムで構成されるマークアップに従って場面を構成する例を示す図である。 本発明の実施形態に従って図９に示した場面配置のような場面配置の例の時間構成情報を示す図である。 本発明の実施形態によるマルチメディア通信システムで構成されるマークアップに基づいて場面を空間的にかつ時間的に構成するディスプレイ装置を示す図である。

本発明の実施形態の上述した及び他の様相、特徴、及び利点は、添付の図面が併用された以下の詳細な説明から、より一層明らかになるだろう。
図面中、同一の図面参照符号が同一の構成エレメント、特性、又は構造を意味することは、容易に理解できるであろう。
添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供され、この理解を助けるための様々な特定の詳細を含むが、単なる実施形態にすぎない。したがって、本発明の範囲及び趣旨を逸脱することなく、明細書中に説明した実施形態の様々な変更及び修正が可能であるということは、当該技術分野における通常の知識を有する者には明らかであろう。また、明瞭性と簡潔性の観点から、当業者には既知の機能や構成に関する具体的な説明を省略する。

以下の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、本発明の理解を明確且つ一貫性があるようにするために使用される。したがって、本発明の実施形態の説明が単に実例を提供するためのものであって、特許請求の範囲とこれと均等なものに基づいて定義される発明をさらに限定する目的で提供されるものでないことは、本発明の技術分野における通常の知識を持つ者には明らかであろう。
本願明細書に記載の各エレメントは、文脈中で特に明示しない限り、複数形を含むことは、当業者には理解できるであろう。したがって、例えば、“コンポーネント表面（a component surface）”との記載は、１つ又は複数の表面を含む。

図３は、本発明の実施形態によるマルチメディア通信システムにおけるディスプレイ装置のための場面を構成する一例を示す図である。
図３を参照すると、図示する場面（scene）３００は、文書の構造内の最上端であり、文書内の複数の場面３００であり得る。例えば、１時間の間ブロードキャストプログラムが場面を構成すると仮定する場合に、ブロードキャストプログラムは、最初の３０分に含まれた場面＃１及び２番目の３０分に含まれた場面＃２で構成され得る。

１つの場面３００は、複数の領域に分割される。領域の個数は、１つの場面に基づいて１個からｎ個まであり得る。また、領域は、独立した単位と見なされ、現在の独立したブロードキャストプログラム、ビデオオンデマンド（Video on Demand：ＶｏＤ）サービス、又はウェブサービスの文書は、１つの領域と見なされる。すなわち、独立した領域３１０、３２０、及び３３０が集まって１つの場面３００を形成する。
１つの領域は、複数のマルチメディアで構成される。マルチメディアは、ビデオ、オーディオ、イメージ、及びテキストなどのようなすべてのメディアデータを含み得る。すなわち、領域３１０、３２０、及び３３０は、マルチメディア３１５、３２５、及び３３５のそれぞれを含む。

以下では、図４Ａ及び図４Ｂを参照して図３に示した場面３００のためのマークアップを構成する方法について説明する。
図４Ａは、本発明の第１の実施形態によるマルチメディア通信システムにおけるマークアップを構成する例を示す図である。
図４Ａを参照すると、図示するマークアップ文書は、場面配置（scene composition）情報４００、場面記述（scene description）情報４１０、及び場面３００に含まれる領域を含む。さらに、マルチメディア情報は、マークアップ文書に関する情報と１対１の関係で対応する。すなわち、領域３１０及びマルチメディア３１５のそれぞれのエレメントは、領域記述情報４２０及びマルチメディア記述情報４２５で表現され、領域３２０及びマルチメディア３２５のそれぞれのエレメントは、領域記述情報４３０及びマルチメディア記述情報４３５で表現され、領域３３０及びマルチメディア３３５のそれぞれのエレメントは、領域記述情報４４０及びマルチメディア記述情報４４５で表現される。

場面配置情報４００は、場面に含まれる領域のそれぞれの空間配置及び時間配置を記述する。各領域に関する実際の情報は、領域が個別に動作できるように別個に存在する。また、複数の場面は、場面の空間配置及び時間配置を個別に記述することにより、１つの文書で構成されることができる。
１つの場面配置情報４００が図４Ａに図示されているが、場面配置情報４００は、複数で構成されて、場面＃１、場面＃２などを含む複数の場面を表現する。また、図４では、場面配置情報４００が時間情報及び空間情報とともに説明されたが、時間情報及び空間情報は、個別に説明されることができる。以下では、時間情報及び空間情報を個別に説明する例について、本発明の実施形態による図４Ｂを参照して説明する。

図４Ｂは、本発明の第２の実施形態によるマルチメディア通信システムにおけるマークアップを構成する例を示す図である。
図４Ｂを参照すると、場面配置情報４５０及び場面に含まれる各マルチメディアの時間情報を記述するマルチメディア時間情報４５５を含む個別のマークアップ文書４０１を構成し、基本的な領域記述情報４７０、４８０、４９０及びマルチメディア記述情報４７５、４８５、４９５を含む場面記述情報４６０を１つのマークアップ文書として記述する。この場合に、ブラウザは、場面記述情報４６０を示すマークアップ文書及び場面配置情報４５０とマルチメディア時間情報４５５とを示す個別のマークアップ文書４０１をともに読み出すことにより最終的な場面を構成する。上述したように、場面配置情報４５０及びマルチメディア時間情報４５５が個別のマークアップ文書として構成される場合に、本発明で提案する方法をサポートできないブラウザの場合にも場面記述情報４６０を表示することができる。

図５Ａは、本発明の第１の実施形態によるマルチメディア通信システムで構成されるマークアップ及びマークアップに基づいて実行される場面の例を示す図である。すなわち、図５Ａは、図４Ａの方法に従って構成されるマークアップに基づいて実行される場面の例を示す図である。
図５Ａを参照すると、図示するマークアップ文書は、場面配置情報、場面記述情報、領域記述情報、マルチメディア記述情報、及びレガシーブラウザをサポートするための記述情報を含む。

（１）場面配置情報
場面配置情報は、＜mmt-ci:composition＞エレメント及び＜mmt-ci:divLocation＞エレメントを含む。＜mmt-ci:composition＞エレメントは、場面配置情報を記述するエレメントであり、下位エレメントとして＜mmt-ci:divLocation＞エレメントを含み、＜mmt-ci:divLocation＞エレメントは、各領域の配置情報を記述するエレメントであり、以下に述べられる表１に示すような属性を有する。

（２）場面記述情報
場面記述情報は、＜body＞エレメントを含み、場面記述のために新たに付加される内容が存在せず、ハイパーテキストマークアップ言語（ＨＴＭＬ）の＜body＞エレメントを場面記述の最上位単位として使用する。

（３）領域記述情報
領域記述情報は、＜div＞及び＜section＞エレメントを含み、領域記述情報内のＨＴＭＬの＜div＞及び＜section＞エレメントをそのまま使用する。しかしながら、以下に述べられる表２に示すような新たな属性を追加で定義する。

（４）マルチメディア記述情報
マルチメディア記述情報は、マルチメディア記述のために新たに付加される内容が存在せず、メディア記述情報内のＨＴＭＬのエレメント＜video＞、＜audio＞、＜source＞、＜canvas＞、＜svg＞、及び＜track＞をそのまま使用する。もちろん、他の規格で定義される他のマルチメディアが存在する場合に、マルチメディアは、そのまま使用されることができる。

（５）レガシーブラウザをサポートするための記述情報
上述したような場面配置情報、場面記述情報、領域記述情報、及びマルチメディア記述情報は、新たなマークアップを完全に解析しサポートするブラウザのみに効果的である。場面の領域記述及び時間記述情報は、ＨＴＭＬブラウザで完全にサポートされることができないが、最小量の場面記述情報がＨＴＭＬブラウザによりサポートされるように構成される。
ＨＴＭＬでサポートされなければならない属性は、以下に述べられる表３及び表４で説明される。すなわち、表３は、＜body＞エレメントでサポートされる属性を説明し、表４は、＜div＞及び＜section＞エレメントでサポートされる属性を説明する。

すなわち、図示するマークアップの場面記述情報において、＜body＞エレメントは、３個の領域を含むので、１つの場面に３個の領域が配置されることができる。
図５Ｂは、本発明の第２の実施形態によるマルチメディア通信システムで構成されるマークアップに基づいて実行される場面の例を示す図である。すなわち、図５Ｂは、図４Ｂの方法に従って構成されるマークアップの例を示す図である。
図５Ｂを参照すると、図示するマークアップ文書は、図５Ａのマークアップと同様に、場面配置情報、場面記述情報、領域記述情報、マルチメディア記述情報、及びレガシーブラウザをサポートするための記述情報を含み、追加でマルチメディア時間情報を含む。

（６）マルチメディア時間情報
マルチメディア時間情報は、＜mmt-ci:MediaSync＞エレメント及び＜Asset＞エレメントを含む。＜mmt-ci:MediaSync＞エレメントは、マルチメディア時間情報を構成するための最上位エレメントであり、下位エレメントとして＜Asset＞エレメントを含む。＜Asset＞エレメントは、マルチメディアに１対１で対応し、マルチメディア記述情報に含まれているそれぞれのマルチメディア時間情報を示す。＜Asset＞エレメントでサポートされる属性は、以下に述べられる表５を通して説明される。

図６Ａは、本発明の実施形態によるマルチメディア通信システムで構成されるマークアップをサポートするブラウザで構成される場面の例を示す図である。
図６Ａを参照すると、本発明の実施形態に従って構成されるマークアップを使用する場合、新規エレメント及び属性をサポートするブラウザは、場面切り替えと時間的及び空間的な配置に関連したすべての機能を示すことができる。また、本発明の実施形態に従って構成されるマークアップ、すなわち、拡張マークアップをサポートするブラウザ、すなわち、マルチメディアエレメントの空間記述の提供に関連したイベントが発生する時又は一定の時間が経過した後に空間記述を変更することができる。

図６Ｂは、本発明の実施形態によるマルチメディア通信システムにおけるＨＴＭＬのみをサポートするブラウザで構成される場面の例を示す図である。
図６Ｂを参照すると、ＨＴＭＬのみをサポートするブラウザは、最小量の場面記述情報のみを示すことができる。すなわち、拡張マークアップをサポートできないブラウザは、場面記述情報のみを提供できる。

図７は、本発明の実施形態によるマルチメディア通信システムで構成されるマークアップに基づいてディスプレイ装置が場面を空間的に構成するプロセスを示すフローチャートである。
図７を参照すると、動作７００において、ディスプレイ装置は、マークアップの場面配置情報を読み出し、動作７０２において、場面内に含まれた領域の幅及び高さ情報を取得する。場面配置情報が個別の文書として具現される場合に、領域の幅及び高さ情報は、個別の文書として取得される。動作７０４において、ディスプレイ装置は、動作７０２で取得された幅及び高さ情報に従って構成された領域を含む全場面を構成する。

ディスプレイ装置は、動作７０６において、マークアップの領域記述情報を読み出し、動作７０８において、ディビジョン（division）（以下、‘ｄｉｖ’と称する）レファレンス識別子（IDentifier）を読み出す。ディスプレイ装置は、動作７１０において、ｄｉｖエレメントをロードし、動作７１２において、ｄｉｖエレメントの幅及び高さ情報を取得する。

動作７１４において、ディスプレイ装置は、動作７０２で取得された領域の幅及び高さがｄｉｖエレメントの幅及び高さよりも大きいか又は同一であることを判定する。この判定の結果、領域の幅及び高さがｄｉｖエレメントの幅及び高さよりも大きいか又は同一である場合、ディスプレイ装置は、動作７１６において、領域の幅及び高さをｄｉｖエレメントの幅及び高さにマッチングするように減少させ、動作７２０に進む。
しかしながら、この判定の結果として、領域の幅及び高さがｄｉｖエレメントの幅及び高さよりも小さい場合、ディスプレイ装置は、動作７１８において、領域の幅及び高さをｄｉｖエレメントの幅及び高さにマッチングするように拡大し、動作７２０に進む。ディスプレイ装置は、動作７２０において、縮小又は拡大が行われたｄｉｖエレメントの幅及び高さに従って領域を構成し、動作７２２に進む。

動作７２２において、ディスプレイ装置は、マルチメディア記述情報を読み出し、動作７２４において、マルチメディアの幅及び高さ情報を取得する。動作７２６において、ディスプレイ装置は、動作７２４で取得されたマルチメディアの幅及び高さが動作７２０で構成された領域の幅及び高さよりも大きいか又は同一であるを判定する。この判定の結果、マルチメディアの幅及び高さが領域の幅及び高さよりも大きいか又は同一である場合に、動作７２８において、マルチメディアの幅及び高さを領域の幅及び高さにマッチングするように減少させる。
しかしながら、この判定の結果として、マルチメディアの幅及び高さが領域の幅及び高さよりも小さい場合、ディスプレイ装置は、動作７３０において、場面の空間的な記述を通して場面配置を完了する。

図８Ａは、本発明の第１の実施形態によるマルチメディア通信システムで構成されるマークアップに基づいてディスプレイ装置が場面を時間的に構成するプロセスを示すフローチャートである。図８Ａにおいて、第１の実施形態に従って構成されるマークアップは、図４Ａの方法に従って構成されるマークアップを意味する。
図８Ａを参照すると、ディスプレイ装置は、動作８００において、マークアップの場面配置情報を読み出し、動作８０２において、場面の時間情報を取得する。動作８０４において、ディスプレイ装置は、動作８０２で取得された場面の時間情報に従って全場面を時間的に構成する。

ディスプレイ装置は、動作８０６において、マークアップの領域記述情報を読み出し、動作８０８において、全場面に含まれた各領域の時間情報を取得する。動作８１０において、ディスプレイ装置は、動作８０８で取得された各領域の時間情報に従って各領域を時間的に構成し、動作８１２において、ｄｉｖレファレンス識別子を読み出す。ディスプレイ装置は、動作８１４において、ｄｉｖエレメントをロードし、動作８１６において、各マルチメディアの時間情報を取得する。動作８１８において、ディスプレイ装置は、動作８１６で取得した各マルチメディアの時間情報に従って各マルチメディアを時間的に構成することにより場面配置を完了する。

図８Ｂは、本発明の第２の実施形態によるマルチメディア通信システムで構成されるマークアップに基づいてディスプレイ装置が場面を時間的に構成するプロセスを示すフローチャートである。図８Ｂにおいて、第２の実施形態に従って構成されたマークアップは、図４Ｂの方法に従って構成されるマークアップを意味する。
図８Ｂを参照すると、動作８５０において、ディスプレイ装置は、マークアップの場面配置情報を読み出し、動作８５２において、場面の時間情報を取得する。動作８５４において、ディスプレイ装置は、動作８５２で取得された場面の時間情報に従って全場面を時間的に構成する。

ディスプレイ装置は、動作８５６において、マークアップの領域記述情報を読み出し、動作８５８において、全場面に含まれた各領域の時間情報を取得する。動作８６０において、ディスプレイ装置は、全場面に含まれた各領域の時間情報を取得する。動作８６０において、ディスプレイ装置は、動作８５８で取得された各領域の時間情報に従って各領域を時間的に構成し、動作８６２において、ｄｉｖレファレンス識別子を読み出す。

ディスプレイ装置は、動作８６４において、ｄｉｖエレメントをロードし、動作８６６において、マルチメディアの識別子情報を取得する。ディスプレイ装置は、動作８６８において、個別に提供されるマークアップ文書のマルチメディアの時間情報からマルチメディアの時間情報を読み出し、マルチメディアの識別子にマッチングする時間情報を検出する。ディスプレイ装置は、動作８９０において、検出された時間情報をマルチメディアに反映することにより動作８１６で取得されたマルチメディアの時間情報と同一の情報を取得する。その後に、ディスプレイ装置は、動作８９２において、各マルチメディアを時間的に構成することにより場面配置を完了する。

上述したように、動作８５０乃至動作８６４は、第１の実施形態の動作８００乃至動作８１４と実質的に同一であり、動作８６６乃至動作８９０のみは、第１の実施形態の動作８１６とは異なる。

図９は、本発明の実施形態によるマルチメディア通信システムで構成されるマークアップに従って場面を構成する例を示す図である。図９では、場面が３個の領域で構成され、第３の領域（Area 3）が１００秒の間再生された後に、第４の領域（Area 4）及び第５の領域（Area 5）に分割されると仮定する。また、第３の領域の再生が完了する場合に、第４の領域が即座に再生され、第５の領域が０．２秒の後に再生されると仮定する。

図９を参照すると、場面１（scene 1）は、第１の領域乃至第３の領域（area 1, area 2, area 3）で構成され、第１の領域は、ビデオ及びオーディオを再生し、第２の領域は、テキスト形態の情報を再生し、第３の領域は、広告イメージを再生する。第３の領域の広告イメージが１００秒の間再生された後に場面が転換されることにより、第４の領域は、広告イメージを再生し、第５の領域は、０．２秒の後にテキスト形態の情報を再生する。
図９の場面を構成するためのマークアップの例示コードは、以下に述べられる表６に示す。

図１０は、本発明の実施形態に従って図９に示した場面配置のような場面配置の例の時間構成情報を示す図である。
図１０を参照すると、横軸は、時間軸を意味し、第１の領域及び第２の領域は、全時間領域で再生され、第３の領域は、選択された時点まで再生され、第４の領域及び第５の領域は、選択された時点の後に同時に再生される。

図１１は、本発明の実施形態によるマルチメディア通信システムで構成されるマークアップに基づいて場面を空間的にかつ時間的に構成するディスプレイ装置を示す図である。
図１１を参照すると、ディスプレイ装置１１００は、マークアップ構成部１１１０及びディスプレイ部１１２０を含む。

マークアップ構成部１１１０は、場面内に含まれる複数の領域の各々に対応する領域記述情報を構成し、複数の領域の各々に含まれる少なくとも１つのマルチメディアに対応するマルチメディア記述情報を構成し、複数の領域のそれぞれの空間的な配置及び時間的な配置を記述する場面配置情報を構成する。その後に、マークアップ構成部は、場面配置情報、領域記述情報、及びマルチメディア記述情報を含むマークアップを構成する。

ディスプレイ部１１２０は、複数の領域のそれぞれの幅及び高さ情報を場面配置情報から取得し、マルチメディアエレメントの幅及び高さ情報を領域記述情報から取得し、領域の幅及び高さ情報とマルチメディアエレメントの幅及び高さ情報とを考慮して領域を構成する。その後に、ディスプレイ部１１２０は、マルチメディアの幅及び高さ情報をマルチメディア記述情報から取得し、領域の幅及び高さ情報とマルチメディアの幅及び高さ情報とを考慮して場面を構成する。

本発明の実施形態によるマルチメディアコンポーネントの空間的かつ時間的な配置及び同期化のためのマークアップ構成方法は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせの形態で実現することができる。このような任意のソフトウェアは、例えば、削除又は再記録が可能であるか否かに関係なく、ＲＯＭ、ＲＡＭなどの記憶装置のような揮発性又は不揮発性記憶装置、メモリチップ、装置又は集積回路のようなメモリ、又は、例えばＣＤ、ＤＶＤ、磁気ディスク又は磁気テープなどの光学的又は磁気的に記録可能であると同時に、機械（例えば、コンピュータ）で読み取ることができる記憶媒体に記憶することができる。本発明の実施形態は、制御部及びメモリを含むコンピュータ又は携帯用端末により具現化されてもよく、このメモリは、本発明の実施形態を実現する指示を含むプログラム又は複数のプログラムを格納するのに適した機械可読の記憶装置の一例であることが理解されよう。

したがって、本発明の様々な実施形態は、本願の任意の請求項に記載された装置又は方法を実現するためのコードを含むプログラム及びこのようなプログラムを記憶する機械読み取り可能な記憶媒体（例えば、コンピュータなど）を含む。さらに、上述したようなプログラムは、有線又は無線接続を通して送信される通信信号のような任意の媒体を通して電子的に移送され、本発明は、これと均等なものを適切に含む。

さらに、本発明の実施形態によるマルチメディアコンポーネントを空間的にかつ時間的に配置し同期化するためのマークアップを構成する装置は、プログラムを有線又は無線を通して装置に接続されたプログラム提供装置から受信し、この受信したプログラムを記憶する。プログラム提供装置は、装置が予め定められたコンテンツ保護方法を実行するようにする指示を含むプログラム及びコンテンツ保護方法に必要な情報などを記憶するためのメモリと、装置との有線又は無線通信を実行するための通信部と、装置のリクエスト又は自動で対応するプログラムを装置に送信する制御部とを含むことができる。

以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきものである。

３００ 場面
３１０，３２０，３３０ 領域
３１５，３２５，３３５ マルチメディア
４００ 場面配置情報
４０１ マークアップ文書
４１０ 場面記述情報
４２０，４３０，４４０ 領域記述情報
４２５，４３５，４４５，４５０，４５５ マルチメディア記述情報
４６０ 場面記述情報
４７０，４８０，４９０ 領域記述情報
４７５，４８５，４９６ マルチメディア記述情報
１１００ ディスプレイ装置
１１１０ マークアップ構成部
１１２０ ディスプレイ部

Claims (19)

1. マルチメディアシステムにおける場面をディスプレイする方法であって、
   ディスプレイ装置が、前記場面内に含まれる複数の領域の各々に対応する領域記述情報と、
   前記複数の領域の各々に含まれる少なくとも１つのマルチメディアに対応するマルチメディア記述情報と、
   前記複数の領域のそれぞれの空間的な配置及び時間的な配置を記述する場面配置情報を含むマークアップ情報を構成するステップと、
   前記ディスプレイ装置が、
   前記場面配置情報、前記領域記述情報、及び前記マルチメディア記述情報に基づいて前記複数の領域を含む場面を構成するステップと、
   前記ディスプレイ装置が、前記構成された場面をディスプレイするステップと、を有し、
   前記場面を構成するステップは、
   前記場面配置情報から前記複数の領域のそれぞれの幅及び高さ情報を取得し、前記領域記述情報からｄｉｖエレメントの幅及び高さ情報を取得するステップと、
   前記領域の幅及び高さ情報と前記ｄｉｖエレメントの幅及び高さ情報とを考慮して領域を構成するステップと、を含み、
   前記場面は、前記複数の領域に区分され、前記少なくとも１つのマルチメディアは、前記複数の領域の少なくとも一つで独立的にディスプレイされる
   ことを特徴とする場面をディスプレイする方法。
2. 前記場面を構成するステップは、
   前記マルチメディア記述情報からマルチメディアの幅及び高さ情報を取得し、前記領域の幅及び高さ情報と前記マルチメディアの幅及び高さ情報とを考慮して前記場面を空間的に構成するステップを含む
   ことを特徴とする請求項１に記載の方法。
3. 前記領域を構成するステップは、
   前記領域の幅及び高さを前記ｄｉｖエレメントの幅及び高さと比較するステップと、
   前記領域の幅及び高さが前記ｄｉｖエレメントの幅及び高さよりも大きい場合、前記領域の幅及び高さを前記ｄｉｖエレメントの幅及び高さにマッチングするように減少させるステップと、
   前記領域の幅及び高さが前記ｄｉｖエレメントの幅及び高さよりも小さい場合、前記領域の幅及び高さを前記ｄｉｖエレメントの幅及び高さにマッチングするように拡大するステップとを含む
   ことを特徴とする請求項２に記載の方法。
4. 前記場面を空間的に構成するステップは、
   前記領域の幅及び高さを前記マルチメディアの幅及び高さと比較するステップと、
   前記マルチメディアの幅及び高さが前記領域の幅及び高さよりも大きい場合、前記マルチメディアの幅及び高さを前記領域の幅及び高さにマッチングするように減少させるステップと、
   前記マルチメディアの幅及び高さが前記領域の幅及び高さよりも小さい場合、前記マルチメディアの幅及び高さを維持するステップとを含む
   ことを特徴とする請求項３に記載の方法。
5. 前記場面を構成するステップは、
   前記場面配置情報から前記領域の時間情報を取得し、各領域を前記領域の時間情報に従って構成するステップと、
   前記マルチメディア記述情報からマルチメディア時間情報を取得し、マルチメディアを前記マルチメディア時間情報に従って構成するステップとをさらに含む
   ことを特徴とする請求項１に記載の方法。
6. 前記場面配置情報は、前記場面の時間構成を記述する情報をさらに含み、
   前記場面を構成するステップは、
   前記場面の時間構成を記述する情報を獲得し、前記場面の時間構成を記述する情報によって前記場面を構成するステップをさらに含む
   ことを特徴とする請求項５に記載の方法。
7. 前記ディスプレイ装置が、前記場面を構成するマルチメディアのそれぞれの時間情報を記述するマルチメディア時間情報を含む第２のマークアップ情報を構成するステップをさらに含み、前記マルチメディア時間情報に従って前記マルチメディアを構成するステップは、
   前記第２のマークアップ情報から前記マルチメディアの識別子とマッチングする時間情報を検出するステップと、
   前記検出された時間情報を前記マルチメディアに反映することにより前記マルチメディアを時間的に構成するステップとをさらに含み、
   前記マークアップ情報と前記第２のマークアップ情報は、相異なるマークアップ文書として記述される
   ことを特徴とする請求項５に記載の方法。
8. 前記場面配置情報は、ｘ軸オフセット、ｙ軸オフセット、領域の幅、領域の高さ、領域の開始時間、領域の終了時間、及び領域の持続時間の中の少なくとも１つの属性を含む
   ことを特徴とする請求項１に記載の方法。
9. 前記領域記述情報は、ｄｉｖエレメントの幅、ｄｉｖエレメントの高さ、ｄｉｖエレメントの開始時間、ｄｉｖエレメントの終了時間、及びｄｉｖエレメントの持続時間の中の少なくとも１つの属性を含む
   ことを特徴とする請求項１に記載の方法。
10. マルチメディアシステムにおける場面をディスプレイするディスプレイ装置であって、
    前記場面に含まれる複数の領域の各々に対応する領域記述情報を構成し、前記複数の領域の各々に含まれる少なくとも１つのマルチメディアに対応するマルチメディア記述情報を構成し、前記複数の領域のそれぞれの空間的な配置及び時間的な配置を記述する場面配置情報を構成し、前記場面配置情報、前記領域記述情報、及び前記マルチメディア記述情報を含むマークアップ情報を構成するマークアップ構成部と、
    前記マークアップ情報に基づいて前記場面を表示するディスプレイ部とを有し、
    前記ディスプレイ部は、
    前記場面配置情報から前記複数の領域のそれぞれの幅及び高さ情報を取得し、前記領域記述情報からｄｉｖエレメントの幅及び高さ情報を取得し、前記領域の幅及び高さ情報と前記ｄｉｖエレメントの幅及び高さ情報とを考慮して領域を構成し、
    前記場面は、前記複数の領域に区分され、前記少なくとも１つのマルチメディアは、前記複数の領域のうち少なくとも一つで独立的にディスプレイされる
    ことを特徴とするディスプレイ装置。
11. 前記ディスプレイ部は、前記マルチメディア記述情報からマルチメディアの幅及び高さ情報を取得し、前記領域の幅及び高さ情報と前記マルチメディアの幅及び高さ情報とを考慮して前記場面を空間的に構成する
    ことを特徴とする請求項１０に記載のディスプレイ装置。
12. 前記ディスプレイ部は、前記領域の幅及び高さを前記ｄｉｖエレメントの幅及び高さと比較し、前記領域の幅及び高さが前記ｄｉｖエレメントの幅及び高さよりも大きい場合、前記領域の幅及び高さを前記ｄｉｖエレメントの幅及び高さにマッチングするように減少させ、前記領域の幅及び高さが前記ｄｉｖエレメントの幅及び高さよりも小さい場合、前記領域の幅及び高さを前記ｄｉｖエレメントの幅及び高さにマッチングするように拡大する
    ことを特徴とする請求項１１に記載のディスプレイ装置。
13. 前記ディスプレイ部は、前記領域の幅及び高さを前記マルチメディアの幅及び高さと比較し、前記マルチメディアの幅及び高さが前記領域の幅及び高さよりも大きい場合、前記マルチメディアの幅及び高さを前記領域の幅及び高さにマッチングするように減少させ、前記マルチメディアの幅及び高さが前記領域の幅及び高さよりも小さい場合、前記マルチメディアの幅及び高さを維持する
    ことを特徴とする請求項１２に記載のディスプレイ装置。
14. 前記ディスプレイ部は、前記場面配置情報から領域の時間情報を取得し、各領域を前記領域の時間情報に従って構成し、前記マルチメディア記述情報からマルチメディア時間情報を取得し、マルチメディアを前記マルチメディア時間情報に従って構成する
    ことを特徴とする請求項１０に記載のディスプレイ装置。
15. 前記場面配置情報は、
    前記場面の時間構成を記述する情報をさらに含み、
    前記場面の時間構成を記述する情報を獲得し、前記場面の時間構成を記述する情報によって前記場面を構成する
    ことを特徴とする請求項１４に記載のディスプレイ装置。
16. 前記場面配置情報がマークアップとは個別のマークアップで構成される場合、前記ディスプレイ部は、前記個別のマークアップから前記マルチメディアの識別子とマッチングする時間情報を検出し、前記検出された時間情報を前記マルチメディアに反映することにより前記マルチメディアを時間的に構成する
    ことを特徴とする請求項１４に記載のディスプレイ装置。
17. 前記場面配置情報は、ｘ軸オフセット、ｙ軸オフセット、領域の幅、領域の高さ、領域の開始時間、領域の終了時間、及び領域の持続時間の中の少なくとも１つの属性を含む
    ことを特徴とする請求項１０に記載のディスプレイ装置。
18. 前記領域記述情報は、ｄｉｖエレメントの幅、ｄｉｖエレメントの高さ、ｄｉｖエレメントの開始時間、ｄｉｖエレメントの終了時間、及びｄｉｖエレメントの持続時間の中の少なくとも１つの属性を含む
    ことを特徴とする請求項１０に記載のディスプレイ装置。
19. 実行された時に、少なくとも１つのプロセッサに請求項１に記載の方法を実行させる命令を記録した非一時的なコンピュータ可読記録媒体。

Images