JP6250703B2 - マルチスクリーンサービスをサポートするためのマークアップ構成装置及び方法 - Google Patents

Description

本発明は複数のデバイスを通じてマルチスクリーンをサポートするためのマークアップ構成装置及び方法に関するものである。特に、本発明は、多様なデジタルデバイスがネットワークを介してコンテンツを共有又は配信する環境で一つのマークアップファイルを有するデジタルデバイスの多様性のための構成情報を提供するための装置及び方法に関する。

一般的にマルチメディアサービスをサポートするデバイスは、サーバから提供される一つのマークアップを処理し、その処理結果をユーザーに表示する。このマークアップは、ＨＴＭＬ(HyperText Markup Language)ファイルにより構成され得る。

図１は、従来技術によるマークアップで構成されるＨＴＭＬ文書の構造を示す。

図１を参照すると、ＨＴＭＬは、一つのファイルで一つの文書構造を定義するマークアップ言語である。ＨＴＭＬの最新バージョンであるＨＴＭＬ５は、ビデオ、オーディオのようなマルチメディアに対するサポートが強化される。ＨＴＭＬ５は、多様な文書構造をサポートできるタグ(Tag)を定義する。

ＨＴＭＬ５は、一つのデバイスが一つの文書を処理するように設計されるので、ネットワークを介して複数のデバイスが接続されるサービス環境に適合しない。したがって、ＨＴＭＬ５は、複数のデバイス間の接続関係を考慮して処理すべきコンテンツを一つの同一のマークアップとして構成することができなかった。

図２は、従来技術によるネットワークを介して接続された複数のデバイスでのマークアップ処理手順を示す。

図２を参照すると、Ｗｅｂサーバ２１０は、Ｗｅｂページを提供する。Ｗｅｂサーバ２１０は、複数のデバイスが接続される場合、接続された複数のデバイスの各々にＨＴＭＬファイルを別々に構成して提供する。

例えば、Ｗｅｂサーバ２１０は、デジタルテレビジョン(ＤＴＶ)のためのＨＴＭＬファイル(例えば、ＶｏＤ(Video on Demand)サービスの提供）又は第１のデバイス２２０、及び移動端末のためのＨＴＭＬファイル(例えば、プログラムガイド又はリモート制御のためのスクリーンのための)又は第２のデバイス２３０を別に準備する。

第１のデバイス２２０と第２のデバイス２３０は、Ｗｅｂサーバ２１０からＨＴＭＬファイルを要請する。第１のデバイス２２０と第２のデバイス２３０は、Ｗｅｂサーバ２１０から提供されるＨＴＭＬファイルをレンダリングしてスクリーンに表示する。

しかしながら、第１のデバイス２２０と第２のデバイス２３０は、スクリーン構成に従属関係が存在しても、これを表示することができない。第２のデバイス２３０は、第１のデバイス２２０に関連した文書を受信するために、Ｗｅｂサーバ２１０との接続を維持すべきである。

第１のデバイス２２０と第２のデバイス２３０は、両デバイス間のイベントを処理するために、別途の通信チャンネルとインターフェースを確保する必要がある。

第１のデバイス２２０と第２のデバイス２３０は、自身に必要なＨＴＭＬファイルを受信しても、他のデバイスとの従属性を知っていないことがある。Ｗｅｂサーバ２１０は、第１のデバイス２２０と第２のデバイス２３０との間の従属性を認知するために、デバイス間の従属性を管理するための別途のモジュールを含んでもよい。

したがって、ＨＴＭＬに基づいて複数のデバイス間の関係を考慮してコンテンツをサポートできるマークアップ構成をサポートする方法を準備する必要がある。

上記情報は、本発明の理解を助けるために背景情報のみとして開示される。これらが本発明に対して従来技術として適用できるか否かに関しては何の決定及び断言も下されていない。

したがって、本発明は上記した従来技術の問題点に鑑みてなされたものであって、その目的は、多様なデジタルデバイスがネットワークを介してコンテンツを共有又は配信できる環境で一つのマークアップファイルで多様なデジタルデバイスのための構成情報を提供する装置及び方法を提供することにある。

本発明の他の目的は、マルチスクリーンサービスをサポートするために構成されたマークアップに基づき、ネットワークを介して接続された複数のデジタルデバイスが自身が処理するメディア(例えば、オーディオ及びビデオ)、イメージ、テキスト情報を表示する装置及び方法を提供することにある。

また、本発明の目的は、サービスプロバイダがネットワークを介して接続される複数のデジタルデバイスの各々に割り当てられた役割によってプライマリデバイス又はセカンダリデバイスとして処理する情報を一つのマークアップファイルを用いて提供する装置及び方法を提供することにある。

さらに、本発明の目的は、複数のデバイスが接続される状況で、サービスプロバイダがデバイス間の接続関係に従って各デバイスで処理される情報をマークアップファイルを用いて提供する装置及び方法を提供することにある。

上記のような目的を達成するために、本発明の一態様によれば、サーバでマルチメディアサービスを提供する方法が提供される。その方法は、マルチスクリーンに基づいてマルチメディアサービスをサポートするために少なくともシーンレイアウト情報を含むマークアップファイルを生成するステップと、マルチスクリーンに基づいてマルチメディアサービスをサポートするマルチメディアデバイスにマークアップファイルを提供するステップとを有し、シーンレイアウト情報は、一つのマルチメディアデバイスに関するシーンレイアウト情報と、複数のマルチメディアデバイスに関するシーンレイアウト情報を含む。

本発明の他の態様によれば、マルチメディアサービスを提供するサーバが提供される。そのサーバは、マルチスクリーンに基づいてマルチメディアサービスをサポートするためのシーンレイアウト情報を少なくとも含むマークアップファイルを生成するように構成されるマークアップ生成部と、マルチスクリーンに基づいてマルチメディアサービスをサポートするマルチメディアデバイスにマークアップ生成部により生成されたマークアップファイルを提供するように構成される送信部とを含み、シーンレイアウト情報は、一つのマルチメディアデバイスに関するシーンレイアウト情報と、複数のマルチメディアデバイスに関するシーンレイアウト情報を含む。

また、本発明の他の態様によれば、マルチメディアデバイスにおいてマルチメディアサービスを提供する方法が提供される。その方法は、マルチメディアサービスをサポートするサーバからマークアップファイルを受信するステップと、マルチメディアデバイスがマルチメディアサービスのためのメインマルチメディアデバイスである場合、マルチメディアサービスのためにネットワークに接続される任意のサブマルチメディアデバイスが存在するか否かを判定するステップと、サブマルチメディアデバイスが存在しない場合、受信したマークアップファイルに含まれる一つのマルチメディアデバイスに関するシーンレイアウト情報に基づいてマルチメディアサービスのための第１のスクリーンを提供するステップと、サブマルチメディアデバイスが存在する場合、受信したマークアップファイルに含まれる複数のマルチメディアデバイスに関するシーンレイアウト情報に基づいてマルチメディアサービスのための第２のスクリーンを提供するステップとを有する。

さらに、本発明の他の態様によれば、マルチメディアサービスを提供するマルチメディアデバイスが提供される。そのデバイスは、マルチメディアデバイスがマルチメディアサービスのためのメインマルチメディアデバイスである場合、マルチメディアサービスのためにネットワークに接続される任意のサブマルチメディアデバイスが存在するか否かを判定するように構成される接続モジュールと、接続モジュールの判定結果とマルチメディアサービスをサポートするサーバから受信したマークアップファイルに基づいてマルチメディアサービスのためのスクリーンを提供するように構成されるイベントハンドラとを含み、接続モジュールによりサブマルチメディアデバイスが存在しないと判定される場合、イベントハンドラは、受信したマークアップファイルに含まれる一つのマルチメディアデバイスに関するシーンレイアウト情報に従ってマルチメディアサービスのための第１のスクリーンを提供し、接続モジュールによりサブマルチメディアデバイスが存在すると判定される場合、イベントハンドラは、受信したマークアップファイルに含まれる複数のマルチメディアデバイスに関するシーンレイアウト情報に従ってマルチメディアサービスのための第２のスクリーンを提供するようにさらに構成される。

本発明は、一つのマークアップファイルで複数のデバイスと情報との接続関係及び各デバイスで処理しなければならない情報を説明することによって、サービスプロバイダは、複雑なデバイス間の接続関係又はその状態を管理する必要なしに一貫性のあるサービスを容易に提供することができる。

さらに、サービスプロバイダに直接接続されていない第２のデバイスは、第１のデバイスから必要な部分に関する情報を受信し、これを処理して提供し、ネットワークに存在するデバイスの状態が変更される場合にも、第２のデバイスは、その変更を検出し、検出した変更に対応するシーンレイアウト情報を適用してシーンの空間構成をリアルタイムで変更することができる。

本発明の他の態様、利点、及び顕著な特徴は、下記の詳細な説明から当業者には公知であり、その詳細な説明は、添付の図面とともに本発明の実施形態で開示する。

従来技術によるマークアップで構成されるＨＴＭＬ文書の構造を示す図である。 従来技術によるネットワークを介して接続される複数のデバイスでのマークアップ処理手順を示す図である。 本発明の一実施形態によるネットワークを介して接続される複数のデバイスでのマークアップ処理手順を示す図である。 本発明の一実施形態によるマークアップを処理するためのブラウザを示す図である。 本発明の一実施形態により、マルチメディアの時間的、空間的配置及び同期化を制御するためのマークアップの構成を示す図である。 本発明の一実施形態により、マルチメディアの時間的、空間的配置及び同期化を制御するためのマークアップの構成のうちシーンの位置情報を別途のファイルとして構成することを示す図である。 本発明の一実施形態による複数のデバイスがネットワークを介して接続される環境でプライマリデバイスにより遂行される制御フローを示す図である。 本発明の一実施形態による複数のデバイスがネットワークを介して接続された環境でセカンダリデバイスにより遂行される制御フローを示す図である。 本発明の一実施形態によるプライマリデバイスとセカンダリデバイスを構成するモジュール間の接続関係を示す図である。 本発明の一実施形態によるプライマリデバイスとセカンダリデバイスを構成するモジュール間の接続関係を示す図である。 本発明の実施形態によるマークアップを構成する手順を示す図である。 本発明の実施形態によるマークアップを構成する手順を示す図である。 本発明の実施形態によるマークアップを構成する手順を示す図である。 本発明の一実施形態による領域情報を受信する手順を示す図である。 本発明の一実施形態により、マルチスクリーンに基づいてマルチメディアサービスを提供するサーバの構成を示す図である。

以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。

したがって、本発明の実施形態では、理解を助けるために多様で詳細な説明を含む。しかしながら、これらの詳細な説明は、ほとんど典型的な例として考えられる。また、本発明の範囲及び精神を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。

次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確且つ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかである。

英文明細書に記載の“ａ”、“ａｎ”、及び“ｔｈｅ”、すなわち単数形は、コンテキスト中に特記で明示されない限り、複数形を含むことは、当業者には理解できることである。したがって、例えば、“コンポーネント表面(a component surface)”との記載は一つ又は複数の表面を含む。

“実質的に(substantially)”という用語は、提示された特徴、パラメータ、又は値が正確に設定される必要はないが、許容誤差、測定誤り、測定精度限界及び当業者に知られているか、あるいは当業者によって実験なしに得られる要素を含む偏差又は変化が、これら特性が提供しようとする効果を排除しない範囲内で発生することを意味する。

図３は、本発明の実施形態によるネットワークを介して接続された複数のデバイスでのマークアップ処理手順を示す。

図３を参照すると、Ｗｅｂサーバ３１０は、第１のデバイス３２０と第２のデバイス３３０両方の情報を含む一つのＨＴＭＬファイルを構成する。Ｗｅｂサーバ３１０は、構成した一つのＨＴＭＬファイルを第１のデバイス３２０と第２のデバイス３３０の各々に提供される。

第１のデバイス３２０と第２のデバイス３３０は、Ｗｅｂサーバ３１０から提供されるＨＴＭＬファイルから自身に必要な部分をパーシングして表示する。

図３を参照すると、第１のデバイス３２０と第２のデバイス３３０は、Ｗｅｂサーバ３１０から直接にＨＴＭＬファイルを受信する。一方、Ｗｅｂサーバ３１０により提供されるＨＴＭＬファイルは、複数のデバイスに順次に配信され得る。例えば、Ｗｅｂサーバ３１０は、第１のデバイス３２０にＨＴＭＬファイルを提供する。第１のデバイス３２０は、提供されたＨＴＭＬファイルで自身が処理する部分を処理する。第１のデバイス３２０は、提供されたＨＴＭＬファイルで第２のデバイス３３０のための部分を第２のデバイス３３０に配信して処理可能にする。

あるいは、第２のデバイス３３０がＷｅｂサーバ３１０から直接ＨＴＭＬファイルを受信しない状況でも、第２のデバイス３３０は、第１のデバイス３２０に接続を維持する場合、必要なＨＴＭＬファイルを受信して所望のスクリーンを表示することができる。

例えば、各デバイスが処理する部分を示す情報は、別途のファイルを用いて提供され得る。この場合、ブラウザは、画面構成情報を提供するＨＴＭＬファイルと、複数のデバイスに対する処理方法を示す別途のファイルを同時に処理すればよい。ここで、これに対する説明は、後述する。

図４は、本発明の実施形態によるマークアップを処理するブラウザを示す。

図４を参照すると、ブラウザ４００は、フロントエンド４１０、ブラウザコア４２０、ＤＯＭ(Document Object Model)ツリー４３０、イベントハンドラ４４０、接続モジュール(connectivity module)４５０、及びプロトコルハンドラ４６０を含む。

ブラウザ４００を構成する各モジュールの役割は、次の通りである。

フロントエンド４１０：ＤＯＭツリー４３０を読み取ってユーザーの画面にレンダリングするモジュールである。

ブラウザコア４２０：マークアップファイルをパーシングし、タグを解釈して処理し、その結果をＤＯＭツリー４３０で構成するブラウザのコアモジュールである。このブラウザコア４２０は、一般的なブラウザの処理モジュールと同一の機能を遂行するだけでなく、新たに定義された要素及び属性の処理機能をさらに遂行する。

ＤＯＭツリー４３０：ブラウザコア４２０がマークアップを解釈して要素を一つのツリー形態で形成するデータ構造を意味する。このＤＯＭツリー４３０は、一般的なブラウザのＤＯＭツリーと同一である。

イベントハンドラ４４０：一般的に、ブラウザのイベントハンドラは、ユーザーにより入力されるイベント又はデバイス内に発生するイベント(タイムアウト処理など)を処理するモジュールである。提案された実施形態において、第２のデバイス(又は第１のデバイス)が追加されるかあるいは除外される変動事項が発生する場合、イベントハンドラ４４０は、このイベントを接続モジュール４５０から受信し、これをＤＯＭツリー４３０に配信してスクリーン構成を新たに変更する機能が追加される。

接続モジュール４５０：変動(ネットワークでデバイスの追加/除外)を検出し、これに対する状況変化をイベントとして発生させてイベントハンドラ４４０に配信する役割をする。

プロトコルハンドラ４６０：Ｗｅｂサーバにアクセスしてマークアップファイルを伝送する役割をする。このプロトコルハンドラ４６０は、一般的なブラウザのプロトコルハンドラと同一である。

上記ブラウザ４００の構成の中で、提案された実施形態のために追加又は変更されたモジュールは、イベントハンドラ４４０と接続モジュール４５０を含む。他の残りのモジュールは、一般的なブラウザの動作過程と同一である。したがって、提案された実施形態では、イベントハンドラ４４０と接続モジュール４５０に対応する要素と属性を処理するプロセスが追加される。

次に、提案された実施形態のために定義されたマークアップについて説明する。

図５Ａは、本発明の実施形態によるマルチメディアの時間的及び空間的レイアウト及び同期化を制御するためのマークアップの構成を示す。

図５Ａを参照すると、マークアップファイル５００は、シーンレイアウト情報５１０とシーン構成情報５２０を含む。シーン構成情報５２０は、複数の領域構成情報５２０-１，５２０-２，５２０-３を含む。複数の領域構成情報５２０-１，５２０-２、５２０-３は、各々少なくとも一つのメディア構成情報を含む。ここで、‘メディア’は、特定タイプ(例えば、ビデオ、オーディオ)の情報に限定されるものではない。メディアは、イメージ、テキストを含むように拡張され得る。したがって、以下の説明でのメディアは、ビデオ及びオーディオだけでなくイメージ、テキストのような多様なタイプのメディアを含むように拡張してもよい。

下記の＜表１＞は、図５Ａに示すマークアップファイルをＨＴＭＬファイルで構成する一例を示す。

＜表１＞に示すように、＜ｈｅａｄ＞フィールドで＜ｖｉｅｗ＞要素とそのサブ要素＜ｄｉｖＬｏｃａｔｉｏｎ＞で構成されるスクリーンの全体シーンに対応するレイアウト情報が記録される。＜ｂｏｄｙ＞フィールドで、サブ構造である領域構成情報に分けられて、実際シーンを構成する情報が記録される。領域構成情報は、独立的に動作できる一つの領域を意味する。この領域は、実際メディア情報(例えば、ビデオ、オーディオ、イメージ、テキストなど)を含むことができる。

図５Ａに示すマークアップを構成するシーンレイアウト情報は、別途のファイルとして構成及び提供できる。

図５Ｂは、本発明の実施形態により、別途のファイルとして構成されるマルチメディアの時間的及び空間的レイアウト及び同期化を制御するためのマークアップの構成のうち一つのシーンのレイアウト情報を示す。

図５Ｂを参照すると、マークアップファイルは、シーンレイアウト情報５１０を記述するマークアップ５５０、シーン構成情報５２０を記述するマークアップ５６０を含むことができる。異なる情報で構成される２個のマークアップ５５０，５６０は、マークアップファイル内で区分されるように構成される。

下記の＜表２＞及び＜表３＞は、図５Ｂに示すマークアップファイルをＨＴＭＬファイルとして構成される例を示す。

＜表２＞及び＜表３＞に示すように、スクリーン全体シーンに対応するレイアウト情報を記録するために使用される、＜ｖｉｅｗ＞要素とそのサブ要素である＜ｄｉｖＬｏｃａｔｉｏｎ＞を別途のファイルで構成される。このシーンレイアウト情報が別途に構成及び提供される場合、各デバイスは、シーンレイアウト情報５１０を記述するマークアップ５５０とシーン構成情報５２０を記述するマークアップ５６０を同時に受信及び処理することができる。このケースでも、その記述情報に従って２個のマークアップが別に構成されるが、各デバイスは、同一のマークアップを受信及び処理する。

提案された実施形態では、属性は、シーン構成情報を用いて複数のデバイスで、複数のデバイスが接続関係に基づいて処理しなければならないデバイスと情報との間の接続関係を表示するためにシーンレイアウト情報に追加される。

以下、処理される情報を表示するためにシーンレイアウト情報に追加される属性について説明する。

１．ｖｉｅｗｔｙｐｅ：シーンレイアウト情報に対応するシーンタイプを表す。特に、ｖｉｅｗｔｙｐｅは、シーンレイアウト情報が一つのプライマリデバイスによりマルチメディアサービスをサポートするためのことであるか、あるいは一つのプライマリデバイス及び少なくとも一つのセカンダリデバイスによりマルチメディアサービスをサポートするためのことであるかを示すために使用される情報である。

下記の＜表４＞は、ｖｉｅｗｔｙｐｅ値の定義された意味の一例を示す。

＜表４＞において、‘ネットワークに接続される一つのデバイス’は、マルチメディアサービスがプライマリデバイスにより提供されることを意味する。‘ネットワークに接続される複数のデバイス’は、マルチメディアサービスが一つのプライマリデバイスと少なくとも一つのセカンダリデバイスにより提供されることを意味する。

２．ｄｉｖＬｏｃａｔｉｏｎ：一つのプライマリデバイス、又は一つのプライマリデバイスと少なくとも一つのセカンダリデバイスによりマルチメディアサービスのためのスクリーンに少なくとも一つのシーンに位置するために使用される位置情報である。例えば、一つのプライマリデバイスによりマルチメディアサービスが提供される場合、ｄｉｖＬｏｃａｔｉｏｎは、プライマリデバイスのスクリーンを構成する少なくとも一つのシーンの各々に対して定義される。一方、マルチメディアサービスが一つのプライマリデバイスと少なくとも一つのセカンダリデバイスにより提供される場合、ｄｉｖＬｏｃａｔｉｏｎは、プライマリデバイスのスクリーンを構成する少なくとも一つのシーンの各々に対してのみ定義されるが、少なくとも一つのセカンダリデバイスのスクリーンを構成する少なくとも一つのシーン別に定義される。

３．ｐｌｕｎｇｅＯｕｔ：領域が複数のデバイスにより共有/分配される方法を示す。すなわち、セカンダリデバイスによりスクリーンに表示されるシーンのタイプを定義する。例えば、ｐｌｕｎｇｅＯｕｔは、シーンがプライマリシーンと共有されるシーンであるか否かを示し、シーンがプライマリデバイスのシーンから除外された後にセカンダリデバイスのシーンに移動して表示されるシーンであるか否か、あるいはシーンが新たに提供されるシーンであるか否かを示す。

下記の＜表５＞は、ｐｌｕｎｇｅＯｕｔ値の定義された意味の一例を示す。

提案された実施形態において、複数のデバイスがネットワークを介して接続される場合、複数のシーンレイアウト情報は、これらを処理するために構成され得る。新しく定義されたｖｉｅｗｔｙｐｅとｐｌｕｎｇＯｕｔは、複数のシーンレイアウト情報が構成される場合に動作する。

図６は、本発明の実施形態による複数のデバイスがネットワークを介して接続される環境でプライマリデバイスにより遂行される制御フローを示す。用語‘プライマリデバイス’は、該当マークアップ文書をＷｅｂサーバから直接受信して処理するデバイスを意味する。例えば、デジタルテレビ(ＤＴＶ)のような大型画面をサポートするデバイスであり得る。

図６を参照すると、プライマリデバイスは、サービスを直接受信することができる。ステップ６１０において、プライマリデバイスは、ＷｅｂサーバからＨＴＭＬで作成されたマークアップ文書を受信する。プライマリデバイスは、マークアップ文書を受信すると、ステップ６１２で、接続モジュールを通じてネットワークにセカンダリデバイスに接続されるか否かを判定する。

ステップ６１２でセカンダリデバイスが接続されていないと判定される場合、プライマリデバイスは、ステップ６１４で、接続モジュールを通じて‘ｄｅｆａｕｌｔ’イベントを生成する。ステップ６１６において、プライマリデバイスは、受信したマークアップ文書のシーンレイアウト情報のうち‘ｄｅｆａｕｌｔ’に対応する(ビュー要素のｖｉｅｗｔｙｐｅ属性が‘ｄｅｆａｕｌｔ’として設定される)シーンレイアウト情報を読み取って解釈した後に、スクリーンを構成して表示する。

プライマリデバイスは、接続モジュールを継続してチェックし、ステップ６１２でセカンダリデバイスが接続されていると判定される場合、プライマリデバイスは、ステップ６１８で、‘ｍｕｌｔｉｐｌｅ’イベントを生成する。ステップ６２０において、プライマリデバイスは、マークアップ文書のシーンレイアウト情報のうち‘ｍｕｌｔｉｐｌｅ’に対応する(ビュー要素のｖｉｅｗｔｙｐｅ属性が‘ｍｕｌｔｉｐｌｅ’として設定される)レイアウト情報を読み取って適用する。

ステップ６２２において、プライマリデバイスは、ビュー要素のサブ要素情報であるｄｉｖＬｏｃａｔｉｏｎ要素を読み取り、その‘ｐｌｕｎｇｅＯｕｔ’属性が設定されている領域情報をセカンダリデバイスに伝送する。‘ｐｌｕｎｇｅＯｕｔ’属性は、＜表５＞で定義した３個の値のうち少なくとも一つを有する。

ステップ６２４において、プライマリデバイスは、‘ｐｌｕｎｇｅＯｕｔ’の属性の値を判定する。ステップ６２４で‘ｐｌｕｎｇｅＯｕｔ’属性が‘ｓｈａｒａｂｌｅ’及び‘ｃｏｍｐｌｅｍｅｎｔａｒｙ’の値を有すると判定される場合、プライマリデバイスは、自身のシーン構成情報が変更されないので、ＤＯＭを変更する必要がない。したがって、ステップ６３０において、プライマリデバイスは、シーン構成情報に従ってスクリーンを表示する。この場合、スクリーンに表示されるコンテンツは、変更されない。

一方、ステップ６２４で、‘ｐｌｕｎｇｅＯｕｔ’属性が‘ｄｙｎａｍｉｃ’値を有すると判定される場合、プライマリデバイスは、自身のシーン構成情報が変更されるので、ＤＯＭを変更することができる。したがって、ステップ６２６で、プライマリデバイスは、ＤＯＭをアップデートする。プライマリデバイスは、ステップ６２８でアップデートされたＤＯＭに基づいてスクリーンを再構成し、ステップ６３０で、再構成したスクリーンを表示する。

セカンダリデバイスがネットワークから抜け出ても、変更されたイベントは、プライマリデバイスに提供される接続モジュールにより生成され、その処理プロセスは、以上に説明した。

図７は、本発明の一実施形態により、複数のデバイスがネットワークを介して接続される環境でセカンダリデバイスにより遂行される制御フローを示す。用語‘セカンダリデバイス’は、プライマリデバイスに関連して動作するデバイスを意味する。一般的に、セカンダリデバイスは、モバイルデバイス、タブレットデバイスのように小さいスクリーンを有するデバイスであり、プライマリデバイスで楽しむサービスに関する補助情報を表示するか、あるいはプライマリデバイスの制御を担当する。

セカンダリデバイスは、サービスの受信方法によって２つの異なる動作を遂行する。この動作は、セカンダリデバイスがＷｅｂサーバから直接サービスを受信する場合に遂行される動作と、セカンダリデバイスがＷｅｂサーバから直接サービスを受信されない場合に遂行される動作に区分できる。

図７を参照すると、Ｗｅｂサーバから直接サービスを受信する場合、セカンダリデバイスは、ステップ７１０で、ＷｅｂサーバからＨＴＭＬで書き込まれたマークアップ文書を受信する。セカンダリデバイスは、マークアップ文書を受信した後、ステップ７１２で接続モジュールを通じて、ネットワークにプライマリデバイス(又は第１のデバイス)が接続されるか否かを判定する。

セカンダリデバイスは、ステップ７１２でプライマリデバイスがネットワークに接続されないと判定される場合、単独でサービスを処理できないため、ステップ７１４で、プライマリデバイスがネットワークに接続されるまで待機する。

一方、セカンダリデバイスがマークアップ文書を受信する時点で、プライマリデバイスがネットワークに接続され、あるいは新たにネットワークに接続されると判定される場合、セカンダリデバイスは、ステップ７１６で、接続モジュールを通じて‘ｍｕｌｔｉｐｌｅ’イベントを生成する。ステップ７１８において、セカンダリデバイスは、シーンレイアウト情報から‘ｍｕｌｔｉｐｌｅ’に対応する情報を読み取り、読み取った情報のうちｄｉｖＬｏｃａｔｉｏｎのｐｌｕｎｇｅＯｕｔ値が設定されている領域に関する情報を解釈してそのスクリーンに表示する。

その後、Ｗｅｂサーバからサービスを直接受信できない場合、セカンダリデバイスは、プライマリデバイスから自身に対応する領域情報を受信し、受信した情報を解釈してスクリーンに表示する。このセカンダリデバイスの動作は、図６のステップ６３２及びステップ６３４に示した。

図６を更に参照して、セカンダリデバイスにより遂行されるステップ６３２及びステップ６３４について付加的に説明する。ステップ６３２において、セカンダリデバイスは、プライマリデバイスから伝送された領域情報を受信する。ステップ６３４において、セカンダリデバイスは、受信した領域情報に基づいてスクリーンを表示する。

図８及び図９は、本発明の実施形態によるプライマリデバイスとセカンダリデバイスを構成するモジュール間の接続関係を示す。より詳細には、図８は、本発明の実施形態によるプライマリデバイスを構成するモジュール構造を示し、図９は、本発明の実施形態によるセカンダリデバイスを構成するモジュール構造を示す。

図８を参照すると、ブラウザ８００は、フロントエンド８１０、ブラウザコア８２０、ＤＯＭツリー８３０、イベントハンドラ８４０、接続モジュール８５０、及びプロトコルハンドラ８６０を含む。図９を参照すると、ブラウザ９００は、フロントエンド９１０、ブラウザコア９２０、ＤＯＭツリー９３０、イベントハンドラ９４０、接続モジュール９５０、及びプロトコルハンドラ９６０を含む。図８及び図９で、プライマリデバイスとセカンダリデバイスは、プライマリデバイスを構成するモジュールのうち接続モジュール８５０及びセカンダリデバイスを構成するモジュールのうち接続モジュール９５０により相互に接続されることがわかる。言い換えれば、プライマリデバイスとセカンダリデバイスは、これら接続モジュールによりネットワークを介して接続される。特に、プライマリデバイスの接続モジュール８５０とセカンダリデバイスの接続モジュール９５０は、プライマリデバイスとセカンダリデバイスとの間の情報交換を遂行し、そのデバイスのイベントを生成する。

図８及び図９に示すプライマリデバイスとセカンダリデバイスのモジュール構造が図４に関連して説明したモジュール構造と同一であることが理解できる。

以下、プライマリデバイスがシーンレイアウト情報を処理する方法が実際のマークアップを参照して説明される。

下記の＜表６＞は、一つのマークアップが２個のビュー要素を含む一例を示す。

＜表６＞において、それぞれのビュー要素は、ｖｉｅｗｔｙｐｅ属性により区分される。ｖｉｅｗｔｙｐｅ属性の値が‘ｄｅｆａｕｌｔ’として設定されるビューは、ネットワーク上に一つのデバイスが存在する場合のためのシーンレイアウト情報である。ｖｉｅｗｔｙｐｅ属性の値が‘ｍｕｌｔｉｐｌｅ’であるビューは、ネットワーク上に複数のデバイスが存在する場合のためのシーンレイアウト情報である。

ネットワーク上に一つのデバイスが存在する場合、上位ブロックのシーンレイアウト情報は、＜表６＞に適用できる。上位ブロックに存在し、マークアップに対応するシーンレイアウト情報は、一つの領域情報を有する。したがって、一つの領域は、プライマリデバイスのスクリーンに表示される。

しかしながら、ネットワークに少なくとも一つのセカンダリデバイスが追加される場合、接続モジュールは、‘ｍｕｌｔｉｐｌｅ’イベントを生成する。‘ｍｕｌｔｉｐｌｅ’イベントの生成により、下位ブロックのシーンレイアウト情報は、＜表６＞に適用される。下位ブロックに存在し、マークアップに対応するシーンレイアウト情報は、２個の領域情報を有する。２個の領域情報において、ｉｄ＝‘ｄｉｖＬ２’により区分されるｄｉｖＬｏｃａｔｉｏｎのｐｌｕｎｇＯｕｔ属性は、‘ｃｏｍｐｌｅｍｅｎｔａｒｙ’として指定されることによって、この領域情報は、プライマリデバイスで実際に表示されない。すなわち、領域１情報は、プライマリデバイスのみに表示され、セカンダリデバイスは、領域２情報を受信して表示する。

図５Ｂでシーンレイアウト情報が別のマークアップで構成される場合、＜表６＞のビュー要素は、別のマークアップに記述される。ビュー要素を処理する各デバイスは、シーン構成情報を記述するマークアップを受信して同時に処理する。同一の情報は、サービス提供の便宜のために別のマークアップで分離及び記述される。したがって、このデバイスにより処理するプロセスには差がないので、この処理プロセスは、別に記述されない。

提案された実施形態によるマークアップを構成する例は、図１０、図１１、及び図１２に示す。

図１０は、本発明の実施形態によるマークアップを構成する手順を示す。

図１０を参照すると、一部領域は、プライマリデバイスとセカンダリデバイスにより共有され得る。図１０の左側では、ネットワークに接続されるプライマリデバイス１０１０は、領域１及び領域２を表示できる。例えば、図１０の左側では、セカンダリデバイス１０２０は、ネットワークに接続されていない。

セカンダリデバイス１０４０がネットワークに接続される場合、図１０の右側に示すように、プライマリデバイス１０３０は、領域１及び領域２も表示され、プライマリデバイス１０３０に表示される領域１及び領域２のうち領域２は、新たに接続されたセカンダリデバイス１０４０に表示される。

図１０により説明された実施形態は、以下の＜表７＞のように、コードで表示することができる。

一方、シーンレイアウト情報は、別のマークアップで構成される場合、図１０により示した実施形態は、以下の＜表８＞のようにコードで表示される。

＜表８＞に示すように、シーンレイアウト情報は、別途のファイルで記述され、マークアップのコンテンツに差がない。＜表８＞において、第１のボックスと第２のボックスは、異なるファイルに対応する。例えば、第１のボックスは、ファイル名“Ｓｃｅａｎｅ．ｘｍｌ”を有するファイルに対応し、第２のボックスはファイル名“Ｍａｉｎ．ｈｔｍｌ”を有するファイルに対応する。

図１１は、本発明の実施形態によるマークアップを構成する手順を示す。

図１１を参照すると、セカンダリデバイスが接続される場合、プライマリデバイスに表示される特定の領域情報は、セカンダリデバイスに移動することができる。図１１の左側では、ネットワークに接続されるプライマリデバイス１１１０は、領域１及び領域２を表示する。例えば、図１１の左側では、セカンダリデバイス１１２０は、ネットワークに接続されていない。

セカンダリデバイス１１４０がネットワークに接続される場合、図１１の右側に示すように、プライマリデバイス１１３０は、領域１を表示し、プライマリデバイス１０３０により表示される領域２は、新しく接続されるセカンダリデバイス１１４０に表示される。

図１１により示す実施形態は、以下の＜表９＞のようにコードで表示することができる。

図１２は、本発明の実施形態によるマークアップを構成する手順を示す。

図１２を参照すると、新たな領域は、プライマリデバイスに表示される領域と関係なく新たに接続されるセカンダリデバイスに表示される。図１２の左側では、ネットワークに接続されるプライマリデバイス１２１０は、領域１及び領域２を表示することができる。例えば、図１２の左側では、セカンダリデバイス１２２０は、ネットワークに接続されない。

セカンダリデバイス１２４０がネットワークに接続される場合、図１２の右側に示すように、プライマリデバイス１２３０は、領域１及び領域２を表示する。新たに接続されたセカンダリデバイス１２４０は、プライマリデバイス１２３０に表示される領域１及び領域２に関係ない新たな追加情報(例えば、領域３情報)を表示する。

図１２により説明する実施形態は、次の＜表１０＞のようにコードで表示することができる。

図１３は、本発明の実施形態により領域情報を受信する手順を示す。

図１３を参照すると、最初の一つの領域情報領域１が表示されるが、受信された新たな領域情報が追加で表示され得る。このために、マークアップは、受信される空いた空間に関する情報を含むように構成され、新たな領域情報が受信された後に全体的なシーン構成が破れることを防止することができる。

図１３により説明される実施形態は、以下の＜表１１＞のようにコードで表示され得る。

図１１、図１２、及び図１３に対して、シーン構成情報を別のファイルとして提供する例は具体的に説明されない。これら例は、＜表８＞に示した方法を参照して十分に説明可能である。

図１４は、本発明の実施形態により、マルチスクリーンに基づいてマルチメディアサービスを提供するサーバの構成を示す。図１４ではサーバを構成する構成要素のうち本発明の実施形態のために必要な構成要素を示すことに留意すべきである。

図１４を参照すると、マークアップ生成部１４１０は、マルチスクリーンに基づいてマルチメディアサービスのための少なくとも一つのマークアップファイルを生成する。このマークアップファイルは、図５Ａ又は図５Ｂに示した構造を有する。

例えば、マークアップ生成部１４１０は、シーンレイアウト情報とシーン構成情報を含む一つのマークアップファイルを生成し、あるいはシーンレイアウト情報を含む一つのマークアップファイルとシーン構成情報を含む他の一つのマークアップファイルを生成することができる。

シーンレイアウト情報は、一つのマルチメディアデバイスに関するシーンレイアウト情報と、複数のマルチメディアデバイスに関するシーンレイアウト情報を含む。一つのマルチメディアデバイスに関するシーンレイアウト情報は、メインマルチメディアデバイスに関するものである。複数のマルチメディアデバイスに関するシーンレイアウト情報は、メインマルチメディアデバイス(すなわち、プライマリデバイス)と少なくとも一つのサブマルチメディアデバイス(すなわち、セカンダリデバイス)に関するものである。

一つのマルチメディアデバイスに関するシーンレイアウト情報は、ビュータイプ‘ｄｅｆａｕｌｔ’と位置情報を含む。ビュータイプ‘ｄｅｆａｕｌｔ’は、シーンレイアウト情報が一つのマルチメディアデバイスに関することを示す値である。位置情報は、一つのマルチメディアデバイスのスクリーンにマルチメディアサービスのための少なくとも一つのシーンを位置させるために使用される情報である。

複数のマルチメディアデバイスに関するシーンレイアウト情報は、ビュータイプ‘ｍｕｌｔｉｐｌｅ’、位置情報、及びプランジアウト(plunge-out)情報を含む。

ビュータイプ‘ｍｕｌｔｉｐｌｅ’は、シーンレイアウト情報が複数のマルチメディアデバイスに関することを示す値である。位置情報は、複数のマルチメディアデバイスの各々に対して、マルチメディアサービスのための少なくとも一つのシーンをスクリーンに配置するために使用される情報である。プランジアウト情報は、複数のマルチメディアデバイスによる少なくとも一つのシーンを共有する方法を定義する。プランジアウト情報は、サブマルチメディアデバイスに関する位置情報に含まれることができる。

ビュータイプの一例は、＜表４＞で定義され、プランジアウト情報の一例は＜表５＞でに定義される。

送信部１４２０は、マークアップ生成部１４１０により生成される少なくとも一つのマークアップファイルを伝送する。送信部１４２０により伝送される少なくとも一つのマークアップファイルは、メインマルチメディアデバイスまたはメインマルチメディアデバイス及び少なくとも一つのサブマルチメディアデバイスに提供され得る。

送信部１４２０により伝送される少なくとも一つのマークアップファイルを受信してマルチメディアデバイスをサポートするメインマルチメディアデバイス及び少なくとも一つのサブマルチメディアデバイスの構造及び動作について、上記した。

以上、本発明を具体的な実施形態に関して図示及び説明したが、添付した特許請求の範囲により規定されるような本発明の精神及び範囲を外れることなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。

２１０ Ｗｅｂサーバ
２２０ 第１のデバイス
２３０ 第２のデバイス
３１０ Ｗｅｂサーバ
３２０ 第１のデバイス
３３０ 第２のデバイス
４００ ブラウザ
４１０ フロントエンド
４２０ ブラウザコア
４３０ ＤＯＭツリー
４４０ イベントハンドラ
４５０ 接続モジュール
４６０ プロトコルハンドラ
５００ マークアップファイル
５１０ シーンレイアウト情報
５２０ シーン構成情報
５２０−１ 領域構成情報
５２０−２ 領域構成情報
５２０−３ 領域構成情報
５５０ マークアップ
５６０ マークアップ
８００ ブラウザ
８１０ フロントエンド
８２０ ブラウザコア
８３０ ＤＯＭツリー
８４０ イベントハンドラ
８５０ 接続モジュール
８６０ プロトコルハンドラ
９００ ブラウザ
９１０ フロントエンド
９２０ ブラウザコア
９３０ ＤＯＭツリー
９４０ イベントハンドラ
９５０ 接続モジュール
９６０ プロトコルハンドラ
１０１０ プライマリデバイス
１０２０ セカンダリデバイス
１０３０ プライマリデバイス
１０４０ セカンダリデバイス
１１１０ プライマリデバイス
１１２０ セカンダリデバイス
１１３０ プライマリデバイス
１１４０ セカンダリデバイス
１２１０ プライマリデバイス
１２２０ セカンダリデバイス
１２３０ プライマリデバイス
１２４０ セカンダリデバイス
１４１０ マークアップ生成部
１４２０ 送信部

Claims (8)

1. サーバでマルチメディアサービスを提供する方法であって、
   マルチスクリーンに基づいて前記マルチメディアサービスをサポートするために少なくともシーンレイアウト情報を含むファイルを生成するステップと、
   前記マルチスクリーンに基づいてマルチメディアサービスをサポートするマルチメディアデバイスに前記ファイルを提供するステップと、を有し、
   前記シーンレイアウト情報は、一つのマルチメディアデバイスに関するシーンレイアウト情報と、複数のマルチメディアデバイスに関するシーンレイアウト情報を含むことを特徴とする方法。
2. 前記一つのマルチメディアデバイスに関するシーンレイアウト情報は、マルチメディアサービスをサポートするメインマルチメディアデバイスに関するものであり、前記複数のマルチメディアデバイスに関するシーンレイアウト情報は、前記マルチスクリーンに基づいてマルチメディアサービスをサポートするメインマルチメディアデバイスと少なくとも一つのサブマルチメディアデバイスに関するものであることを特徴とする請求項１に記載の方法。
3. 前記一つのマルチメディアデバイスに関するシーンレイアウト情報は、一つのマルチメディアデバイスに関するシーンレイアウト情報であることを示すビュータイプと、前記一つのマルチメディアデバイスのスクリーンでマルチメディアサービスのための少なくとも一つのシーンを位置させるために使用される位置情報を含むことを特徴とする請求項２に記載の方法。
4. 前記複数のマルチメディアデバイスに関するシーンレイアウト情報は、複数のマルチメディアデバイスに関するシーンレイアウト情報であることを示すビュータイプと、前記複数のマルチメディアデバイスを構成する一つのメインマルチメディアデバイスと少なくとも一つのサブマルチメディアデバイスのそれぞれのスクリーンにマルチメディアサービスのためのシーンを位置させるために使用される位置情報と、前記少なくとも一つのサブマルチメディアデバイスに提供されるシーンのタイプを定義するプランジアウト情報を含むことを特徴とする請求項３に記載の方法。
5. 前記プランジアウト情報は、前記少なくとも一つのサブマルチメディアデバイスに関する位置情報に含まれることを特徴とする請求項４に記載の方法。
6. 前記プランジアウト情報は、前記シーンがメインマルチメディアデバイスと共有されることを示す‘ｓｈａｒａｂｌｅ’情報、前記シーンがメインマルチメディアデバイスからサブマルチメディアデバイスに移動するシーンであることを示す‘ｄｙｎａｍｉｃ’情報、及び前記シーンが新たに追加されるシーンであることを示す‘ｃｏｍｐｌｅｍｅｎｔａｒｙ’情報のうち少なくとも一つを含むことを特徴とする請求項５に記載の方法。
7. 前記ファイルは、シーン構成情報をさらに含み、前記シーン構成情報は複数の領域構成情報を含むことを特徴とする請求項１に記載の方法。
8. 前記複数の領域構成情報の各々は、メディア構成情報の少なくとも一部分を含み、前記メディア構成情報の少なくとも一部分は、少なくとも一つのビデオ、オーディオ、イメージ、及びテキストを含むことを特徴とする請求項７に記載の方法。

Images