JP5113294B2 - マルチメディアシステムにおけるユーザインターフェースサービスを提供する装置及び方法 - Google Patents

Description

本発明は、多様な形態の通信装置をサポートするための適応的なユーザインターフェースサービス提供装置及び方法に関するものである。

最近、ネットワーク技術及びマルチメディア技術の急速な発達に伴い、多様な種類のマルチメディア装置が開発され、このようなマルチメディア装置の間の併合化（Convergence）は加速化されている。

例えば、ディジタルＴＶ、ホームシアター、コンピュータ装置、ビデオ／オーディオ装置などの各種マルチメディア装置のように、互いに異なる種類の入力装置から多様な出力装置を搭載したマルチメディア装置がネットワーク環境を通じてマルチメディアデータを送受信するか、併合されたマルチメディアサービスの提供のためにマルチメディア装置の間に相互動作を制御することが頻繁に発生している。

従来、異なる物理的な空間からのメディア装置の遠隔制御、例えば、事務室コンピュータから家庭のＴＶ制御のような遠隔ユーザインターフェース（User Interface；以下、‘ＵＩ’と称する）を送受信することによって実施される。ＵＩサーバが遠隔制御のために、ＵＩデータをＵＩクライアントに提供し、ＵＩクライアントは提供されたＵＩデータに基づきＵＩサーバを制御するようになる。例えば、コンピュータ（ＰＣ）でのリモートアクセスまたは制御がこれと類似なサービスということができる。

本発明の目的は、ユーザインターフェース（ＵＩ）環境に適したＵＩデータを生成する装置及び方法を提供することにある。

本発明の他の目的は、自身のＵＩ環境に適したＵＩデータを選択的に抽出してディスプレイするユーザインターフェースサービス装置及び方法を提供することにある。

本発明の更に他の目的は、マルチメディア装置の制御のために遠隔のＵＩサーバからＵＩクライアントに提供するＵＩデータを適応的に処理するＵＩ装置及び方法を提供することにある。

本発明の更なる他の目的は、マルチメディア装置の制御のためにＵＩクライアントに提供するＵＩデータを自身のＵＩ環境に従って新しく構成するＵＩ装置及び方法を提供することにある。

本発明の更に他の目的は、他のＵＩクライアントのＵＩデータを自身のＵＩデータと統合して新たなＵＩデータを構成するＵＩ装置及び方法を提供することにある。

本発明に従うマルチメディアシステムにおけるユーザインターフェース（ＵＩ）サービスを提供する方法であって、ＵＩサーバからＵＩデータを受信する過程と、ＵＩクライアントからの入力に対応するオブジェクト単位で構造化されたＵＩデータを抽出する過程と、前記抽出されたＵＩデータにディスプレイする装置のＵＩ環境を反映して適応的なＵＩデータを生成する過程と、前記生成された適応的なＵＩデータを前記装置の画面を通じてディスプレイする過程と、を含むことを特徴とする。

また、本発明に従ってユーザインターフェース（ＵＩ）サービスを提供する装置は、ＵＩデータを提供するＵＩサーバと、ＵＩクライアントからの入力に対応するオブジェクト単位で構造化されたＵＩデータを抽出し、前記抽出されたＵＩデータにディスプレイする装置のＵＩ環境を反映して適応的なＵＩデータを生成し、前記生成された適応的なＵＩデータを、画面を通じてディスプレイする前記装置と、を含むことを特徴とする。

また、本発明に従うユーザインターフェース（ＵＩ）装置であって、インターネット網と接続されたネットワークサーバまたはＵＩサーバから受信されたＵＩデータをオブジェクト単位で管理する少なくとも１つのウィジェットと、前記ユーザのキー入力を受信するＵＩクライアントの機能性を考慮して前記少なくとも１つのウィジェットをオブジェクト単位で選択して実行するように制御するウィジェットマネージャーと、を含むことを特徴とする。

本発明によれば、ＵＩサービスをサポートする装置が遠隔のＵＩサーバから自身の装置（一例として、ＵＩクライアントが搭載される通信機器）の特性を考慮したＵＩデータを受信し、前記受信されたＵＩデータを選択及び統合により自身に合うように適応的に変更して生成及び表現することができる。

したがって、本発明は多モードウィジェット（Multimodal Widget）機能を提供し、多モードウィジェットを用いてユーザ自身に熟練したＵＩ環境を提供する長所がある。また、本発明はＵＩサービスをサポートする装置が自身の環境（入力装置の種類、入力装置のバージョン、入力インターフェース等）及び特性を考慮して、自身に適合化されたＵＩデータを生成して表現できるので、ユーザの使用満足度を高めることができる。

本発明が適用されるＵＩサービスの基本概念を示す流れ図である。 本発明の実施形態に従うＵＩサービスモデルを示す流れ図である。 本発明の他の実施形態に従うＵＩサービスモデルを示す流れ図である。 本発明の実施形態に従うＵＩ装置のブロック図である。 本発明に従うＵＩ装置、ＵＩサーバ、及びマルチメディア装置を含むＵＩサービスシステムの一例示図である。

以下、本発明に従う好ましい実施形態を添付の図面を参照しつつ詳細に説明する。また、下記の説明では具体的な特定の事項が表れているが、これは本発明のより全般的な理解を助けるために提供されたものであり、このような特定の事項がなしでも本発明が実施できることは、本技術分野で通常の知識を有する者には明らかである。そして、本発明を説明するに当たって、関連した公知機能あるいは構成に対する具体的な説明が本発明の要旨を曖昧にすることができると判断される場合、その詳細な説明は省略する。

まず、本発明は適応的なＵＩデータをサポートするＵＩサービス装置及び方法を提案するものであって、特に、各種マルチメディア装置の制御のためのＵＩクライアントで使われるＵＩデータを、ＩＰネットワークと接続された外部ネットワークのＵＩサーバ、マルチメディア装置、またはマルチメディア装置が接続されたホームネットワークのホームサーバから提供を受けて、ＵＩ環境に適合するように新しく構成できるＵＩ装置及び方法を提案したものである。

本発明で、ＵＩシステムはＵＩサーバ、マルチメディア装置、またはホームサーバから提供されるＵＩデータを、ユーザの要求に従って受信し、廃棄するＵＩ装置を提供し、前記ＵＩ装置が必要とするＵＩデータの検索及び複数のＵＩデータの統合により新たなＵＩデータの生成と関連した各種の制御を実行することを提供する。

ここで、前記ＵＩ装置に備えられるＵＩクライアントは、マルチメディア装置の動作制御のためのキーパッドが備えられたリモートコントローラ、タッチスクリーン、またはキーパッドなどの入力手段が備えられており、外部装置と通信が可能な各種端末機などにプログラムまたはチップ形態で搭載可能である。また、本明細書で、前記ＵＩクライアントは広い意味で前記ＵＩ装置と均等物として理解できる。

まず、ユーザインターフェース（ＵＩ）は、ユーザにマルチメディア装置の制御のための情報を伝達するように使われる視覚及び／または聴覚要素のセットを意味し、ＵＩデータは前記ＵＩを構成するデータを意味する。ＵＩには、アニメーション、ベクタグラフィックス、そして視覚／聴覚複合的な要素が提供されうる。また、ＵＩイベントは、前記ＵＩクライアントで認識できるタッチスクリーンのタッチ及びキーパッドのボタン入力、またはリモートコントローラを通じたキー入力のようなＵＩクライアントとユーザとの間の相互作用を意味する。

ウィジェット（Widget）は、マルチメディア装置またはＵＩ装置を通じて表示されるウィンドウ、テキストボックス、天気要素、仮想額縁のようなＵＩの要素を含む。また、ウィジェットはガジェット（Gadget）とも呼ばれ、マルチメディア装置またはＵＩ装置の表示画面でユーザの選択によって定まる個所に配置できる。

本発明の実施形態において、ＵＩクライアントによりＵＩデータを検索／選択／統合する方法は、２つの方法に大別される。

第１の方法は、ＵＩサーバがマルチメディア装置に提供する初期のＵＩデータを確認した後、自身のＵＩ環境に合うようにマルチメディア装置に予め備えられた他のＵＩデータを検索するか、またはＵＩサーバを介して検索されたＵＩデータとマルチメディア装置に備えられたＵＩデータとを併合して新たなＵＩデータを生成するものである。

そして、第２の方法は、ＵＩサーバが提供するＵＩデータを多様なＵＩ環境を考慮してレイヤ化し、ウィジェットの構成要素及び速い適応化に必要とする基本モジュールと拡張モジュールとに区分して、ＵＩデータ検索／受信時に要求される手続き、計算量、及びメッセージの複雑度を減少させるものである。

本発明のＵＩ環境は、リモートコントローラ、キーパッド、またはタッチスクリーンを備えた端末機など、ＵＩクライアントが搭載されるＵＩ装置の種類と、ユーザのＵＩ使用パターン／履歴、年齢、性別、職業、嗜好などのユーザ特性情報のうち、少なくとも１つを含む意味として理解することにする。

図１は、本発明の実施形態に従うＵＩサービス方法の基本概念を示す流れ図である。

図１で、ＵＩクライアント１０は、遠隔のＵＩサーバ２０からＵＩデータを受信して表示し及びＵＩを使用する通信装置である。また、ＵＩデータはＵＩサーバ２０からマルチメディア装置（図示せず）を介してＵＩクライアント１０に提供できる。

図１のステップ１０１で、ＵＩサーバ２０はＵＩデータをＵＩクライアントに転送する。前記ＵＩサーバ２０は、ＵＩデータを広告及び放送することができ、また前記ＵＩクライアント１０に提供されたＵＩデータを遠隔でアップデートすることができる。ここで、前記ＵＩサーバ２０は、ＵＩデータの転送時、一般的なダウンロード方式またはストリーミング方式を利用することができる。

ＵＩサーバ２０がＵＩクライアント１０に提供するＵＩデータは、例えば、ＭＰＥＧ（Moving Picture Experts Group）規格に従って、マルチメディアデータのフォーマットで符号化できる。また、前記ＵＩデータはよく知られたＭＰＥＧのシーン記述方法を用いてマルチメディアデータのフォーマットで符号化されたデータで提供できる。この場合、前記ＵＩデータは動的なＵＩの構成に関する情報を含む。ここで、前記ＭＰＥＧ規格はビデオ及びオーディオを圧縮符号化する方法の国際的な規格であって、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−７のような（これに限定されるのではない）多様なバージョンの規格が存在し、前記ＵＩサーバ２０は、例えばＭＰＥＧ規格を用いてＵＩデータを符号化して転送する。

一方、最近、大部分のマルチメディア装置は圧縮された動画を再生できるＭＰＥＧデコーダを備えている。したがって、ＭＰＥＧ規格に基づいてＵＩデータを符号化して転送すれば、大部分のマルチメディア装置はＵＩの表現のための別途のブラウザなしにＵＩを表現できるようになる。

このような環境のために、ＭＰＥＧ規格ではＩＳＯ／ＩＥＣ １４４９６−１１とＩＳＯ／ＩＥＣ １４４９６−２０技術を定義してシーン表現に関連した技術を提供している。ここで、前記ＩＳＯ／ＩＥＣ １４４９６−１１は、ＭＰＥＧ−４ ＢＩＦＳ（Binary Format for Scene）技術を含み、ＩＳＯ／ＩＥＣ １４４９６−２０は、移動端末のためのＬＡＳｅＲ（Lightweight Applications Scene Representation）技術を含む。前記ＢＩＦＳが全てのマルチメディアコンテンツに対するシーン記述（scene description）の規格であれば、前記ＬＡＳｅＲは携帯電話のようにディスプレイのサイズは勿論、ネットワーク帯域幅も小さなマルチメディア端末のシーン記述に対する規格であって、前記ＬＡＳｅＲは移動端末が豊富なマルチメディアサービスが受信できるように設けられるマルチメディアコンテンツ（Content）のフォーマットを含む。

前記ＢＩＦＳまたはＬＡＳｅＲは、オブジェクトベースシステムを対象にし、オブジェクトベース（object-based）映像符号化方式を用いてＵＩデータを符号化することができる。また、前記ＢＩＦＳまたはＬＡＳｅＲは、映像に含まれたオブジェクトの時空間的な配置を表現できるシーン記述に関する情報を含む。したがって、ＵＩデータのオブジェクトをＢＩＦＳまたはＬＡＳｅＲにより符号化される映像オブジェクトと見做して、ＢＩＦＳまたはＬＡＳｅＲのシーン記述を用いて符号化してＵＩオブジェクトの時空間的な配置を表現することができる。また、ＵＩサーバ２０はＭＰＥＧのシーン記述方法を用いてＵＩデータを符号化するに当たって、ＵＩの動的構成に関する情報を含んで符号化できる。

ここで、ＵＩデータのオブジェクトとは、キー入力など、ＵＩクライアントとユーザとの間のインタラクション（interaction）に従って所定のＵＩイベントが発生し、発生したＵＩイベントに基づいて所定の機能を呼出するＵＩの最小単位を意味する。したがって、ＵＩクライアントは、ＵＩデータのオブジェクトをＢＩＦＳまたはＬＡＳｅＲを用いて、ボタン、メニューのような時空間的な配置を表現することができる。

例えば、ＢＩＦＳまたはＬＡＳｅＲのような動画コーデックを用いてＵＩデータを符号化してＵＩに対する映像を含むＭＰＥＧ−ストリームを生成した場合、ＵＩクライアント１０はＢＩＦＳまたはＬＡＳｅＲに従って符号化されたＵＩに対する映像を含むＭＰＥＧ−ストリームを受信し、ＭＰＥＧデコーダで復号化して再生しさえすれば、ＵＩをディスプレイすることができる。したがって、ＭＰＥＧ−ストリームの再生だけでＵＩをディスプレイできるので、マルチメディア装置のようにＭＰＥＧデコーダを保有した多様な装置は、ＵＩサーバ２０が提供するＵＩをディスプレイすることができる。ＵＩクライアント１０もまたＭＰＥＧデコーダを備えた場合、前記と同一な方式によりＵＩサーバ２０が提供するＵＩをディスプレイすることができる。

また、図１を参照して、ＢＩＦＳまたはＬＡＳｅＲのようなオブジェクトベースのシーン記述言語を用いてオブジェクト単位で配置を表現してＵＩを構成すれば、ステップ１０３及びステップ１０５を通じてＵＩデータを受信したＵＩクライアント１０はオブジェクトの選択及び再配置により動的にＵＩ装置の環境を考慮した新たなＵＩを生成し、表現することができる。ステップ１０７では、ＵＩクライアント１０とＵＩサーバ２０との間で、ＵＩベースの各種の遠隔制御が実行される。この際、制御は、実行中のコンテンツに関する各種情報検索またはコンテンツの選択／購買など、マルチメディアコンテンツの利用と関連した各種の制御と、図１に図示してはいないが、ＵＩサーバ２０とＵＩクライアント１０とを媒介するマルチメディア装置に対する動作制御のうち、少なくとも１つを含む。

図２は、本発明の実施形態に従うＵＩサービスモデルを示す流れ図である。図２で、ＵＩサーバ２０から提供を受けたＵＩデータとＵＩクライアント１０、またはマルチメディア装置３０が保有しているＵＩデータとを統合（aggregate）して新たなＵＩ環境が生成される。特に、本発明では説明の容易性のために、一例として検索ウィジェットと関連して特定のＵＩデータを抽出及び統合して新たな検索ＵＩ環境を生成することを説明する。

図２の実施形態において、ＵＩクライアント１０はキーパッドによる遠隔操作を仮定したものであるが、ＵＩクライアント１０はＵＩをディスプレイするための表示手段と、キーパッドまたはタッチスクリーンなどの入力手段が備えられた通信装置または端末機にも適用できる。また、図２で、ＵＩサーバ２０はＩＰネットワークでＵＩサービスのための少なくとも１つのウィジェットを検索して転送できる検索サイトのサーバや、ＵＩサービスを提供する別途のＵＩ転用サーバなどを利用することができる。

図２のステップ２０１で、前記ＵＩサーバ２０はストリーミング方式またはダウンロード方式によりマルチメディア装置３０に検索ウィジェット（search widget）と関連したＵＩデータを転送する。前記ステップ２０１で転送されるＵＩデータは、ＵＩ表現のためのウィジェットを含むことができ、マルチメディア装置３０から転送要求がない場合にも所定の方式に従ってマルチメディア装置３０に転送できる。

ステップ２０３で、マルチメディア装置３０はＵＩサーバ２０から受信された少なくとも１つの検索ＵＩデータをディスプレイする。前記ディスプレイ動作はＵＩデータに対するコンテンツの実行要求時、または実行中にも遂行してもよい。

ステップ２０５で、ディスプレイされるＵＩデータ、即ちウィジェットを確認したユーザは、ＵＩクライアント１０を通じて該当検索ウィジェットをそのまま選択することができ、またはディスプレイされたウィジェットが希望する検索ウィジェットでない場合、他のウィジェットを検索、または他のＵＩデータの統合のためのキーを入力することができる。即ち、ステップ２０５で、ＵＩクライアント１０からマルチメディア装置３０にキーイベントが転送される場合、マルチメディア装置３０はステップ２０７乃至ステップ２１１で内部に備えられたＵＩデータに従うウィジェットを収集してディスプレイすることができる。

より詳しくは、ステップ２０５で、ＵＩクライアント１０からキーイベントを受信したマルチメディア装置３０は、ステップ２０７で受信した検索ウィジェットのＵＩデータ、または自身が所有しているＵＩデータのうち、入力インターフェースと関連したウィジェットであるＵＩデータを発見する。即ち、マルチメディア装置３０は、自身のＵＩ環境として内部に検索ウィジェットを表現するためのＵＩクライアント１０からのキーイベント、即ち入力信号を処理するための入力インターフェースが存在するかを確認する。

ステップ２０９で、マルチメディア装置３０は、入力されるキーイベントを処理するための入力ウィジェットと前記入力されるキーに該当するキー値を生成するための仮想キーボードを通じて統合された検索ウィジェットを生成する。即ち、本発明でマルチメディア装置３０は、前記発見された入力インターフェースと自身のキー入力インターフェースである仮想キーボードのオブジェクトを抽出及び統合して検索ウィジェットを構成する。

ステップ２１１で、マルチメディア装置３０は統合されたウィジェットをディスプレイする。例えば、マルチメディア装置３０は、前記ＵＩクライアント１０の入力信号に従う検索機能のための検索ウィジェット及び前記入力信号を処理するための仮想キーボードを含む統合された検索ウィジェットをディスプレイする。

ステップ２１３で、ユーザのキー入力に従ってＵＩクライアント１０からキーイベントを受信した場合、マルチメディア装置３０は、該当キーイベントを検索ウィジェットに適用する。

より詳しくは、ステップ２１３乃至ステップ２２１で、ユーザのキー入力がある場合、ＵＩクライアント１０、ＵＩサーバ２０、及びマルチメディア装置３０の間に、情報検索、コンテンツ選択／購買／実行などの該当制御動作が実行される。ステップ２１３で、マルチメディア装置３０はＵＩクライアント１０から入力されるキーに対応する信号を受信する。この際、マルチメディア装置３０は備えられた仮想キーボードを通じて前記受信された信号に対応するキー値、即ちＵＩクライアント１０から要請された情報を確認する。そして、ステップ２１５で、マルチメディア装置３０はＵＩクライアント１０からキーイベントの入力が完了することを表す信号を受信する。

ステップ２１７で、マルチメディア装置３０とＵＩサーバ２０との間には前記要請されたキーイベントを処理するためのインタラクションが実行される。即ち、マルチメディア装置３０はＵＩサーバ２０に前記入力信号に対応する情報の検索を問い合わせる。そして、ＵＩクライアント１０のキー入力に対応してマルチメディア装置３０を通じてＵＩサーバ２０による検索が実行される。

ステップ２１９で、マルチメディア装置３０は前記キーイベントに対応する検索されたＵＩデータをＵＩサーバ２０から受信する。この際、前記ＵＩデータは所定の方式に従ってマルチメディア装置３０に転送されることができ、例えば、ＵＩデータはストリーミング方式により転送される。

ステップ２２１で、マルチメディア装置３０は検索ウィジェットの結果をディスプレイする。即ち、マルチメディア装置３０は、ＵＩクライアント１０からのキーイベントに対応した検索の完了したＵＩデータをディスプレイする。

図３は、本発明の他の実施形態に従うＵＩサービスモデルを示す流れ図である。

図３で、マルチメディア装置３０がＵＩサーバ２０から提供を受けたＵＩデータと、ＵＩクライアント１０がＵＩ環境を考慮して入／出力関連ＵＩデータと、を統合して新たなＵＩ環境が生成される。特に、本発明では説明の容易性のために、一例として、検索ウィジェットと関連して特定のＵＩデータを抽出及び統合して新たな検索ＵＩ環境を生成することを説明する。

図３の実施形態で、ＵＩクライアント１０は、タッチスクリーン、キーパッド、及び表示部を備えた通信装置及び端末機であると仮定する。また、図３でマルチメディア装置３０は、例えばホームネットワークに接続され、ホームネットワークを管理するホームサーバと連係してＵＩデータの送受信及びディスプレイすることができ、ホームサーバと連係しないで動作することも可能である。以下の説明では、便宜のために、マルチメディア装置２０がホームサーバと連係しない場合を仮定する。また、図３でＵＩサーバ２０は図２の実施形態と同一なサーバを利用することができる。

図３のステップ３０１で、前記ＵＩサーバ２０はストリーミング方式またはダウンロード方式によりマルチメディア装置３０に検索ウィジェット（search widget）と関連したＵＩデータを転送する。前記ステップ３０１で、マルチメディア装置３０がＵＩサーバ２０から受信したＵＩデータは、検索ウィジェットのための全ての条件を含むことができる。また、検索ウィジェットを表現するための少なくとも１つのＵＩ表現ウィジェットを含むことができ、これはマルチメディア装置３０から転送要求がない場合にも所定の方式によりマルチメディア装置３０に転送できる。

ステップ３０３で、マルチメディア装置３０はＵＩサーバ２０から受信された少なくとも１つの検索ＵＩデータをディスプレイするが、前記ディスプレイ動作は前記ＵＩデータに対するコンテンツの実行要求時、または実行中にもディスプレイできる。

ステップ３０５で、ディスプレイされるＵＩデータ、即ちウィジェットを確認したユーザは該当ウィジェットをそのまま選択することができ、またはディスプレイされたウィジェットが希望するウィジェットでない場合に、他のウィジェット検索またはＵＩデータの統合のためのキーを入力することができる。

ステップ３０５で、ＵＩクライアント１０は装置機能性（UI functionality）またはＵＩ接続性（UI connectivity）を考慮した検索ウィジェットの要求をマルチメディア装置３０に送信する。即ち、該当ＵＩクライアント１０が搭載されている装置からＵＩ環境を考慮した検索ウィジェットの要求がある場合（Request search widget with device functionality；UI connectivity）、ステップ３０７で、マルチメディア装置３０は該当ＵＩクライアント１０のＵＩ接続性、即ちＵＩクライアント１０が搭載される装置のＵＩ機能性（UI functionality）を確認する。

一例として、ステップ３０７において、マルチメディア装置３０は、前記ＵＩクライアント１０がキーパッドを備えた端末機であるか、またはタッチスクリーンを備えた端末機であるか、該当端末機の種類を確認することができる。また、マルチメディア装置３０はＵＩクライアントに搭載されるＵＩ装置の種類と、またはＵＩクライアントユーザのＵＩ使用パターン／履歴、年齢、性別、職業、嗜好などのユーザ特性情報を確認することができる。

したがって、ステップ３０７でマルチメディア装置３０は、ＵＩサーバ２０から受信した検索ウィジェットを表現する少なくとも１つのＵＩデータのうち、前記ＵＩクライアントとのＵＩ接続性を満たすＵＩデータを抽出する。即ち、マルチメディア装置３０は、ＵＩクライアントのＵＩ接続性に基づきウィジェット応用を実行する。ここで、マルチメディア装置３０は、ＵＩ接続性を考慮したＵＩデータのオブジェクトを選択的に抽出及び再配置して、動的に新たなＵＩ環境を生成し、表示することができる。

ＵＩ接続性を満たす特定のＵＩデータは、マルチメディア装置３０がＵＩサーバ２０から受信した検索ウィジェットと関連したＵＩデータ、マルチメディア装置３０が所有しているＵＩデータ、マルチメディア装置３０が必要に応じて前記ＵＩサーバ２０から受信したＵＩデータとマルチメディア装置３０が所有しているＵＩデータとを統合して生成したＵＩデータのうち、ＵＩクライアントの特徴を考慮して抽出された少なくとも１つのＵＩデータオブジェクトを含む。

ステップ３０９で、マルチメディア装置３０は、ＵＩクライアント１０とのＵＩ接続性を満たして抽出された、適合した検索ウィジェットをディスプレイする。また、マルチメディア装置３０は前記適合したウィジェットをディスプレイする時、ＵＩクライアント１０が搭載された端末機の性能や、バインドイベント（bind event）を考慮することができる。ここで、バインドイベントとは、ウィジェットに対して行なうことができる全ての動作（キーボード及びポインタ）と関連した呼出しを含む。

ステップ３１１で、マルチメディア装置３０は前記生成された検索ウィジェットから入力インターフェースウィジェットを分離してＵＩクライアント１０に提供する。即ち、本発明で、ＵＩクライアント１０は、前記マルチメディア装置３０から入力インターフェースウィジェットを受信し、前記マルチメディア装置３０とのインタラクションを通じて、前記検索ウィジェットを実現するように構成されている。

ステップ３１３で、ＵＩクライアント１０は、受信された入力インターフェースウィジェットを、ユーザのキー入力を処理するためのイベント技術（event technology）にマッピングすることで、検索ウィジェットのための検索ウィンドウをＵＩクライアント１０の画面にディスプレイする。この際、前記検索ウィンドウもマルチメディア装置３０に同一方法によりディスプレイ可能である。

ステップ３１３乃至ステップ３１９で、ユーザのキー入力のある場合、ＵＩクライアント１０、ＵＩサーバ２０、及びマルチメディア装置３０の間に、情報検索、コンテンツ選択／購買／実行などの該当制御動作が実行される。

具体的には、ステップ３１５で、ＵＩクライアント１０とマルチメディア装置３０との間には検索および入力ウィジェットのインタラクションが実行される。ＵＩクライアント１０に備えられたキーパットまたはタッチスクリーンを用いて前記ディスプレイされた検索ウィジェットにユーザのキー入力が反映され、マルチメディア装置３０のディスプレイされた検索ウィジェットには前記キー入力が反映された検索ウィジェット画面がディスプレイされる。

ステップ３１７で、マルチメディア装置３０はＵＩサーバ２０に入力されたキーに対応する情報の検索を要求し、ＵＩサーバ２０からの応答として検索された情報を受信する。即ち、ＵＩクライアント１０の検索入力に応答して、マルチメディア装置３０とＵＩサーバ２０の間で検索ウィジェットが実行される。

ステップ３１９で、マルチメディア装置３０はＵＩサーバ２０から受信した検索ＵＩデータをディスプレイする。この際、前記ＵＩデータは所定の方式に従ってマルチメディア装置３０に転送されることができ、本発明の一例で、ＵＩデータはストリーミング方式により転送できる。

図４は、本発明の実施形態に従うＵＩ装置の構成を示すブロック図である。

図４を参照すると、ＵＩ装置は、ウィジェットマネージャー４１０、少なくとも１つのウィジェット（４２０−１、．．．、４２０−Ｎのうちの１つ）４２０、ＭＰＥＧ処理部４３０、ＵＩ処理部４４０、及びメタデータ処理部４５０を含む。

また、前記ＵＩ装置はＵＩサーバから少なくとも１つのＵＩデータを収集する実行装置であって、前記ウィジェットマネージャー４１０を使用して、関連したウィジェットを実行させ、ＵＩサーバを検索し、ＵＩサーバと通信するためのプロトコルモジュールを含む。

前記ウィジェットマネージャー４１０は、持続的な方式により前記少なくとも１つのウィジェット（４２０、４２０−１、．．．、４２０−Ｎのうちの１つ）の実行を制御する構成要素であって、前記ウィジェット４２０の空間的で、かつ時間的に相互作用的な構成と実行を制御することは勿論、ＵＩデータの統合を制御する。前記ウィジェットマネージャー４１０は、複数個のウィジェットを実行させることができる。前記ウィジェットはオブジェクト（object）形態で定義されている。したがって、前記ウィジェットマネージャー４１０は、少なくとも１つのオブジェクトを呼び出して実行することによって、特定のウィジェットをサポートまたはディスプレイすることができる。

一例として、図４で、ウィジェットマネージャー４１０は検索ウィジェットを選択し、実行するように制御する。また、ウィジェットマネージャー４１０は、ＵＩ装置が備えられている通信装置のＵＩ接続性に基づいて入力インターフェースのためのウィジェットを選択的に抽出するか、または実行するかを制御する。即ち、ウィジェットマネージャー４１０はＵＩ環境及びＵＩクライアントが搭載されている通信装置のユーザの特徴を考慮して選択的にウィジェットを実行するように制御する。

前記ＭＰＥＰ処理部４３０は、前述したＭＰＥＧ規格に従ってＵＩデータを圧縮（または、非圧縮）及び符号化（または、復号化）する。本発明の一実施形態で、前記ＭＰＥＰ処理部４３０はＭＰＥＰ規格に従って符号化された受信ＵＩデータを同一な符号化方式を適用して復号化し、復号化されたビデオ、オーディオ、または動画を空間的または時空間的に配置してウィジェット画面を構成するようにする。前記ＭＰＥＰ処理部４３０は、ＵＩ装置が備えられている通信装置で、ウィジェットをディスプレイする必要がない場合、リモートコントローラのような仮想キーボードを選択的に具備してもよい。

前記ＵＩ処理部４４０は、ＵＩデータのソースを管理し、イベントをバインディングし、ＵＩデータの検索結果に従って選択されて抽出されるウィジェットの関連ＵＩデータをウィジェットマネージャー４１０に伝達するＵＩ抽出レイヤ（abstraction layer）４４０ａを含む。さらに、前記ＵＩ処理部４４０は、ＵＩデータを検索するために利用されるＵＩ接続性を確認するＵＩ接続レイヤ（connectivity layer）４４０ｂを含む。

ＵＩ接続レイヤ（connectivity layer）４４０ｂは、ＵＩ抽出レイヤ４４０ａがＵＩ機能性を考慮したウィジェット４２０を抽出するようにＵＩ接続性を提供する。即ち、ＵＩ接続レイヤ（connectivity layer）４４０ｂは、キーイベントを発生させた通信装置のＵＩ環境、即ちＵＩデータを処理する通信装置のＵＩ機能性を確認して、ＵＩ抽出レイヤ４４０ａによりウィジェットマネージャー４１０を通じてウィジェット４２０のうちから前記ＵＩ機能性が考慮された少なくとも１つのＵＩデータオブジェクトのみを抽出するようにする。したがって、ウィジェットマネージャー４１０は、前記ＵＩ抽出レイヤ４４０ａにより抽出されたＵＩデータオブジェクトを選択及び再配置して動的に新たなＵＩを生成し、表現する。

メタデータ処理部４５０は構造化されたＵＩデータを処理するものであって、前記オブジェクトベースに構造化されたウィジェット４２０を管理及び処理する。また、ユーザにより発生したイベントを処理した結果であるＵＩデータをユーザに提供する。

図５は、本発明に従うＵＩ装置、ＵＩサーバ、及びマルチメディア装置を含むＵＩサービスシステムの一例示図である。

図５を参照すると、ＵＩサービスシステムは、ＵＩクライアントが搭載された少なくとも１つのＵＩ装置５１０、ＵＩサーバ５２０、及びマルチメディア装置５３０を含む。例えば、前記ＵＩ装置５１０は、遠隔制御（または、仮想キーボード）５１１及びキーパッド５１３を含む移動端末、またはタッチスクリーン５１５を含む移動端末であってよい。図５のＵＩサービスシステムの動作は、図２または図３の方法により適応的に実行されるので、その詳細な説明は省略する。

本発明の実施形態で、前記ＵＩ装置５１０、ＵＩサーバ５２０、及びマルチメディア装置５３０は、各々ＵＩデータの入／出力インターフェースと関連した部分の認識／分離／併合を容易にするためにオブジェクトの形態で定められている少なくとも１つのウィジェットを使用するマークを通じて決定することができ、データ変更を通じてＵＩデータでの条件を維持することが可能である。この方法により、ＵＩクライアント５１０は複数個の入／出力装置を通じてＵＩサーバ５２０が提供するウィジェット（Widget）を自身に適合するように拡張及び統合できる。

一例として、マルチメディア装置５３０は、ＵＩサーバ５２０から受信した少なくとも１つの検索ＵＩデータをディスプレイする。この際、マルチメディア装置５３０は自身の仮想キーボードであるリモートコントローラ５１１のキー入力を通じて特定のＵＩデータを選択的にディスプレイすることができる。

検索ウィジェットを表現するために、マルチメディア装置５３０を通じて検索ウィンドウがディスプレイされたかどうかを確認されたＵＩクライアント５１０は、ユーザのキー入力に従ってキーパットまたはタッチスクリーンを用いて前記ディスプレイされた検索ウィンドウにユーザのキー入力を反映し、ディスプレイする。

ＵＩクライアント５１０の検索入力に対応してマルチメディア装置５３０を介してＵＩクライアント５１０とＵＩサーバ５２０の間で検索ウィジェットが実行され、検索結果がマルチメディア装置５３０を通じてディスプレイされる。

本発明に従うシステムは、コンピュータで読取可能な記録媒体におけるコンピュータで読取可能なコードとして具現することが可能である。コンピュータで読取可能な記録媒体はコンピュータシステムにより読取可能なデータが格納される全ての種類の記録装置を含む。記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた転送）の形態で具現されるものも含む。また、コンピュータが読取可能な記録媒体は、ネットワークにより連結されたコンピュータシステムに分散されて分散方式によりコンピュータで読取可能なコードが格納され、実行できる。

以上のように、本発明はたとえ限定された実施形態及び図面により説明されたが、本発明が前記の実施形態に限定されるのではなく、これは本発明が属する分野で通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。したがって、本発明の精神は、下記に記載された特許請求範囲のみにより把握されなければならず、これと均等または等価的な変形の全ては本発明精神の範疇に属するものである。

１０ ＵＩクライアント
２０ ＵＩサーバ
３０ マルチメディア装置
４１０ ウィジェットマネージャー
４２０ ウィジェット
４３０ ＭＰＥＧ処理部
４４０ ＵＩ処理部
４５０ メタデータ処理部
５１０ ＵＩ装置
５２０ ＵＩサーバ
５３０ マルチメディア装置

Claims (9)

1. マルチメディア装置、ＵＩサーバ、及びＵＩクライアントを含むマルチメディアシステムにおけるユーザインターフェースサービスを提供する方法であって、
   前記マルチメディア装置が、前記ＵＩサーバからウィジェットを表現するための少なくとも１つのＵＩデータを受信する過程と、
   前記マルチメディア装置が、前記受信された少なくとも１つのＵＩデータを、前記マルチメディア装置のスクリーンにディスプレイする過程と、
   前記マルチメディア装置が、前記ＵＩクライアントからの入力に対応する前記受信された少なくとも１つのＵＩデータ、または内部に格納されたＵＩデータのうちからオブジェクトベース入力インターフェースウィジェットを発見する過程と、
   前記マルチメディア装置が、前記発見された入力インターフェースウィジェットを前記マルチメディア装置で提供される入力インターフェースと総合してウィジェットを生成する過程と、
   前記マルチメディア装置が、前記生成されたウィジェットを前記マルチメディア装置のスクリーンにディスプレイする過程と、
   前記マルチメディア装置が、前記ＵＩクライアントからの検索入力に対応して前記ＵＩサーバで検索を実行する過程と、
   前記マルチメディア装置が、前記検索結果を前記マルチメディア装置のスクリーンにディスプレイする過程と、を含む
   ことを特徴とする、ユーザインターフェースサービスを提供する方法。
2. マルチメディア装置、ＵＩサーバ及びＵＩクライアントを含むマルチメディアシステムにおけるユーザインターフェースサービスを提供する方法であって、
   前記マルチメディア装置が、ＵＩサーバからウィジェットを表現するための少なくとも１つのＵＩデータを受信する過程と、
   前記マルチメディア装置が、前記受信された少なくとも１つのＵＩデータを前記マルチメディア装置のスクリーンにディスプレイする過程と、
   前記マルチメディア装置が、前記ＵＩクライアントから端末の機能に基づいて与えられる新たなウィジェットに対する要請を受信する過程と、
   前記マルチメディア装置が、前記端末の機能を考慮して少なくとも一つのＵＩデータのウィジェットを抽出して、前記受信された少なくとも１つのＵＩデータ、またはマルチメディア装置の内部に格納されたＵＩデータのうちから前記新たなウィジェットを適応的に生成する過程と、
   該当（ｐｒｏｐｅｒ）ウィジェットを前記マルチメディア装置のスクリーンにディスプレイする過程と、
   前記生成されたウィジェットから分離された（ｓｅｐａｒａｔｅｄ）入力インターフェースウィジェットを前記ＵＩクライアントに提供する過程と、を含む
   ことを特徴とする、ユーザインターフェースサービスを提供する方法。
3. 前記入力インターフェースウィジェットを通じて前記ＵＩクライアントからの検索入力を受信する過程と、
   前記受信された検索入力に対応して前記ＵＩサーバと検索を実行する過程と、
   前記検索結果を前記マルチメディア装置のスクリーンにディスプレイする過程と、をさらに含む
   ことを特徴とする請求項２に記載のユーザインターフェースサービスを提供する方法。
4. 前記検索入力を受信する過程は、前記ＵＩクライアントにより、前記マルチメディア装置から提供される入力インターフェースウィジェットをイベント技術にマッピングして生成された、前記入力インターフェースウィジェットがディスプレイされたＵＩクライアントのスクリーンを通じて、前記ＵＩクライアントより検索要請を受信する過程である
   ことを特徴とする請求項３に記載のユーザインターフェースサービスを提供する方法。
5. マルチメディアシステムにおけるユーザインターフェースサービスを提供するシステムであって、
   ＵＩデータを提供するＵＩサーバと、
   ＵＩクライアントと、
   ＵＩサーバからウィジェットを表現するための少なくとも１つのＵＩデータを受信し、前記受信された少なくとも１つのＵＩデータをディスプレイし、前記ＵＩクライアントからの入力に対応する少なくとも１つのＵＩデータまたは内部に格納されたＵＩデータのうちからオブジェクトベース入力インターフェースウィジェットを発見し、前記発見された入力インターフェースウィジェットを入力インターフェースと総合してウィジェットを生成し、前記生成されたウィジェットをディスプレイし、前記ＵＩクライアントからの検索入力に対応して前記ＵＩサーバで検索を実行し、前記検索結果をディスプレイするマルチメディア装置と、を含む
   ことを特徴とするユーザインターフェースサービスを提供するシステム。
6. 前記入力インターフェースは、
   リモートコントローラを含む仮想キーボードを含む
   ことを特徴とする請求項５に記載のユーザインターフェースサービスを提供するシステム。
7. マルチメディアシステムにおけるユーザインターフェースサービスを提供するシステムであって、
   ＵＩデータを提供するＵＩサーバと、
   ＵＩクライアントと、前記ＵＩサーバからウィジェットを表現するための少なくとも１つのＵＩデータを受信し、前記受信された少なくとも１つのＵＩデータをディスプレイし、前記ＵＩクライアントでユーザによって作られるキー入力に従って前記ＵＩクライアントの機能に基盤したウィジェットに対する要請を受信し、前記ＵＩクライアントの機能を考慮して少なくとも一つのＵＩデータウィジェットを抽出して、前記受信された少なくとも１つのＵＩデータまたは前記マルチメディア装置の内部に格納されたＵＩデータのうちから前記新たなウィジェットを適応的に生成し、該当ウィジェットをディスプレイし、前記生成されたウィジェットから分離された入力インターフェースウィジェットを前記ＵＩクライアントに提供するマルチメディア装置と、を含む
   ことを特徴とするユーザインターフェースサービスシステム。
8. 前記マルチメディア装置は、前記入力インターフェースウィジェットを通じて前記ＵＩクライアントからの検索入力を受信し、前記受信された検索入力に対応して前記ＵＩサーバと検索を実行し、前記検索結果をディスプレイする
   ことを特徴とする請求項７に記載のユーザインターフェースサービスシステム。
9. 前記ＵＩクライアントは、前記マルチメディア装置から提供される入力インターフェースウィジェットをイベント技術にマッピングして入力ウィジェットを生成し、前記生成された入力ウィジェットを前記ＵＩクライアントのスクリーンにディスプレイし、前記ＵＩクライアントのスクリーンを通じて入力される検索要請を前記検索入力で前記マルチメディア装置に提供する
   ことを特徴とする請求項８に記載のユーザインターフェースサービスシステム。

Images