JP5795582B2

JP5795582B2 - 統合ユーザインターフェース生成方法及びそれを行う装置

Info

Publication number: JP5795582B2
Application number: JP2012522767A
Authority: JP
Inventors: パク，キュン−モ; ワン，ソ−ヨン; ソン，ジェ−イェオン
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2009-07-31
Filing date: 2010-07-30
Publication date: 2015-10-14
Anticipated expiration: 2030-07-30
Also published as: CN102576287B; CN102576287A; EP2460065A4; WO2011014040A2; US9658864B2; US20110041078A1; KR20120050986A; WO2011014040A3; JP2013501262A; RU2576498C2; EP2460065A2; RU2012103179A

Description

本発明は、ユーザインターフェースを生成する方法及びそれを行う装置に関し、特に外部の通信エンティティから受信された個々のアプリケーションユーザインターフェースを結合し、１つの統合ユーザインターフェースを生成する方法及びそれを行う装置に関する。

ユーザインターフェースは、ユーザと事物または端末などの間で意思疎通が可能になるように一時的または永久的に情報をやりとりすることを目的で作られた物理的、仮想的媒介体を意味する。また、ユーザインターフェースは、ユーザが端末を操作するための入力と、端末に表示される応答または結果を示す出力とに分類されることができる。

ユーザインターフェースは、端末製造業者により提供され、端末に一度格納されたユーザインターフェースは、再加工したり、修正したりすることができない。しかし、端末で処理することができるデータが多様になり、その量が多くなるにつれて、それを処理するために提供されたユーザインターフェースも多様になっている。言い換えれば、ユーザインターフェースは、単純なイメージやテキストだけを提供する従来のサービス形態から１つのコンテンツとしてテキスト、オーディオ、ビデオ、フォント、イメージ、グラフィックなどのような様々なデータが混合した形態で提供されるリッチメディア（Ｒｉｃｈ−ｍｅｄｉａ）サービス形態に発展している。

前記リッチメディアサービスを提供するための国際標準規格としては、ＢＩＦＳ（ＢＩｎａｒｙＦｏｒｍａｔｆｏｒＳｃｅｎｅ）、ＬＡＳｅＲ（Ｌｉｇｈｔ−ｗｅｉｇｈｔＡｐｐｌｉｃａｔｉｏｎＳｃｅｎｅＲｅｐｒｅｓｅｎｔａｔｉｏｎ）などがある。前記ＬＡＳｅＲは、通信及び放送の応用技術が多様なメディア要素を利用して、より効果的な情報伝達を行える方法を提供できるように進化するにつれて、シーン記述（ＳｃｅｎｅＤｅｓｃｒｉｐｔｉｏｎ）、ビデオ（ｖｉｄｅｏ）、オーディオ（ａｕｄｉｏ）、イメージ（ｉｍａｇｅ）、フォント（ｆｏｎｔ）、テキスト（ｔｅｘｔ）、メタデータ（ｍｅｔａ−ｄａｔａ）、スクリプト（ｓｃｒｉｐｔ）などのような多様なマルチメディア要素を利用した自由な表現とユーザとの相互作用を通じてさらに豊かなユーザサービスを提供するために近年開発された国際標準規格である。また、通信技術の発展に伴い、端末間にデータが自由に送受信され、端末は、外部端末を制御し、多様な機能を行うことができるようになってきている。

しかし、端末が外部端末と連動して多様な機能を行うことができるにもかかわらず、端末に表示されるユーザインターフェースは、端末の製造社で設定されたユーザインターフェースだけが提供される。したがって、端末毎に固定されているユーザインターフェースの代わりに、端末と連動する他の端末まで統合的に制御することができるユーザインターフェースが必要となってきている。

前述のような問題点を解決するために、本発明は、ユーザインターフェース表示方法及びそれを行う装置を提案する。

上記目的を達成するために、本発明の実施形態によるユーザインターフェース表示方法は、少なくとも２つのユーザインターフェース提供装置の各々から前記ユーザインターフェース提供装置を制御するための少なくとも１つのアプリケーションユーザインターフェースを提供される過程と；あらかじめ設定された連結関係リストに基づき、前記提供された少なくとも１つのアプリケーションユーザインターフェースが連結可能か判断する過程と；前記提供された少なくとも１つのアプリケーションユーザインターフェースが連結可能な場合、前記提供されたアプリケーションユーザインターフェースを１つの画面に表示する統合ユーザインターフェースに結合する過程と；前記統合ユーザインターフェースを表示する過程とを含む。前記統合ユーザインターフェースに結合する過程は、前記少なくとも２つのユーザインターフェース提供装置の各々から提供された前記アプリケーションユーザインターフェースから、前記アプリケーションユーザインターフェースを表現するためのグラフィックオブジェクト関連情報、マッピングされたアプリケーションプログラム関連情報及び前記アプリケーションユーザインターフェースＩＤ関連情報のうち、少なくとも１つを含む特性情報を抽出する過程と；前記抽出された特性情報と前記あらかじめ設定された連結関係リストに基づき、前記統合ユーザインターフェースを生成する過程と；をさらに含む。

また、本発明の実施形態によるユーザインターフェース表示装置は、少なくとも２つのユーザインターフェース提供装置と接続され、前記ユーザインターフェース提供装置の各々から前記ユーザインターフェース提供装置を制御するための少なくとも１つのアプリケーションユーザインターフェースを受信する通信部と；あらかじめ設定された連結関係リストに基づき、前記提供された少なくとも１つのアプリケーションユーザインターフェースが連結可能か判断し、前記提供された少なくとも１つのアプリケーションユーザインターフェースが連結可能な場合、前記ユーザインターフェース提供装置の各々から提供されたアプリケーションユーザインターフェースを１つの画面に表示する統合ユーザインターフェースに結合する制御部と；前記統合ユーザインターフェースを表示する表示部と；により構成される。前記制御部は、前記少なくとも２つのユーザインターフェース提供装置の各々から提供された前記アプリケーションユーザインターフェースから、前記アプリケーションユーザインターフェースを表現するためのグラフィックオブジェクト関連情報、マッピングされたアプリケーションプログラム関連情報及び前記アプリケーションユーザインターフェースＩＤ関連情報のうち、少なくとも１つを含む特性情報を抽出し、前記抽出された特性情報と前記あらかじめ設定された連結関係リストに基づき、前記統合ユーザインターフェースを生成する。

本発明によれば、互いに連動された端末に表示されるユーザインターフェースを１つのユーザインターフェースに統合的に表示することができる。また、端末に表示されたユーザインターフェースが外部端末から伝送されるユーザインターフェースと結合することによって、流動的に変更されることも可能となる。このようにユーザインターフェースが流動的に変更されることによって、ユーザは、多数個の端末毎の実行可能な機能を容易に確認することができる。また、統合されたユーザインターフェースを通じて各端末に別々に格納されたデータまたは機能の活用性を高めることができるという効果がある。

本発明の実施形態における統合ユーザインターフェースを生成する装置と個別のユーザインターフェースを提供する装置間の信号フローを示す図である。本発明の実施形態における統合ＵＩ表示装置の構成を示す図である。本発明の実施形態における統合ＵＩ表示画面を例示した画面例示図である。本発明の実施形態における統合ＵＩを生成する方法を示すフローチャートである。

‘装置’とは、外部装置と有線または無線で接続され、多様なデータを伝送するか、受信して処理することができる端末を意味する。例えば、装置は、携帯端末、ノートパソコン、オーディオ、テレビと家電製品、セットトップボックス、ネットワークを介してサービスを提供するサーバーなどを指す。また、装置は、特定機能を実行するために選択されるアプリケーションユーザインターフェースを表示することができる。以降の説明では、装置を、統合ユーザインターフェース表示装置、ＵＩ提供装置に区分して説明する。

‘統合ユーザインターフェース表示装置（以下では、統合ＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）表示装置という）’とは、有線または無線で連動された少なくとも２つの装置から提供される少なくとも１つのアプリケーションユーザインターフェースを１つのユーザインターフェースに結合して表示する装置を意味する。ここで、統合ユーザインターフェース表示装置は、多数個のアプリケーションＵＩを管理することができるＵＩ管理エンジンまたはウィジェットマネージャーの役目をすることができる。

‘ユーザインターフェース提供装置（以下では、ＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）提供装置という）’とは、有線または無線で外部装置と連動することができる装置であり、自分が表示しているアプリケーションユーザインターフェースに関する情報を統合ＵＩ表示装置に提供する装置を意味する。

‘アプリケーションユーザインターフェース（以下では、アプリケーションＵＩという）’とは、装置において実行できる機能をボタン、アイコン、アニメーション、ベクターグラフィックのような視覚的イメージと多重視覚／聴覚／触覚要素で表現するユーザインターフェースである。また、アプリケーションＵＩは、アプリケーションプログラムの実行、削除、追加、変換機能が含まれた動作的な要素を含む。ここで、アプリケーションＵＩ毎に機能を実行するためのアプリケーションプログラムがマッピングされる。したがって、アプリケーションＵＩが選択されれば、選択されたアプリケーションＵＩとマッピングされたアプリケーションプログラムが実行されるとよい。アプリケーションＵＩとしては、ウィジェットが代表的な例である。例えば、携帯端末でのウィジェットは、ユーザがよく使用する機能を集めてアイコンで表示した形態である。携帯端末のウィジェットとして、気象を表示する気象ウィジェット、写真のようなイメージデータを確認することができるイメージ確認ウィジェット、地下鉄路線図表示を選択することができる地下鉄路線表示ウィジェットなどが使用されるとよい。もし、ユーザが気象ウィジェットを選択すれば、携帯端末は、格納された気象に関連したコンテンツを表示するとよい。

‘コンテンツ’とは、アプリケーションＵＩが選択された時に実行される機能によって表示されるデータを意味する。例えば、携帯端末での表示可能なコンテンツとして、電話番号のような接続データ、写真のようなイメージデータ、文字メッセージで送受信される文字データなどが使用されるとよい。

‘機能’とは、装置で実行されるすべての処理を意味する。例えば、携帯端末での実行可能な機能は、通話機能、データ表示機能などであるとよい。

‘ユーザインターフェース（以下ではＵＩ）’とは、アプリケーションＵＩを表示することができ、アプリケーションＵＩを通じて選択されるコンテンツを表示する画面を意味する。

以下、本発明による好ましい実施形態を添付の図面を参照して詳細に説明する。下記の説明では、本発明による動作を理解するのに必要な部分だけが説明され、その他の部分の説明は、本発明の要旨を不明瞭にしないように省略されていることに留意すべきである。

図１は、本発明の実施形態における統合ユーザインターフェースを生成する装置と個別のユーザインターフェースを提供する装置間の信号フローを示す図である。

図１を参照すれば、少なくとも２つの装置から受信されたアプリケーションＵＩが結合された統合ＵＩを表示することができる統合ＵＩ表示装置１０が、統合ＵＩ表示装置１０にアプリケーションＵＩを提供する第１ＵＩ提供装置２０及び第２ＵＩ提供装置３０と有線・無線ネットワークによって接続されている。

まず、統合ＵＩ表示装置１０は、ステップ１１０で、ユーザの選択によって統合ＵＩ表示モードを開始する。統合ＵＩは、少なくとも２つのＵＩ提供装置を制御するためのＵＩ提供装置それぞれのアプリケーションＵＩを結合し、１つの画面に表示されたユーザインターフェースを意味する。

また、統合ＵＩ表示装置１０は、ステップ１１５〜ステップ１２０で、有線または無線で接続された第１ＵＩ提供装置２０及び第２ＵＩ提供装置３０を検索する。次に、統合ＵＩ表示装置１０は、ステップ１２５〜ステップ１３０で、第１ＵＩ提供装置２０から提供される第１アプリケーションＵＩ及び第２ＵＩ提供装置３０から提供される第２アプリケーションＵＩを受信する。この際、第１ＵＩ提供装置２０は、第１アプリケーションＵＩを構成する特性情報を、第２ＵＩ提供装置３０は、第２アプリケーションＵＩを構成する特性情報を、それぞれ、統合ＵＩ表示装置１０に伝送する。特性情報は、アプリケーションＵＩを構成するメディア及びグラフィックオブジェクトに該当する情報であり、宣言的方法で表現するエレメント（ｅｌｅｍｅｎｔ）と各エレメントの属性（ａｔｔｒｉｂｕｔｅ）、スクリプト、マッピングされた応用プログラムに関する情報などを含む。

統合ＵＩ表示装置１０は、第１ＵＩ提供装置２０及び第２ＵＩ提供装置３０から伝送された特性情報を復号（ｄｅｃｏｄｉｎｇ）した後、デコーディングされた特性情報を利用して第１アプリケーションＵＩ及び第２アプリケーションＵＩを表現するためのグラフィックオブジェクト及びマッピングされたアプリケーションプログラムを確認する。具体的に、第１ＵＩ提供装置２０及び第２ＵＩ提供装置３０から伝送された特性情報は、次の表１のような構造で表されるとよい。

表１において、〈ｍｗ：ｍｅｓｓａｇｅＯｕｔ〉は、当該アプリケーションで出力することができるインターフェースであることを示し、当該インターフェースの名称であるｎａｍｅ属性を有している。下位インターフェースは、出力因子である〈ｍｗ：ｏｕｔｐｕｔ〉と入力因子である〈ｍｗ：ｉｎｐｕｔ〉で表現され、各々入出力因子は、ｎａｍｅとその属性を示すｓｃｒｉｐｔＰａｒａｍＴｙｐｅを有している。

次に、統合ＵＩ表示装置１０は、ステップ１４０で、確認された特性情報を利用して第１アプリケーションＵＩ及び第２アプリケーションＵＩを統合ＵＩに結合する。さらに詳細に説明すれば、統合ＵＩ表示装置１０は、各ＵＩ提供装置から提供されたアプリケーションＵＩの特性情報を抽出する。この際、抽出される特性情報には、第１ＵＩ提供装置及び第２ＵＩ提供装置のそれぞれから提供されるアプリケーションＵＩを構成するモジュールのサイズ、色相を示すＧＵＩ（ＧｒａｈｐｉｃＵＩ）情報とモジュールの機能を構成するインターフェースの名称及び属性情報などがある。このように抽出された特性情報は、プレゼンテーションエンジンや、外部とのコミュニケーションを担当する別途のモジュール、ＵＩを管理する管理エンジン、アプリケーションプログラミングインターフェース、システムライブラリの一時的なメモリー、又は統合ＵＩ装置のそれらの等価物でハンドリングすることができる。ここで、ＵＩ管理エンジンは、ユーザインターフェースマネージャーあるいはウィジェットマネージャーと称され、リッチメディアエンジン機能が拡張された形態を有するとよい。ここで、リッチメディアエンジンは、既存のオーディオとビデオにグラフィックやフラッシュ技術などが適用された躍動的な情報を双方向に提供することができるメディアエンジンを意味する。また、ＵＩ管理エンジンは、リッチメディアエンジンに含まれるか、リッチメディアエンジンを含む別途の機能モジュールであってもよく、リッチメディアエンジンとは完全に別個で構成された別途のモジュールであってもよい。

統合ＵＩ表示装置１０は、あらかじめ設定された各装置間の連結関係を確認し、第１アプリケーションＵＩ及び第２アプリケーションＵＩ毎に抽出された特性情報を利用して統合ＵＩを生成することができる。言い換えれば、統合ＵＩ表示装置１０は、各アプリケーションのＩＤとカテゴリーなどを利用して各ＵＩ提供装置から提供されたアプリケーションＵＩのうち互いに連結可能なアプリケーションＵＩを抽出する。

統合ＵＩ表示装置１０は、抽出されたアプリケーションＵＩを結合し、統合ＵＩを生成する。統合ＵＩは、第１ＵＩ提供装置２０及び第２ＵＩ提供装置３０毎に提供される機能を制御するアプリケーションＵＩを含む。したがって、第１アプリケーションＵＩ及び第２アプリケーションＵＩを統合ＵＩに結合する時、統合ＵＩ表示装置１０は、第１アプリケーションＵＩ及び第２アプリケーションＵＩ毎に抽出された特性情報を、統合ＵＩに表示されるアプリケーションＵＩ毎にマッピングする。

また、統合ＵＩ表示装置１０は、ステップ１５０で、各々のＵＩ提供装置のアプリケーションＵＩが結合された統合ＵＩを表示する。この際、統合ＵＩ表示装置１０は、統合ＵＩに表示される各々のＵＩ提供装置のアプリケーションＵＩの位置、形状などを再構成することができ、各アプリケーションＵＩを管理し、制御することができる。

統合ＵＩに含まれた第１アプリケーションＵＩ及び第２アプリケーションＵＩが選択されれば、統合ＵＩ表示装置１０は、ステップ１５５及びステップ１６０で、選択された第１アプリケーションＵＩに該当する機能実行を制御する機能実行信号及び第２アプリケーションＵＩに該当する機能実行を制御する機能実行信号を各々第１ＵＩ提供装置２０及び第２ＵＩ提供装置３０に伝送する。各装置に機能実行信号が受信されれば、第１ＵＩ提供装置２０及び第２ＵＩ提供装置３０は、ステップ１７０で当該機能を実行する。

以上では、各ＵＩ提供装置から提供された少なくとも１つのアプリケーションＵＩを統合ＵＩに結合して表示する方法を、各々の装置に送受信される信号のフローによって説明した。次に、統合ＵＩを結合して表示する統合ＵＩ表示装置１０及び当該装置でアプリケーションＵＩを統合ＵＩに結合する方法について図２〜図４を参照しながら説明する。

図２は、本発明の実施形態における統合ＵＩ表示装置の構成を示す図である。

図２を参照すれば、統合ＵＩ表示装置１０は、通信部２１０、入力部２２０、制御部２３０、制御部２３０に含まれた関係確認部２４０、統合ＵＩ結合部２５０、表示部２６０を含む。

通信部２１０は、制御部２３０の制御の下に有線または無線で少なくとも１つの外部装置と接続され、接続された少なくとも２つの外部装置とデータを送受信することができる。特に、通信部２１０は、アプリケーションＵＩを提供する少なくとも１つのＵＩ提供装置から少なくとも１つのアプリケーションＵＩに対する特性情報が含まれた信号（以下、アプリケーションＵＩ信号という）を受信する。また、通信部２１０は、受信されたアプリケーションＵＩ信号を制御部２３０に伝送する。また、通信部２１０は、制御部２３０の制御の下にユーザにより選択されたアプリケーションＵＩに該当する機能を行うための機能実行信号を当該ＵＩ提供装置に伝送することができる。

入力部２２０は、ユーザから入力される数字及び文字情報、各種機能の設定及び装置が実行する機能を制御するためにユーザから入力される信号を制御部２３０に伝達する。入力部２２０は、タッチセンサーを通じて感知されるタッチを通じて信号を伝達するタッチスクリーンまたは物理的なキーで構成されるキーパッドまたは無線で接続されるリモートコントローラーなどを含むことができる。ここで、入力部２２０は、統合ＵＩでユーザによって選択されるアプリケーションＵＩに対する入力信号を制御部２３０に伝送する。

制御部２３０は、統合ＵＩ表示装置１０を構成するすべての構成の状態及び動作を制御する。制御部２３０は、有線または無線で接続された各ＵＩ提供装置から伝送される少なくとも１つのアプリケーションＵＩを統合ＵＩに結合することができる。さらに詳しく説明すれば、互いに異なるＵＩ提供装置から提供される少なくとも１つのアプリケーションＵＩを統合ＵＩに結合し、１つの画面に表示することができる統合ＵＩ表示モードが選択されれば、制御部２３０は、通信部２１０を制御し、接続された少なくとも１つのＵＩ提供装置を検索する。また、制御部２３０は、検索された各ＵＩ提供装置から提供される少なくとも１つのアプリケーションＵＩ信号を、通信部２１０を通じて受信する。

制御部２３０は、受信されたアプリケーションＵＩ信号をアプリケーションＵＩ特性情報にデコーディングする。次に、制御部２３０は、デコーディングされたアプリケーションＵＩの特性情報を利用して、各ＵＩ提供装置から受信されたアプリケーションＵＩを統合ＵＩに結合する。また、制御部２３０は、結合された統合ＵＩを表示部２６０に表示させる。統合ＵＩは、特定機能実行を制御するためのアプリケーションＵＩを含む。入力部２２０を通じて統合ＵＩに含まれたアプリケーションＵＩのうち１つが選択されれば、制御部２３０は、通信部２１０を制御し、選択されたアプリケーションＵＩに該当する機能が行われるように機能実行信号を各ＵＩ提供装置に伝送する。

統合ＵＩを表示するために、制御部２３０は、各々のアプリケーションＵＩの特性情報を抽出する。ここで、特性情報は、アプリケーションＵＩを表示するためのグラフィックオブジェクト、マッピングされたアプリケーションプログラムに関する情報、属性情報などを意味する。また、制御部２３０は、抽出された各々のアプリケーションＵＩの特性情報を通じて各々のＵＩ提供装置の連結関係を確認し、確認された連結関係によってアプリケーションＵＩを統合する。このために、制御部２３０は、関係確認部２４０及び統合ＵＩ結合部２５０を含むとよい。

関係確認部２４０は、アプリケーションＵＩを提供するＵＩ提供装置間の連結関係を確認することができる。関係確認部２４０がＵＩ提供装置間の連結関係を確認する方法は、次の通りである。

第一に、関係確認部２４０があらかじめ格納された連結関係リストを確認し、アプリケーションＵＩ関係を確認する方法である。このために、統合ＵＩ提供装置１０に連結関係リストがあらかじめ格納されなければならない。連結関係リストは、装置を製造する製造業者によりあらかじめ格納されてもよく、サービス事業者のようにアプリケーションＵＩを提供するＵＩ提供者により格納されてもよい。

統合ＵＩ表示装置１０は、連結関係検索を通じてＵＩ提供装置間の連結関係リストを管理することができ、下記の表２のように定義されたインターフェースを通じて、当該ＵＩ提供装置間の連結関係を抽出することができる。ここで、統合ＵＩ表示装置１０は、ウィジェットマネージャー、アプリケーションＵＩは、ウィジェットであると仮定して説明する。

〈ｇｅｔＩｎｔｅｒｆａｃｅＨａｎｄｌｅｒｓＢｙＴｙｐｅ〉メソッドは、ウィジェットがオブジェクトを抽出することができるようにする。このオブジェクトは、所定タイプ（ｔｙｐｅ）のＩｎｔｅｒｆａｃｅＨａｎｄｌｅｒインターフェースを実行しながら結合インターフェースを表現するオブジェクトである。

〈ｏｎＩｎｔｅｒｆａｃｅＢｉｎｄ〉関数は、インターフェースの結合時にウィジェットマネージャーにより呼出される関数に設定される。〈ｏｎＩｎｔｅｒｆａｃｅＵｎｂｉｎｄ〉関数は、インターフェースの結合解除時にウィジェットマネージャーにより呼出される関数に設定される。

〈ｏｎＡｃｔｉｖａｔｉｏｎ〉関数は、コンポーネント（ｃｏｍｐｏｎｅｎｔ）の活性化時または活性化失敗時にウィジェットマネージャーにより呼出される関数に設定される。リターンパラメーター（ｒｅｔｕｒｎｐａｒａｍｅｔｅｒ）は、活性化が成功（ｔｒｕｅ）であるかまたは失敗（ｆａｌｓｅ）であるかを示すＢｏｏｌｅａｎである。

〈ａｃｔｉｖａｔｅＣｏｍｐｏｎｅｎｔＷｉｄｇｅｔ〉メソッドは、コンポーネントウィジェットの活性化を開始するためにウィジェットによって呼出される。

〈ｄｅａｃｔｉｖａｔｅＣｏｍｐｏｎｅｎｔＷｉｄｇｅｔ〉メソッドは、コンポーネントウィジェットの不活性化を開始するためにウィジェットによって呼出される。

ウィジェットマネージャーは、表３に示されたように、ウィジェットの定義されたインターフェースごとに〈ＩｎｔｅｒｆａｃｅＨａｎｄｌｅｒ〉オブジェクトを提供する。

表３で、結合（ｂｏｕｎｄ）ストリングは、〈ＩｎｔｅｒｆａｃｅＨａｎｄｌｅｒ〉オブジェクトに対応する外部装置のアドレス（例えば、ＩＰアドレス、ホスト名など）を示す。

タイプ（ｔｙｐｅ）ストリングは、〈ＩｎｔｅｒｆａｃｅＨａｎｄｌｅｒ〉オブジェクトに対応する外部装置のタイプを示す。

ウィジェット内のスクリプトは、メッセージを対応する外部装置に伝送するために、〈ＩｎｔｅｒｆａｃｅＨａｎｄｌｅｒ〉オブジェクトからインボーク（ｉｎｖｏｋｅ）メソッドを呼び出すことができる。メッセージパラメータは、宣言順に各外部装置のインターフェース宣言（ｄｅｃｌａｒａｔｉｏｎ）を示す。ウィジェットマネージャーは、装置の応答受信時に〈ｃａｌｌＢａｃｋＦｕｎｃｔｉｏｎ〉を開始し、〈ＭｓｇＨａｎｄｌｅｒ〉オブジェクトを提供し、スクリプトがコールバック（ｃａｌｌｂａｃｋ）に多数の呼出を区別できるようにする。

メッセージ受信時にスクリプト関数が呼出される時（すなわち、この関数は、〈ｍｗ：ｍｅｓｓａｇｅＩｎ〉要素のｍｗ：ｉｎｐｕｔＡｃｔｉｏｎ属性に宣言されるから）、スクリプトは発信装置に対し応答する。

〈ｉｎｖｏｋｅＲｅｐｌｙ〉メソッドは、以前メッセージに応答を送るために使用される。このメソッドに対する呼出時に、ウィジェットマネージャーは、外部装置にメッセージを返還することができる。メッセージ出力パラメータは、このメソッドの次の独立変数（ａｒｇｕｍｅｎｔｓ）に順にマッピングされる。

例えば、ウィジェットＡが検索メソッドを定義し、ウィジェットＢが当該サービスを使用しようとすると仮定すれば、ウィジェットマネージャーは、ウィジェットＡとＢが通信可能であるかを確認し、ウィジェットＢの出力をウィジェットＡの入力に連結する。ウィジェットＢにより“検索”メソッドが始まる時、ウィジェットマネージャーは、メッセージをウィジェットＡに伝送する。この際、ウィジェットＡは、“ＳｅａｒｃｈＦｕｎｃｔｉｏｎ”メソッドに呼出を開始する。次に、ウィジェットＡは、検索を行い、〈ＭｓｇＨａｎｄｌｅｒ〉客体と返還を生成して格納する。処理が完了すれば、ウィジェットＡは、〈ＭｓｇＨａｎｄｌｅｒ〉客体とその処理結果を有する〈ｉｎｖｏｋｅＲｅｐｌｙ〉メソッドを呼び出す。このメソッドは、順に応答メッセージを伝送し、このメッセージは、ウィジェットＢと結果（ＵＲＬ値）を有する〈ｍｙＰｒｏｃｅｓｓＳｅａｒｃｈＲｅｓｕｌｔｓ〉メソッドをさらに呼び出す。

ウィジェットＡのリストは、表４に示されたように、“ｅｘａｍｐｌｅ：ｓｅａｒｃｈ：ｉｎｔｅｒｆａｃｅ”タイプのインターフェース内に宣言する。

ウィジェットＢのリストは、表５に示されたように、“ｅｘａｍｐｌｅ：ｓｅａｒｃｈ：ｉｎｔｅｒｆａｃｅ”タイプのインターフェース内に宣言する。

ウィジェットＢで、スクリプトは、表６に示されたように構成される。

ウィジェットＡで、スクリプトは、表７に示されたように構成される。

連結関係リストは、表８または表９のような形態で構成されるとよい。

表８は、第１アプリケーションＵＩと連結されて一緒に表示できる第２アプリケーションＵＩをリスト化した形態である。

表８のように連結関係リストが定義された場合、関係確認部２４０は、第１ＵＩ提供装置２０から受信された第１アプリケーションＵＩと結合できる第２ＵＩ提供装置３０から受信された第２アプリケーションＵＩがどれであるかを判断することができる。例えば、第１アプリケーションＵＩが地図表示機能を行うことができるアプリケーションＵＩの場合、関係確認部２４０は、抽出された第１アプリケーション特性情報を通じて地図アプリケーションＵＩのＩＤであるｗｉｇｅｔ＿Ｈ＿Ｍａｐ０１を確認する。また、関係確認部２４０は、連結関係リストで第１アプリケーションＵＩと統合可能なアプリケーションＵＩのＩＤを確認する。ここで、第１アプリケーションＵＩと統合可能なアプリケーションＵＩのＩＤは、ｗｉｇｅｔ＿Ｈ＿ｗｅａｔｈｅｒ０１．．．ｗｉｇｅｔ＿Ｈ＿ｗｅａｔｈｅｒ０４，ｗｉｇｅｔ＿Ｈ＿ｃａｌ０１，ｗｉｇｅｔ＿Ｈ＿ｃａｌ０２が例示されている。また、関係確認部２４０は、第２ＵＩ提供装置が提供した第２アプリケーションＵＩの特性情報を確認し、連結関係リストに含まれたアプリケーションＵＩのＩＤに該当する第２アプリケーションＵＩだけを抽出する。

表９は、第１アプリケーションＵＩと連結されて一緒に表示できる第２アプリケーションＵＩをグループにリスト化した形態である。

表９のように連結関係リストが定義された場合、関係確認部２４０は、第１アプリケーションＵＩと結合できる第２アプリケーションＵＩをグループに結合して確認することができる。ここで、アプリケーションＵＩグループごとにＩＤが設定され、アプリケーションＵＩグループには、ＵＩ提供装置において表示されることができるすべてのアプリケーションＵＩが含まれる。例えば、携帯端末の場合、アプリケーションＵＩグループとして、ゲームアプリケーションＵＩ、気象アプリケーションＵＩ、カレンダーアプリケーションＵＩ、通話アプリケーションＵＩなどがある。

グルーピングされたアプリケーションＵＩを利用して結合可能なアプリケーションＵＩを確認する方法は、次のように例示して説明することができる。第１アプリケーションＵＩがカレンダー表示機能を行うことができるアプリケーションＵＩの場合、関係確認部２４０は、抽出された第１アプリケーション特性情報を通じてカレンダーアプリケーションＵＩのＩＤであるｗｉｇｅｔ＿Ｓ＿ｃａｌ０１を確認する。また、関係確認部２４０は、連結関係リストで第１アプリケーションＵＩと統合可能なアプリケーションＵＩグループＩＤを確認する。ここで、第１アプリケーションＵＩと統合可能なアプリケーションＵＩグループＩＤは、ｗｉｄｇｅｔ＿Ｇｒｏｕｐ＿Ｓ＿０１が例示されている。また、関係確認部２４０は、第２アプリケーションＵＩの特性情報を確認し、連結関係リストに含まれたアプリケーションＵＩグループＩＤに該当する第２アプリケーションＵＩだけを抽出する。

第二に、関係確認部２４０が、各ＵＩ提供装置からアプリケーションＵＩが提供される度に連結関係リストを生成し、アプリケーションＵＩの間に連結関係を確認することができる。このために、ＵＩ提供装置は、アプリケーションＵＩを統合ＵＩ表示装置１０に伝送する時、結合可能なアプリケーションＵＩに関する情報を特性情報に含ませて伝送する。結合可能なアプリケーションＵＩに関する情報は、アプリケーションＵＩのＩＤが格納されたフィールドにａｇｇｒｅｇａｔａｂｌｅ＝Ｔ／Ｆなどのように作成されるとよい。すると、関係確認部２４０は、特性情報に含まれた結合可能なアプリケーションＵＩ情報を確認し、連結関係リストを生成する。また、関係確認部２４０は、各ＵＩ提供装置から提供されたアプリケーションＵＩの特性情報と生成された連結関係リストを比較し、結合可能なアプリケーションＵＩを確認する。

また、関係確認部２４０は、各ＵＩ提供装置から提供されたアプリケーションＵＩに対して優先順位を設定することができる。このように設定された優先順位を利用して、統合ＵＩ結合部２５０においてアプリケーションＵＩが結合される時、優先順位が高いアプリケーションＵＩは表示され、優先順位が低いアプリケーションＵＩは削除されることができるようになる。アプリケーションＵＩの優先順位は、装置を製造する製造業者によって装置の種類によってあらかじめ設定されてもよく、ユーザの使用頻度によって設定されてもよい。

また、関係確認部２４０により確認された結合可能なアプリケーションＵＩに関する連結関係情報は、リッチメディアデータで構成されてもよい。また、連結関係情報は、別に連結関係データとして格納するか、アプリケーションＵＩの特性情報に含まれていてもよい。

統合ＵＩ結合部２５０は、関係確認部２４０により確認された連結関係情報を利用して各ＵＩ提供装置から提供されたアプリケーションＵＩを統合ＵＩに結合することができる。このために、統合ＵＩ結合部２５０は、結合可能なアプリケーションＵＩの特性情報を確認する。

表１０において、〈ｍｗ：ｉｎｔｅｒｆａｃｅ〉は、特定の通信形式に対するウィジェットの通信能力を示す。また、下位属性として、インターフェースのタイプを示すｔｙｐｅ、インターフェースの結合に成功した時に呼び出すスクリプト関数の名称を示すｍｗ：ｂｉｎｄＡｃｔｉｏｎ／ｍｗ：ｕｎｂｉｎｄＡｃｔｉｏｎ、外部で当該インターフェースを検索可能に表示するｍｗ：ｓｅｒｖｉｃｅＰｒｏｖｉｄｅｒ、当該インターフェースと連結関係を示すｍｗ：ｃｏｎｎｅｃｔＴｏ、当該インターフェースと複数のインターフェースが連結可能であることを示すｍｗ：ｍｕｌｔｉｐｌｅＢｉｎｄｉｎｇｓ、当該インターフェースが活性化される場合、所要のインターフェースであることを示すｍｗ：ｒｅｑｕｉｒｅｄに区分される。

ここで、特性情報は、グラフィックオブジェクトのような表現及び構成上の特性及び統合ＵＩ結合時に、機能が活性化されなければならない条件、移植可能な領域、オブジェクト、属性、部品、機能などに関する情報を含む。このような特性情報は、アプリケーションＵＩそれ自体の中に記述されるか、ｍａｎｉｆｅｓｔに記述されるとよく、別途のファイルまたはデータで構成されてもよい。ここで、統合ＵＩ表示装置１０は、ウィジェットマネージャー、アプリケーションＵＩは、ウィジェットであると仮定して、特性情報をさらに詳しく説明すれば、次の通りである。

このリストのローディング時に、ウィジェットマネージャーは、コンポーネントウィゼッドを実際に活性化せず、ｍｗ：ｓｒｃ属性によって参照されたコンポーネントウィゼッドのリストを抽出するか、〈ｍｗ：ｒｅｑｕｉｒｅｄＩｎｔｅｒｆａｃｅ〉要素によって宣言されたインターフェースに適したウィジェットを発見しようと試みる。もしインターフェースに適したウィジェットがなければ、動作は（特にメインウィジェットのローディングは）、実装固有となる。もし適したウィジェットが発見されれば、このコンポーネントを結合するためのイベントなどは、そのウィジェットの活性化のためのイベントなどがトリガーされた後にトリガーされるものとする。

実際の状況によれば、親（ｐａｒｅｎｔ）がコンポーネントの活性化を要請する前にコンポーネントが既に活性化された場合、例えば、ａｃｔｉｖａｔｅｄＡｃｔｉｏｎメッセージ及びｄｅａｃｔｉｖａｔｅｄＡｃｔｉｏｎメッセージは受信されない。

次の例で、コンポーネントは、テンプレートウィジェットを生成するために使用される。ウィジェットＡは、２つのウィジェットを視覚的にグルーピングすることができるシーン（ｓｃｅｎｅ）を参照する。Ａのリストは、特定ウィジェットまたは一般的なインターフェースを示す２つのコンポーネントＢ、Ｃを使用する。ＢとＣの活性化時に、Ａは、活性化され、そのシーンは、表１１に示されたように、ＢとＣをどのように視覚的にグルーピングするかをウィジェットマネージャーに示すことができる。

また、統合ＵＩ結合部２５０は、抽出されたアプリケーションＵＩ特性情報を利用して統合ＵＩ内にアプリケーションＵＩが表示される位置、アプリケーションＵＩにマッピングされる機能などに関する情報を設定することができる。また、統合ＵＩ結合部２５０は、統合ＵＩに含まれたアプリケーションＵＩの動作手順を、例えば、動作テーブルに設定することができる。

また、各ＵＩ提供装置から提供された少なくとも１つのアプリケーションＵＩが統合ＵＩに結合された時、統合ＵＩ結合部２５０は、アプリケーションＵＩ毎に維持しなければならない特性情報、共有しない特性情報、削除するアプリケーションＵＩ、統合されるアプリケーションＵＩを設定することができる。また、統合ＵＩ結合部２５０は、アプリケーションＵＩを結合する時、優先順位を通じてどのアプリケーションＵＩがメインまたはサブになるかを設定することができる。また、統合ＵＩ結合部２５０は、統合ＵＩに結合された各々のアプリケーションＵＩを提供したＵＩ提供装置に関する情報を、統合してまたは個別に管理する。ＵＩ提供装置に関する情報は、統合ＵＩが解除されるか、さらに統合ＵＩを再設定する時に活用されるとよい。また、ウィジェットマネージャーが独立的なアプリケーションＵＩを統合ＵＩとして管理することも含む。例えば、別途のエアコン装置で提供するアプリケーションＵＩ（Ａ）と気象情報を提供するアプリケーションＵＩ（Ｂ）は、ウィジェットマネージャーにより結合され、統合ＵＩ結合部２５０により結合された独立的なアプリケーションＵＩで機能を実行することができる。このような場合、気象アプリケーションＵＩにおいて特定条件イベントが発生すれば、ウィジェットマネージャーあるいは当該アプリケーションＵＩ（Ｂ）が発行されたイベントがエアコンアプリケーションＡに伝達されるとよい。

次に、制御部２３０は、表示部２６０を制御し、統合ＵＩ結合部２５０を通じて結合された統合ＵＩを表示する。この際、統合ＵＩは、アプリケーションＵＩを提供したＵＩ提供装置毎に実行できる機能に該当するアプリケーションＵＩを表示する。ユーザによりアプリケーションＵＩが選択されれば、制御部２３０は、選択されたアプリケーションＵＩによって提供される機能を確認する。また、制御部２３０は、通信部２１０を制御し、各ＵＩ提供装置に確認された機能が実行されるように機能実行信号を伝送する。

表示部２６０は、統合ＵＩ表示装置１０の全般的な状態及び動作と関連した情報を表示する。ここで、表示部２６０は、制御部２３０の制御の下に少なくとも１つのＵＩ提供装置が提供した少なくとも１つのアプリケーションＵＩが結合されて生成された統合ＵＩを表示する。統合ＵＩが表示される画面について図３を参照して説明する。

図３は、本発明の実施形態における統合ＵＩ表示画面を例示した画面例示図である。

まず、統合ＵＩ表示装置１０は、携帯端末、第１ＵＩ提供装置２０は、プリンター、第２ＵＩ提供装置３０は、カメラと仮定する。

図３を参照すれば、プリンター２０は、プリント機能を行うためのプリントアプリケーションＵＩ３１０と、プリント環境を設定するためのセットアプリケーションＵＩを表示する。また、カメラ３０は、あらかじめ格納されたイメージを表示するためのフォトビューアアプリケーションＵＩ３２０と、選択された写真イメージを拡大して表示する機能を行うための拡大アプリケーションＵＩ３３０を表示する。また、携帯端末１０からアプリケーションＵＩを要請する信号が受信されれば、プリンター２０は、プリントアプリケーションＵＩ３１０とセットアプリケーションＵＩを、カメラ３０は、フォトビューアアプリケーションＵＩ３２０と拡大アプリケーションＵＩ３３０を携帯端末１０に伝送する。

携帯端末１０は、プリンター２０とカメラ３０から受信されたプリントアプリケーションＵＩ３１０、セットアプリケーションＵＩ、フォトビューアアプリケーションＵＩ３２０及び拡大アプリケーションＵＩ３３０の特性情報を抽出する。また、携帯端末１０は、抽出された特性情報で各アプリケーションＵＩのＩＤを通じて連結関係を確認する。ここで、連結関係情報を通じて結合可能なアプリケーションＵＩとして、プリントアプリケーションＵＩ３１０、フォトビューアアプリケーションＵＩ３２０及び拡大アプリケーションＵＩ３３０が存在し、フォトビューアアプリケーションＵＩ３２０の優先順位が１位、プリントアプリケーションＵＩ３１０の優先順位が２位、拡大アプリケーションＵＩ３３０の優先順位が３位に設定されていると仮定する。

プリンター２０及びカメラ３０から受信されたアプリケーションＵＩから抽出された特性情報を利用して携帯端末１０は統合ＵＩを生成する。連結関係情報によれば、プリントアプリケーションＵＩ３１０、フォトビューアアプリケーションＵＩ３２０及び拡大アプリケーションＵＩ３３０が結合可能であり、フォトビューアアプリケーションＵＩ３２０の優先順位が最も高い。したがって、携帯端末１０は、プリントアプリケーションＵＩ３１０、フォトビューアアプリケーションＵＩ３２０及び拡大アプリケーションＵＩ３３０を含む統合ＵＩを生成し、フォトビューアアプリケーションＵＩ３２０を優先的に表示するように設定する。また、携帯端末１０は、生成された統合ＵＩを表示部に表示する。

また、携帯端末１０の表示部に表示された統合ＵＩでアプリケーションＵＩが選択されれば、携帯端末１０は、選択されたアプリケーションＵＩに該当する機能が行われるように機能実行信号を当該ＵＩ提供装置に伝送する。例えば、フォトビューアアプリケーションＵＩ３２０で写真イメージが選択され、プリントアプリケーションＵＩ３１０が選択されたと仮定する。すると、携帯端末１０は、優先順位が高いフォトビューアアプリケーションＵＩ３２０を提供したカメラ３０に選択された写真イメージを要請する機能実行信号を伝送する。また、携帯端末１０は、その次の優先順位であるプリントアプリケーションＵＩ３１０を提供したプリンター２０に選択された写真イメージをプリントするプリント機能実行信号を伝送する。すると、カメラ３０は、要請された写真イメージを携帯端末１０に伝送し、携帯端末１０は、伝送された写真イメージをプリンター２０に伝送する。また、プリンター２０は、受信された写真イメージをプリントする。

ここで、携帯端末１０は、カメラ３０から受信された写真イメージをプリンター２０に伝送すると説明しているが、これに限定されない。カメラ３０からフォトビューアアプリケーションＵＩ３２０で表示される写真データをあらかじめ受信した後、選択される写真データをプリンター２０にすぐ伝送してもよい。または、携帯端末１０は、プリンター２０の識別情報またはＩＰアドレスなどをカメラ３０に伝達すれば、カメラ３０は、受信されたプリント２０の識別情報またはＩＰアドレスなどを利用して選択された写真データをプリント２０に伝送してもよい。

このように各々のＵＩ提供装置から提供されたアプリケーションＵＩを統合ＵＩに結合する方法は、機能及びアプリケーション特性情報の一部分を移動させるのに限定されるものではなく、独自のアプリケーションＵＩで各々のＵＩ提供装置を統合的に管理する方法も含まれる。例えば、第１ＵＩ提供装置２０がエアコン制御のための第１アプリケーションＵＩを提供し、第２ＵＩ提供装置３０が温度計機能を行うための第２アプリケーションＵＩを提供したら、統合ＵＩ表示装置１０は、エアコン制御のための第１アプリケーションＵＩ及び温度計機能のための第２アプリケーションＵＩを結合し、統合ＵＩを生成する。また、温度計機能のための第２アプリケーションＵＩで温度変化が感知されれば、統合ＵＩ表示装置１０は、感知された温度変化を第１ＵＩ提供装置２０に伝送し、エアコンを制御することができる。

また、統合ＵＩ結合方法を通じて各装置のアプリケーションＵＩ使用記録またはデータを共有することができ、統合ＵＩが第３の応用プログラムとして活用されてもよい。例えば、アプリケーションＵＩの使用記録情報／時間またはデータが他のアプリケーションＵＩを通じて活用されてもよい。

以上では、各ＵＩ提供装置から提供されたアプリケーションＵＩを統合ＵＩに結合する装置及び統合ＵＩを表示する画面について説明した。次に、統合ＵＩ表示装置１０において各ＵＩ提供装置から提供されたアプリケーションＵＩを結合して表示する方法について図４を参照して説明する。

図４は、本発明の実施形態における統合ＵＩを生成する方法を示すフローチャートである。

図４を参照すれば、統合ＵＩ表示装置１０は、ステップ４１０において、統合ＵＩ表示モードを開始する。ここで、統合ＵＩ表示モードは、メニューまたは機能キーを通じて選択されて実行されるとよい。または、統合ＵＩ表示装置１０に表示されたアプリケーションＵＩが統合ＵＩに結合可能なアプリケーションＵＩなら、統合ＵＩ表示装置１０は、統合ＵＩに結合可能なアプリケーションＵＩであることを通知する通知窓を表示する。また、ユーザにより統合ＵＩ表示メニューが選択されれば、統合ＵＩ表示装置１０は、統合ＵＩ表示モードを開始してもよい。また、少なくとも１つのＵＩ提供装置からアプリケーションＵＩが伝送されれば、統合ＵＩ表示装置１０は、統合ＵＩ表示モードを選択することができる選択窓を表示し、ユーザによって統合ＵＩ表示が選択されれば、統合ＵＩ表示モードを開始するとよい。

次に、統合ＵＩ表示装置１０は、ステップ４２０において、有線または無線で接続された第１ＵＩ提供装置２０及び第２ＵＩ提供装置３０を検索する。ここで、図示してはいないが、統合ＵＩ表示装置１０は、検索された第１ＵＩ提供装置２０及び第２ＵＩ提供装置３０にアプリケーションＵＩを要請する信号を伝送してもよい。アプリケーションＵＩ要請信号は、現在各々のＵＩ提供装置に表示されたアプリケーションＵＩを要請する信号であってもよく、各々のＵＩ提供装置に格納されたアプリケーションＵＩのうちユーザにより選択されるアプリケーションＵＩを要請する信号であってもよい。

統合ＵＩ表示装置１０は、ステップ４３０において、第１ＵＩ提供装置２０から少なくとも１つの第１アプリケーションＵＩを、第２ＵＩ提供装置３０から少なくとも１つの第２アプリケーションＵＩを受信する。また、統合ＵＩ表示装置１０は、ステップ４４０において、受信された第１アプリケーションＵＩ及び第２アプリケーションＵＩを通じて第１ＵＩ提供装置２０及び第２ＵＩ提供装置３０の連結関係を確認する。さらに詳しく説明すれば、統合ＵＩ表示装置１０は、あらかじめ設定された連結関係リストと第１アプリケーションＵＩ及び第２アプリケーションＵＩの特性情報を比較し、結合可能なアプリケーションＵＩを確認する。また、統合ＵＩ表示装置１０は、各アプリケーションＵＩの優先順位を設定する。また、図示してはいないが、第１アプリケーションＵＩと第２アプリケーションＵＩとの間に連結関係を確認する時、結合可能なアプリケーションＵＩが存在しなければ、統合ＵＩ表示装置１０は、結合可能なアプリケーションＵＩではないことをユーザにポップアップ、通知窓などのような方法で通知することができる。

統合ＵＩ表示装置１０は、ステップ４５０において、確認された連結関係によって第１アプリケーションＵＩ及び第２アプリケーションＵＩを統合ＵＩに結合する。また、統合ＵＩ表示装置１０は、ステップ４６０において、結合された統合ＵＩを表示する。次に、統合ＵＩ表示装置１０は、ステップ４７０において、表示された統合ＵＩで選択されるアプリケーションＵＩに該当する機能が実行されるように機能実行信号を各々のＵＩ提供装置に伝送する。統合ＵＩ表示装置１０は、アプリケーションＵＩの優先順位の順にＵＩ提供装置に機能実行信号を伝送する。すなわちアプリケーションＵＩの優先順位が高いＵＩ提供装置にまず機能実行信号が伝送され、次に、その次の順位に該当するアプリケーションＵＩを提供したＵＩ提供装置に機能実行信号が伝送される。

本発明において統合ＵＩ表示装置１０は、少なくとも１つのＵＩ提供装置から提供されるアプリケーションＵＩを結合して表示するものと説明しているが、これに限定されない。言い換えれば、統合ＵＩ表示装置１０とＵＩ提供装置が別に構成されるものではなく、１つの装置内で行われる機能に該当する多数個のアプリケーションＵＩも結合されて表示されてもよい。例えば、携帯端末の場合、メッセージを送ることができるメッセージ機能に該当するメッセージアプリケーションＵＩと格納された写真を表示することができるイメージ表示機能に該当するイメージ表示アプリケーションＵＩが１つの統合アプリケーションに結合され、１つの画面に表示されてもよい。または、スケジュール管理をすることができるスケジュール管理機能に該当するスケジュール管理アプリケーションＵＩとメモ機能に該当するメモアプリケーションＵＩが１つの統合アプリケーションに結合され、１つの画面に表示されてもよい。

本発明によれば、互いに連動された端末に表示されるユーザインターフェースを１つの端末に統合的に表示することができる。また、端末に表示されたユーザインターフェースが外部端末から伝送されるユーザインターフェースと結合することによって、流動的に変更することができる。このようにユーザインターフェースが流動的に変更されることによって、ユーザは、多数個の端末毎に実行される機能を容易に確認することができる。また、統合されたユーザインターフェースを通じて各端末に格納されたデータまたは実行できる機能の活用性を高めることができるという効果がある。

以上では、本明細書と図面に開示された本発明の実施形態は、本発明の記述内容を容易に説明し、本発明の理解を助けるために特定の実施形態を提示したものに過ぎないものであり、本発明の範囲を限定しようとするものではない。ここで開示された実施形態以外にも、本発明の技術的思想に基づく変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者に自明であろう。

Claims

特定機能を行うための少なくとも１つのアプリケーションユーザインターフェースが含まれるユーザインターフェースを表示する装置のユーザインターフェース表示方法において、
少なくとも２つのユーザインターフェース提供装置の各々から前記ユーザインターフェース提供装置を制御するための少なくとも１つのアプリケーションユーザインターフェースが提供される過程と；
あらかじめ設定された連結関係リストに基づき、前記提供された少なくとも１つのアプリケーションユーザインターフェースが連結可能か判断する過程と；
前記提供された少なくとも１つのアプリケーションユーザインターフェースが連結可能な場合、前記提供されたアプリケーションユーザインターフェースを１つの画面に表示する統合ユーザインターフェースに結合する過程と；
前記統合ユーザインターフェースを表示する過程と、を含み、
前記統合ユーザインターフェースに結合する過程は、
前記少なくとも２つのユーザインターフェース提供装置の各々から提供された前記アプリケーションユーザインターフェースから、前記アプリケーションユーザインターフェースを表現するためのグラフィックオブジェクト関連情報、マッピングされたアプリケーションプログラム関連情報及び前記アプリケーションユーザインターフェースＩＤ関連情報のうち、少なくとも１つを含む特性情報を抽出する過程と；
前記抽出された特性情報と前記あらかじめ設定された連結関係リストに基づき、前記統合ユーザインターフェースを生成する過程と；
さらに含み、
前記統合ユーザインターフェースを生成する過程は、
前記抽出された特性情報と前記あらかじめ設定された連結関係リストとを比較し、結合可能なアプリケーションユーザインターフェースを確認する過程と；
前記確認された結果によって前記統合ユーザインターフェースを生成する過程と；をさらに含むことを特徴とするユーザインターフェース表示方法。
前記統合ユーザインターフェースに含まれたアプリケーションユーザインターフェースが選択されれば、前記選択されたアプリケーションユーザインターフェースに該当する機能を実行するように制御する機能実行信号を、前記少なくとも２つのユーザインターフェース提供装置に伝送する過程をさらに含むことを特徴とする請求項１に記載のユーザインターフェース表示方法。
少なくとも２つのユーザインターフェース提供装置と接続され、前記ユーザインターフェース提供装置の各々から前記ユーザインターフェース提供装置を制御するための少なくとも１つのアプリケーションユーザインターフェースを受信する通信部と；
あらかじめ設定された連結関係リストに基づき、前記提供された少なくとも１つのアプリケーションユーザインターフェースが連結可能か判断し、前記提供された少なくとも１つのアプリケーションユーザインターフェースが連結可能な場合、前記ユーザインターフェース提供装置の各々から提供されたアプリケーションユーザインターフェースを１つの画面に表示する統合ユーザインターフェースに結合する制御部と；
前記統合ユーザインターフェースを表示する表示部と；で構成され、
前記制御部は、
前記少なくとも２つのユーザインターフェース提供装置の各々から提供された前記アプリケーションユーザインターフェースから、前記アプリケーションユーザインターフェースを表現するためのグラフィックオブジェクト関連情報、マッピングされたアプリケーションプログラム関連情報及び前記アプリケーションユーザインターフェースＩＤ関連情報のうち、少なくとも１つを含む特性情報を抽出し、前記抽出された特性情報と前記あらかじめ設定された連結関係リストとを比較し、結合可能なアプリケーションユーザインターフェースを確認し、前記抽出された特性情報と前記あらかじめ設定された連結関係リストに基づき、前記統合ユーザインターフェースを生成することを特徴とするユーザインターフェース表示装置。
前記制御部は、
前記統合ユーザインターフェースに含まれたアプリケーションユーザインターフェースが選択されれば、前記通信部を制御し、前記選択されたアプリケーションユーザインターフェースに該当する機能を実行するように制御する機能実行信号を、前記少なくとも２つのユーザインターフェース提供装置に伝送することを特徴とする請求項３に記載のユーザインターフェース表示装置。