JP7123128B2 - インタフェース表示方法及び装置 - Google Patents

Description

［関連技術への相互参照］
本出願は、２０１７年９月７日に中国特許庁に出願された「インタフェース表示方法及び装置」という名称の中国特許出願第２０１７１０８０２０２１．９号に対する優先権を主張し、参照によりその全体が本明細書に組み込まれる。

［技術分野］
本出願は、コンピュータアプリケーション分野に関し、特に、アプリケーションインタフェース表示方法及び装置に関する。

身体上に装着される電子デバイスは、通常、ウェアラブルデバイスと呼ばれる。例えばヘッドマウントウェアラブルデバイス（例えば眼鏡）、手首装着ウェアラブルデバイス（例えば時計又は手首ストラップ）、コンタクトレンズ型ウェアラブルデバイス、リング型ウェアラブルデバイス、靴型ウェアラブルデバイス又は衣服型ウェアラブルデバイスが提供され、ウェアラブルデバイスを身体又は衣服に取り付けるか又は分離することができる。ウェアラブルデバイスは、電子デバイスの携帯性及びアクセス性を向上させるために、身体に装着することが可能にされた（衣服又は眼鏡のような）電子デバイスである。

ヘッドマウントウェアラブルデバイス（例えばＨＤＭ（ヘッドマウントディスプレイ）は、例えば拡張現実（ＡＲ）を提供するために使用されるシースルー（see-through）型画面又は仮想現実（ＶＲ）を提供するために使用されるシークローズ（see-closed）型画面のように、ウェアラブルデバイスにおいて広く開発されている。

半透明レンズ特徴に基づいて、シースルー型ＨＭＤは、実世界ベースの画像と仮想オブジェクトを合成し、組み合わせて、画像に追加の情報を与えてよく、ここで、該追加の情報は、実世界では得ることは難しい。シークローズド型ＨＭＤは、外部から受け取ったコンテンツ（ゲーム、ムービー、ストリーミング又は放送データ）を別個のディスプレイ上に表示して、ユーザがコンテンツに焦点を合わせることを可能にすることができるように、２つのディスプレイを提供してよい。

ユーザがクオリティ・オブ・ライフを要求するので、仮想現実表示技術の開発が社会の焦点となっている。

本出願の実施形態は、インタフェース表示方法及び電子デバイスを提供する。ユーザが、３Ｄディスプレイ電子デバイスを使用することによって携帯電話に接続されているとき、マルチウィンドウ表示が３Ｄディスプレイ電子デバイス上で行われてよい。

第１態様によると、インタフェース表示方法が提供され、第２電子デバイス上に三次元３Ｄインタフェースを表示するために第１電子デバイスによって使用され：第１電子デバイスによって、第２電子デバイスが第１電子デバイスに接続されていることを検出するステップ；第１電子デバイスによって、予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するステップであって、少なくとも１つの表示されるべきウィンドウは、二次元ウィンドウであるステップ；第１電子デバイスによって、予め設定されたウィンドウ数量及び少なくとも１つの取得された表示されるべきウィンドウに基づいて、第２電子デバイスの表示インタフェースを分割するステップ；第１電子デバイスによって、少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップ；及び第１電子デバイスによって、少なくとも１つの変換された表示されるべきウィンドウを第２電子デバイスに送信するステップであって、少なくとも１つの変換された表示されるべきウィンドウは、三次元ウィンドウであるステップ；を含む。

第２電子デバイスに接続された後、第１電子デバイスは、表示用に第２電子デバイスのためのマルチウィンドウ３Ｄウィンドウを提供し、マルチウィンドウユーザインタフェースを提供する。第２電子デバイスがワイド画面３Ｄディスプレイデバイスであるとき、第２電子デバイスのワイド画面が完全に利用される。

第１態様によると、第１態様の第１の可能な実装において、少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップは：少なくとも１つの表示されるべきウィンドウに対して双眼レンダリングを実行して、少なくとも１つの表示されるべきウィンドウにおける左眼画像及び右眼画像を取得するステップを含む。

第１態様又は第１態様の第１の可能な実装によると、第１態様の第２の可能な実装において、第１電子デバイスによって、第２電子デバイスが第１電子デバイスに接続されていることを検出するステップの後、第１電子デバイスによって、予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するステップの前に、方法は：第１電子デバイスによって、３Ｄモードのスイッチがターンオンされたことを検出するステップ；及び第１電子デバイスによって、第２電子デバイスから通知を受け取るステップであって、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用されるステップ；を更に含む。

第１態様又は第１態様の第１の可能な実装によると、第１態様の第３の可能な実装において、第１電子デバイスによって、少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップの後、第１電子デバイスによって、少なくとも１つの変換された表示されるべきウィンドウを第２電子デバイスに送信するステップの前に、方法は：第１電子デバイスによって、３Ｄモードのスイッチがターンオンされたことを検出するステップ；及び第１電子デバイスによって、第２電子デバイスから通知を受け取るステップであって、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用されるステップ；を更に含む。

第３の可能な実装までの第１態様によると、第１態様の第４の可能な実装において、少なくとも１つの表示されるべきウィンドウは、アプリケーションプログラムインタフェース及び／又はデスクトップ画面を含む。

第１態様の第４の可能な実装によると、第１態様の第５の可能な実装において、アプリケーションプログラムインタフェースは、第２電子デバイスが接続されていることを第１電子デバイスが検出したときに取得される、現在のフォアグラウンドアプリケーションのインタフェースとバックグラウンドアプリケーションのインタフェースとを含む。

第１態様の第５の可能な実装によると、第１態様の第６の可能な実装において、方法は、現在のフォアグラウンドアプリケーションのインタフェースをフォーカスウィンドウに設定するステップと、バックグラウンドアプリケーションのインタフェースを可視ウィンドウに設定するステップを更に含む。

第１態様の第６の可能な実装によると、第１態様の第７の可能な実装において、デスクトップ画面は、少なくとも２つのアプリケーションのアイコンを含み、これらのアイコンは、アプリケーションの使用頻度に基づいてハイライトされる。

第７の可能な実装までの第１態様によると、第１態様の第８の可能な実装において、第２電子デバイスはカメラを備え、第１電子デバイスは、カメラによって収集されたコンテンツを受け取り、第１電子デバイスは、第２電子デバイスがカメラによって収集されたコンテンツをリアルタイムで表示するように、カメラによって収集されたコンテンツを第２電子デバイスにリアルタイムで送信する。

第２電子デバイスは、該第２電子デバイスのカメラによって収集されたリアルタイムコンテンツを表示して、ユーザが周囲環境を見るのを助ける。

オプションとして、方法は、第２電子デバイスが第１電子デバイスから切断されていること又は第２電子デバイスが無効にされていることを検出すると、第１電子デバイスによって、フォーカスウィンドウを可視状態に維持するステップと、別の可視ウィンドウを不可視状態に設定するステップと、可視状態としてマークされたウィンドウ上で３Ｄ－２Ｄ切り替えを実行するステップと、第１電子デバイスの画面を使用することによって、変換されたウィンドウを表示するステップを含む。

第２態様によると、第１電子デバイスが提供され、第２電子デバイス上に三次元（３Ｄ）インタフェースを表示するように構成され：第２電子デバイスが当該電子デバイスに接続されていることを検出するように構成される第１検出モジュール；予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するように構成されるウィンドウ取得モジュールであって、少なくとも１つの表示されるべきウィンドウは、二次元ウィンドウである、ウィンドウ取得モジュール；予め設定されたウィンドウ数量及び少なくとも１つの取得された表示されるべきウィンドウに基づいて、第２電子デバイスの表示インタフェースを分割するように構成されるインタフェースレイアウトモジュール；少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するように構成される３Ｄ変換モジュール；及び
少なくとも１つの変換された表示されるべきウィンドウを第２電子デバイスに送信するように構成される送信モジュールであって、少なくとも１つの変換された表示されるべきウィンドウは、３次元ウィンドウである、送信モジュール；を含む。

第２態様の第１の可能な実装において、３Ｄ変換モジュールは、少なくとも１つの表示されるべきウィンドウに対して双眼レンダリングを実行して、少なくとも１つの表示されるべきウィンドウにおける左眼画像及び右眼画像を取得するように構成される。

第２態様又は第２態様の第１の可能な実装によると、第２態様の第２の可能な実装において、第１電子デバイスは、３Ｄモードのスイッチがターンオンされたことを検出し、ウィンドウ取得モジュールをトリガするように構成される第２検出モジュール；又は第２電子デバイスから通知を受け取って、ウィンドウ取得モジュールをトリガするように構成される第３検出モジュールであって、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用される、第３検出モジュールを更に含む。

第２態様又は第２態様の第１の可能な実装によると、第２態様の第３の可能な実装において、第１電子デバイスは、 ３Ｄモードのスイッチがターンオンされたことを検出し、送信モジュールをトリガするように構成される第４検出モジュール；又は第２電子デバイスから通知を受け取って、送信モジュールをトリガするように構成される第５検出モジュールであって、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用される、第５検出モジュール；を更に含む。

第３の可能な実装までの第２態様によると、第２態様の第４の可能な実装において、少なくとも１つの表示されるべきウィンドウは、アプリケーションプログラ・インタフェース及び／又はデスクトップ画面を含む。

第２態様の第４の可能な実装によると、第２態様の第５の可能な実装において、アプリケーションプログラムインタフェースは、第２電子デバイスが接続されていることを第１電子デバイスが検出したときに取得される、第１電子デバイスの現在のフォアグラウンドアプリケーションのインタフェースとバックグラウンドアプリケーションのインタフェースとを含む。

第２態様の第５の可能な実装によると、第２態様の第６の可能な実装において、第１電子デバイスは、現在のフォアグラウンドアプリケーションのインタフェースをフォーカスウィンドウに設定し、バックグラウンドアプリケーションのインタフェースを可視ウィンドウに設定するように構成されたウィンドウステータス調整モジュールを更に含む。

第２態様の第６の可能な実装によると、第２態様の第７の可能な実装において、デスクトップ画面は、少なくとも２つのアプリケーションのアイコンを含み、これらのアイコンは、アプリケーションの使用頻度に基づいてハイライトされる。

第７の可能な実装までの第２態様によると、第２態様の第８の可能な実装において、第２電子デバイスはカメラを含み、第１電子デバイスは、カメラによって収集されたコンテンツを受け取るように構成される受信モジュールを更に備え、送信モジュールは、第２電子デバイスがカメラによって収集されたコンテンツをリアルタイムで表示するように、カメラによって収集されたコンテンツを第２電子デバイスにリアルタイムで送信するように更に構成される。

第３態様によると、電子デバイスが提供され、第２電子デバイス上に三次元（３Ｄ）インタフェースを表示するように構成される。電子デバイスは、周辺インタフェース、プロセッサ及びメモリを含む。メモリはプログラムを記憶するように構成され；プロセッサは、電子デバイスが第８の可能な実装までの第１態様のうちのいずれか１つによる方法を実行するように、メモリ内のプログラムを実行するように構成される。

第４態様によると、コンピュータ読取可能記憶媒体が提供され、命令を含む。命令がコンピュータ上で実行されると、コンピュータは、第８の可能な実装までの第１態様のうちのいずれか１つによる方法を実行することを可能にされる。

第５態様によると、命令を含むコンピュータプログラム製品が提供される。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、第８の可能な実装までの第１態様のうちのいずれか１つによる方法を実行することを可能にされる。

本出願の実施形態における技術的解決策をより明確に説明するために、以下では、実施形態を説明するために必要とされる添付の図面を簡単に説明する。以下の説明における添付図面は、単に本出願のいくつかの実装を示すものにすぎないことは明らかである。

本出願の様々な実装における電子デバイス及びネットワークのブロック図である；

様々な実装における電子デバイスのブロック図である；

様々な実装におけるプログラムモジュールのブロック図である；

様々な実装における電子デバイスの立体図である；

二次元表示及び三次元表示方式の概略図である； 二次元表示及び三次元表示方式の概略図である；

本出願の実施形態による方法の実施形態１のフローチャートである；

本出願の実施形態によるステップ６０２を実装するフローチャートである；

本出願の実施形態によるステップ６０４を実装するフローチャートである；

本出願の実施形態による方法の実施形態２のフローチャートである；

本出願の実施形態による方法の実施形態３のフローチャートである；

本出願の実施形態によるステップ１００３を実装するフローチャートである；

本出願の実施形態による３Ｄモードの表示インタフェースの例１を示す；

本出願の実施形態による３Ｄモードの表示インタフェースの例２を示す；

本出願の実施形態による３Ｄモードの表示インタフェース内でアプリケーションを開く概略図である；

本出願の実施形態による３Ｄモードの表示インタフェースの例３を示す；

本出願の実施形態による３Ｄモードの表示インタフェースの例４を示す； 本出願の実施形態による３Ｄモードの表示インタフェースの例４を示す； 本出願の実施形態による３Ｄモードの表示インタフェースの例４を示す；

本出願の実施形態による電子デバイスの内部構造の概略図である。

当業者は、本出願の原理が、任意の適切に配置された電子デバイスにおいて実装されてよいことを理解するであろう。以下では、本出願の実施形態が添付の図面に関連して説明される。しかしながら、本出願は、本明細書に開示される特定の形態に限定されるよう意図されていないことが理解されるべきである；むしろ、本出願は、本出願の実施態様に対するすべての変更、均等物及び／又は代替物を網羅するものであると理解されるべきである。図面を説明する際に、類似の参照番号を使用して類似の構成要素を示することがある。

本出願において使用されるとき、「有する」、「有してよい」、「含む」又は「含んでよい」という表現は、対応する特徴（例えば数字、機能、動作又は要素（例えば構成要素等））が存在するが、１つ以上の他の特徴は除外されないことを意味する。

本出願において、「Ａ又はＢ」の表現、「Ａ又はＢ」のうちの少なくとも１つ、「Ａ又は／及びＢの１つ以上」は、列挙されるエントリのすべての可能な組合せを含んでよい。例えば「Ａ又はＢ」、「Ａ及びＢのうちの少なくとも１つ」又は「Ａ又はＢのうちの少なくとも１つ」という表現は、（１）少なくとも１つのＡを含むこと、（２）少なくとも１つのＢを含むこと又は（３）少なくとも１つのＡと少なくとも１つのＢの双方を含むこと；のすべてを意味する。

本出願の様々な実装において使用される「第１」、「第２」、「前記第１」又は「前記第２」という表現は、順序及び／又は重要性にかかわらず、様々な構成要素を修正してよく、対応する構成要素は限定されない。例えば第１ユーザ装置と第２ユーザ装置は異なるユーザ装置であるが、それらは双方ともユーザ装置である。例えば本出願の範囲から逸脱することなく、第１要素が第２要素と呼ばれてよく、同様に、第２要素が第１要素と呼ばれてもよい。

ある要素（例えば第１要素）が、別の要素（例えば第２要素）に（動作的又は通信的に）「接続される」又は「結合される」と表現されるとき、その要素は、その別の要素に直接接続又は直接結合されてよく、あるいはその２つの間に任意の他の要素（第３要素等）が挿入されてもよいことが理解されるべきである。対照的に、ある要素（例えば第１要素）が、別の要素（例えば第２要素）に「直接接続される」又は「直接結合される」と説明されるとき、その２つの要素の間には要素（第３要素等）は挿入されないことが理解されるべきである。

本出願において使用される「ように構成される」という表現は、状況に応じて「に適切」、「が可能」、「ように設計される」、「ように適合される」、「に対して作られる」、「できる」又は同様の語と交換されてよい。「ように構成される」という用語は、必ずしもハードウェアにおいて「ように特別に設計される」ことを示唆しない。あるいは、場合によっては、「デバイスが・・ように構成される」という表現は、あるデバイスが、別のデバイス又は構成要素と一緒に「できる」ことを示すことがある。例えばＡ、Ｂ及びＣを実行するように適合される（又は構成される）プロセッサは、対応する動作を実行するようにのみ構成される専用プロセッサ（例えば組み込みプロセッサ）、あるいはストレージデバイスに記憶された１つ以上のソフトウェアプログラムを実行することによって対応する動作を実行するように構成される汎用プロセッサ（例えば中央処理ユニット（ＣＰＵ）又はアプリケーションプロセッサ（ＡＰ））を表してよい。

本出願で使用される用語は、単に特定の実施形態を説明する目的のためのものにすぎず、他の実施形態の範囲を限定するように意図されていない。単数形の表現は、それらが文脈において明示的に異ならない限り、複数形の表現を含んでよい。別段の定義がない限り、本出願において使用されるすべての用語（技術用語及び科学用語を含む）は、本出願の当業者によって一般的に理解されるものと同じ意味を有する。そのような用語（一般に使用される辞書で定義されているもののような）は、関連する技術における文脈の意味と同等の意味を有するものとして解釈されてよく、本出願において明示的に定義されていない限り、それらは、理想的又は拡大解釈された意味を有するものとしては解釈されない。場合によっては、本出願において定義された用語であっても、本出願の実施態様を除外するものとして解釈されるべきではない。

本出願の実装における電子デバイスは、以下のうちの少なくとも１つ、すなわち、インテリジェント電話、タブレット型パーソナルコンピュータ（ＰＣ）、携帯電話、ビデオ電話、電子ブックリーダー、デスクトップＰＣ、ラップトップＰＣ、ノートブックコンピュータ、ワークステーション、サーバ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ポータブル・マルチメディア・プレーヤ（ＰＭＰ）、ＭＰＥＧ－１ オーディオレイヤ－３（ＭＰ３）プレーヤ、モバイル医療デバイス、カメラ又はウェアラブルデバイス、のうちの少なくとも１つを含んでよい。様々な実装において、ウェアラブルデバイスは、以下のうちの少なくとも１つ、すなわち、アクセサリー型ウェアラブルデバイス（時計、リストバンド、ブレスレット、アンクレット、ネックレス、眼鏡、コンタクトレンズ又はヘッドマウントデバイス（ＨＭＤ）等）、ファブリック又は衣類一体型ウェアラブルデバイス（例えば電子衣類）、ウェアオン型（wear-on-type）ウェアラブルデバイス（例えば保護ギア又はタトゥー）又はバイオインプランテーション型（bio-implantation-type）ウェアラブルデバイス（例えばインプラント可能回路）、のうちの少なくとも１つを含んでよい。

いくつかの実装では、電子デバイスは家庭用機器であってよい。家庭用機器は、例えば以下のうちの少なくとも１つ、すなわち、テレビジョンセット、デジタルビデオディスク（ＤＶＤ）プレーヤ、オーディオ装置、冷蔵庫、エアコン、掃除機、ベーキングオーブン、電子レンジ、洗濯機、エアクリーナー、セットトップボックス、家庭用自動制御パネル、セキュリティ制御パネル、ＴＶボックス（例えばＳａｍｓｕｎｇ Ｈｏｍｅ Ｓｙｎｃ（登録商標）、Ａｐｐｌｅ ＴＶ（登録商標）又はＧｏｏｇｌｅ ＴＶ（登録商標））、ゲームコンソール（例えばＸｂｏｘ（登録商標）及びＰｌａｙＳｔａｔｉｏｎ（登録商標））、電子辞書、電子キー、ビデオカメラ又は電子フォトフレーム、のうちの少なくとも１つを含んでよい。

以下の説明において、本出願の様々な実装における電子デバイスは、添付の図面に関連して説明される。本出願において使用されるとき、「ユーザ」という用語は、電子デバイスを使用している人又は電子デバイスを使用しているデバイス（例えば人工知能電子デバイス）を指してよい。

様々な実装においてネットワーク環境１００内に配置される電子デバイス１０１は、図１に関連して説明されることになる。電子デバイス１０１は、バス１１０、プロセッサ１２０、メモリ１３０、入力／出力インタフェース１５０、ディスプレイ１６０及び通信インタフェース１７０を含んでよい。いくつかの実装において、電子デバイス１０１は、前述の要素のうちの少なくとも１つを省略してもよく、あるいは別の要素を更に含んでもよい。

バス１１０は、例えば構成要素１１０～１７０を相互接続し、かつ通信（例えば制御メッセージ及び／又はデータ）を伝達するような回路を含んでよい。

プロセッサ１２０は、１つ以上の中央処理装置（ＣＰＵ）、アプリケーションプロセッサ（ＡＰ）及び／又は通信プロセッサ（ＣＰ）を含んでよい。例えばプロセッサ１２０は、電子デバイス１０１の少なくとも１つの他の構成要素の制御及び／又は通信に関連する動作又はデータ処理を実行してよい。

メモリ１３０は、揮発性メモリ及び／又は不揮発性メモリを含んでもよい。メモリ１３０は、例えば電子デバイス１０１の少なくとも１つの他の構成要素に関連する命令又はデータを記憶してよい。一実装に基づいて、メモリ１３０は、ソフトウェア及び／又はプログラムを記憶してよい。プログラムは、カーネル１４１、ミドルウェア１４３、アプリケーションプログラミングインタフェースＡＰＩ １４５及び／又はアプリケーションプログラム（又は「アプリケーション」）１４７を含んでよい。カーネル１４１、ミドルウェア１４３及びＡＰＩ １４５のうちの少なくともいくつかが、オペレーティングシステム（ＯＳ）と呼ばれてもよい。

カーネル１４１は、例えば他のプログラム（例えばミドルウェア１４３、ＡＰＩ １４５及びアプリケーションプログラム１４７）で実装された動作又は機能を実行するために、システムリソース（例えばバス１１０、プロセッサ１２０及びメモリ１３０）を制御又は管理してよい。加えて、カーネル１４１は、インタフェースを提供してよく、ミドルウェア１４３、ＡＰＩ １４５又はアプリケーションプログラム１４７は、インタフェースを使用してシステムリソースを制御又は管理することによって、電子デバイス１０１の別個の要素にアクセスしてよい。

例えばミドルウェア１４３は、ＡＰＩ １４５又はアプリケーション１４７がカーネル１４１と通信してデータを交換することを可能にするよう、インターミディアリとして使用されてよい。

ミドルウェア１４３は、タスク要求の優先度に基づいて、アプリケーションプログラム１４７から受け取った１つ以上のタスク要求を処理してよい。例えばミドルウェア１４３は、アプリケーションプログラム１４７のうちの少なくとも１つに、電子デバイス１０１を使用するために使用されるシステムリソース（例えばバス１１０、プロセッサ１２０及びメモリ１３０）の優先度を割り当ててよい。例えばミドルウェア１４３は、タスク要求に割り当てられた優先度に基づいて１つ以上のタスク要求を処理することによって、１つ以上のタスク要求についてスケジューリング又はロードバランシングを実行してよい。

ＡＰＩ １４５は、カーネル１４１又はミドルウェア１４３によって提供される機能を制御するためにアプリケーション１４７によって使用されるインタフェースであり、例えばファイル制御、ウィンドウ制御、画像処理又はテキスト制御のための少なくとも１つのインタフェース又は機能（例えば命令）を含んでよい。

入力／出力インタフェース１５０は、例えばユーザ又は別の外部デバイスからの命令又はデータ入力を電子デバイス１０１の別の（他の）要素に転送するインタフェースとして機能してよい。加えて、入力／出力インタフェース１５０は、電子デバイス１０１の別の（他の）要素から受け取った命令又はデータをユーザ又は別の外部デバイスに出力してよい。

ディスプレイ１６０は、例えば液晶ディスプレイ（ＩＸＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、マイクロエレクトロメカニカルシステム（ＭＥＭＳ）ディスプレイ及び電子ペーパーディスプレイを含んでよい。ディスプレイ１６０は、様々なタイプのコンテンツ（例えばテキスト、画像、ビデオ、アイコン又はシンボル）をユーザに表示してよい。ディスプレイ１６０は、タッチスクリーンを含んでよく、電子ペン又はユーザの身体の一部を使用するなどして、タッチ入力、姿勢入力、近接入力又はホバー入力を受け取ってよい。

例えば通信インタフェース１７０は、電子デバイス１０１と外部デバイス（例えば第１外部電子デバイス１０２、第２外部電子デバイス１０４又はサーバ１０６）との間の通信を確立してよい。例えば通信インタフェース１７０は、外部デバイス（例えば第２外部電子デバイス１０４又はサーバ１０６）と通信するために、無線又は有線通信を介してネットワーク１６２に接続されてよい。

無線通信は、セルラー通信プロトコルとして、以下のうちの少なくとも１つ、すなわち、ロングタームエボリューション（ＬＴＥ）、高レベルＬＴＥ（ＬＴＥ－Ａ）、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）、ユニバーサル移動通信システム（ＵＭＴＳ）、無線ブロードバンド（ＷｉＢｒｏ）及びグローバル移動通信システム（ＧＳＭ）等、のうちの少なくとも１つを使用してよい。加えて、無線通信は、例えば短距離通信１６４を含んでよい。短距離通信１６４は、以下のうちの少なくとも１つ、すなわち、例えばＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（ＮＦＣ）及びグローバルナビゲーション衛星システム（ＧＰＳ）、のうちの少なくとも１つを含んでよい。有線通信は、以下のうちの少なくとも１つ、すなわち、例えばユニバーサルシリアルバス（ＵＳＢ）、高精細マルチメディア・インタフェース（ＨＤＭＩ）、レコメンデーション・スタンダード２３２（ＲＳ－２３２）及び基本電話サービス（ＰＯＴＳ）、のうちの少なくとも１つを含んでよい。ネットワーク１６２は、以下ののうちの少なくとも１つ、すなわち、通信ネットワーク（例えばコンピュータネットワーク（ＬＡＮ又はＷＡＮ等））、インターネット及び電話ネットワーク、のうちの少なくとも１つを含んでよい。

第１外部電子デバイス１０２及び第２外部電子デバイス１０４は、電子デバイス１０１と同じタイプのデバイスであっても異なるタイプのデバイスであってもよい。一実装に基づいて、サーバ１０６は、１つ以上のサーバを有するグループを含んでよい。様々な実装において、電子デバイス１０１で実行される動作のすべて又は一部が、別の電子デバイス又は複数の電子デバイス（例えば電子デバイス１０２又は１０４又はサーバ１０６）で実行されてもよい。一実装に基づいて、電子デバイス１０１が機能又はサービスを自動的に又は要求に応答して実行しなければならないとき、電子デバイス１０１は、その機能又はサービスを自律的に又は追加的に実行する代わりに、その機能又はサービスに関連する機能又はサービスの少なくとも一部を実行するよう別のデバイス（例えば電子デバイス１０２又は１０４又はサーバ）に要求してよい。別の電子デバイス（例えば電子デバイス１０２、１０４又はサーバ１０６）は、要求された機能又は別の機能を実行してよく、実行結果を電子デバイス１０１に転送してよい。電子デバイス１０１は、受け取った結果を現在の状況として処理してよく、加えて、その結果を処理し、要求された機能又はサービスを提供する。この目的のために、例えばクラウドコンピューティング、分散コンピューティング又はクライアント－サーバコンピューティング技術が使用されてよい。

電子デバイス１０１は、モーションセンサ１９０を含んでもよい。モーションセンサは、プロセッサ１２０に電気的に接続され、電子デバイス１２０の運動情報を取得する。モーションセンサ１９０は、電子デバイスの直線加速度、回転角加速度又は方向情報を感知し得る、以下のうちの少なくとも１つ、すなわち、直線加速度センサ、ジャイロセンサ及び地磁気センサ、のうちの少なくとも１つを含んでよい。電子デバイス１０１は、センサからの出力値に基づいて、電子デバイス１０１の運動情報を取得し得る。例えば電子デバイス１０１は、直線加速度センサからの出力値に基づいて、電子デバイス１０１の直線加速度を取得し得る。電子デバイス１０１は、ジャイロセンサからの出力値に基づいて、電子デバイス１０１の回転角加速度を取得し得る。電子デバイス１０１は、ジャイロセンサ及び地磁気センサの各々からの出力値に基づいて、電子デバイス１０１の運動方向情報を取得し得る。

本出願の様々な実装において、プロセッサ１２０はディスプレイ１６０に電気的に接続されてもよい。加えて、プロセッサ１２０は、メモリ１３０に電気的に接続されてもよい。メモリ１３０は、取得された運動情報から慣性力成分を除去するために慣性力補正を実行し、慣性力が補正された運動情報に対応する画面を表示するようにプロセッサ１２０に指示する命令を記憶してよい。

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、慣性成分を取得すること、を実行するようプロセッサ１２０に指示するために使用される命令を更に記憶してよい。

本出願の様々な実装において、通信モジュール１７０は、電子デバイスとは物理的に別個の別の電子デバイスから慣性成分を受け取り、慣性成分を感知してもよい。

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、慣性力に対応する慣性加速度及び運動情報に対応する加速度の逆ベクトルを加えることによって補正ベクトルを生成することと；生成された補正ベクトルに対応する画面を表示するようにディスプレイ１６０を制御することと、を実行するようプロセッサ１２０に指示するために使用される命令を更に記憶してよい。

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、ユーザが電子デバイスを動かすときにユーザの少なくとも１つの身体部分から生体測定信号を取得することと；生体測定信号が取得されないとき、取得された運動情報に対応する慣性成分を除去することと、を実行するようプロセッサ１２０に指示するために使用される命令を更に記憶してよい。電子デバイス１０１は、センサを更に含んでもよい。センサは、生体測定信号を取得してよく、プロセッサ１２０は、生体測定信号センサから生体測定信号を取得し得る。

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、運動情報が、予め設定された範囲に含まれるかどうかを判断することと；予め設定された範囲を超える運動情報に対応する慣性成分を除去することと、を実行するようプロセッサ１２０に指示するために使用される命令を更に記憶してよい。

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、電子デバイス１０１の方向情報を取得することと；方向情報が変更されないとき、取得された運動情報に対応する慣性成分を除去することと、を実行するようプロセッサ１２０に指示するために使用される命令を更に記憶してよい。

本出願の様々な実装において、メモリ１３０は、命令が実行されるとき、以下の動作、：すなわち、運動情報の線形成分に対応する慣性力成分を除去すること、を実行するようプロセッサ１２０に指示するための命令を更に記憶してよい。

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、運動情報の回転成分に応じて画面を表示すること、を実行するようプロセッサ１２０に指示する命令を更に記憶してよい。

電子デバイス１０１は、電子デバイスの外部環境の複数の画像をキャプチャし、その複数の画像をプロセッサに出力するカメラモジュール（図示せず）を更に含んでもよい。本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、複数の画像の隣接画像が変更されないとき、取得された運動情報に対応する慣性力成分を除去すること、を実行するようプロセッサ１２０に指示するための命令を更に記憶してよい。

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、複数の画像の隣接画像間の差に基づいて、電子デバイスの運動情報を取得すること、を実行するようプロセッサ１２０に指示するための命令を更に記憶してよく；ディスプレイは、取得された運動情報に対応する画面を表示するように制御される。

本出願の様々な実装において、メモリ１３０は、命令が実行されると、以下の動作、すなわち、別の電子デバイスに対する電子デバイスの相対的な位置に基づいて、電子デバイスの運動情報を取得すること、を実行するようプロセッサ１２０に指示するための命令を更に記憶してよく；ディスプレイは、取得された運動情報に対応する画面を表示するように制御される。

図２は、様々な実装における電子デバイス２０１のブロック図である。電子デバイス２０１は、例えば図１に図示される電子デバイス１０１の全体又は一部を含んでよい。電子デバイス２０１は、少なくとも１つのアプリケーションプロセッサ（ＡＰ）２１０、通信インタフェース２２０、加入者識別モジュール２２４、メモリ２３０、センサモジュール２４０、入力デバイス２５０、ディスプレイ２６０、インタフェース２７０、オーディオインタフェース２８０、カメラモジュール２９１、電力管理ユニット２９５、バッテリ２９６、インジケータ２９７及びモータ２９８を含んでよい。

プロセッサ２１０は、例えばオペレーティングシステム又はアプリケーションプログラムを駆動して、プロセッサ２１０に接続された複数のハードウェア又はソフトウェア要素を制御し、様々なタイプのデータ処理及び動作を実行してよい。プロセッサ２１０は、例えばシステムオンチップ（ＳｏＣ）によって実装されてよい。実施形態によると、プロセッサ２１０は、グラフィクス処理ユニット（ＣＰＵ）及び／又は画像信号プロセッサを更に含んでよい。プロセッサ２１０は、（セルラモジュール２２１のような）図２に図示される要素の少なくともいくつかを更に含んでもよい。プロセッサ２１０は、揮発性メモリ内に、別の要素のうちの少なくとも１つ（例えば不揮発性メモリ）から受け取った命令又はデータロードして、ロードされた命令又はデータを処理してよく、様々なタイプのデータを不揮発性メモリ内に記憶してもよい。

通信モジュール２２０は、図１の通信インタフェース１７０の構成と同等又は同様の構成を有してよい。通信モジュール２２０は、例えばセルラモジュール２２１、Ｗｉ－Ｆｉモジュール２２３、Ｂｌｕｅｔｏｏｔｈ（ＢＴ）モジュール２２５、ＧＰＳモジュール２２７、ＮＦＣモジュール２２８及び無線周波数（ＲＦ）モジュール２２９を含んでよい。

セルラインタフェース２２１は、例えば通信ネットワークを介して、音声通話、ビデオ通話、テキストメッセージサービス又はインターネットサービスを提供してよい。一実施形態によると、セルラモジュール２２１は、加入者識別モジュール２２４（例えばＳＩＭカード）を使用して、通信ネットワーク内の電子デバイス２０１を区別して認証してよい。一実施形態によると、セルラモジュール２２１は、プロセッサ２１０によって提供され得る機能のうちの少なくともいくつかを実行してよい。本出願の実施形態によると、セルラモジュール２２１は、通信プロセッサ（ＣＰ）を含んでもよい。

Ｗｉ－Ｆｉモジュール２２３、ＢＴモジュール２２５、ＧＰＳモジュール２２７及びＮＦＣモジュール２２８の各々は、例えば対応するモジュールを使用することによって送信又は受信されたデータを処理するように構成されるプロセッサを含んでよい。いくつかの実装によると、セルラモジュール２２１、Ｗｉ－Ｆｉモジュール２２３、ＢＴモジュール２２５、ＧＰＳモジュール２２７及びＮＦＣモジュール２２８のうちの少なくともいくつか（２つ以上）が、１つの集積チップ（ＩＣ）又はＩＣパッケージに含まれてもよい。

ＲＦモジュール２２９は、例えば通信信号（例えばＲＦ信号）を送信又は受信してよい。ＲＦモジュール２２９は、例えばトランシーバ、電力増幅モジュール（ＰＡＭ）、フィルタ、低雑音増幅器（ＬＮＡ）又はアンテナを含んでもよい。本出願の別の実装によると、セルラモジュール２２１、Ｗｉ－Ｆｉモジュール２２３、ＢＴモジュール２２５、ＧＰＳモジュール２２７及びＮＦＣモジュール２２８のうちの少なくとも１つは、別個のＲＦモジュールを使用することによってＲＦ信号を送信又は受信してもよい。

加入者識別モジュール２２４は、例えば加入者識別モジュール（ＳＩＭ）及び／又は埋め込みＳＩＭを有するカードを含んでもよく、一意のアイデンティティ識別情報（集積回路カード識別子（ＩＣＣＩＤ）又は加入者情報（例えばインターナショナル・モバイル・サブスクライバー・アイデンティティ（ＩＭＳＩ））を含んでもよい。

メモリ２３０（例えばメモリ１３０）は、例えば内部メモリ２３２又は外部メモリ２３４を含んでよい。内部メモリ２３２は、例えば揮発性メモリ（例えば動的ランダムアクセスメモリ（ＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）及び同期動的ＲＡＭ（ＳＤＲＡＭ））及び不揮発性メモリ（例えばワンタイムプログラマブル読み取り専用メモリ）（ＯＴＰＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲ０Ｍ）、マスクＲＯＭ、フラッシュメモリＲＯＭ、フラッシュメモリ（例えばＮＡＮＤフラッシュメモリ又はＮＯＲフラッシュメモリ）、ハードディスクドライブ又はソリッドステートドライブ（ＳＳＤ）のうちの少なくとも１つを含んでよい。

外部メモリ２３４は、コンパクトフラッシュメモリ（ＣＦ）、セキュアデジタル（ＳＤ）、マイクロセキュアデジタル（Ｍｉｃｒｏ－ＳＤ）、ミニセキュアデジタル（Ｍｉｎｉ－ＳＤ）、マルチメディアカード（ＭＭＣ）、メモリスティック等のようなフラッシュメモリドライブを更に含んでもよい。外部メモリ２３４は、様々なインタフェースを介して、電子デバイス２０１に機能的及び／又は物理的に接続されてよい。

センサモジュール２４０は、物理的な量を測定するか又は電子デバイス２０１の動作ステータスを検出してよく、測定又は検出された情報を電気信号に変換してよい。センサモジュール２４０は、例えば以下のうちの少なくとも１つ、すなわち、姿勢センサ２４０Ａ、ジャイロスコープセンサ２４０Ｂ、気圧センサ２４０Ｃ、磁気センサ２４０Ｄ、加速度センサ２４０Ｅ、保持センサ２４０Ｆ、近接センサ２４０Ｇ、色センサ２４０Ｈ（例えば赤、緑及び青（ＲＧＢ）センサ）、生体測定センサ２４０１、温度又は湿度センサ２４０Ｊ、光センサ２４０Ｋ及び紫外線（ＵＶ）センサ２４０Ｍ、のうちの少なくとも１つを含んでよい。追加又は代替として、センサモジュール２４０は、例えば電子ノーズ・スリミング・センサ（electronic nose Slimming sensor）、筋電画像（ＥＭＧ）センサ、脳波（ＥＥＧ）センサ、心電図（ＥＣＧ）センサ、赤外線（ＩＲ）センサ、ＩＲＩＳセンサ及び／又は指紋センサを含んでよい。センサモジュール２４０は、センサモジュール２４０に含まれる少なくとも１つのセンサを制御するように構成される制御回路を更に含んでよい。いくつかの実装において、電子デバイス２０１は、プロセッサを更に含んでよい。プロセッサは、プロセッサ２１０の一部として構成されるか又はプロセッサ２１０から独立しており、プロセッサ２１０がスリープ状態にあるときにセンサモジュール２４０を制御するために、センサモジュール２４０を制御する。

入力デバイス２５０は、例えばタッチパネル２５２、（デジタル）ペンセンサ２５４、キー２５６又は指紋センサ２５８を含んでよい。タッチパネル２５２は、容量型、抵抗型、赤外線型及び超音波型のうちの少なくとも１つを使用してよい。加えて、タッチパネル２５２は、制御回路を更に含んでよい。タッチパネル２５２は、ユーザに触覚反応を提供するために、触覚層を更に含んでよい。

（デジタル）ペンセンサ２５４は、例えばタッチパネルの一部として又はタッチパネルから独立した識別プレートとして含んでよい。キー２５６は、例えば物理的ボタン、光学キー又は小さなキーボードを含んでよく、指紋センサ２５８は、指紋データを検出してよい。

ディスプレイ２６０（例えばディスプレイ１６０）は、パネル２６２、ホログラフィックデバイス２６４又はプロジェクタ２６６を含んでよい。パネル２６２は、図１に示されるディスプレイ１６０のものと同一又は類似の構成を含んでよい。フェースプレート２６２は、例えば可撓性、透明又はウェアラブルとして実装されてよい。パネル２６２及びタッチパネル２５２は、１つのモジュールとして実装されてもよい。ホログラフィックデバイス２６４は、光干渉を使用することによって、空中に三次元画像を表示し得る。プロジェクタ２６６は、画像を表示するために画面上に光を投影してよい。例えば画面は、電子デバイス２０１の内側又は外側に配置されてよい。一実装によると、ディスプレイ２６０は、制御パネル２６２、ホログラフィックデバイス２６４又はプロジェクタ２６６のための制御回路を更に含んでよい。

インタフェース２７０は、例えば高精細マルチメディア・インタフェース（ＨＤＭＩ）２７２、ユニバーサルシリアルバス（ＵＳＢ）２７４及び光モジュール２７６を含んでよい。インタフェース２７０は、例えば図１に示される通信インタフェース１７０に含まれてもよい。追加又は代替として、インタフェース２７０は、例えばモバイル高精細リンク（ＭＨＬ）インタフェース、セキュアデジタル（ＳＤ）カード／マルチメディアカード（ＭＭＣ）インタフェース又は赤外線データ・アソシエーション（ＩｒＤＡ）規格のインタフェースを含んでよい。

オーディオモジュール２８０は、例えば音声及び電気信号に対して双方向変換を実行してよい。オーディオモジュール２８０内の少なくともいくつかの要素は、例えば図１に示される入力／出力インタフェース１４５に含まれてよい。オーディオモジュール２８０は、例えばスピーカ２８２、レシーバ２８４、ヘッドセット２８６又はマイクロホン２８８を使用することによって、入力又は出力される音声情報を処理してよい。

実装に基づいて、静止画像及び動的画像を撮ることができるカメラモジュール２９１は、１つ以上の画像センサ（例えばフロントセンサ又はバックセンサ）、レンズ、画像信号プロセッサ（ＩＳＰ）又はフラッシュ（例えばＬＥＤ、キセノンランプ）を含んでよい。

電力管理ユニット２９５は、例えば電子デバイス２０１の電源を管理してよい。実装に基づいて、電力管理ユニット２９５は、電力管理集積回路（ＰＭＩＣ）、充電器１Ｃ又はバッテリテーブルを含んでもよい。ＰＭＩＣは、有線及び／又は無線充電方法を使用してよい。無線充電方法の例には、磁気共鳴法、磁気誘導法、電磁気的方法等が含まれ得る。無線充電のための追加の回路（例えばコイルループ、共振回路、整流器）が更に含まれてもよい。バッテリテーブルは、例えばバッテリ２９６の残りのバッテリ電力と、充電中の電圧、電流又は温度を測定してよい。バッテリ２９６は、例えば再充電可能バッテリ及び／又はソーラーバッテリを含んでよい。

インジケータデバイス２９７は、起動状態、メッセージ状態、充電状態のような、電子デバイス２０１又は該電子デバイス２０１の一部（例えばプロセッサ２１０）の特定の状態を表示してよい。モータ２９８は、電気信号を機械的振動に変換してよく、振動効果又は触覚効果を発生させ得る。図示されていないが、電子デバイス２０１は、モバイルテレビジョン（ＴＶ）をサポートするように構成される処理ユニット（例えばＧＰＵ）を含んでよい。モバイルＴＶをサポートするための処理ユニットは、デジタル・マルチメディア・ブロードキャスティング（ＤＭＢ）、デジタル・ビデオ・ブロードキャスティング（ＤＶＢ）、ＭｅｄｉａＦＬＯ（登録商標）等4のような規格に基づいてメディアデータを処理することができる。

本出願のハードウェアに基づく前述の構成要素の成分の各々は、１つ以上の構成要素とともに構成されてもよく、対応する構成要素の成分の名称は、電子デバイスのタイプに基づいて変わってよい。本出願の様々な実装における電子デバイスは、前述の要素のうちの少なくとも１つを含んでよい。いくつかの構成要素が省略されてもよく、あるいは別の構成要素が電子デバイスに更に含まれてもよい。加えて、実装におけるハードウェア構成要素のいくつかが、１つのエンティティに組み合わされてよく、エンティティは、組合せの前の関連する構成要素と同じ機能を実行し得る。

図３は、本出願の様々な実装におけるプログラムモジュールのブロック図である。一実施形態に基づいて、プログラムモジュール３１０（例えばプログラム）は、電子デバイス（例えば電子デバイス１０１）に関連付けられるリソース及び／又はオペレーティングシステム内で実行される様々なアプリケーション（例えばアプリケーション１４７）を制御するように構成されるオペレーティングシステム（ＯＳ）を含んでよい。オペレーティングシステムは、例えばＡｎｄｒｏｉｄ（登録商標）、ｉＯＳ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、Ｓｙｍｂｉａｎ（登録商標）、Ｔｉｚｅｎ（登録商標）又はＳａｍｓｕｎｇ ＢａｄａＯＳ（登録商標）等であってよい。

プログラムモジュール３１０は、カーネル３２０、ミドルウェア３３０、アプリケーションプログラミングインタフェース（ＡＰＩ）３６０及び／又はアプリケーション３７０を含んでもよい。プログラムモジュール３１０の少なくとも一部は、電子デバイス上に予めインストールされてよく、外部電子デバイス（例えば電子デバイス１０２、１０４又はサーバ１０６）からダウンロードされてもよい。

メモリ３２０（例えばメモリ１４１）は、例えばシステムリソースマネージャ３２１及び／又はデバイスドライバ３２３を含んでもよい。システムリソースマネージャ３２１は、システムリソースを制御、割り当て又は収集してよい。一実装に基づいて、システムリソースマネージャ３２１は、プロセスマネージャ、メモリマネージャ又はファイルシステムマネージャを含んでよい。デバイスドライバ３２３は、例えばディスプレイドライバ、カメラドライバ、Ｂｌｕｅｔｏｏｔｈドライバ、共有メモリドライバ、ＵＳＢドライバ、キーパッドドライバ、Ｗｉ－Ｆｉドライバ、オーディオドライバ又はプロセス間通信（ＩＰＣ）ドライバを含んでよい。

ミドルウェア３３０は、アプリケーション３７０により共同で必要とされる機能を提供してよい。あるいは、それは、アプリケーション３７０が電子デバイス内の限られたシステムリソースを有効に使用し得るように、ＡＰＩ ３６０を使用することによって、アプリケーション３７０に様々な機能を提供してもよい。一実装に基づいて、ミドルウェア３３０（ミドルウェア１４３等）は、例えば以下のうちの少なくとも１つ、すなわち、ランタイムライブラリ３３５、アプリケーションマネージャ３４１、ウィンドウマネージャ３４２、マルチメディアマネージャ３４３、リソースマネージャ３４４、電力マネージャ３４５、データベースマネージャ３４６、ソフトウェアパッケージマネージャ３４７、接続マネージャ３４８、通知マネージャ３４９、ロケーションマネージャ３５０、グラフィクスマネージャ３５１及びセキュリティマネージャ３５２、のうちの少なくとも１つを含んでよい。

ランタイムライブラリ３３５は、アプリケーション３７０が実行されるときに、ライブラリ・モジュールを使用してプログラミング言語で新しい関数を追加するライブラリ・モジュールを含んでよい。ランタイムライブラリ３３５は、入力／出力管理、メモリ管理又は算術関数のための関数を実行してよい。

アプリケーションマネージャ３４１は、例えばアプリケーション３７０のうちの少なくとも１つの寿命を管理してよい。ウィンドウマネージャ３４２は、画面上で使用されるグラフィカルユーザインタフェース（ＧＵＩ）リソースを管理してよい。マルチメディアマネージャ３４３は、様々なメディアファイルを再生するために必要なフォーマットを識別し、対応するフォーマットに適したコードを使用してメディアファイルを符号化又は復号し得る。リソースマネージャ３４４は、ソースコード、メモリ又はストレージスペースのような、アプリケーション３７０のうちの少なくとも１つのリソースを管理し得る。

電力マネージャ３４５は、例えば基本入出力システム（ＢＩＯＳ）とともに動作してバッテリ又は電源を管理してよく、電子デバイスが動作するために必要な電源情報を提供してよい。データベースマネージャ３４６は、アプリケーション３７０のうちの少なくとも１つのために使用されるデータベースを生成、検索又は変更してよい。ソフトウェアパッケージマネージャ３４７は、ソフトウェアパッケージ・ファイルの形式で配布されるアプリケーションのインストール又は更新を管理してよい。

接続マネージャ３４８は、Ｗｉ－Ｆｉ又はＢＴのような無線接続を管理してよい。通知マネージャ３４９は、ユーザを妨害することなく、到着メッセージ、配置又は近接通知等のイベントをユーザに表示又は通知してよい。ロケーションマネージャ３５０は、電子デバイスの位置情報を管理してよい。グラフマネージャ３５１は、ユーザに提供されるグラフィカル効果及びグラフィカル効果に関連付けられるユーザインタフェースを管理してよい。セキュリティマネージャ３５２は、システム・セキュリティ又はユーザ検証に必要なすべてのセキュリティ機能を提供してよい。一実装によると、電子デバイス（例えば電子デバイス１０１）が電話呼出し機能を有するとき、ミドルウェア３３０は、電子デバイスの音声呼出し機能又はビデオ呼出し機能を管理するように構成される電話マネージャを更に含んでよい。

ミドルウェア３３０は、ミドルウェアモジュールを含んでよく、ここで、ミドルウェアモジュールは、前述の構成要素の様々な機能の組合せを形成する。ミドルウェア３３０は、異なる機能を提供するために、オペレーティングシステム・タイプに基づいて専用のモジュールを提供してよい。加えて、ミドルウェア３３０は、既存の要素の一部を動的に除外してもよく又は新たな要素を追加してもよい。

ＡＰＩ ３６０（例えばＡＰＩ １４７）は、例えばＡＰＩプログラミング機能セットであり、ＯＳに基づいて異なる構成を採用してもよい。例えばＡｎｄｒｏｉｄ（登録商標）又はｉＯＳ（登録商標）の場合は、プラットフォーム毎に１組のＡＰＩを提供してよく、一方、Ｔｉｚｅｎ（登録商標）の場合は、プラットフォーム毎に２組以上のＡＰＩを提供してもよい。

アプリケーション３７０（例えばアプリケーション１４７）は、例えば機能を実行することができる１つ以上のアプリケーションを含んでよく、機能は、例えばホームページキー３７１、ダイヤラ３７２、ショートメッセージサービス（ＳＭＳ）／マルチメディアメッセージサービス（ＭＭＳ）３７３、インスタントメッセージ（ＩＭ）３７４、ブラウザ３７５、カメラ３７６、アラームクロック３７７、アドレス帳３７８、音声ダイヤラ３７９、電子メールボックス３８０、カレンダー３８１、メディアプレーヤ３８２、アルバム３８３、クロック３８４及びセキュリティボタンである。（測定運動量、血糖値等）又は環境情報（大気圧、湿度、温度情報等）。

一実装によると、アプリケーション３７０は、電子デバイス（例えば電子デバイス１０１）と外部電子デバイス（例えば電子デバイス１０２又は１０４）との間の情報交換をサポートするアプリケーション（以下、説明を容易にするために「情報交換アプリケーション」と称される）を含んでよい。情報交換に関連付けられるアプリケーションは、例えば特定の情報を外部電子デバイスに伝達するための通知中継アプリケーション又は外部電子デバイスを管理するためのデバイス管理アプリケーションを含んでもよい。

例えば中継アプリケーションを通知することは、以下の機能、すなわち：電子デバイス１０１の別のアプリケーション（例えばＳＭＳ／ＭＭＳアプリケーション、電子メールアプリケーション、セキュリティアプリケーション又は環境情報アプリケーション）から生成された通知情報が、外部電子デバイス（例えば電子デバイス１０２又は１０４）に転送される機能を含んでよい。加えて、通知中継アプリケーションは、例えば外部電子デバイスから通知情報を受け取り、受け取った通知情報をユーザに提供してもよい。

デバイス管理アプリケーションは、電子デバイスと通信する外部電子デバイス（例えば電子デバイス１０２、１０４又はサーバ１０６）の少なくとも１つの機能を管理（例えばインストール、削除又は更新）してよい。（例えば外部電子デバイス（又はそのいくつかの要素）の機能を有効／無効にすること又はディスプレイの照度（又は解像度）の機能を調整すること、外部電子デバイスで実行されているアプリケーション又は外部電子デバイスによって提供されるサービス（例えば通話サービス又はメッセージサービス）。

一実装によると、アプリケーション３７０は、外部電子デバイス１０２又は１０４の属性に従って指定されるアプリケーション（例えばモバイル医療サーバ上のヘルスケア・アプリケーション等）を含んでよい。一実装によると、アプリケーション３７０は、外部電子デバイス（例えばサーバ１０６、電子デバイス１０２又は１０４）から受け取ったアプリケーションを含んでよい。ある実装によると、アプリケーション３７０は、予めロードされたアプリケーション又はサーバからダウンロード可能な第三者アプリケーションを含んでよい。本出願の前述の実装によると、プログラムモジュール３１０の要素の名前は、ＯＳタイプに基づいて変更されてよい。

本出願の例示の実装によると、プログラムモジュール３１０の少なくともいくつかは、ソフトウェア、ファームウェア、ハードウェア又は組合せ又は上記の少なくとも２つ以上の組合せで実装されてよい。プログラムモジュール３１０の少なくともいくつかは、例えばプロセッサ（例えばプロセッサ２１０）によって実装（例えば実行）されてよい。プログラムモジュール３１０の少なくとも一部は、例えば１つ以上の機能を実行するためのモジュール、プログラム、ルーチン、命令セット及び／又はプロセスを含んでよい。

図４は、本出願の一実施形態による電子デバイス１０１及び電子デバイス１０２の立体図である。電子デバイス１０１はディスプレイを含んでよい。電子デバイス１０１は、仮想現実アプリケーションを記憶してよい。仮想現実アプリケーションは、実際の現実と同様の表示をユーザに提供することができるアプリケーションであってよい。ある実装によると、仮想現実アプリケーションは、立体視スキームに基づいて、ユーザの各眼に対応する左眼画像及び右眼画像を表示してよい。

電子デバイス１０２は、ヘッドマウント型ディスプレイであってもよい。電子デバイス１０２は、ユーザが移動した場合であっても、ユーザの頭部に取り付けられ、ユーザの頭部に固定され得る。加えて、電子デバイス１０２は、電子デバイス１０１を更に固定してよく、したがって、ユーザは、電子デバイス１０１上に表示された画像を観察し得る。

電子デバイス１０２は、ユーザの頭部に装着するために設けられたハウジングを含んでもよく、任意に、ハウジングの領域内に配置される少なくとも１つの入力ボタンを含んでもよい。電子デバイス１０２は、入力ボードを更に含んでもよく、入力ボードは、ユーザからタッチ入力を受け取ってもよい。電子デバイス１０２は、例えばリモートコントロール、リモートコントロールハンドル等の別のデバイスを使用することによって入力してよい。

電子デバイス１０１は、電子デバイス１０２に結合されてよい。電子デバイス１０１は、有線又は無線方式で電子デバイス１０２に接続されてよい。例えば電子デバイス１０１は、単なる例であるＵＳＢに基づいて電子デバイス１０２に接続されてもよい。加えて、接続は、２つのデバイス１０１と１０２の間のデータ送信／受信がその接続を使用することによって実装され得る限り、限定されないことを当業者は容易に理解し得る。別の実装によると、電子デバイス１０１は、単に電子デバイス１０２に物理的に結合されてもよい。

電子デバイス１０１は、表示されるべきインタフェースに対して次元変換処理を実行して、表示されるべきインタフェース内で左眼画像及び右眼画像を得てよく、ここで、左眼画像及び右眼画像は、三次元視覚効果を有する表示されるべきインタフェースを提示するために使用される。図５ａは、表示されるべきインタフェースを示す。図５ｂは、表示されるべきインタフェースの左眼画像５０１及び右眼画像５０２を示す。

本出願のこの実施形態において、次元変換処理は、二次元（２Ｄ）アプリケーションプログラムのインタフェースを三次元（３Ｄ）視覚効果のあるインタフェースに変換すること又は三次元アプリケーションプログラムのインタフェースを二次元視覚効果のあるインタフェースに変換することを意味することを理解されたい。本出願のこの実施形態において、左眼画像は、ユーザの左眼画角について生成される画像であり、右眼画像は、ユーザの右眼画角について生成される画像であることを更に理解されたい。

電子デバイス１０２は、独立の画面を有してよい。この場合、左眼視野は、画面上の、ユーザの左眼によって見られる領域であり、電子デバイス１０１は、その領域内に左眼画像を表示し、右眼視野は、画面上の、ユーザの右眼によって見られる領域であり、電子デバイス１０１は、その領域内に右眼画像を表示し、左眼画像及び右眼画像は、対応する光学レンズ群を使用することによって、ユーザの左眼及び右眼に表示される；電子デバイス１０２が、独立の画面を有していない場合、左眼視野は、電子デバイス１０２上の、ユーザの左眼と位置合わせされる光学レンズ群であり、電子デバイス１０１は、外部画面上の、光学レンズ群と位置合わせされる領域内に左眼画像を表示し、右眼視野は、電子デバイス１０２上の、ユーザの右眼と位置合わせされる光学レンズ群である。電子デバイス１０１は、外部画面上の、光学レンズ群と位置合わせされる領域に右眼画像を表示し、最終的に、左眼画像と右眼画像は、光路変形を通して、ユーザの左眼及び右眼に表示される。このように、第２左眼画像及び第２右眼画像は、電子デバイス１０２の左眼画角領域と右眼画角領域を使用することによって、ユーザの左眼と右眼に対して別個に表示され、ユーザは脳内で立体画像を合成することができ、三次元効果の表示されるべきインタフェースを提示することができる。

このアプリケーションにおいて、電子デバイス１０１は、共通モード又は３Ｄモードで動作してもよい。例えば電子デバイス１０１は携帯電話であり、電子デバイス１０１は共通モードで動作し、携帯電話の通常のステータスで使用される。携帯電話はアプリケーションのインタフェースを表示するか又はデスクトップ画面を表示する。ユーザがアプリケーションを開くことを選択したことが検出されると、携帯電話はステータスバー及びシステムバーを除外し、このアプリケーションのみが表示される。もちろん、携帯電話がフローティング表示又は画面分割表示をサポートするとき、２つのアプリケーションインタフェースが同時に表示される場合は存在し得る。電子デバイス１０１が３Ｄモードで動作するとき、電子デバイス１０１は、複数のウィンドウを同時に表示する３Ｄインタフェースを提供する。３Ｄインタフェースは、電子デバイス１０２の表示画面を使用することによって表示されてもよく又は電子デバイス１０１によって表示されてもよい。ユーザは、電子デバイス１０２の光学レンズ（例えばＨＭＤ）を使用することによって、３Ｄインタフェースを見てよい。

例えば電子デバイス１０１は携帯電話であり、電子デバイス１０２はウェアラブルデバイスであり、ウェアラブルデバイスは、ディスプレイを有するヘッドマウントディスプレイ（ＨＭＤ，Head Mount Display）である。３Ｄモードでは、複数のウィンドウの表示インタフェースがＨＭＤデバイス上に表示され、複数のウィンドウは、複数のアプリケーションインタフェース又は複数のデスクトップ画面であってよく、あるいはアプリケーションインタフェースとデスクトップ画面が共存してもよい。図６を参照すると、本出願のこの実施形態におけるインタフェース表示方法の実施形態１は、以下のステップを含む。

６０１．携帯電話は、ＨＭＤが携帯電話に接続されていることを検出する。

ＨＭＤは、ＵＳＢ接続のような有線又は無線方式で携帯電話に接続されてよい。携帯電話は、該携帯電話のＵＳＢインタフェースを使用することによって、ＨＭＤが携帯電話に接続されていること、例えばＢｌｕｅｔｏｏｔｈ接続を検出してよい。携帯電話は、該携帯電話のＢｌｕｅｔｏｏｔｈモジュールを使用することによってＨＭＤの接続を検出してよい。本出願のこの実施形態は、前述の２つの接続方式に限定されない。当業者は、携帯電話がＨＭＤに接続されていることを検出する様々な実施形態を知り得る。詳細は本明細書では説明されない。

ＨＭＤが初めて接続されていることを検出した場合、ＨＭＤドライバが自動的にインストールされ；あるいはＨＭＤが初めて接続されていないことを検出した場合、ドライバをインストールする必要はない。

さらに、携帯電話はＨＭＤの性能を取得する。具体的には、携帯電話内の表示マネージャ（ＤｉｓｐｌａｙＭａｎａｇｅｒ）モジュールは、ＨＭＤの表示領域の長さ、幅、解像度等を読み出すことを含め、ＨＭＤを登録して管理する。このプロセスでは、携帯電話に合致しないＨＭＤ又はマルチウィンドウ表示をサポートしないＨＭＤをフィルタアウトする必要があり、ユーザにプロンプトが出される。

登録が完了した後、ＶＲ_ＤＩＳＰＬＡＹ_ＤＥＶＩＣＥ_ＣＯＮＮＥＣＴＥＤシステムブロードキャスト（接続状態では、３Ｄモードへの切り替えは、別の方法で、例えばＨＭＤデバイスの３Ｄモードのスイッチをターンオンする等の方法でトリガされる。この場合、ＶＲ_ＤＩＳＰＬＡＹ_ＤＥＶＩＣＥ_ＯＰＥＮ等と同様の他のブロードキャストが対応して送信される）が送信される。すべてのリスナに通知され、リスナはシステムサービス及びアプリケーションである。

ＨＭＤがマルチウィンドウ表示をサポートしている場合、この場合、携帯電話の表示インタフェースは３Ｄモードへの切り替えが行われていることのプロンプトを出してよく、携帯電話が画面を直接ロックして画面オフにすることがある。

表示管理モジュールは、ＨＭＤを登録及び管理した後、ブロードキャストを通して、ＨＭＤが接続されている上位層システムサービス及びすべてのアプリケーションに、３Ｄモードに入る準備をするように通知する。上位層システムサービスは、ＡＭＳ（Ａｃｔｉｖｉｔｙ Ｍａｎａｇｅｒ Ｓｅｒｖｉｃｅ）及びＷＭＳ（Ｗｉｎｄｏｗ Ｍａｎａｇｅｒ Ｓｅｒｖｉｃｅ）等のサービスを含み、アプリケーションを選択して、ウィンドウステータスを更新する。

６０２．携帯電話がアプリケーションを選択する。

具体的には、図７に示されるように、以下のステップが含まれる。

６０２１．現在のフォアグラウンドアプリケーションが画面分割をサポートしているかどうかを判断し；フォアグラウンドアプリケーションが画面分割をサポートしている場合、ステップ６０２２を実行し；あるいはフォアグラウンドアプリケーションが画面分割をサポートしていない場合、その後の手順を実行し続けることをスキップし、ＶＲモードが切り替えられた後、切り替え前に使用されていたフォアグラウンドアプリケーションをデフォルトとして最大表示し、別のアプリケーションインタフェースを表示することをスキップする。

アプリケーションが画面分割をサポートしているかどうかは、アプリケーションの設計によって決定される。アプリケーションが画面分割をサポートしているということは、アプリケーションやアプリケーション以外のデスクトップ画面等のコンテンツが、分割された画面の形式で表示インタフェースに表示されることが可能であることを意味する。

６０２２．アプリケーションがバックグラウンドタスクリスト内に存在するかどうかを判断し；アプリケーションが存在する場合はステップ６０２３を実行する；あるいは、アプリケーションが存在しないときは、その後の手順を継続して実行することをスキップし、ＶＲモードに切り替えた後、切り替え前のフォアグラウンドアプリケーションのウィンドウをデフォルトとして最大表示し、別のアプリケーションウィンドウを表示することをスキップする。

６０２３．アプリケーションが画面分割をサポートしているかどうかを判断し；画面分割がサポートされている場合、ステップ６０２４を実行する；あるいは、画面分割が行われない場合、ステップ６０２５を実行する。

検索処理では、アプリケーションが画面分割をサポートしている場合、マーキングが実行される。

６０２４．画面分割をサポートする発見されたアプリケーションの数量が、検索される必要があり、かつ、画面分割をサポートするアプリケーションの数量と等しいかどうかを判断し；発見されたアプリケーションの数量が、検索する必要があるアプリケーションの数量と等しくない場合、ステップ６０２５を実行し；あるいは発見されたアプリケーションの数量が、検索する必要があるアプリケーションの数量と等しい場合は、ステップ６０２６を実行して、検索を停止する。

検索される必要があり、画面分割をサポートするアプリケーションの数量は、予め設定されたウィンドウ数量から１を引いたものであり、予め設定されたウィンドウ数量は３である。したがって、現在のフォアグラウンドアプリケーションに加えて、検索される必要があり、画面分割をサポートするアプリケーションの数量は２である。

予め設定されたウィンドウ数量は、ＨＭＤの性能に基づいて携帯電話によって設定されてよく、例えばＨＭＤのサイズに基づいて設定されてよい。

６０２５．バックグラウンドタスクリストが検索されるかどうかを判断する；バックグラウンドタスクリストが検索される場合、ステップ６０２６を実行して検索を停止する；あるいはバックグラウンドタスクリストが検索される場合、ステップ６０２２を実行して、次のアプリケーションについてバックグラウンドタスクリストを検索する。検索している間は、アプリケーションを使用する時間に基づいて、他の分割された画面アプリケーションを反対の順序で検索する。言い換えると、最近使用したアプリケーションから検索を開始する。

バックグラウンドタスクリストが、画面分割をサポートするアプリケーションを含んでいない場合、切り替え前に使用されていたフォアグラウンドアプリケーションがデフォルトで最大表示され、別のアプリケーションインタフェースは表示されない。

分割された画面アプリケーションを選択した後、ＡＭＳはＶＲ_ＷＩＮＤＯＷＳ_ＳＥＡＲＣＨ_ＦＩＮＩＳＨＥＤメッセージをＷＭＳに送信する。

６０３．予め設定されたウィンドウ数量及び画面分割をサポートする発見されたバックグラウンドアプリケーションの数量に基づいて、ＨＭＤの表示インタフェースを分割し、ウィンドウのステータスを更新する。

予め設定されたウィンドウ数量は、ＨＭＤの性能に基づいて携帯電話によって設定されてよく、例えばＨＭＤのサイズに基づいて設定されてもよい。フォアグラウンドアプリケーションのウィンドウは、フォーカス（Ｔｏｐｍｏｓｔ）状態としてマークされ、フォーカス状態は、特別な可視状態である。ユーザによって最近使用された、Ｎ個の選択されたバックグラウンドアプリケーションのウィンドウは、可視状態としてマークされる。アプリケーションのウィンドウは、アプリケーションのインタフェースである。

例えば予め設定されたウィンドウ数量が２であり、画面分割をサポートするバックグラウンドアプリケーションが見つからない場合、フォアグラウンドアプリケーションがＨＭＤ上に最大表示される。

予め設定されたウィンドウ数量が３であり、画面分割をサポートする１つのバックグラウンドアプリケーションが見つかった場合、ＨＭＤの表示インタフェースは２つの領域に分割され、フォアグラウンドアプリケーションとバックグラウンドアプリケーションはそれぞれ表示インタフェースの半分を占めるように設定される。例えばＴｏｐｍｏｓｔ状態のアプリケーションは左側の領域に表示されるよう設定され、他の分割された画面のアプリケーションは右側の領域に表示されるよう設定される。

予め設定されたウィンドウ数量が３であり、画面分割をサポートする２つのバックグラウンドアプリケーションが見つかった場合、表示インタフェースは３つの領域に分割されます。例えばＴｏｐｍｏｓｔ状態のアプリケーションは中間領域に表示されるよう設定され、他の２つの分割された画面のアプリケーションはそれぞれ、中間領域の両側の領域内に表示されるよう設定される。

前述の例は、本出願の単なる例である。調整が、ＨＭＤの性能及び構成に基づいて行われてよい。

ＷＭＳは、主にウィンドウステータスを更新するが、これは、現在のフォアグラウンドアプリケーションをＴｏｐｍｏｓｔ状態としてマークすることと；ＡＭＳによって検索されてマークされている２つの分割された画面アプリケーションのウィンドウを可視状態に変更することを含む。

処理を完了した後、ＷＭＳはＶＲ_ＷＩＮＤＯＷＳ_ＵＰＤＡＴＥ_ＦＯＲ_３Ｄ_ＦＩＮＩＳＨＥＤメッセージをＷＭＳのメッセージキューに送信する。

６０４．アプリケーションのウィンドウであって、可視状態としてマークされているすべてのウィンドウにおいてＶＲ処理を実行する。

ＶＲ処理は、すべての可視システムウィンドウで実行され、ＶＲ処理は、現在のフォアグラウンドアプリケーションと、ユーザによって最近使用されたＮ個の選択されたバックグラウンドアプリケーションにおいて実行される。ＶＲ処理は、２Ｄインタフェースを３Ｄインタフェースに変換するものであり、例えば表示されるべき分割された画面インタフェースやアプリケーションインタフェース等のアイコンに対して３次元処理を行う。アプリケーションがＶＲをサポートしている場合、アイコン、アプリケーションインタフェース等を、３Ｄ効果を有するアイコン、アプリケーションインタフェース等に切り替えるようにＶＲ処理を実行する。アプリケーションがＶＲをサポートしない場合、ＶＲ処理は実行されない。

アプリケーションのウィンドウであって、可視状態としてマークされているすべてのウィンドウは、Ｔｏｐｍｏｓｔ状態にあるアプリケーションのウィンドウを含む。

図５ａに示されるように、共通モードで操作を行っているとき、携帯電話は操作画面を表示してもよい。ＶＲ処理が実行された後、操作画面が３Ｄ効果で表示されてよい。図５ｂに図示されるように、携帯電話が３Ｄモードで操作を行うとき、操作画面は、ユーザの左眼に対応する左眼画像５０１と、ユーザの右眼に対応する右眼画像５０２とに分割されてよい。

具体的には、ＶＲ_ＷＩＮＤＯＷＳ_ＵＰＤＡＴＥ_ＦＯＲ_３Ｄ_ＦＩＮＩＳＨＥＤメッセージを受け取った後、ＷＭＳは、可視状態に設定されたすべてのアプリケーションリストをトラバースし、３Ｄレイアウト方式は、アプリケーションの各ウィンドウであって可視状態に設定された各ウィンドウで再利用され、３Ｄ画像リソースが表示のために参照されてよい。

システムパブリックコントロール、システムプリセットアプリケーション及びＶＲをサポートする第三者アプリケーションは、デフォルトで、レイアウトファイルマシンに対応する２組の静止画リソースを保持する。１組の静止画リソースは、携帯電話画面上に表示されるデフォルトの２Ｄリソースであり、他の組は３Ｄリソースである（これらの３Ｄリソースは、描画ソフトウェアを使用することによってＵＩデザイナによって事前に描画され、ＨＭＤの光学デバイスを使用して３Ｄ効果を表示することができる）。図８に示されるように、特定の２Ｄ及び３Ｄ切り替えプロセスは、以下の通りである：

ステップ６４０１：ＷＭＳはＶＲ_ＷＩＮＤＯＷＳ_ＵＰＤＡＴＥ_ＦＯＲ_３Ｄ_ＦＩＮＩＳＨＥＤメッセージを受け取る。

ステップ６４０２：現在のシステムが３Ｄモードへの切り替えを実行している状態にあるかどうかを判断し、現在のシステムがその状態にある場合はステップ６４０３を実行し；あるいは現在のシステムがその状態にない場合は、手順を終了する。

ステップ６４０３：ウィンドウを凍結し、ユーザがイベントを入力することを禁止する。言い換えると、この場合、ユーザの入力イベントの処理をスキップし、ここで、ウィンドウは、アプリケーションのインタフェースである。

ステップ６４０４：すべてのバックグラウンドアプリケーションのウィンドウをトラバースし始める。

ステップ６４０５：アプリケーションのウィンドウが可視状態であるかどうかを判断し；アプリケーションのウィンドウが可視状態にある場合は、ステップ６４０６を実行し；あるいはアプリケーションのウィンドウが可視状態にない場合は、ステップ６４１１を実行する。

ステップ６４０６：アプリケーションの３Ｄレイアウトファイルを検索する。

ステップ６４０７：アプリケーションの３Ｄレイアウトファイルが見つかったかどうかを判断し；アプリケーションの３Ｄレイアウトファイルが見つかった場合は、ステップ６４０７を実行し；あるいはアプリケーションの３Ｄレイアウトファイルが見つからなかった場合は、ステップ６４０９を実行して、変更なしを維持し、現在のレイアウトファイルを使用する。

ステップ６４０８：アプリケーションのウィンドウのレイアウトファイルを、見つかった３Ｄレイアウトファイルに設定する。

ステップ６４１０：ウィンドウ内のすべての要素に対応する３Ｄリソースを取得する。言い換えると、ウィンドウ内のアイコン、テキスト等の要素に対応する３Ｄリソースを取得する。

ステップ６４１１：アプリケーションが最後のアプリケーションであるかどうかを判断し；アプリケーションが最後のアプリケーションである場合、ステップ６４１２を実行し；あるいはアプリケーションが最後のアプリケーションでない場合、ステップ６４０４を実行して次のアプリケーションを見つけ、ステップ６４０４～６４１１を繰り返し実行する。

ステップ６４１２：ウィンドウを解凍して、ユーザの入力イベントを受け取る。

ステップ６４１３：３Ｄモードを設定する。

ステップ６４１４：表示インタフェースを描画する。

前述のプロセスにおいて、バックグラウンドアプリケーションのウィンドウであって、ステップ６４０４でトラバースされるウィンドウが、ウィンドウに対して可視のアプリケーションのウィンドウであり得る場合、対応して、ステップ６４０５は実行されない。

６０５．表示デバイス内で切り替えを実行し、ＨＭＤを使用することによって３Ｄモードでインタフェースを表示する。

携帯電話は、処理されたＶＲインタフェースを表示のためにＨＭＤに送信する。携帯電話の表示インタフェースは、「３Ｄモードに入る」又は画面オフ／画面ロック状態に入ることをプロンプトしてよい。図１２に図示されるように、ビデオアプリケーション１２０３によってライブ放送されるＮＢＡゲームのライブ放送画像は、ユーザの視線内の真ん中の位置に表示される。ＷｅＣｈａｔチャットソフトウェアインタフェース１２０２が左側に表示され、ニュース参照インタフェース１２０４が右側に表示される。

オプションとして、携帯電話がＨＭＤに接続された後、携帯電話は直ぐには３Ｄモードへの切り替えを準備しなくてもよい。例えば前述の実施形態では、ステップ６０１の後、ユーザが、携帯電話において、３Ｄモードに入る切り替えをターンオンしたかどうかが検出され；スイッチが検出され、ユーザが携帯電話において３Ｄモードに入るスイッチをターンオンした場合、ステップ６０２～６０５が実行される。あるいは、ステップ６０１の後に、ＨＭＤによって送信されたスイッチターンオン通知が受け取られるかどうかを判断し、ハードウェアスイッチがＨＭＤ上に配置される。ユーザがハードウェアスイッチをターンオンしたことが検出されると、ＨＭＤは、携帯電話がステップ６０２～６０５を実行し続けることを携帯電話に通知する。あるいは、ステップ６０１の後に、ＨＭＤが装着されたかどうかが判断される。ＨＭＤは、ユーザがＨＭＤを装着していることを検出すると、携帯電話がステップ６０２～６０５を実行し続けることを携帯電話に通知する。そうでなければ、携帯電話はステップ６０２～６０５を実行し続けない。

前述の現在のフォアグラウンドアプリケーションは、３Ｄモードに切り替える準備をするフォアグラウンドアプリケーションであってよい。例えば携帯電話はＨＭＤに接続されているフォアグラウンドアプリケーションを検出する。あるいは、携帯電話は、ユーザが３Ｄモードに入るスイッチを携帯電話上でターンオンしたことを検出する。あるいは、携帯電話は、３Ｄモードでフォアグラウンドアプリケーションに切り替える準備をするための通知をＨＭＤから受け取る。

オプションとして、携帯電話が３Ｄモードになる準備をした後、携帯電話は直ちに３Ｄモードに切り替わらない。例えば前述の実施形態では、ステップ６０１～６０４が実行された後、ユーザが携帯電話上で３Ｄモードに入るスイッチをターンオンした場合、ステップ６０５が実行される。ユーザが携帯電話のスイッチをオンにすると、３Ｄモードに入るスイッチがステップ６０５を実行する。あるいは、ステップ６０１～６０４が実行された後、ＨＭＤによって送信されたスイッチターンオン通知が受け取られたかどうかが判断され、ハードウェアスイッチがＨＭＤ上に配置される。ユーザがハードウェアスイッチをターンオンしたことが検出されると、ＨＭＤは、携帯電話がステップ６０６を実行し続けることを携帯電話に通知する。あるいは、ステップ６０１～６０４が実行された後、ＨＭＤが装着されているかどうかが判断される。ユーザがＨＭＤを装着していることを検出すると、ＨＭＤは、携帯電話がステップ６０５を実行し続けることを携帯電話に通知する。そうでなければ、携帯電話はステップ６０５を実行し続けない。

図６の実施形態では、ウェアラブルデバイスは、ディスプレイを有するＨＭＤである。オプションとして、ウェアラブルデバイスは、ディスプレイのないＨＭＤであり、携帯電話は、ＨＭＤ内に配置され、ユーザは、ＨＭＤの光学レンズを使用することによって、携帯電話のディスプレイコンテンツを見る。この場合、ＨＭＤと携帯電話とが有線接続方法又は無線接続方法で接続されている場合、前述の実施形態では、ステップ６０１を実行するように調整が行われてよい。ステップ６０２及び６０３において、３Ｄモードにおける予め設定された表示ウィンドウ数量は、携帯電話の性能に基づいて決定されてもよい。処理されたＶＲインタフェースを携帯電話のディスプレイ画面に表示するために、ステップ６０５で調整が行われる。ＨＭＤと携帯電話との間に通信接続が存在しない場合、図６に示される実施形態では、ステップ６０１を行わないように調整が行われてよい。ユーザが携帯電話上で３Ｄモードに入るスイッチをターンオンしたかどうかが検出され、ユーザが携帯電話上で３Ｄモードに入るスイッチをターンオンした場合、ステップ６０２～６０４が実行される。処理されたＶＲインタフェースを携帯電話のディスプレイ画面に表示するよう、ステップ６０５において調整が行われる。

前述の実施形態において、３Ｄモードに入った後、複数のアプリケーションインタフェースが複数のウィンドウに表示される。オプションとして、３Ｄモードでは、複数のウィンドウがマルチスクリーンデスクトップを表示してもよい。特に、現在では、携帯電話は、通常、複数のデスクトップ画面を有しており、ユーザは、左側及び右側への切り替え及びフリッキングを通して異なるデスクトップ画面を表示し得る。図９は、本出願の実施形態２による複数のデスクトップ画面を表示する手順を示す。ステップ９０１は、ステップ６０１と同様である。詳細は、ここでは再度説明しない。

ステップ９０２：予め設定されたウィンドウ数量に基づいてデスクトップ画面を選択する。

予め設定されたウィンドウ数量が２であるとき、主画面と隣接するデスクトップ画面とが選択され得るか；又は現在のデスクトップ画面と隣接するデスクトップ画面とが選択され得る。

予め設定されたウィンドウ数量が３の場合、主画面を含む３つのデスクトップ画面が選択され得るか；又は現在のデスクトップ画面を含む３つのデスクトップ画面が選択され得る。

ステップ９０３：予め設定されたウィンドウ数量とデスクトップ画面の数量に基づいて、ＨＭＤの表示インタフェースを分割し、ウィンドウ状態を更新する。

ホーム画面は、フォーカス（Ｔｏｐｍｏｓｔ）ウィンドウ状態に設定され、別の選択されたデスクトップ画面は、可視状態としてマークされる。

例えば予め設定されたウィンドウ数量が２であり、ホーム画面以外にデスクトップ画面がないとき、ホーム画面がＨＭＤ上に最大表示される。

予め設定されたウィンドウ数量が３であり、２つのデスクトップ画面が見つかるとき、ＨＭＤの表示インタフェースは２つの領域に分割され、２つのデスクトップ画面は各々ＨＭＤの表示インタフェースの半分を占める。例えばＴｏｐｍｏｓｔ状態のホーム画面は左側の領域に表示されるよう設定され、他のデスクトップ画面は右側領域に表示されるよう設定される。

予め設定されたウィンドウ数量が３であり、３つのデスクトップ画面が見つかるとき、表示インタフェースは３つの領域に分割される。例えばＴｏｐｍｏｓｔ状態のホーム画面は中間領域に表示されるように設定され、他の２つのデスクトップ画面は、それぞれ、中間領域の両側の領域に表示されるように設定される。

前述のホーム画面は、現在のデスクトップ画面に置き換えられてよい。

９０４．可視状態としてマークされたすべてのデスクトップ画面においてでＶＲ処理を実行する。

システムパブリックコントロールは、デフォルトで、レイアウトファイルマシンに対応する２組の静止画リソースを担持する。１組の静止画リソースは、携帯電話画面に表示されるデフォルトの２Ｄリソースであり、他の組の静止画リソースは３Ｄリソースである（これらの３Ｄリソースは、描画ソフトウェアを使用することによりＵＩデザイナによって予め描画され、ＨＭＤの光学デバイスを使用することにより３Ｄ効果が表示され得る）。具体的な切り替えについては、実施例１を参照されたい。

９０５．ディスプレイデバイスで切り替えを実行して３Ｄモードに入り、特に、３Ｄモードで３Ｄインタフェースを提供する。

図１３ａは、複数のデスクトップ画面を表示する例を示しており、デスクトップのホーム画面１３０３がフォーカス画面として使用され、中央に表示される。隣接する画面１３０２及び１３０３は、両側に分散される。

実施形態１と同様に、オプションとして、携帯電話がＨＭＤに接続された後、携帯電話は直ちに３Ｄモードに切り替える準備をしなくてもよい。オプションとして、携帯電話が３Ｄモードになる準備をした後、携帯電話は直ちに３Ｄモードに切り替えなくてもよい。オプションとして、ウェアラブルデバイスは、ディスプレイのないＨＭＤであり、携帯電話はＨＭＤ内に配置され、ユーザは、ＨＭＤの光学レンズを使用することにより、携帯電話のディスプレイコンテンツを見る。詳細については実施形態１を参照されたい。

オプションとして、前述の２つの実施形態では、アプリケーションインタフェースとデスクトップ画面の双方が表示されてもよい。オプションとして、実施形態１において、すべてのバックグラウンドアプリケーションの数量が、検索される必要があり、かつ画面分割をサポートするアプリケーションの数量より少ない場合、デスクトップ画面及びバックグラウンドアプリケーションが、マルチウィンドウ表示のために選択されてよい。実施形態２では、デスクトップ画面の数量が予め設定されたウィンドウ数量より少ない場合、バックグラウンドアプリケーションがマルチウィンドウ表示のために選択されてよい。オプションとして、予め設定されたウィンドウ数量がＬであり、アプリケーションインタフェースの数量がＮであり、デスクトップ画面の数量がＭであり、ここでＬ＝Ｍ＋Ｎであり、Ｌ、Ｍ、Ｎは整数である。図１４は、デスクトップ画面であり、表示インタフェースの左側に表示される第１画面１４０２と、ビデオアプリケーションのインタフェースであって、表示インタフェースの右側に表示されるインタフェース１４０３とを示す。

図１０を参照すると、本出願のこの実施形態におけるインタフェース表示方法の実施形態３は、３Ｄモードから共通モードへの切り替えを示す。この方法は、以下のステップを含む。

１００１．携帯電話は、ＨＭＤが携帯電話から切断されたことを検出する。

例えば携帯電話はＵＳＢを使用することによりＨＭＤに接続され、携帯電話はＨＭＤが携帯電話のＵＳＢから切断されたことを検出するか、あるいは携帯電話はＢｌｕｅｔｏｏｔｈを使用することによりＨＭＤに接続され、携帯電話はＨＭＤが携帯電話のＢｌｕｅｔｏｏｔｈから切断されたことを検出する。

基礎をなす表示管理モジュールは、以前に登録されたＨＭＤを登録解除し、ＶＲ_ＤＩＳＰＬＡＹ_ＤＥＶＩＣＥ_ＤＩＳＣＯＮＮＥＣＴＥＤブロードキャストを送信する（接続された状態では、通常モードへの切り替えは、別の方法、例えばＨＭＤデバイスの３Ｄモードのスイッチをターンオフする方法によりトリガされる。この場合、ＶＲ_ＤＩＳＰＬＡＹ_ＤＥＶＩＣＥ_ＯＰＥＮ等と同様の他のブロードキャストが対応して送信される）。

１００２．携帯電話はウィンドウステータスを更新し、表示インタフェースを調整する。

ＡＭＳ：ＡＭＳは、各アプリケーション状態と及びバックグラウンドタスクリストを更新する。

ＷＭＳ：ｔｏｐｍｏｓｔ状態にあるアプリケーションウィンドウがフォーカスウィンドウとして使用され、可視状態を維持し続け、別の可視ウィンドウが不可視状態に設定される。

例えばブロードキャストがデスクトップ画面で受け取られた後、ホーム画面が可視状態に設定され、別の画面が不可視状態に設定される。

前述のステップが完了した後、ＶＲ_ＷＩＮＤＯＷＳ_ＵＰＤＡＴＥ_ＦＯＲ_２Ｄ_ＦＩＮＩＳＨＥＤメッセージがＷＭＳに送信される。

１００３．アプリケーションのウィンドウであって、可視状態としてマークされているすべてのウィンドウに対して正規化処理を実行する。

システムパブリックコントロール、システムプリセットアプリケーション及びＶＲをサポートする第三者アプリケーションは、デフォルトで、レイアウトファイルマシンに対応する２組の静止画リソースを担持する。１組の静止画リソースは、携帯電話画面に表示されるデフォルトの２Ｄリソースであり、他の組の静止画リソースは３Ｄリソースである（これらの３Ｄリソースは、描画ソフトウェアを使用することによってＵＩデザイナによって事前に描画され、ＨＭＤの光学デバイスを使用することによって３Ｄ効果を表示することができる）。図１１に図示されるように、特定の３Ｄ－２Ｄ切り替え手順は、以下のとおりである：

ステップ１３０１：ＷＭＳは、ＶＲ_ＷＩＮＤＯＷＳ_ＵＰＤＡＴＥ_ＦＯＲ_２Ｄ_ＦＩＮＩＳＨＥＤメッセージを受け取る。

ステップ１３０２：現在のシステムが、共通モードへの切り替えが実行されている状態にあるかどうかを判断し；現在のシステムがその状態にある場合は、ステップ１３０３を実行し；あるいは現在のシステムがその状態にない場合は、手順を終了する。

ステップ１３０３：ウィンドウを凍結し、ユーザがイベントを入力することを禁止する、言い換えると、この場合、ユーザの入力イベントの処理をスキップし、ウィンドウはアプリケーションのインタフェースである。

ステップ１３０４：すべてのアプリケーションをトラバースし始める。

ステップ１３０５：アプリケーションのウィンドウが可視状態であるかどうかを判断し；アプリケーションのウィンドウが可視状態である場合は、ステップ１３０６を実行し；あるいはアプリケーションのウィンドウが可視状態でない場合は、ステップ１３１１を実行する。

ステップ１３０６：アプリケーションの２Ｄレイアウトファイルを検索する。

ステップ１３０７：アプリケーションの２Ｄレイアウトファイルが見つかったかどうかを判断し；アプリケーションの２Ｄレイアウトファイルが見つかった場合は、ステップ１３０７を実行し；あるいはアプリケーションの２Ｄレイアウトファイルが見つからなかった場合は、ステップ１３０９を実行し、デフォルトレイアウトファイルを使用する。

ステップ１３０８：アプリケーションのウィンドウのレイアウトファイルを、見つかった２Ｄレイアウトファイルに設定する。

ステップ１３１０：ウィンドウ内のすべての要素に対応する２Ｄリソースを取得する、言い換えると、ウィンドウ内のアイコン、テキスト等の要素に対応する２Ｄリソースを取得する。

ステップ１３１１：アプリケーションが最後のアプリケーションであるかどうかを判断し；アプリケーションが最後のアプリケーションである場合は、ステップ１３１２を実行し；あるいはアプリケーションが最後のアプリケーションでない場合は、ステップ１３０４を実行して次のアプリケーションを見つけ、ステップ１３０４～１３１１を繰り返し実行する。

ステップ１３１２：ウィンドウを解凍し、ユーザの入力イベントを受け取る。

ステップ１３１３：共通モードを設定する。

ステップ１３１４：表示インタフェースを描画する。

前述のプロセスにおいて、ステップ１３０４でトラバースされたアプリケーションが、ウィンドウに対して可視のアプリケーションであり得る場合、対応して、ステップ１３０５は実行されない。

１００４．携帯電話を使用することによって共通モードでインタフェースを表示する。

携帯電話は処理された共通インタフェースを表示する。

オプションとして、実施形態３において、ステップ１００１は、次のように置き換えられてもよい：すなわち、ユーザが携帯電話上で共通モードに入るスイッチをターンオンしたことを検出すること；又はＨＭＤによって送信されたスイッチターンオフ通知を受け取ること、ここで、ハードウェアスイッチはＨＭＤ上に配置されている。ユーザがハードウェアスイッチをターンオフしたことが検出されると、ＨＭＤは、携帯電話がステップ１００２～１００５を実行し続けることを携帯電話に通知する。あるいは、ＨＭＤが装着されていないかどうかを判断する。ユーザがＨＭＤを取り外したことを検出すると、ＨＭＤは、携帯電話がステップ１００２～１００５を実行し続けることを携帯電話に通知する。

図１０の実施形態では、ウェアラブルデバイスは、ディスプレイを有するＨＭＤである。オプションとして、ウェアラブルデバイスは、ディスプレイのないＨＭＤであり、携帯電話は、ＨＭＤ内に配置され、ユーザは、ＨＭＤの光学レンズを使用することによって、携帯電話のディスプレイコンテンツを見る。この場合、ＨＭＤと携帯電話との間に通信接続が存在しない場合、図１０に示される実施形態では、ステップ１００１を実行しないように調整が行われてもよい。ユーザが携帯電話上で共通モードに入るスイッチをターンオンしたかどうか；ユーザが携帯電話上で共通モードに入るスイッチをターンオンすると、ステップ１００２～１００４が実行される。

図１２は、本出願の実施形態による、３Ｄモードにおける表示インタフェースの例１を示す。ビデオアプリケーション１２０３によるライブ放送であるＮＢＡゲームのライブ放送画像が、ユーザの視線の真ん中の位置に表示されてよい。ＷｅＣｈａｔチャットソフトウェアインタフェース１２０２が左側に表示され、ニュース参照インタフェース１２０４が右側に表示されるか又は別のライブ画像が右側に表示され、このようにして、ユーザは、スポーツゲームのライブ放送を見ながらＷｅＣｈａｔ友だち情報を見ることができ、ユーザは、他のウィンドウを閉じることなく、スポーツゲームの関連するニュースを更に見ることができ、他のウィンドウの表示に影響を与えることなく、いつでもワードを入力し得る。オプションとして、３Ｄモードにおける表示インタフェースの上方に、ステータスバー１２０１、ステータスバーを更に使用して、ＨＭＤステータス又は携帯電話のステータス、例えば残りのバッテリレベル、信号等を表示してもよい。オプションとして、ステータスバーの表示領域は、新たに受信したＳＭＳメッセージのような通知メッセージを更に表示してよい。

ユーザがウィンドウを閉じると、別のウィンドウが、予め設定されたルールに基づいて位置やサイズ等の属性を適切に調整し、バックグラウンドアプリケーションが自動的にフォアグラウンド表示に変わり得る。例えばユーザがビデオアプリケーションを閉じることが検出されると、ニュースアプリケーションはビデオアプリケーションの位置に移動し、元のビデオアプリケーションのサイズに調整される。ニュースアプリケーションの元の位置は、バックグラウンドアプリケーションを表示する。バックグラウンドアプリケーションを選択するプロセスについては、ステップ６０２を参照されたい。具体的には、１つのバックグラウンドアプリケーションのみが選択され得る。オプションとして、現在のフォアグラウンドアプリケーションが画面分割をサポートしているかどうかを実行する必要はない。他のウィンドウ又はバックグラウンドからフォアグラウンドアプリケーションに新たに切り替わったウィンドウの位置及びサイズ等のプロパティを調整する処理については、ステップ６０３を参照されたい。

ユーザがアプリケーションをドラッグしたことが検出されると、別のウィンドウは、予め設定されたルールに基づいて、位置及びサイズ等の属性を適切に調整する。例えばユーザがビデオアプリケーションを右にドラッグしたことが検出され、ビデオアプリケーションとニュースアプリケーションとの間の重複部分が予め設定された閾値を超えると、ビデオアプリケーションとニュースアプリケーションとの間の位置が交換され、サイズもそれに応じて変更される。

ユーザが右側にフリッキングする命令を与え、ＷｅＣｈａｔアプリケーション１２０２及びビデオアプリケーション１２０３が右側に移動し、ＷｅＣｈａｔアプリケーション１２０２がフォーカスウィンドウ状態として表示されたことが検出されると、ビデオアプリケーション１２０３がニュースアプリケーション１０２４の位置で表示され、ニュースアプリケーション１２０４が不可視ウィンドウに調整され、加えて、アプリケーションがバックグラウンドアプリケーションから選択され、ＷｅＣｈａｔアプリケーション１０２０の以前の位置で表示されることが検出される。

ユーザがアプリケーションから新しいアプリケーションを開いたこと、例えばＷｅＣｈａｔ内でニュースリンクを開き、Ｔｏｕｔｉａｏアプリケーションを開始したことが検出されると、Ｔｏｕｔｉａｏアプリケーションが開始された後、Ｔｏｕｔｉａｏアプリケーションはデフォルトで中央に表示され、ＷｅＣｈａｔウィンドウはまだ可視状態にあり、完全にはバックグラウンドには戻らず、ＷｅＣｈａｔウィンドウの位置とサイズのみが適切に自動的に変更される。

可視ウィンドウがシステムのデフォルトの上限に達すると、可視ウィンドウ内の最も早い時間が不可視状態に変更される、すなわち、自動的にバックグラウンドに戻る。

アプリケーションを終了するために閉じていること又はバックキーを押したことを検出した後、現在の可視ウィンドウの位置とサイズを適応的に調整して、バックグラウンドアプリケーションを可視状態に調整することができる。他のバックグラウンドアプリケーションが存在しない場合は、デスクトップ画面が表示されることになる。

図１３ａは、本出願の実施形態による３Ｄモードの表示インタフェースの例２を示す。デスクトップのホーム画面１３０３は、フォーカス画面として中央に表示され；隣接する画面１３０２及び１３０３は両側に分散される。オプションとして、共通モードで表示された画面が、中央表示のためのフォーカス画面として使用されてよく、隣接する画面は両側に分散される。オプションとして、３Ｄモードの表示インタフェースの上部に、ステータスバー１３０１、ステータスバーを更に表示して、ＨＭＤのステータス又は携帯電話のステータスを表示してよい。

オプションとして、各デスクトップ画面上のアプリケーションアイコンは、ユーザによる最近のクリックの使用頻度に従って目立つように表示される。例えばアプリケーションアイコンに対応するアプリケーションのより高い使用頻度は、より立体的に目立つアイコンを示すか又はより大きいアイコンは、より大きなアイコンを示す。当業者は、別の顕著な表示方法が適用されてもよいことを理解することができる。図１３ａでは、ホーム画面１３０３上でアプリケーションＡＰＰ １のアイコンがハイライトされ、アプリケーションＡＰＰ ２、ＡＰＰ ３、ＡＰＰ ４、ＡＰＰ ５のアイコンが共通の方法で表示される。

ユーザがアプリケーションを開くことを選択したことが検出されると、開いたアプリケーションのインタフェースがフォーカスウィンドウとして表示され得る。あるいは、アプリケーションアイコンが配置されるデスクトップ画面が置き換えられるか、開いたアプリケーションのインタフェースがフォーカスウィンドウとして表示され、ホーム画面が表示のために右側に移動され、第３の画面が不可視状態に切り替わる。図１３ｂに示すように、ユーザが、アプリケーションＡＰＰ １を開くことを選択し、アプリケーションＡＰＰ １のインタフェース１３０５がフォーカスウィンドウとして表示され、ホーム画面インタフェースに置き換わる。

図１４は、本出願の実施形態による３Ｄモードの表示インタフェースの例３を示す図である。デスクトップ画面の第１画面１４０２は、表示インタフェースの左側に表示され得、ビデオアプリケーションのインタフェース１４０３は、右側に表示され得る。このようにして、ユーザはビデオを見ている間にデスクトップ上のアプリケーションを選択することができる。オプションとして、３Ｄモードで表示インタフェースの上方に、ステータスバー１４０１、ステータスバーを更に表示して、ＨＭＤステータス又は携帯電話のステータス、例えば残りのバッテリレベル又は信号を表示してもよい。オプションとして、ステータスバーの表示領域は、新たに受信したＳＭＳメッセージのような通知メッセージを更に表示してよい。

図１５ａは、本出願の実施形態による３Ｄモードの表示インタフェースの例４を示す。ビデオアプリケーションインタフェース１５０３がユーザの視線の真ん中の位置に表示され、ＷｅＣｈａｔチャットソフトウェアインタフェース１５０２が左に表示され、ニュース引用インタフェース１５０４が右に表示される。ステータスバー領域１５０１は、表示インタフェースの上側に表示され、アイコン１５０５は、ステータスバー１５０１と並列に設けられる。ユーザがアイコン１５０５を選択すると、図１５ｂに示されるように、ＨＭＤカメラがターンオンされ、表示インタフェースのブランク領域に現実が提供される。環境ビューウィンドウ１５０６は、カメラによって収集されたコンテンツを表示する。このようにして、ユーザがＨＭＤを装着すると、ユーザは、実際の環境を迅速に見ることができ、それによって、ＨＭＤが頻繁に取り外され、次いでＨＭＤに装着されるという問題を回避することができる。オプションとして、実際の環境のビューのウィンドウが、複数のウィンドウのうちのウィンドウ内に表示されてもよい。図１５ｃに示されるように、１５０７のウィンドウは、カメラによって収集されたコンテンツを表示してよく、元のＷｅＣｈａｔインタフェース１５０２は、不可視に切り替えられる。オプションとして、図１５ｂの状態において、ウィンドウ１５０６におけるズームのためのユーザの操作が検出された場合、表示インタフェースは、図１５ｃの状態に切り替わる。ＨＭＤのカメラによって収集されたデータは、まず携帯電話との接続を通じて携帯電話に送信される。インタフェースレイアウトを行うとき、携帯電話は、ＨＭＤのカメラによって収集されたデータを処理し、表示のためにＨＭＤに送信されたインタフェースは、ＨＭＤのカメラによって収集されたデータを含む。ＨＭＤカメラによって収集されたデータを受け取った後、携帯電話は、画像ぼけ処理、画像内の人の顔処理等の必要な処理をデータに対して実行することができることが理解され得る。

前述の実施形態では、携帯電話によりユーザの様々な入力操作を検出することは、携帯電話によって、リモートコントロールを介してユーザによって送信された命令を受け取っているか又は携帯電話によって、ＨＭに付属するタッチデバイスにおけるユーザのタッチ命令を受け取っていてよい。あるいは、携帯電話は、ユーザによって入力された命令、例えばユーザの頭部のものであり、モーションセンサを使用することによりＨＭＤによって検出される動作命令等を得ることができる様々な実装を受け取る。

前述の実施形態における前述の電子デバイス１０２は、３Ｄディスプレイをサポートするタブレット、ノートブックコンピュータ又はプロジェクタのようなデバイスであってもよい。

図１６は、本出願の実施形態による電子デバイス１０１の概略構造図である。電子デバイス１０１は以下を含む：

第１検出モジュール１６０１は、第２電子デバイスが電子デバイスに接続されていることを検出するように構成される。具体的な実装については、ステップ６０１を参照されたい。ウィンドウ取得モジュール１６０２は、予め設定されたウィンドウ数量に基づいて、表示されるべき少なくとも１つのウィンドウを取得するように構成される。表示されるべき少なくとも１つのウィンドウは２次元ウィンドウである。詳細について、ステップ６０２を参照されたい。インタフェースレイアウトモジュール１６０３は、予め設定されたウィンドウ数量と、少なくとも１つの取得された表示されるべきウィンドウとに基づいて、第２ウィンドウを分割するように構成される。電子デバイスの表示インタフェースについては、特にステップ６０３を参照されたい。３Ｄ変換モジュール１６０４は、表示されるべき少なくとも１つのウィンドウに対して次元変換処理を実行するように構成され、具体的にはステップ６０４を参照されたい。送信モジュール１６０５は、少なくとも１つの変換されたウィンドウを変換するように構成される。表示されるべきウィンドウは、第２電子デバイスに送信され、少なくとも１つの変換された表示されるべきウィンドウは、三次元ウィンドウである。詳細については、ステップ６０５を参照されたい。

電子デバイスは更に以下を含む：３Ｄモードのスイッチがターンオンされたことを検出してウィンドウ取得モジュールをトリガするように構成される第２検出モジュール；又は第２電子デバイスから通知を受け取ってウィンドウ取得モジュールをトリガするように構成される第３検出モジュールであって、ここで、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用される。

電子デバイスは更に以下を含む：３Ｄモードのスイッチがターンオンされたことを検出して送信モジュールをトリガするように構成される第４検出モジュール；又は第２電子デバイスから通知を受け取って送信モジュールをトリガするように構成される第５検出モジュールであって、ここで、通知は、第２電子デバイスがユーザによって装着されていることを示すために使用される。

少なくとも１つの表示されるべきウィンドウは、アプリケーションプログラムインタフェース及び／又はデスクトップ画面を含み、アプリケーションプログラムインタフェースは、第２電子デバイスが接続されていることを第１電子デバイスが検出したときに取得される、現在のフォアグラウンドアプリケーションのインタフェースと、第１電子デバイスのバックグラウンドアプリケーションのインタフェースとを含む。電子デバイスは、現在のフォアグラウンドアプリケーションのインタフェースをフォーカスウィンドウに設定し、バックグラウンドアプリケーションのインタフェースを可視ウィンドウに設定するように構成される、ウィンドウステータス調整モジュールを更に含む。

デスクトップ画面は、少なくとも２つのアプリケーションのアイコンを含み、アイコンは、アプリケーションの使用頻度に基づいてハイライトされる。

第２電子デバイスは、カメラを含み；第１電子デバイスは、カメラによって収集されたコンテンツを受け取るように構成される受信モジュールを更に含み；送信モジュールは、第２電子デバイスが、カメラによって収集されたコンテンツをリアルタイムで表示するように、カメラによって収集されたコンテンツをリアルタイムで第２電子デバイスに送信するように更に構成される。

本出願の実施形態において開示される方法は、プロセッサに適用されてもよく又はプロセッサによって実装されてもよい。プロセッサ９３０は、集積回路チップであってもよく、信号処理能力を有する。実施形態のプロセスでは、前述の方法におけるステップを、プロセッサ内のハードウェア集積論理回路を使用することによって又はソフトウェアの形式の命令を使用することによって実装することができる。前述のプロセッサは、汎用プロセッサ、デジタル信号プロセッサ（DigitalSignalProcessing，ＤＳＰ）、特定用途向け集積回路（ApplicationSpecificIntegratedCircuit，ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field-Programmable Gate Array，ＦＰＧＡ）又は別のプログラマブル論理デバイス、個別ゲート又はトランジスタ論理デバイス、あるいは個別ハードウェアコンポーネントであってもよい。プロセッサは、本出願の実施形態で開示される方法、ステップ及び論理ブロック図を実装又は実行してもよい。汎用プロセッサは、マイクロプロセッサであってよく、あるいはプロセッサは、任意の従来のプロセッサ等であってよい。本出願の実施形態に関連して開示される方法のステップは、ハードウェア復号プロセッサを使用することによって直接的に実行されて達成されてよく、あるいは復号プロセッサ内のハードウェアとソフトウェアモジュールの組合せを使用することによって実行されて達成されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、電気的消去可能プログラマブルメモリ又はレジスタのような、当該技術分野における成熟した記憶媒体内に配置されてよい。記憶媒体はメモリ内に配置され、プロセッサはメモリ内の情報を読み出し、プロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。前述の実施形態のすべて又は一部は、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せを使用することによって実装されてよい。ソフトウェアを使用して実施形態を実装するとき、実施形態は、コンピュータプログラム製品の形態で完全に又は部分的に実装されてよい。

コンピュータプログラム製品は、１つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータ上にロードされて実行されるとき、本出願の実施形態による手順又は機能がすべて又は部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク又は他のプログラマブル装置であってよい。コンピュータ命令は、コンピュータ読取可能な記憶媒体に記憶されてよく又はあるコンピュータ読取可能な記憶媒体から別のコンピュータ読取可能な記憶媒体に送信されてもよい。例えばコンピュータ命令は、ウェブサイト、コンピュータ、サーバ又はデータセンタから、別のウェブサイト、コンピュータ、サーバ又はデータセンタに、有線（例えば同軸ケーブル、光ファイバ又はデジタル加入者線（ＤＳＬ））又は無線（例えば赤外線、無線又はマイクロ波）方式で送信され得る。コンピュータ読取可能記憶媒体は、コンピュータによってアクセス可能な任意の使用可能媒体であるか又は１つ以上の使用可能媒体を統合するサーバ又はデータセンタのようなデータ記憶装置であってもよい。使用可能媒体は、磁気媒体（例えばフロッピーディスク、ハードディスク又は磁気テープ）、光媒体（例えばＤＶＤ）、半導体媒体（例えば固体ディスク（例えばSolid State Disk、ＳＳＤ））等である。

便利で簡単な説明のために、前述のシステム、装置及びユニットの詳細な作業プロセスについては、前述の方法の実施形態における対応するプロセスを参照し、詳細は本明細書では再度説明されないことは、当業者には明らかに理解され得る。

本出願に提供されるいくつかの実施形態では、開示されるシステム、装置及び方法が、他の方法で実装され得ることを理解されたい。例えば説明される装置の実施形態は、単なる例である。例えばユニット分割は単なる論理関数分割であり、実際の実施形態では他の分割であってもよい。例えば複数のユニット又は構成要素は、別のシステムに組み合わされるか統合されてもよく、あるいはいくつかの特徴が無視され得るか、実行されなくてもよい。加えて、表示又は議論された相互結合、直接結合又は通信接続は、いくつかのインタフェースを使用することによって実装されてもよい。装置又はユニット間の間接的な結合又は通信接続は、電子的、機械的又は別の形態で実装されてよい。

別個の部分として説明されるユニットは、物理的に別個であってもそうでなくてもよく、ユニットとして表示される部分は、物理的ユニットであってもそうでなくてもよく、１つの位置に配置されてもよく又は複数のネットワークユニット上に分散されてもよい。ユニットの一部又はすべては、実施形態の解決策の目的を達成するために、実際の要件に基づいて選択されてよい。

加えて、本出願の実施形態における機能ユニットは、１つの処理ユニットに統合されてもよく又はユニットの各々は、物理的に単独で存在してもよく又は２つ以上のユニットが１つのユニットに統合される。統合ユニットは、ハードウェアの形態で実装されてもよく又はソフトウェア機能ユニットの形態で実装されてもよい。

統合されたユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売又は使用されるとき、統合されたユニットはコンピュータ読取可能な記憶媒体に記憶され得る。このような理解に基づいて、本出願の技術的解決策は、本質的に又は先行技術に寄与する部分又は技術的解決策のすべて若しくは一部が、ソフトウェア製品の形態で実装されてよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバ又はネットワークデバイスであってよい）に、本出願の実施形態で説明される方法のすべて又は一部のステップを実行するように指示するためのいくつかの命令を含む。前述の記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ（Read-Only Memory，ＲＯＭ）、ランダムアクセスメモリ（Random Access Memory，ＲＡＭ）、磁気ディスク又はコンパクトディスクのような、プログラムコードを記憶することができる任意の媒体を含む。

前述の実施形態は、本出願の技術的解決策を記載することを意図したものにすぎず、本出願を限定するものではない。本出願は、前述の実施形態を参照して詳細に説明されているが、当業者は、本出願の実施形態の技術的解決策の精神及び範囲から逸脱することなく、前述の実施形態で説明された技術的解決策に依然として修正し得るか又はその技術的特徴のいくつかを同等に置き換え得ることを理解すべきである。

Claims (14)

1. 第２電子デバイス上に三次元３Ｄインタフェースを表示するために第１電子デバイスによって使用されるインタフェース表示方法であって、当該方法は：
   前記第１電子デバイスによって、前記第２電子デバイスが前記第１電子デバイスに接続されていることを検出するステップ；
   前記第１電子デバイスによって、予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するステップであって、前記少なくとも１つの表示されるべきウィンドウは、二次元ウィンドウであり、前記予め設定されたウィンドウ数量は、前記第１電子デバイスによって取得された前記第２電子デバイスの表示インタフェースのサイズに基づくステップ；
   前記第１電子デバイスによって、前記予め設定されたウィンドウ数量及び前記少なくとも１つの取得された表示されるべきウィンドウに基づいて、前記第２電子デバイスの前記表示インタフェースを分割するステップ；
   前記第１電子デバイスによって、前記少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップ；及び
   前記第１電子デバイスによって、少なくとも１つの変換された表示されるべきウィンドウを前記第２電子デバイスに送信するステップであって、前記少なくとも１つの変換された表示されるべきウィンドウは、三次元ウィンドウであるステップ；
   を含み、
   前記少なくとも１つの表示されるべきウィンドウは、アプリケーションプログラムインタフェース及び／又はデスクトップ画面を含み、前記アプリケーションプログラムインタフェースは、前記第２電子デバイスが接続されていることを前記第１電子デバイスが検出したときに取得される、現在のフォアグラウンドアプリケーションのインタフェースと、最近使用されたバックグラウンドアプリケーションのインタフェースとを含み、
   当該方法は、
   前記現在のフォアグラウンドアプリケーションのインタフェースをフォーカスウィンドウに設定するステップと、前記バックグラウンドアプリケーションのインタフェースを可視ウィンドウに設定するステップ
   を更に含む、方法。
2. 前記少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップは：
   前記少なくとも１つの表示されるべきウィンドウに対して双眼レンダリングを実行して、前記少なくとも１つの表示されるべきウィンドウにおける左眼画像及び右眼画像を取得するステップを含む、
   請求項１に記載の方法。
3. 前記第１電子デバイスによって、前記第２電子デバイスが前記第１電子デバイスに接続されていることを検出するステップの後、前記第１電子デバイスによって、予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するステップの前に、当該方法は：
   前記第１電子デバイスによって、３Ｄモードのスイッチがターンオンされたことを検出するステップ；又は
   前記第１電子デバイスによって、前記第２電子デバイスから通知を受け取るステップであって、前記通知は、前記第２電子デバイスがユーザによって装着されていることを示すために使用されるステップ；
   を更に含む、請求項１又は２に記載の方法。
4. 前記第１電子デバイスによって、前記少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するステップの後、前記第１電子デバイスによって、少なくとも１つの変換された表示されるべきウィンドウを前記第２電子デバイスに送信するステップの前に、当該方法は：
   前記第１電子デバイスによって、３Ｄモードのスイッチがターンオンされたことを検出するステップ；又は
   前記第１電子デバイスによって、前記第２電子デバイスから通知を受け取るステップであって、前記通知は、前記第２電子デバイスがユーザによって装着されていることを示すために使用されるステップ；
   を更に含む、請求項１又は２に記載の方法。
5. 前記デスクトップ画面は、少なくとも２つのアプリケーションのアイコンを含み、前記アイコンは、前記アプリケーションの使用頻度に基づいてハイライトされる、
   請求項１に記載の方法。
6. 前記第２電子デバイスはカメラを含み、前記第１電子デバイスは、前記カメラによって収集されたコンテンツを受け取り、前記第１電子デバイスは、前記第２電子デバイスが前記カメラによって収集されたコンテンツをリアルタイムで表示するように、前記カメラによって収集されたコンテンツを前記第２電子デバイスにリアルタイムで送信する、
   請求項１乃至５のいずれか一項に記載の方法。
7. 第２電子デバイス上に三次元（３Ｄ）インタフェースを表示するように構成される第１電子デバイスであって、当該第１電子デバイスは：
   前記第２電子デバイスが当該第１電子デバイスに接続されていることを検出するように構成される第１検出モジュール；
   予め設定されたウィンドウ数量に基づいて、少なくとも１つの表示されるべきウィンドウを取得するように構成されるウィンドウ取得モジュールであって、前記少なくとも１つの表示されるべきウィンドウは、二次元ウィンドウであり、前記予め設定されたウィンドウ数量は、当該第１電子デバイスによって取得された前記第２電子デバイスの表示インタフェースのサイズに基づく、ウィンドウ取得モジュール；
   前記予め設定されたウィンドウ数量及び前記少なくとも１つの取得された表示されるべきウィンドウに基づいて、前記第２電子デバイスの前記表示インタフェースを分割するように構成されるインタフェースレイアウトモジュール；
   前記少なくとも１つの表示されるべきウィンドウに対して次元変換処理を実行するように構成される３Ｄ変換モジュール；及び
   少なくとも１つの変換された表示されるべきウィンドウを前記第２電子デバイスに送信するように構成される送信モジュールであって、前記少なくとも１つの変換された表示されるべきウィンドウは、３次元ウィンドウである、送信モジュール；
   を含み、
   前記少なくとも１つの表示されるべきウィンドウは、アプリケーションプログラムインタフェース及び／又はデスクトップ画面を含み、前記アプリケーションプログラムインタフェースは、前記第２電子デバイスが接続されていることを当該第１電子デバイスが検出したときに取得される、当該第１電子デバイスの現在のフォアグラウンドアプリケーションのインタフェースと、最近使用されたバックグラウンドアプリケーションのインタフェースとを含み、
   当該第１電子デバイスは、
   前記現在のフォアグラウンドアプリケーションのインタフェースをフォーカスウィンドウに設定し、前記バックグラウンドアプリケーションのインタフェースを可視ウィンドウに設定するように構成されたウィンドウステータス調整モジュール
   を更に含む、電子デバイス。
8. 前記３Ｄ変換モジュールは、前記少なくとも１つの表示されるべきウィンドウに対して双眼レンダリングを実行して、前記少なくとも１つの表示されるべきウィンドウにおける左眼画像及び右眼画像を取得するように構成される、
   請求項７に記載の電子デバイス。
9. ３Ｄモードのスイッチがターンオンされたことを検出し、前記ウィンドウ取得モジュールをトリガするように構成される第２検出モジュール；又は
   前記第２電子デバイスから通知を受け取って、前記ウィンドウ取得モジュールをトリガするように構成される第３検出モジュールであって、前記通知は、前記第２電子デバイスがユーザによって装着されていることを示すために使用される、第３検出モジュール；
   を更に含む、請求項７又は８に記載の電子デバイス。
10. ３Ｄモードのスイッチがターンオンされたことを検出し、前記送信モジュールをトリガするように構成される第４検出モジュール；又は
    前記第２電子デバイスから通知を受け取って、前記送信モジュールをトリガするように構成される第５検出モジュールであって、前記通知は、前記第２電子デバイスがユーザによって装着されていることを示すために使用される、第５検出モジュール；
    を更に含む、請求項７又は８に記載の電子デバイス。
11. 前記デスクトップ画面は、少なくとも２つのアプリケーションのアイコンを含み、前記アイコンは、前記アプリケーションの使用頻度に基づいてハイライトされる、
    請求項７に記載の電子デバイス。
12. 前記第２電子デバイスはカメラを含み、前記第１電子デバイスは、前記カメラによって収集されたコンテンツを受け取るように構成される受信モジュールを更に備え、前記送信モジュールは、前記第２電子デバイスが前記カメラによって収集されたコンテンツをリアルタイムで表示するように、前記カメラによって収集されたコンテンツを前記第２電子デバイスにリアルタイムで送信するように更に構成される、
    請求項７乃至１１のいずれか一項に記載の電子デバイス。
13. 第２電子デバイス上に三次元（３Ｄ）インタフェースを表示するように構成される電子デバイスであって、
    当該電子デバイスは、周辺インタフェース、プロセッサ及びメモリを含み；
    前記メモリはプログラムを記憶するように構成され；
    前記プロセッサは、前記電子デバイスが請求項１乃至６のいずれか一項に記載の方法を実行するように、前記メモリ内の前記プログラムを実行するように構成される、
    電子デバイス。
14. 命令を含むコンピュータ読取可能な記憶媒体であって、前記命令がコンピュータ上で実行されると、前記コンピュータは、請求項１乃至６のいずれか一項に記載の方法を実行することを可能にされる、コンピュータ読取可能な記憶媒体。

Images