JP5372157B2 - 拡張現実のためのユーザインターフェース - Google Patents

Description

本明細書において開示する実施形態は、概して、ユーザインターフェースに関し、より具体的には、拡張現実ユーザインターフェースに関する。

拡張現実システムは、概して、現実世界ビューおよび付加データを組み合わせた表示で提示する。拡張現実システムは、現実世界の画像を、その画像内のアイテムに関する付加情報を識別または提供できるコンピュータにより生成された要素によって強化することができる。例として、拡張現実システムは、建物内の企業の住所および企業名を識別する重畳テキストとともに、建物の画像を表示することができる。

コンピュータビジョンにおける進歩、より強力で小型なコンピュータ、そして位置センサおよび方向センサにおける進歩によって、携帯型（ポータブル型）の拡張現実機器がますます実現可能になっている。携帯型機器は、既に、数メートルおよび数度の範囲内で位置および方向を判断することが可能である。しかしながら、携帯型機器は、比較的小型のディスプレイを有する傾向にある。従来のオーバーレイは、ビューにおけるオブジェクトを部分的または全体的に不明瞭にする場合があり、また、周囲範囲の他の部分も不明瞭にする場合がある。ある範囲に多くのオブジェクトが存在する場合、付加情報は視覚的に乱雑となりうる。加えて、過密なビューにより、ユーザが実際に見ているものと付加情報を一致させるのが困難にもなる。図1Aおよび図1Bは、従来のディスプレイ例を示し、このディスプレイ例は、付加情報が利用可能であるオブジェクト上またはオブジェクト付近にテキストをオーバーレイすることに依存する。また、非携帯型機器も、ビューにおいてオブジェクトを不明瞭にすること、視覚的乱雑さ、および付加情報を現実世界オブジェクトと一致させる困難に関連する同様の問題がある。

このため、前述の実装上の制約を回避する、拡張現実ディスプレイへの付加情報提示のスキームを提供することが有益となる。

摘要

以下、摘要を単に例示的で非制限的であるとして記述する。

開示する実施形態は、画像を取得することと、前記画像において1つ以上の関心オブジェクトを識別することと、前記1つ以上の関心オブジェクトを不明瞭にすることなく、前記関心オブジェクトのうちの1つ以上について、付加情報が利用可能であるという標示を提供することと、を含む方法を対象とする。

また、開示する実施形態は、画像を入手するように構成された画像取り込みデバイスと、前記画像において1つ以上の関心オブジェクトを識別するように構成された位置回路と、前記1つ以上の関心オブジェクトを不明瞭にすることなく、前記関心オブジェクトのうちの1つ以上について、付加情報が利用可能であるという標示を提供するように構成されたディスプレイと、を含む装置も対象とする。

開示する実施形態は、画像を入手するように構成された画像取り込みデバイスと、前記画像において識別された1つ以上の関心オブジェクトを表示し、かつ前記識別された関心オブジェクトを不明瞭にすることなく、前記画像における前記識別された関心オブジェクトについて、付加情報が利用可能であるという標示を提供するように構成されたディスプレイと、を有するユーザインターフェースをさらに対象とする。

実施形態の前述の側面および他の特徴は、以下の説明において、添付の図面を併用して説明される。

以前の拡張現実ディスプレイ例を示す。

開示する実施形態を実践するための例示的機器100を示す。

拡張現実ディスプレイ機器100の異なる方向の例を示す。

開示する実施形態の実装に使用されるヘッドアップビューの例を示す。

開示する実施形態に従うプロセスのフロー図を示す。

開示する実施形態の側面を実践するために使用され得る機器の例を示す。

開示する実施形態を実践するために使用され得る機能を組み込まれた例示的システムのブロック図を示す。

図5Aおよび図5Bの例示的機器が使用され得る例示的システムの一般的なアーキテクチャのブロック図を示す。

実施形態の詳細な説明

図2は、開示する実施形態の側面が適用され得る例示的機器100の一実施形態を示す。開示する実施形態の側面は、以下に図示および説明する実施形態を参照して説明されるが、これらの側面を、多くの代替形式および任意の可能な組み合わせの要素で具現化してもよいことを理解されたい。加えて、任意の適切なサイズ、形状、または種類の要素または材料を使用してもよい。

開示する実施形態は、概して、現実世界オブジェクトの付加情報の標示を提供し、また、現実世界オブジェクトを不明瞭にすることを回避する拡張現実ディスプレイの一部分を組み込むことができる。また、開示する実施形態は、現実世界オブジェクトを強調し、かつ付加情報をディスプレイ上に提供する一方で、前述のように、強調された現実世界オブジェクトを不明瞭にすることを回避する能力も含む。開示する実施形態は、拡張現実ディスプレイ機器の方向を変更することによって、またはジェスチャによって、付加情報を入手および提供するための表示モードを選択する能力をさらに含む。

図2は、開示する実施形態を実践するための例示的拡張現実ディスプレイ機器100を示す。機器100は、携帯型機器、例えば、モバイル端末であってもよく、または固定型機器、例えば、観光地における屋外望遠鏡であってもよい。機器100は、任意の適切な機器であってもよいが、拡張現実ディスプレイを備えることを前提とする。機器100は、ユーザインターフェース102、プロセッサ122、およびストレージデバイス182を含んでもよい。また、機器100は通信機能170および位置機能172も含んでよい。

開示する実施形態のユーザインターフェース102は、1つ以上のユーザと、および拡張現実ディスプレイ機器の環境とインタラクトするための入力デバイスおよび出力デバイスを含んでもよい。ユーザインターフェース102は、タッチデバイスおよび非タッチデバイスの両方を含んでもよい。タッチデバイスは、タッチスクリーンまたは近接スクリーンデバイス112を含み、タッチスクリーンまたは近接スクリーンデバイス112は、ユーザ入力に応答し、また、ディスプレイも含んでもよい。代替実施形態では、本明細書に開示するユーザインターフェース102の側面は、情報を表示し、かつ本明細書に説明する実施形態のアプリケーション、システムコンテンツ、および機能の選択および作動を可能にする任意の適切な機器上で具現化される。用語の「選択」および「タッチ」は、概して、タッチスクリーンディスプレイに関連して説明される。しかしながら、代替実施形態では、これらの用語は、他の入力デバイスに関連する所要のユーザ操作を包含するようにも意図される。例えば、タッチ/近接スクリーンデバイス112に関連し、オブジェクト、他の情報を選択するため、またはアプリケーションを起動するために、ユーザが、タッチ/近接スクリーンデバイス112に直接接触する必要がなくてもよい。

したがって、上述の用語は、所望の機能を実行するために、ユーザが、タッチ/近接スクリーンデバイス112に近接するだけでよいことを含むように意図される。例えば、タッチ/近接スクリーンデバイス112に関連する用語の「タッチ」は、直接接触を必ずしも必要とせず、タッチ/近接スクリーンデバイス112を作動させる近接または接近した接触を含んでもよい。同様に、対象デバイスの範囲は、単一のタッチデバイスまたは接触デバイスに限定されない。1つ以上の指または他のポインティングデバイスによる接触により、画面上および画面周辺で操作可能であるマルチタッチデバイスも、開示する実施形態により包含されている。

また、非タッチデバイス117も、開示する実施形態により包含される。非タッチデバイスには、ブレインコンピュータインターフェース（brain computer interface; BCI）およびタッチスクリーンまたは近接スクリーンを含まないデバイスが含まれてもよいが、これらに限定されない。一実施形態では、BCI等の非タッチデバイスについて、ユーザは、思考を使用して、本明細書に説明するデバイスを制御することができる（すなわち、脳または他の適切な神経組織から検出された神経生理学的信号を通して制御する）。

また、ユーザインターフェース102は、ユーザ入力を受信するための、キー110、例えば、ハードキー、ソフトキー、キーボード等と、音声コマンドを受信するためのマイクロホン113も含んでよい。

また、ユーザインターフェース102は、本明細書に説明する実施形態を実装するための、画像取り込みデバイス115、例えば、カメラも含んでもよい。

また、ユーザインターフェース102は、1つ以上のディスプレイ114も含んでよく、ディスプレイ114は、前述のように、タッチ/近接スクリーン112の一部であってもよく、または別々のデバイスであってもよい。1つ以上のディスプレイは、概して、拡張現実ディスプレイ機器100の機能を選択するための手段を含む情報をユーザに提供する。

引き続き図2を参照すると、プロセッサ122は、拡張現実ディスプレイ機器100の機能を制御するように動作する。プロセッサは、入力、例えば、機器100の機能に関連する信号、伝送、命令、またはコマンドを、ユーザインターフェース102、ストレージ機器182、および通信機能170から受信してもよい。プロセッサ122は、入力を解釈し、拡張現実ディスプレイ機器100の機能を適宜制御する。

ストレージデバイス182は、概して、機器100の機能に関連するプロセッサ122の命令またはコマンドを含む。ストレージデバイス182は、本明細書に開示する実施形態を実装するために、コンピュータにより実行可能な構成要素、ソフトウェア、プログラム、命令、コマンド等で符号化されたコンピュータ可読媒体を含む。ストレージデバイス182は、命令およびコマンドを受信、格納、または配信するために、光学的特性、磁気的特性、化学的特性、電気的特性、または任意の他の適切な特性を利用してもよい。ストレージデバイス182は、コンピュータにより可読かつ実行可能である、ディスケット、ディスク、メモリスティック、またはコンピュータハードドライブ等の磁気媒体を含んでもよい。他の実施形態では、ストレージデバイス182は、光ディスク、読み取り専用メモリ（read-only-memory; ROM）フレキシブルディスク、ならびに半導体材料およびチップを含んでもよい。ストレージデバイス182は、概して、本明細書に開示する実施形態を実装するために、任意の適切な技術を利用してもよい。

また、ストレージデバイス182は、他の機能、例えば、データ収集（例えば、画像、映像、および音声）、データ処理（表計算、ワードプロセッサ、連絡先リスト、通貨換算器等）、マルチメディアプレーヤ（例えば、映像および音楽プレーヤ）、種々のウェブサービス、および任意の他の適切なアプリケーションのための、アプリケーション180およびアプリケーション設定184も含んでよい。また、ストレージデバイス182は、任意の地理的位置の地図ならびに拡張現実ディスプレイ機器100の近くに存在し得るオブジェクトに関連する情報を含む1つ以上のデータベース186も含んでよい。

通信機能170は、開示する実施形態を実装するために、任意の適切な通信タスクを提供するための回路およびプログラムを含んでもよい。通信機能は、任意の種類の衛星通信、モバイル通信、無線通信、広域ネットワーク通信、ローカルエリアネットワーク通信、もしくは公衆交換電話ネットワーク通信のための施設、または任意の他の適切な通信施設を含んでもよい。

位置機能172は、概して、位置、方向、および拡張現実ディスプレイ機器100へ加わる外力を判断するため、および画像取り込みデバイス115により取り込まれたオブジェクトを識別するための回路およびプログラムを含んでもよい。例えば、位置機能172は、全地球測位システムプロセッサ174、コンパス、1つ以上の加速度計、および総称してセンサ176と呼ばれる任意の他の適切なセンサを含んでもよい。さらなる例として、拡張現実ディスプレイ機器100は、全地球測位システムプロセッサ174を使用して、それ自体の位置を判断してもよい。いくつかの実施形態では、位置機能172は、コンピュータビジョンまたはマシンビジョンを使用して、拡張現実ディスプレイ機器100の位置および方向を判断するための回路およびプログラムを含んでもよい。例えば、位置機能は、画像取り込みデバイスと通信し、とりわけ、画像収集、検出、分割、特徴抽出等を、単独で、または拡張現実ディスプレイ機器100の他の機能、回路、およびプログラムと組み合わせて実行し、機器100の位置および方向を判断してもよい。

図3A〜図3Cは、拡張現実ディスプレイ機器100の異なる方向の例を示す。センサと、任意選択によりアプリケーション180およびアプリケーション設定184とを利用することによって、拡張現実ディスプレイ機器100は、それ自体の方向、例えば、図3Aに示す水平、図3Bに示す垂直横置き、図3Cに示す垂直縦置きを判断してもよい。また、拡張現実ディスプレイ機器100の他の方向も判断してもよい。一方の方向から別の方向、一方の位置から別の位置、または一方の位置から同一の位置に戻すように拡張現実ディスプレイ機器100を移動させることは、ジェスチャ、またはジェスチャリングと呼ばれる。

また、拡張現実ディスプレイ機器100は、センサのうちの1つ以上と、任意選択により、アプリケーション180およびアプリケーション設定184と使用して、その近くのオブジェクトの位置を判断してもよい。また、拡張現実ディスプレイ機器100は、画像取り込みデバイス115により取り込まれた画像を処理することによって、その近くのオブジェクトの位置を判断してもよい。いくつかの実施形態では、拡張現実ディスプレイ機器100は、上述のコンピュータビジョンまたはマシンビジョンを利用して、その近くのオブジェクトの位置を判断してもよい。また、拡張現実ディスプレイ機器100は、コンピュータビジョンまたはマシンビジョンを利用して、オブジェクトを識別してもよい。いくつかの実施形態では、拡張現実ディスプレイ機器100は、オブジェクトの位置を使用して、オブジェクトを識別してもよい。

開示する実施形態は、以下の例に説明する例において利用されてもよい。

いくつかの実施形態では、オブジェクトの発見は、拡張現実ディスプレイ機器100により提供された地図ビューを使用して支援される。図3Aは、このようなビュー350の例を示す。地図ビュー350は、種々の方式で、例えば、ユーザインターフェース上のメニュー選択から、拡張現実ディスプレイ機器100の方向を図3Aに示す水平位置に変更することによって、または任意の他の適切な方法によって、起動されてもよい。地図ビュー350を起動すると、ある範囲の地図355が表示されてもよい。地図は、1つ以上のデータベース186（図2）から、通信機能170を使用して、遠隔機器もしくはサービス、またはその2つの任意の組み合わせから読み出されてもよい。関心オブジェクトは、地図上で強調されてもよい。地図ビューは、ユーザをガイドする、すなわち、関心オブジェクトを探索する際にユーザを支援するために使用されてもよい。

ユーザは、画像取り込みデバイス115を使用して、オブジェクトを視認してもよい。いくつかの実施形態では、これは、拡張現実ディスプレイ機器100を垂直横置き方向（図3B）に操作することによって達成されてもよい。方向を検知すると、拡張現実ディスプレイ機器100は、画像取り込みデバイス115により観察されたように、ヘッドアップビューを提供してもよい。

図3Dは、ディスプレイ114により提供され得るこのようなヘッドアップビュー300の例を示す。次いで、ビューにおけるオブジェクトは、位置機能172を使用して識別されてもよい。次いで、オブジェクトのうちの1つ以上について付加情報が利用可能であるという標示が提供されてもよい。例えば、付加情報が利用可能であるビュー300におけるオブジェクトは、ディスプレイの部分325において描写されたアイコン310、315、320、323によって標示されてもよい。アイコン310、315、320、323は、図表、略図、絵、またはビュー300における任意の他の種類のオブジェクトの表現であってもよい。ディスプレイの部分325は、図示するように上部に沿って存在してもよく、またはディスプレイの側部のうちの1つまたは底部に沿って存在してもよい。また、ディスプレイの部分325は、ビューにおけるオブジェクトを不明瞭にすることを回避するディスプレイの任意の適切な位置に存在してもよい。いくつかの実施形態では、アイコン310、315、320、323は、ビューにおけるオブジェクトに類似するか、あるいはビューにおけるオブジェクトを表現してもよく、オブジェクトの現実世界位置に対応するように、ディスプレイ上でつながれるか、あるいはディスプレイ上に位置してもよい。他の実施形態では、アイコン310、315、320、323は、ビュー300よりも幅広いフィールドの上に広がってもよいが、アイコンと、それが表現するオブジェクトとの間で一致するように、現実世界位置と同じ順番で配置されてもよい。いくつかの実施形態では、アイコン310、315、320、323は、対応するオブジェクトから拡張現実ディスプレイ機器100までの距離を標示するように、ビューにおいて形成されるか、または位置付けられてもよい。少なくとも1つの実施形態では、アイコン310、315、320、323は、例えば、ビューにおけるオブジェクトが相互に接近するか、または重なり合う場合に、重なり合うか、または交互配置されてもよい。例えば、アイコン320および323を参照されたい。

図3Eを参照すると、アイコン310、315、320、323のうちの1つ以上、例えば、アイコン320が選択されてもよい。他の実施形態では、代替として、アイコンに対応するオブジェクトが、選択されてもよい。例示的アイコン320または対応するオブジェクト330を選択すると、オブジェクト330は、不明瞭にならないように強調されてもよい。例えば、暗い透明層が、オブジェクト330の周囲の範囲345を除いて、ビュー300の上に与えられてもよい。範囲345は、ビュー300におけるオブジェクト330のサイズに従って形成されてもよく、また、オブジェクト330の位置を判断する際のいかなる不確実性も補うように形成されてもよい。いくつかの実施形態では、選択されたアイコンは、ディスプレイ114上の他の場所で拡大または複製され、例えば、ユーザが、対応するオブジェクトをより容易に認識すること、または例えば、アイコンまたはオブジェクトの位置の誤差を補うことを可能にするようにする。

選択の結果、オブジェクトに関連する付加情報335が、ディスプレイ114の別の部分340に示されてもよい。したがって、ビュー300におけるオブジェクトは、付加情報によって不明瞭にならない。付加情報335は、識別情報、オブジェクト330に関連する他の情報へのリンク、ディスプレイおよびオブジェクト330に関連して実行可能な行為、または任意の他の適切な情報、行為、リンク等を含んでもよい。他の情報へのリンクを選択すると、他の情報が表示されてもよい。

いくつかの実施形態では、付加情報335は、1つ以上のデータベース186（図2）から入手されてもよい。いくつかの実施形態では、拡張現実ディスプレイ機器100は、通信機能170を使用して、遠隔機器またはサービスから、付加情報335の少なくとも一部分を入手してもよい。同様に、付加情報におけるリンクのうちの1つ以上は、通信機能170を利用することによって、遠隔機器またはサービスにリンクしてもよい。

いくつかの実施形態では、付加情報335が表示されると、またさらなる情報345（図3C）が、要求に応じて表示されてもよい。さらなる情報は、付加情報の少なくとも一部分、オブジェクト330に関連するさらなる詳細、他の情報へのさらなるリンク、ディスプレイおよびオブジェクト330に関連して実行可能なさらなる行為、または任意の他の適切な情報、行為、リンク等を含んでもよい。さらなる情報は、例えば、キー110のうちの1つ以上、タッチスクリーンまたは近接スクリーンデバイス112、非タッチデバイス117、またはユーザインターフェース102の任意の他の適切な構成要素を操作することによって、表示されてもよい。いくつかの実施形態では、さらなる情報は、例えば、拡張現実ディスプレイ機器100の方向を、例えば、図3Cに示す垂直縦置き方向に変更することによって、または上述のジェスチャによって表示されてもよい。

図4は、開示する実施形態に従うプロセスのフロー図を示す。ブロック400において、地図ビューが、任意選択により、オブジェクトの発見を支援するために使用されてもよい。ブロック410において、1つ以上の関心オブジェクトが、画像取り込みデバイス115を使用して取り込まれてもよい。ブロック415において、オブジェクトのうちの1つ以上が、識別され、ブロック420において、オブジェクトのうちの1つ以上の付加情報が利用可能であることを示す識別が提供されてもよい。標示は、オブジェクトを不明瞭にすることなく提供されてもよい。ブロック425において、インジケータのうちの1つが、選択され、ブロック430において、対応するオブジェクトが、強調されたオブジェクトを不明瞭にすることなく強調される。ブロック435において、オブジェクトに関連する付加情報が、前述のように、選択されたオブジェクトを不明瞭にすることなく示されてもよい。したがって、関心オブジェクトは、付加情報を表示する際に不明瞭にならない。前述のように、付加情報は、識別情報、オブジェクト330に関連する他の情報へのリンク、ディスプレイおよびオブジェクト330に関連して実行可能な行為、または任意の他の適切な情報、行為、リンク等を含んでもよい。ブロック440に示すように、任意選択により、対応するオブジェクトに関連するまたさらなる情報が表示されてもよい。

例示的実施形態の結果、オブジェクトは、不明瞭になることなく注釈を付けられ、ユーザインタラクションは、合理化され、強調は、オブジェクトのサイズに対応するように形成され、また、オブジェクトの位置におけるいかなる不確実性も補うように形成されてもよい。

開示する実施形態の側面を実践することができる機器の例が、図5Aおよび図5Bに関連して図示される。端末またはモバイル通信機器500は、上述の拡張現実ディスプレイ機器の全ての機能を組み込んでもよい。端末またはモバイル通信機器500は、キーパッド510およびディスプレイ520を有してもよい。キーパッド510は、例えば、多機能キー/スクロールキー530、ソフトキー531、532、通話キー533、通話終了キー534、および英数字キー535等の、任意の適切なユーザ入力デバイスを含んでもよい。ディスプレイ520は、例えば、タッチスクリーンディスプレイまたはグラフィカルユーザインターフェース等の、任意の適切なディスプレイであってもよい。ディスプレイは、機器500に一体型であってもよく、またはディスプレイは、機器500に接続される周辺ディスプレイであってもよい。例えば、スタイラス、ペン、または単にユーザの指等のポインティングデバイスをディスプレイ520とともに使用してもよい。代替実施形態では、任意の適切なポインティングデバイスを使用してもよい。他の代替実施形態では、ディスプレイは、例えば、典型的には、カラー画像を表示できる薄膜トランジスタ（thin film transistor; TFT）マトリクス等の任意選択の背面照明を有する液晶ディスプレイ（liquid crystal display; LCD）から作製される平面ディスプレイであってもよい。さらに他の代替実施形態では、ディスプレイは、任意の適切な従来のディスプレイであってもよい。

また、機器500は、例えば、カメラ、拡声器、接続ポート、または触覚フィードバック機能等の、他の適切な機能も含んでよい。モバイル通信機器は、ユーザ入力を処理し、ディスプレイ502上に情報を表示するため、および本明細書に説明する拡張現実ディスプレイ実施形態に従って端末またはモバイル通信機器500を制御するために、ディスプレイに接続されるプロセッサ518を有してもよい。メモリ502は、電話帳記入、カレンダ記入、本明細書に開示する拡張現実を表示する機能に関連する命令またはコマンド等の、モバイル通信機器500に関連する任意の適切な情報および/またはアプリケーションを格納するために、プロセッサ518に接続されてもよい。メモリ502は、本明細書に開示する実施形態を実装するために、コンピュータにより実行可能な構成要素、ソフトウェア、プログラム、命令、コマンド等で符号化されたコンピュータ可読媒体を含んでもよい。

機器500がモバイル通信機器を備える実施形態では、機器は、図6に示すシステム等の電気通信システムにおける通信に構成可能である。このようなシステムでは、セルラ音声通話、ワールドワイドウェブ/無線アプリケーションプロトコル（worldwide web/wireless application protocol; www/wap）閲覧、セルラ映像通話、データ通話、ファックス伝送、データ伝送、音楽伝送、静止画像伝送、映像伝送、電子メッセージ伝送、および電子商取引等の、種々の電気通信サービスが、モバイル端末600と、別のモバイル端末606、固定電話機632、パーソナルコンピュータ626、および/またはインターネットサーバ622等の他の機器との間で実行されてもよい。

モバイル端末600は、概して、端末またはモバイル通信機器500および拡張現実ディスプレイ機器100の全ての機能を含む。モバイル端末600の異なる実施形態および異なる状況において、上記に示した電気通信サービスのうちのいくつかが、利用可能または利用不可能であってもよいことに留意されたい。開示する実施形態の側面は、この点において、いかなる特定の組み合わせのサービスにも限定されない。

モバイル端末600、606は、基地局604、609を介して、無線周波数（radio frequency; RF）リンク602、608を通してモバイル電気通信ネットワーク610に接続されてもよい。モバイル電気通信ネットワーク610は、例えば、GSM（global system for mobile communications）、UMTS（universal mobile telecommunication system）、D-AMPS（digital advanced mobile phone service）、CDMA2000（code division multiple access 2000）、WCDMA（wideband code division multiple access）、WLAN（wireless local area network）、FOMA（freedom of mobile multimedia access）、およびTD-SCDMA（time division-synchronous code division multiple access）等の、任意の商用モバイル電気通信規格に準拠してもよい。

モバイル電気通信ネットワーク610は、インターネットまたはその一部であり得る広域ネットワーク620で動作できるように接続されてもよい。インターネットサーバ622は、データストレージ624を有し、インターネットクライアントコンピュータ626と同様に、広域ネットワーク620に接続される。いくつかの実施形態では、データストレージ624は、地図355（図3A）、付加情報335（図3E）、およびさらなる情報345（図3C）のうちの少なくとも一部分を含んでもよい。付加情報335におけるリンクのうちの1つ以上は、データにリンクしてもよく、またはデータストレージ624に格納された1つ以上のプログラムを起動してもよい。サーバ622は、ワールドワイドウェブ/無線アプリケーションプロトコルのコンテンツをモバイル端末600に提供し、ワールドワイドウェブ/無線アプリケーションプロトコルサーバをホストしてもよい。

公衆交換電話網（Public Switched Telephone Network; PSTN）630は、一般的な方式でモバイル電気通信ネットワーク610に接続されてもよい。固定電話機632を含む種々の電話端末は、公衆交換電話網630に接続されてもよい。

また、モバイル端末600は、ローカルリンク601を介して1つ以上のローカル機器603に局所的に通信することも可能である。ローカルリンク601は、例えば、Bluetooth、ユニバーサルシリアルバス（Universal Serial Bus; USB）リンク、無線ユニバーサルシリアルバス（Wireless Universal Serial Bus; WUSB）リンク、IEEE 802.11 WLANリンク、RS-232シリアルリンク等の、制限範囲を有する任意の適切な種類のリンクであってもよい。上記の例は、制限的であるように意図されず、任意の適切な種類のリンクを利用してもよい。ローカル機器603は、アンテナであってもよく、WiMAX（Worldwide Interoperability for Microwave Access, IEEE 802.16）、WiFi（IEEE 802.11x）、または他の通信プロトコルを実装する、無線ローカルエリアネットワークを形成する支援設備であってもよい。無線ローカルエリアネットワークは、インターネットに接続されてもよい。したがって、モバイル端末600は、モバイル通信ネットワーク610、無線ローカルエリアネットワーク、またはその両方を使用して無線接続するために、マルチ無線能力を有してもよい。また、モバイル電気通信ネットワーク610との通信は、WiFi、マクロウェーブアクセスのためのワールドワイド相互運用、または任意の他の適切なプロトコルを使用して実装されてもよく、このような通信は、無線スペクトル（例えば、無認可モバイルアクセス（Unlicensed Mobile Access; UMA）の認可部分を利用してもよい。一実施形態では、図2のプロセッサ122は、図6に関して説明したシステムとやり取りするように構成される通信モジュールを含むことができる。

モバイル通信機器上およびモバイル通信機器で実装するように上記実施形態について説明しているが、開示する実施形態が、ディスプレイ、プロセッサ、メモリ、および支援ソフトウェア、またはハードウェアを組み込む任意の適切な機器上において実践可能であることを理解されたい。一実施形態では、図2の拡張現実ディスプレイ機器100は、例えば、図5Bに示す携帯情報端末（personal digital assistant; PDA）式の機器590に実装されてもよい。携帯情報端末590は、キーパッド591、タッチスクリーンディスプレイ592、およびタッチスクリーンディスプレイ592上で使用するためのポインティングデバイス595を有してもよい。さらに他の代替実施形態では、機器は、パーソナルコミュニケータ、タブレットコンピュータ、タッチパッドデバイス、インターネットタブレット、ノート型もしくはデスクトップ型コンピュータ、モバイル端末、携帯電話機/モバイル電話機、マルチメディア機器、パーソナルコミュニケータ、または、例えば、図2に示すディスプレイ114ならびにプロセッサ122およびメモリ182等の支援電子機器を含むことが可能な任意の他の適切な機器であってもよい。

また、開示する実施形態は、異なるコンピュータにおいて実行される上述のプロセスステップおよび命令を組み込むソフトウェアおよびコンピュータプログラムも含んでもよい。図7は、開示する実施形態の側面を実践するために使用される機能を組み込まれた典型的な装置700の一実施形態のブロック図である。装置700は、開示する実施形態を実装するために内部に具現化された、コンピュータにより実行可能な構成要素またはプログラムコードを含むコンピュータ可読媒体を含むことができる。図示するように、コンピュータシステム702を、別のコンピュータシステム704にリンクして、コンピュータ702および704が、情報を相互に送受信可能であるようにしてもよい。コンピュータ704は、概して、拡張現実ディスプレイ機器100の全ての機能を含む。

一実施形態では、コンピュータシステム702は、ネットワーク706と通信するように構成されたサーバコンピュータを含んでもよい。コンピュータシステム702および704は、例えば、モデム、無線、配線接続、または光ファイバーリンクを含む任意の従来の方式でリンク可能である。概して、通信チャネル上で、または総合デジタル通信網（integrated services digital network; ISDN）線のダイアルアップ接続を通して典型的に送信される通信プロトコルを使用して、コンピュータシステム702および704の両方に情報が利用可能になることができる。コンピュータ702および704は、概して、コンピュータにより実行可能な構成要素、例えば、コンピュータ可読プログラムソースコードを具現化するコンピュータ可読媒体を含むプログラムストレージデバイスを利用するように構成され、このコンピュータ可読プログラムソースコードは、コンピュータ702および704に、本明細書に開示する実施形態を実装させるように構成される。開示する実施形態の側面を組み込むプログラムストレージデバイスを、光学的特性、磁気的特性、および/または電子技術を利用して、本明細書に開示する手順および方法を実行するコンピュータの構成要素として考案、作製、および使用してもよい。代替実施形態では、プログラムストレージデバイスは、コンピュータにより読み取り可能かつ実行可能であるディスケットまたはコンピュータハードドライブ等の磁気媒体を含んでもよい。他の代替実施形態では、プログラムストレージデバイスには、光ディスク、ROMフレキシブルディスク、ならびに半導体材料およびチップが含まれてもよい。

また、コンピュータシステム702および704は、格納されたプログラムを実行するためのマイクロプロセッサも含んでよい。コンピュータ702は、情報およびデータを格納するために、そのプログラムストレージデバイス上にデータストレージデバイス708を含んでもよい。開示する実施形態を実装するコンピュータプログラムまたはソフトウェアは、1つ以上のコンピュータ702および704上、そうでなければ、従来のプログラムストレージデバイス上に格納されてもよい。一実施形態では、コンピュータ702および704は、ユーザインターフェース710と、開示する実施形態の側面がアクセスされ得るディスプレイインターフェース712とを含んでもよい。ユーザインターフェース710およびディスプレイインターフェース712は、システムへのクエリおよびコマンドの入力を可能にし、また、そのコマンドおよびクエリの結果を提示可能にするように構成されてもよい。

本明細書に説明する例示的実施形態は、ビューにおけるオブジェクトの付加情報が利用可能であるという1つ以上の標示を拡張現実ディスプレイに提供する非限定的な例として提供される。標示は、オブジェクトを不明瞭にすることを回避するように提供される。また、実施形態は、オブジェクトを強調し、前述のように、強調されたオブジェクトを不明瞭にすることを回避するように付加情報を提供する能力も提供する。実施形態は、拡張現実ディスプレイ機器の方向を変更することによって、またはジェスチャによって、付加情報を入手および提供するための表示モードを選択することをさらに提供する。したがって、オブジェクトは、不明瞭な画像の乱雑さが回避され、注釈が付けられ、かつ強調されようになる。

本明細書に説明する実施形態を、個々でまたは任意のそれらの組み合わせで使用してもよいことに留意されたい。前述の説明が、実施形態の単なる例示であることを理解されたい。当業者により、実施形態から逸脱することなく、種々の代替および修正を考案してもよい。したがって、本実施形態は、本開示の範囲内にある代替、修正、および変形等の全てを包含するように意図される。

Claims (18)

1. 装置の処理手段が、プログラム命令に従って動作する方法であって、
   ジェスチャを検知することであって、前記ジェスチャは前記装置の方向を変更することにより提供される、前記検知することと、
   前記ジェスチャを検知すると、画像を取得することと、
   前記画像において１つ以上の関心オブジェクトを識別することと、
   前記１つ以上の関心オブジェクトに重ならないように、標示を提供することであって、前記標示は、前記関心オブジェクトのうちの１つ以上について、付加情報が利用可能であることを標示する、前記提供することと、
   を含む、方法。
2. 前記関心オブジェクトのうちの１つ以上について、付加情報が利用可能であることを標示するための１つ以上のアイコンを表示することをさらに含み、ここで前記付加情報は、前記関心オブジェクトに関連する他の情報への１つ以上のリンクを含む、請求項１に記載の方法。
3. 地図ビューにおいて前記１つ以上の関心オブジェクトを識別することをさらに含む、請求項１または２に記載の方法。
4. ジェスチャを使用して前記地図ビューを起動することをさらに含む、請求項３に記載の方法。
5. 付加情報が利用可能である関心オブジェクトを選択することと、
   前記選択されたオブジェクトに重ならないように、前記付加情報を表示することと、
   をさらに含む、請求項１から４の何れか１項に記載の方法。
6. 前記選択された関心オブジェクトに関するさらなる情報を表示させるためにジェスチャを使用することをさらに含む、請求項５に記載の方法。
7. コンピュータ可読コードを備えるコンピュータプログラムであって、前記コンピュータ可読コードは、コンピュータに請求項１から６の何れか１項に記載の方法を実行させるように構成される、コンピュータプログラム。
8. 画像を入手するように構成された画像取り込みデバイスと、
   ジェスチャを検知すると、前記画像を取得するように構成された回路であって、前記ジェスチャは装置の方向を変更することにより提供される、前記画像を取得するように構成された回路と、
   前記画像において１つ以上の関心オブジェクトを識別するように構成された位置回路と、
   前記１つ以上の関心オブジェクトに重ならないように、標示を提供することであって、前記標示は、前記関心オブジェクトのうちの１つ以上について、付加情報が利用可能であることを標示する、前記提供するように構成されたディスプレイと、
   を備える、装置。
9. 前記ディスプレイは、前記関心オブジェクトのうちの１つ以上について、付加情報が利用可能であることを標示するための１つ以上のアイコンを表示するように構成され、ここで前記付加情報は、前記関心オブジェクトに関連する他の情報への１つ以上のリンクを含む、請求項８に記載の装置。
10. 地図ビューにおいて前記１つ以上の関心オブジェクトを識別するように構成された回路をさらに備える、請求項８または９に記載の装置。
11. ジェスチャを検知すると、前記地図ビューを起動するように構成された回路をさらに備える、請求項１０に記載の装置。
12. 付加情報が利用可能である関心オブジェクトを選択するように構成された回路をさらに備え、前記ディスプレイは、前記選択されたオブジェクトに重ならないように、前記付加情報を表示するように構成される、請求項８から１１の何れか１項に記載の装置。
13. ジェスチャを検知すると、前記選択された関心オブジェクトに関するさらなる情報を表示させるように構成された回路をさらに備える、請求項１２に記載の装置。
14. 画像を入手するように構成された画像取り込みデバイスと、
    ジェスチャを検知すると、前記画像を取得するように構成された回路であって、前記ジェスチャは装置の方向を変更することにより提供される、前記画像を取得するように構成された回路と、
    前記画像において識別された１つ以上の関心オブジェクトを表示し、かつ前記識別された関心オブジェクトに重ならないように、標示を提供することであって、前記標示は、前記画像における前記識別された関心オブジェクトについて、付加情報が利用可能であることを標示する、前記提供するように構成されたディスプレイと、
    を備える、ユーザインターフェース装置。
15. 前記ディスプレイは、前記識別された関心オブジェクトについて、付加情報が利用可能であることを標示するための１つ以上のアイコンを表示するようにさらに構成され、ここで前記付加情報は、前記関心オブジェクトに関連する他の情報への１つ以上のリンクを含む、請求項１４に記載のユーザインターフェース装置。
16. 前記ディスプレイは、地図ビューにおいて前記識別された関心オブジェクトを表示するようにさらに構成される、請求項１４または１５に記載のユーザインターフェース装置。
17. 前記ディスプレイは、前記選択され、識別されたオブジェクトに重ならないように、選択され、識別された関心オブジェクトに関する付加情報を表示するようにさらに構成される、請求項１４から１６の何れか１項に記載のユーザインターフェース装置。
18. 前記ディスプレイは、前記選択された関心オブジェクトに関するさらなる情報を表示させるようにさらに構成される、請求項１４から１７の何れか１項に記載のユーザインターフェース装置。

Images