JP5738975B2 - 拡張現実方向方位マスク - Google Patents

Description

本発明は、拡張現実方向方位マスクに関する。

デバイスの位置を判定するための通常の手段は、地球の周囲の軌道にあるいくつかの衛星を用いる、よく知られている全地球測位衛星(GPS)システムまたは全地球的航法衛星システム(GNSS)などの衛星位置システム(SPS)を使用することである。SPSを使用する位置測定は、いくつかの周回軌道衛星からSPS受信機へのSPS信号ブロードキャストの伝搬遅延時間の測定値に基づく。SPS受信機が各衛星の信号伝搬遅延を測定した後は、各衛星への範囲が判定可能であり、次いで、SPS受信機の3次元位置、速度および時刻を含む正確なナビゲーション情報がその衛星の測定された範囲および既知の位置を使用して判定され得る。

デバイスの位置を知ることは、多くの用途があり、そのうちの1つは拡張現実として知られている。拡張現実は、現実世界の画像を、グラフィックスまたはテキスト情報などのコンピュータ生成データと結合させる。拡張現実は、ナビゲーションまたはある環境内で単純に自分の位置を確認するなどの活動に有用であり得る。

ナビゲーションおよび情報発見における第1のそして最も難しいステップの1つは、物理的に正しい方向で自分自身の位置を確認することである。拡張現実においてデータを利用するために、ユーザは一般に、カメラで目標アイテムを見つけ、それと向き合う必要がある。データまたはリンクについて、そのカメラが正しい方向を向いていない限り、目標アイテムは可視ではない。ナビゲーションについて、誤った方位は、ユーザが間違った方向でナビゲーションを開始する結果をもたらす。

ユーザを目標アイテムの方を向くように導くための現在の拡張現実の方法は、矢印などの方向性要素の使用を含む。たとえば、拡張現実システムは、左または右への回転を示す、ユーザの視点の中央または端にある2次元または3次元の矢印を使用することができる。現在使用されているもう1つの方向性要素は、目標アイテムへの相対距離および方向を示す上面図のレーダタイプの表示である。

しかし、方位情報を提供する現在の方法には、いくつかの問題がある。たとえば、方向指示矢印は、ユーザが目標要素と向き合うためにどの程度向きを変えるべきかに関する情報を提供しない。したがって、どの程度向きを変えるべきかがわかり難い。さらに、ユーザが急速に向きを変えた場合、所望の目標アイテムまたは方向を通り過ぎないようにするためにいつ減速すべきかの指示もない。さらに、上面図のレーダ表示の使用は、ユーザがその関連性を解釈または判断することおよびユーザの実際の周囲にその上面図を関連付けることを難しく感じるため、気を散らす。ナビゲーションに使用されるとき、現在の方位方法は、たとえば進行方向を向いていないなど、潜在的に危険な動きにユーザを関与させ、目標アイテムに彼ら自身を向かわせる緊迫感をユーザに与える。

拡張現実デバイスは、閲覧者を囲む仮想マスクを提供し、その仮想マスクは、目標アイテムへの方向に関する情報を提供する変動を含む。その変動は、透過性、色、幾何学的形状、テクスチャ、材料、明暗、または陰影の変動でもよく、また目標アイテムの位置に関連付けられ、それによって仮想マスク内の変動の方位は、目標アイテムの方向に対して変化しない。閲覧者が向いている方向の仮想マスクの一部は、目標アイテムの方向に関して閲覧者に情報を提供する仮想マスク内の変動とともに現実世界の画像の上に表示される。閲覧者が目標アイテムに対して回転するとき、現在の視界内にある仮想マスクの異なる一部が表示される。

ユーザに方位情報を提供するために現実世界の画像上にオーバーレイされた仮想マスクを提供するモバイルプラットフォームの形態で拡張現実デバイスの一例を示す図である。 ユーザの周囲の仮想マスクの配置を概略的に示す図である。 ユーザの周囲の仮想マスクの配置を概略的に示す図である。 ユーザの周囲の仮想マスクの配置を概略的に示し、ユーザが目標アイテムに対して横方向に移動するときの仮想マスクへの影響を示す図である。 ユーザの周囲の仮想マスクの配置を概略的に示し、ユーザが目標アイテムに対して横方向に移動するときの仮想マスクへの影響を示す図である。 仮想マスクを使用することができるモバイルプラットフォームのブロック図である。 仮想マスクを使用するディスプレイにおける閲覧者と目標アイテムとの間の方位を示す方法を示す流れ図である。 仮想マスクを含む、拡張現実画像の例を示す図である。 仮想マスクを含む、拡張現実画像の例を示す図である。 仮想マスクを含む、拡張現実画像の例を示す図である。 仮想マスクを含む、拡張現実画像の例を示す図である。 使用可能な円柱形の仮想マスクの異なる例を示す図である。 使用可能な円柱形の仮想マスクの異なる例を示す図である。 使用可能な円柱形の仮想マスクの異なる例を示す図である。 使用可能な円柱形の仮想マスクの異なる例を示す図である。

図1は、ユーザに方位情報を提供するために、ディスプレイ112の画像にオーバーレイされた微細な仮想マスクを提供するモバイルプラットフォーム100の形態で拡張現実デバイスの一例を示す。モバイルプラットフォーム100は、宇宙船102、またはセルラタワー104もしくはワイヤレス通信アクセスポイント106を含む位置を判定するための任意の他の適切なソースを含む、衛星測位システム(SPS)からの信号を使用するその緯度および経度の判定に基づくナビゲーションに使用され得る。モバイルプラットフォーム100は、物理的現実世界の環境の画像を生成するためのカメラ120、ならびに、モバイルプラットフォーム100の方位を判定するために使用され得る、デジタルコンパス、加速度計またはジャイロスコープなどのセンサ130を含む。

ディスプレイ112に示される画像にオーバーレイされる仮想マスクは、モバイルプラットフォーム100を中心とし、目標アイテムと整合された、コンピュータ生成の、3次元の円柱または球である。たとえば、マスクは、モバイルプラットフォーム100が目標アイテムに向き合うときに現実世界の画像のクリアなビューを提供することができる。マスクは、モバイルプラットフォーム100が目標アイテムから離れて回転していくときに、現実世界の画像の次第に変更されるビューを提供することができる。たとえば、マスクのクリアエリアの傾斜した側は、モバイルプラットフォームの現在の方位に対する目標アイテムの位置に関してユーザに情報を提供するために使用され得る。したがって、ユーザは、容易に解釈されるが、微細で、気を散らすこともない方位情報を提供される。

本明細書で使用するモバイルプラットフォームは、セルラもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはユーザの環境の拡張現実ビューを提供する能力がある他の好適なモバイルデバイスなどのデバイスを指す。モバイルプラットフォームは、完全にまたは部分的にモバイルでもよく、たとえば、モバイルプラットフォームは固定位置に保持されるが回転を可能にすることもできる。モバイルプラットフォームは、ナビゲーション測位信号など、ワイヤレス通信および/またはナビゲーション信号を受信する能力をもち得る。「モバイルプラットフォーム」という用語はまた、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを含むことを意図し、衛星信号受信、支援データ受信、および/または位置関連処理が、そのデバイスで生じるか、またはPNDで生じるかにかかわらない。また、「モバイルプラットフォーム」は、インターネット、WiFi、または他のネットワークを介するなどしてサーバと通信する能力のある、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを含むことを意図し、衛星信号受信、支援データ受信、および/または位置関連処理が、そのデバイスで生じるか、サーバで生じるか、またはネットワークに関連する別のデバイスで生じるかにかかわらない。上記の任意の動作可能な組合せもまた、「モバイルプラットフォーム」と見なされる。

モバイルプラットフォーム100と共に使用され得る衛星測位システム(SPS)は、通常、エンティティが地上または上空での自身の位置を送信機から受信された信号に少なくとも一部基づいて特定することを可能にするように配置された、送信機のシステムを含む。そのような送信機は通常、設定された数のチップの繰返し擬似ランダム雑音(PN)コードによりマークされた信号を送信し、地上の制御局、ユーザ機器、および/または宇宙船に配置され得る。ある特定の例では、そのような送信機は、図1に示す、地球を周回する宇宙船(SV)102に配置され得る。たとえば、全地球測位システム(GPS)、Galileo、GlonassまたはCompassのような全地球的航法衛星システム(GNSS)のコンステレーション内のあるSVは、そのコンステレーション内の他のSVにより送信されるPNコードと区別できるPNコードによりマークされる信号を(たとえば、GPSのように各衛星で異なるPNコードを用いて、またはGlonassのように異なる周波数で同一のコードを用いて)送信することができる。

特定の態様によれば、モバイルプラットフォーム100の位置判定は、SPSのためのグローバルシステム(たとえばGNSS)の使用には限定されない。たとえば、本明細書で提供される技法は、たとえば、日本の準天頂衛星システム(QZSS)、インドのインド地域航法衛星システム(IRNSS)、中国の北斗などのような様々な地域的システム、ならびに/または、1つまたは複数の地球規模のおよび/もしくは地域的な航法衛星システムと関連し得る、または場合によってはこれらとともに使用できるようにされ得る、様々な補強システム(たとえば、静止衛星型衛星航法補強システム(SBAS))に対して適用されてもよく、または場合によってはそれらの地域的システムおよび補強システムにおいて使用できるようにされてもよい。限定ではなく例として、SBASは、たとえば、広域補強システム(WAAS)、European Geostationary Navigation Overlay Service(EGNOS)、運輸多目的衛星用衛星航法補強システム(MSAS)、GPS Aided Geo Augmented Navigation or GPS and Geo Augmented Navigation system(GAGAN)などのような、インテグリティ情報、差分修正などを提供する、補強システムを含み得る。したがって、本明細書で用いられるSPSは、1つまたは複数の地球規模のおよび/または地域的な航法衛星システムおよび/もしくは補強システムの任意の組合せを含んでもよく、SPS信号は、SPS信号、SPSのような信号、および/またはそのような1つまたは複数のSPSと関連する他の信号を含み得る。

さらに、モバイルプラットフォーム100は、SPSとの使用に限定はされないが、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)など、セルラタワー104を含む、ワイヤレス通信アクセスポイント106からの、様々なワイヤレス通信ネットワークとともに実装される位置判定技法を使用することができる。「コンピュータビジョン」技法を使用するオブジェクト認識などの位置判定の代替方法もまた、使用され得る。「ネットワーク」および「システム」という用語はしばしば、互換的に使用される。WWANは、コード分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、単一搬送周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE)などでもよい。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95、IS-2000、およびIS-856基準を含む。TDMAネットワークは、Global System for Mobile Communications(GSM(登録商標))、Digital Advanced Mobile Phone System(D-AMPS)または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書で説明される。Cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書で説明される。3GPPおよび3GPP2の文書は、公に利用可能である。WLANは、IEEE 802.11xネットワークでもよく、WPANはBluetooth(登録商標)ネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークでもよい。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せとともに実装され得る。

図2および図3は、モバイルプラットフォーム100によるユーザ210の周囲の仮想マスク200の配置を概略的に示す。図2および図3は、モバイルプラットフォーム100のディスプレイ112に示されることになるものを図示しないが、どのようにマスク200が動作するかを機能的に示すことを理解されたい。図2および図3は、マスク200がユーザ210を中心とし、目標アイテム220への方向を指示する、マスクの透過性における変動などの特徴を含むことを示す。目標アイテム220は、場所、オブジェクト、一般的方向、人、または他の同様のアイテムでもよく、静止でも移動していてもよい。図2および図3に示すように、マスク200の最も透過的な部分202(白い部分として図示される)は、ユーザ210の位置から目標アイテム220へと向かわされる。マスク200の透過性のレベルの変動は、ユーザ210に方位情報を提供する機能を示すことを意図し、その方位情報がどのように、すなわちビューの透過性を増やす/減らすことによって、提供されるかを必ずしも示さない。たとえば、必要な場合、透過性のレベルは一定に保つことができ、透過性のエリアは変化し得る。ユーザの視界、すなわちカメラ120の視界は、線206で示され、そして、ユーザの視界206内のマスク200のその部分のみ、すなわち図2の透過的な部分202および図3のより少なく透過的な部分204、が、ディスプレイ112内にカメラ120によって作られる現実世界の画像上に表示されることになる。図2および図3でわかるように、マスク200の方位はユーザ210の方位とは無関係である。たとえば、図2で、ユーザ210は目標アイテム220と向かい合うが、図3では、ユーザは目標アイテム220から90度離れた方を向き、したがって、マスク200のより少なく透過的な部分204と向かい合っている。しかしながら、図1と図2の両方は、マスク200の透過的部分202が目標アイテムと整合され、その整合がユーザの方位にかかわらず保存されるという点で、その透過的部分202が目標アイテム220と関連付けられていることを示す。

図4および図5は、図2および図3と同様であるが、ユーザ210が進行方向212に沿って進むときのマスク200への影響を示す。図でわかるように、マスク200は、ユーザ210を中心としたままであるが、したがって、ユーザが目標アイテム220を通り過ぎると移動する。しかしながら、マスク200の透過的部分202は、ユーザ210およびマスク200が目標アイテム220を通り過ぎて移動するとき、目標アイテム220と整合し続ける。したがって、図4では、マスク200の透過的部分202は、進行方向212から約45度として示され、ユーザの視界206のわずかに外にある。したがって、図4で、マスク200の部分203は、現実世界の画像の上に表示されることになる。図5で、透過的部分202は、ユーザ210の視界206からほぼ90度であり、したがって、異なる部分205が、ディスプレイ112に示される現実世界の画像上に表示されることになる。

表示される仮想マスク200の部分の整合は、ディスプレイ112に垂直にロックされ得る、または水平軸にロックされ得る。言い換えれば、ユーザがカメラ120の垂直方位を変更する場合、ディスプレイ112に示される仮想マスク200の部分は、表示画面112にロックされるとき、一定のままであり得る(水平回転がないと仮定すると)。代替的に、仮想マスク200が水平軸にロックされる場合、カメラ120の垂直方位が変更されるときに、仮想マスクの異なる部分が表示され、これは仮想マスクが3次元球体であるときに特に望ましい。

仮想マスク200は、ユーザが目標アイテムの方向に対する位置の感覚を維持することを可能にする。さらに、マスクは、方向訂正を微妙に提案するが、ユーザ方位についてそれを要求または必要としない。一方で、拡張現実ビューでユーザを方向づける従来の技法は、ユーザが進み、安全でないかもしれないユーザの方位を修正する緊迫感を与えるときに、ユーザと目標アイテムとの間で関連性を維持しない。たとえば、ユーザから道を渡った1ブロック先にある店が目標アイテムである場合、その移動中のほとんどを店の方に直接向かうことはユーザにとって安全ではないことになろう。ユーザは、その通りの反対側の歩道を進み、往来に直交する通りを渡るべきである。しかしながら、従来の方向づけの技法を使用することは、潜在的に危険な歩行者または車両交通をユーザに無視させて進行しながら、目標アイテムへと方向づける緊迫感をユーザに与える。

図6は、仮想マスク200を使用することができるモバイルプラットフォーム100のブロック図である。図6に示すように、本モバイルプラットフォームは、モバイルプラットフォーム100によって表示される静止画または動画を生成することができるカメラ120などの画像を生成するための手段を含む。モバイルプラットフォーム100はまた、方位センサ130など、閲覧者が向いている方向を判定するための手段、たとえば、磁力計、加速度計またはジャイロスコープを含む傾き補正コンパスなど、を含む。

モバイルプラットフォーム100は、受信機140を含むことができ、そのような受信機はアンテナ144を介してSPS衛星102(図1)から信号を受信する衛星測位システム(SPS)受信機を含む。モバイルプラットフォーム100はまた、たとえば、アンテナ144(または別個のアンテナ)を介して、それぞれ、セルラタワー104へのおよびそこからのまたはワイヤレスアクセスポイント106からの通信の送信および受信が可能なセルラモデムまたはワイヤレスネットワーク無線受信機/送信機などでもよい、ワイヤレス送受信機145も含む。必要な場合、モバイルプラットフォーム100は、セルラモデムおよびワイヤレスネットワーク無線受信機/送信機の働きをする別個の送受信機を含み得る。

方位センサ130、カメラ120、SPS受信機140、およびワイヤレス送受信機145は、モバイルプラットフォーム制御部150に接続され、これと通信する。モバイルプラットフォーム制御部150は、方位センサ130、カメラ120、SPS受信機140、およびワイヤレス送受信機145からのデータを受け入れ、処理し、デバイスの動作を制御する。モバイルプラットフォーム制御部150は、明確にするためにプロセッサ152および関連メモリ154と、クロック153と、ハードウェア156と、ソフトウェア158と、ファームウェア157とによって提供され得る。モバイルプラットフォーム150はまた、明確にするためにプロセッサ152とは別に図示されるが、プロセッサ152内にあってもよい、たとえばゲームエンジンなどでもよい、グラフィックスエンジン155など、仮想マスクを生成するための手段も含み得る。グラフィックスエンジン155は、カメラ120によって生成される画像上に表示される仮想マスク200の位置および方位を計算する。本明細書では、プロセッサ152は、1つまたは複数のマイクロプロセッサ、組込み型プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得るが、必ずしもそれらを含む必要もないことが理解されよう。「プロセッサ」という用語は、特定のハードウェアではなくてシステムによって実装される機能を述べることを意図する用語である。さらに、本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォームに関連付けられた他のメモリを含む任意の種類のコンピュータ記憶媒体を指し、メモリのいかなる特定の種類またはメモリの数、あるいはメモリが記憶される媒体の種類に限定されない。

モバイルプラットフォーム100はまた、モバイルプラットフォーム制御部150と通信しているユーザインターフェース110を含み、たとえば、モバイルプラットフォーム制御部150はデータを受け入れ、ユーザインターフェース110を制御する。ユーザインターフェース110は、デジタルディスプレイ112など、オーバーレイされるコンピュータ生成マスク200とともにカメラ120によって生成される画像を表示するための手段を含む。プロセッサ152は、目標アイテムに対するモバイルプラットフォームの位置および方位に基づいて画像上のコンピュータ生成マスク200の位置および方位を制御する。ディスプレイ112はさらに、制御メニューおよび位置情報を表示することができる。ユーザインターフェース110は、たとえば、キーパッド114、またはユーザが情報をモバイルプラットフォーム100に入力することのできる他の入力デバイスなど、目標アイテムを識別するための手段をさらに含む。一実施形態では、キーパッド114は、タッチスクリーンディスプレイなど、ディスプレイ112に統合可能である。たとえば、モバイルプラットフォーム100が携帯電話であるとき、ユーザインターフェース110は、たとえば、マイクロフォンおよびスピーカなどもまた含み得る。

本明細書で説明する方法は、用途に応じて様々な手段によって実装されてもよい。たとえば、これらの方法は、ハードウェア156、ファームウェア157、ソフトウェア158、またはそれらの任意の組合せで実装され得る。ハードウェア実装形態の場合、各処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、あるいはそれらの組合せで実装されてもよい。

ファームウェアおよび/またはソフトウェアで実装される場合、これらの方法は、本明細書で説明する機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実装されてもよい。本明細書で説明する方法を実施する際に、命令を有形に具現化する任意の機械可読媒体を使用してもよい。たとえば、ソフトウェアコードをメモリ154に記憶し、プロセッサ152によって実行してもよい。メモリは、プロセッサユニット内に実装されてもよく、あるいはプロセッサユニットの外部に実装されてもよい。本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリのいずれかの種類を指し、メモリのいかなる特定の種類またはメモリの数、あるいはメモリが記憶される媒体の種類に限定されない。

たとえば、ソフトウェア158コードは、メモリ154に記憶可能であり、プロセッサ152によって実行可能であり、プロセッサを動作させて本明細書で説明するモバイルプラットフォーム100の動作を制御するために、使用され得る。たとえば、メモリ158などのコンピュータ可読媒体に記憶されたプログラムコードは、閲覧者が向いている方向を判定するための、仮想マスクを生成するための、ならびに、閲覧者が向いている方向の画像および閲覧者が向いている方向の仮想マスクの一部を表示するためプログラムコードを含み得る。本プログラムコードはまた、閲覧者が向いている方向が変わったこと、そして、応答して仮想マスクの異なる部分を表示することを判定することもできる。さらに、プログラムコードは、目標アイテムに対する閲覧者の位置が変わったこと、そして、応答して仮想マスクの異なる部分を表示することを判定することもできる。

ファームウェアおよび/またはソフトウェアで実装する場合、関数をコンピュータ可読媒体上に1つまたは複数の命令もしくはコードとして記憶してもよい。この例には、データ構造によって符号化されたコンピュータ可読媒体およびコンピュータプログラムによって符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体であってもよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは所望のプログラムコードを命令またはデータ構造の形態で記憶するのに使用することができ、かつコンピュータからアクセスすることのできる任意の他の媒体を備えてよく、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピィディスク、およびブルーレイディスクが含まれ、ディスク(disk)は通常、データを磁気的に再生し、一方、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含めるべきである。

命令および/またはデータは、コンピュータ可読媒体上に記憶されるだけでなく、通信装置に含まれる伝送媒体上の信号として与えられてもよい。たとえば、通信装置には、命令およびデータを示す信号を有する送受信機を含めてもよい。命令およびデータは、1つまたは複数のプロセッサに特許請求の範囲において概説する機能を実施させるように構成される。すなわち、通信装置は、開示する機能を実行するための情報を示す信号をもつ伝送媒体を含む。初めに、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第1の部分を含んでもよく、次に、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第2の部分を含んでもよい。

図7は、カメラビューによって示される閲覧者と、仮想マスクを使用するディスプレイ内の目標アイテムとの間の方位を示す方法を示す流れ図である。図7に示すように、目標アイテムが識別される(302)。目標アイテムは、たとえばインターフェース110を介する、ユーザ選択によって、または外部ソースによって、識別され得る。目標アイテムの識別は、閲覧者に対する目標アイテムの位置の判定を含む。たとえば、緯度および経度など、閲覧者の位置が、SPSシステムを使用して判定可能であり、たとえば、SPSシステムからのデータは、そこからプロセッサ152がその位置を計算するSPS受信機140(図6)によって受信される。必要な場合、その位置は、セルラタワー104を含む他の様々なワイヤレス通信ネットワークからの、およびワイヤレス通信アクセスポイント106からのデータの使用を含む他の技法およびデバイスを使用して、またはコンピュータビジョン技法を使用するオブジェクト認識によって、判定され得る。目標アイテムの位置はまた、たとえば、ワイヤレス送受信機145を介してネットワーク上のサーバから位置を検索することによっても判定され得る。たとえば、ユーザは、制御メニューおよびキーパッド114を介して特定の行先が要求されていると指示することができる。モバイルプラットフォーム100はその場合、ワイヤレス送受信機145を介してネットワーク上のサーバから所望の行先の位置、たとえば経度および緯度、を検索することができる。閲覧者に対する目標アイテムの位置が次いで、判定され得る。

閲覧者が向いている方向が、たとえば方位センサ130を使用して、判定される(304)。本特許文献に関して、閲覧者はカメラが向いているのと同じ方向を向いている、すなわち閲覧者はそのユーザが向いている方向にカメラをポイントしている、と仮定することを理解されたい。仮想マスク200は、閲覧者の判定された位置に、たとえば図6に示すグラフィックスエンジン155によって、閲覧者(306)を囲むように生成される。生成された仮想マスク200は、目標アイテムへの方向に関する情報を提供する変動を含む。仮想マスク変動における変動は、識別される目標アイテムの位置と関連し(306)、閲覧者が向いている方向とは無関係である。さらに、閲覧者が移動する場合に、仮想マスクが、マスク内の関連変動と目標アイテムとの間の方位を維持しながらその閲覧者とともに動くように、生成される仮想マスク200は閲覧者の位置と関連付けられる。閲覧者が向いている方向の画像は、たとえばカメラ120によって生成されたものとして、表示され(308)、閲覧者が向いている方向の仮想マスクの一部が、目標アイテムへの方向を示すマスク内の変動とともに画像上に表示される(310)。仮想マスクは、カメラビュー上に表示可能である。必要な場合、カメラビューは、たとえばそのビューが空欄または満たされるように、削除され得るが、仮想マスクは方向性コンパスの働きをし続けることができる。閲覧者が回転するまたは位置を変えるとき、マスク上の関連変動は目標アイテムへ向けられたままであり、したがって、その仮想マスクの異なる部分が表示されるように、仮想マスクは更新される。

仮想マスク200は、仮想空間内の閲覧者を囲む3次元オブジェクト、たとえば仮想円柱または球体、として生じ得る。代替的に、仮想マスク200は、2次元ユーザインターフェース層に置かれた2次元のタイル画像として生じ得る。ユーザが回転して3次元仮想実装をエミュレートするとき、すなわち、ソフトウェアが、カメラが回転する間に、空間で仮想マスクを静止した状態に保つことをエミュレートするとき、2次元のタイル画像は、たとえば左右に、スライドする。

例として、図8、図9、図10および図11は、ディスプレイ112上にユーザに表示される、仮想マスク200を含む、拡張現実画像の例を示す。たとえば、図8は、ユーザが目標アイテム220、この例ではビルディングにほぼ直接向かい合っているときの画像および仮想マスク200を示す。図8でわかるように、ユーザは目標アイテム220の方に向いているので、仮想マスク200は表示画像の隅にわずかにしか見ることができない。必要な場合、目標アイテム220の方を指す矢印230および目標アイテム220への距離240など、追加の増補データを表示することができる。

ユーザは目標アイテムから離れて(右に)回転する(図9および図10ではもはや目標アイテムは見られない)ので、図9および図10は、異なる画像および仮想マスク200の異なる部分を示す。図でわかるように、表示されるマスク200の一部分は、目標アイテムに対するユーザの方位に基づいて変化し、マスクのより多くが可視であればあるほどユーザは目標から離れて回転している。一実施形態では、物理的世界の画像をマスク200の下に見ることができるように、仮想マスクは少なくとも部分的に透過的である。図でわかるように、マスクは、この例では、目標アイテムが画像のよりクリアな部分の方にあることを示唆するマスクの傾斜した縁によって、目標アイテムの方向に関する情報を提供する。たとえば、図10は、ユーザが図9よりも目標アイテムに対してさらに右に向いたことを示すことが容易に判定され得る。図11は、ユーザが目標アイテムから離れて直接見ているときの仮想マスク200の表示画像の一例(下の画像なしの)を示す。

図12、図13、図14および図15は、使用可能な円柱形の仮想マスクの異なる例を示す。同様の特徴を有する球形のマスクが、必要な場合に、使用され得る。図でわかるように、仮想マスクは、マスク内の変動に基づいて方向の何らかの指示を提供する。マスク内の変動は、マスクの透過性、色、幾何学的形状、テクスチャ、材料、明暗、陰影などでもよい。マスクが容易にディスプレイ内で識別可能なように、マスクは、下にある画像を完全に覆い隠す必要はないが、画像を変更することができる。

マスクのある部分は、常に可視であってユーザに関連する方位を保持することができる。したがって、マスク200は、ユーザと目標アイテムとの間の方位と、一般に、ユーザが目標アイテムの方向からどの位離れているかのはっきりとした指示を提供する。追加情報もまた、別個にまたはマスクを変更して目標アイテムへの距離の指示を与えることによってのいずれかで、提供され得る。

本発明をその説明のために特定の実施形態に関連して例示したが、本発明はそれらの実施形態に限定されない。本発明の範囲から逸脱せずに様々な適合および修正を施してもよい。したがって、添付の特許請求の範囲の趣旨および範囲を上記の説明に限定すべきではない。

100 モバイルプラットフォーム
102 宇宙船
104 セルラタワー
106 ワイヤレス通信アクセスポイント
110 ユーザインターフェース
112 ディスプレイ
120 カメラ
130 方位センサ
140 受信機
144 アンテナ
145 ワイヤレス送受信機
150 モバイルプラットフォーム制御
152 プロセッサ
153 クロック
154 メモリ
155 グラフィックスエンジン
156 ハードウェア
157 ファームウェア
158 ソフトウェア
200 仮想マスク
210 ユーザ
220 目標アイテム

Claims (38)

1. ディスプレイ内に閲覧者と目標アイテムとの間の方位を示す方法であって、
   閲覧者が向いている方向の画像を表示するステップと、
   前記閲覧者が向いている前記方向を判定するステップと、
   前記閲覧者を囲む仮想マスクを生成するステップであって、前記仮想マスクが、目標アイテムへの方向に関する情報を提供する変動を有し、前記仮想マスク内の前記変動が、前記目標アイテムの位置と関連付けられ、それによって、前記目標アイテムに対する前記仮想マスク内の前記変動の方位が変わらない、ステップと、
   前記閲覧者が向いている前記方向の前記仮想マスクの一部を前記画像上に表示するステップであって、前記仮想マスク内の前記変動が前記閲覧者の動きに沿って前記目標アイテムの前記方向を示すように変化するステップと
   を備える、方法。
2. 前記閲覧者の前記方向が変わったことを判定するステップと、前記仮想マスクの異なる部分を前記画像上に表示するステップとをさらに備える、請求項1に記載の方法。
3. 前記目標アイテムに対する前記閲覧者の位置が変わったことを判定するステップと、前記仮想マスクの異なる部分を前記画像上に表示するステップとをさらに備える、請求項1に記載の方法。
4. 前記目標アイテムを識別するステップと、前記閲覧者に対する前記目標アイテムの位置を判定するステップとをさらに備える、請求項1に記載の方法。
5. 前記仮想マスクが、3次元仮想空間内にある3次元の円柱または球体のうちの1つである、請求項1に記載の方法。
6. 前記仮想マスクが、スライドして3次元の円柱または球体の動きを表すおよびユーザインターフェース層内にある2次元のオブジェクトを備える、請求項1に記載の方法。
7. 前記仮想マスク内の前記変動が、透過性、色、幾何学的形状、テクスチャ、材料、明暗、および陰影のうちの少なくとも1つである、請求項1に記載の方法。
8. 前記目標アイテムが、場所、オブジェクト、一般的方向、人でもよく、静止もしくは移動していてもよい、請求項1に記載の方法。
9. 前記仮想マスク内の前記変動が、ユーザが向いている方向にかかわらず表示される、請求項1に記載の方法。
10. 前記閲覧者が前記目標アイテムの方をまっすぐに向いている、または前記目標アイテムから離れてまっすぐに向いているかのいずれかのときに、前記仮想マスク内の前記変動が表示されない、請求項1に記載の方法。
11. 追加の視覚的指示が表示されて前記目標アイテムに関する情報を提供する、請求項1に記載の方法。
12. 前記追加の視覚的指示が、前記目標アイテムの位置を示す矢印および前記目標アイテムへの距離の指示のうちの少なくとも1つを含み、前記距離の前記指示が、前記仮想マスクの変動における変化、数値、および追加の視覚的指示の変化のうちの少なくとも1つである、請求項11に記載の方法。
13. 表示された前記仮想マスクの部分の整合が、表示画面にまたは水平軸に垂直にロックされた、請求項1に記載の方法。
14. 前記仮想マスクが、カメラビュー上にまたは空欄もしくは埋められた背景の上に表示される、請求項1に記載の方法。
15. カメラが向いている方向の画像を生成するように動作可能なカメラと、
    前記カメラが向いている方向に関するデータを提供する方位センサと、
    前記カメラおよび前記方位センサに接続されたプロセッサと、
    前記プロセッサに接続されたメモリと、
    前記メモリに接続されたディスプレイと、
    前記方位センサからの前記データを使用して前記カメラが向いている前記方向を判定するステップと、前記カメラの位置から目標アイテムへの方向に関する情報を提供する変動を有する仮想マスクを生成するステップであって、前記仮想マスク内の前記変動が、前記目標アイテムの位置と関連付けられ、それによって、前記目標アイテムの位置に対する前記仮想マスク内の前記変動の方位が変わらない、ステップと、前記カメラからの前記画像および前記カメラが向いている前記方向の前記仮想マスクの一部を前記ディスプレイ上に表示するステップであって、前記仮想マスク内の前記変動が前記カメラの動きに沿って前記目標アイテムの前記方向を示すように変化するステップとを前記プロセッサに行わせるために、前記メモリ内に保持され、前記プロセッサ内で実行される、ソフトウェアと
    を備える、モバイルプラットフォーム。
16. 前記ソフトウェアがさらに、前記プロセッサに、前記方位センサからの前記データを使用して前記カメラが向いている前記方向が変わったことを判定させ、前記仮想マスクの異なる部分を表示させる、請求項15に記載のモバイルプラットフォーム。
17. 前記プロセッサに前記カメラの前記位置に関するデータを提供する位置センサをさらに備え、前記ソフトウェアがさらに、前記プロセッサに、前記目標アイテムに対する前記カメラの前記位置が変わったことを判定させ、前記仮想マスクの異なる部分を表示させる、請求項15に記載のモバイルプラットフォーム。
18. 前記プロセッサに接続されたユーザインターフェースをさらに備え、前記ソフトウェアがさらに、前記プロセッサに、前記ユーザインターフェースによって提供されるデータから前記目標アイテムを識別させる、請求項15に記載のモバイルプラットフォーム。
19. 前記仮想マスクが、3次元仮想空間内にある3次元の円柱または球体のうちの1つである、請求項15に記載のモバイルプラットフォーム。
20. 前記仮想マスクが、スライドして3次元の円柱または球体の動きを表すおよびユーザインターフェース層内にある2次元のオブジェクトを備える、請求項15に記載のモバイルプラットフォーム。
21. 前記仮想マスク内の前記変動が、透過性、色、幾何学的形状、テクスチャ、材料、明暗、および陰影のうちの少なくとも1つである、請求項15に記載のモバイルプラットフォーム。
22. 前記目標アイテムが、場所、オブジェクト、一般的方向、人でもよく、静止もしくは移動していてもよい、請求項15に記載のモバイルプラットフォーム。
23. 前記仮想マスク内の前記変動が、ユーザが向いている方向にかかわらず表示される、請求項15に記載のモバイルプラットフォーム。
24. 閲覧者が前記目標アイテムの方にまっすぐに向いている、または前記目標アイテムから離れてまっすぐに向いているかのいずれかのときに、前記仮想マスク内の前記変動が表示されない、請求項15に記載のモバイルプラットフォーム。
25. 前記ソフトウェアがさらに、前記プロセッサに、追加の視覚的指示を表示して前記目標アイテムに関する情報を提供させる、請求項15に記載のモバイルプラットフォーム。
26. 前記追加の視覚的指示が、前記目標アイテムの位置を示す矢印および前記目標アイテムへの距離の指示のうちの少なくとも1つを含み、前記距離の前記指示が、前記仮想マスクの変動における変化、数値、および追加の視覚的指示の変化のうちの少なくとも1つである、請求項25に記載のモバイルプラットフォーム。
27. 表示された前記仮想マスクの部分の整合が、表示画面にまたは水平軸に垂直にロックされた、請求項15に記載のモバイルプラットフォーム。
28. 前記仮想マスクが、カメラビュー上にまたは空欄もしくは埋められた背景の上に表示される、請求項15に記載のモバイルプラットフォーム。
29. モバイルプラットフォームについての位置情報にアクセスし、それを更新するためのシステムであって、
    閲覧者が向いている方向の画像を生成するための手段と、
    前記閲覧者が向いている前記方向を判定するための手段と、
    前記閲覧者を囲む仮想マスクを生成するための手段であって、前記仮想マスクが、目標アイテムへの方向に関する情報を提供する変動を有し、前記仮想マスク内の前記変動が、前記目標アイテムの位置と関連付けられ、それによって、前記目標アイテムに対する前記仮想マスク内の前記変動の方位が変わらない、手段と、
    前記閲覧者が向いている方向の前記画像を表示し、前記閲覧者が向いている前記方向の前記仮想マスクの一部を表示するための手段であって、前記仮想マスク内の前記変動が前記閲覧者の動きに沿って前記目標アイテムの前記方向を示すように変化する手段と
    を備える、システム。
30. 前記閲覧者の前記方向が変わったことを判定し、前記仮想マスクの異なる部分を表示するための手段をさらに備える、請求項29に記載のシステム。
31. 前記目標アイテムに対する前記閲覧者の位置が変わったことを判定し、前記仮想マスクの異なる部分を前記画像上に表示するための手段をさらに備える、請求項29に記載のシステム。
32. 前記目標アイテムを識別し、前記閲覧者に対する前記目標アイテムの位置を判定するための手段をさらに備える、請求項29に記載のシステム。
33. 前記仮想マスクが、3次元仮想空間内にある3次元の円柱または球体のうちの1つである、請求項29に記載のシステム。
34. 前記仮想マスクが、スライドし3次元の円柱または球体の動きを表すおよびユーザインターフェース層内にある2次元のオブジェクトを備える、請求項29に記載のシステム。
35. 前記仮想マスク内の前記変動が、透過性、色、幾何学的形状、テクスチャ、材料、明暗、および陰影のうちの少なくとも1つである、請求項29に記載のシステム。
36. プログラムコードを記憶したコンピュータ可読媒体であって、
    閲覧者が向いている方向を判定するためのプログラムコードと、
    前記閲覧者の位置から目標アイテムへの方向に関する情報を提供する変動を有する仮想マスクを生成するためのプログラムコードであって、前記仮想マスク内の前記変動が前記目標アイテムの位置と関連付けられ、それによって、前記目標アイテムの前記位置に対する前記仮想マスク内の前記変動の方位が変わらない、プログラムコードと、
    閲覧者が向いている前記方向の画像および前記閲覧者が向いている前記方向の前記仮想マスクの一部を表示するためのプログラムコードであって、前記仮想マスク内の前記変動が前記閲覧者の動きに沿って前記目標アイテムの前記方向を示すように変化するプログラムコードと
    を備える、コンピュータ可読媒体。
37. 前記閲覧者が向いている前記方向が変わったことを判定するための、および前記仮想マスクの異なる部分を表示するためのプログラムコードをさらに備える、請求項36に記載のプログラムコードを記憶した、コンピュータ可読媒体。
38. 前記目標アイテムに対する前記閲覧者の位置が変わったことを判定するための、および前記仮想マスクの異なる部分を表示するためのプログラムコードをさらに備える、請求項36に記載のプログラムコードを記憶した、コンピュータ可読媒体。

Images