JP6055156B2 - 拡張現実ターゲット検出のための方法および装置 - Google Patents

Description

本出願は、一般に、ユーザ着用型コンピュータシステムに関する。特に、本出願は、拡張現実(AR)デバイスにおいてターゲットをスキャンし特定するための方法およびシステムに関する。

ターゲットベースの拡張現実(AR)デバイスにより、ユーザは、当該デバイスによって特定された画像ターゲットにリンク付けされた情報を、リアルタイムで見ることができる。ARデバイスの1つのタイプは、透過頭部装着型ディスプレイ(HMD)である。透過HMDは、頭部またはヘルメットの一部に着用されたディスプレイデバイスであり、このディスプレイデバイスにおいて、部分反射のミラー上にコンピュータ生成された画像が投影されて、ユーザは同時に現実世界の景色を見ることができる。たとえば、買い物客によって着用されたカメラ動作可能HMDは、当該買い物客の視野内の商品の画像ターゲットを特定し得、それらの商品についての情報を買い物客に表示し得る。同様に、ユーザによって着用されたボディ装着型カメラは、当該ユーザの近傍のターゲットをトラッキングすることができ、ユーザが見るために、カメラにリンク付けされたスマートフォンへ、ターゲットについてのAR情報を表示し得る。

従来より、ターゲットベースのARというのは、画像ターゲットを特定するためにユーザの参加を要求する能動的エクスペリエンスである。たとえば、ターゲットベースのARデバイス上でARアプリケーションを実行させているユーザは、典型的には、ターゲットにカメラを向け、そのターゲットをスキャンするためにカメラを起動する。ターゲットの画像またはフィンガープリントが、撮像され、ターゲット特定のためにデバイスベースのターゲットデータベースまたはクラウドベースのターゲットデータベースと比較される。合致があると、ターゲットベースのARデバイスは、特定された画像ターゲットにリンク付けされたARコンテンツを検索し、ARデバイスの画面にそのARコンテンツを描画する。ユーザ起動型ターゲット特定の1つの欠点は、AR画像ターゲットがそれとわかるようにはっきりとラベル付けされていなければ、ユーザにはターゲットがARコンテンツを有するか否かがわからないことである。実際ユーザは、任意の雑誌カバー、写真、ポスター、ロゴ、または印刷広告などの任意のターゲットがそれ自体にリンク付けされたARコンテンツを有する確率が非常に低いことを、一般に認識している。したがって、ユーザは、カメラを起動して画像ターゲットとなり得るものをスキャンする気を削がれ得る。

逆に、そのようにAR画像ターゲットをラベル付けすることは、ターゲットベースのARの目的を台無しにする。なぜなら、ターゲットの画像ラベル付けをするということは、QRコード(登録商標)などの別の形式で画像からコンテンツへのリンク付けをすることになるからである。ユーザに画像ターゲット特定を起動させなくてすむ1つの方法は、カメラ動作可能HMDまたは他のユーザ着用型カメラシステムが、AR画像ターゲットの特定のためにターゲットを自律的、連続的にスキャンすることである。しかしながら、連続的に、カメラを動作させ、画像ターゲットをやりとりし、画像ターゲットを特定するための電力要求により、この解決策は、バッテリ容量が限られているHMDおよびユーザ着用型カメラでは実現しがたい。したがって、ターゲットベースのARデバイスが自律的かつ低電力のAR画像ターゲットスキャンおよび特定を提供することに対する需要がある。

ターゲットベースのARデバイスがターゲットの低電力フロントエンド受動スキャンを行って、ユーザが見ている可能性のある画像ターゲットにリンク付けされたARコンテンツに対してユーザにアラートするための、システムおよび方法が開示される。ARデバイスによる受動スキャンは、AR画像ターゲット特定のためにユーザが手動でカメラを起動する必要性をなくし、ユーザが気づかずに見ている可能性のある画像ターゲットを特定するのを助ける。電力を温存するために、ユーザが一定のターゲットに興味を示している可能性があるまたは注意を払っている状態にあることをユーザの動作パターンからARデバイスが検出すると、ARデバイスは、自律的にカメラを起動して探査スキャンを行い得る。ARデバイスは、探査スキャンから1つまたは複数の画像ターゲットを予備的に特定し得る。画像ターゲットにリンク付けされたARコンテンツと対話することをユーザが選択する場合、ARデバイスは、カメラを起動してARコンテンツを拡張する(augment)ために画像ターゲットのフルキャプチャまたはリアルタイムトラッキングを行い得る。有利には、ユーザはAR画像ターゲットを能動的に探索する必要がなくなる。加えて、ユーザの動作パターンを検出すると画像ターゲットの低電力探査スキャンを起動し、その後でユーザがARエクスペリエンスの用意ができるとフルキャプチャを行うことによって、ARデバイスのバッテリ電力が温存される。

ARデバイスがARターゲットを検出し表示するための方法が開示される。本方法は、ユーザが第1の状態にあることをARデバイスによって検出することを含む。本方法は、そのような状態を検出すると、ユーザの視野の低解像度フレームをARデバイスによってキャプチャすることを含む。本方法は、さらに、低解像度フレームから画像ターゲットを特定し、リンク付けされたARコンテンツを画像ターゲットが有することを判断することを含む。本方法は、さらに、画像ターゲットが利用可能であることをユーザにアラートすることを含む。本方法は、さらに、リンク付けされたARコンテンツと対話することをユーザが望む否かについて、ユーザからの命令をARデバイスによって受信することを含む。本方法は、さらに、リンク付けされたARコンテンツと対話することをユーザが望む場合、ユーザの視野のフル解像度フレームをARデバイスによってキャプチャすることを含む。本方法は、さらに、リンク付けされたARコンテンツをユーザにARデバイスによって表示することを含む。

ARターゲット検出のための装置が開示される。本装置は、装置のモーションを登録する(register)ために使用されるセンサと、カメラと、メモリと、ARターゲットを検出および表示するように構成された1つまたは複数のプロセッサとを含む。プロセッサは、センサをポーリングして装置の動作パターンを検出するように構成される。プロセッサはまた、そのような動作パターンを検出すると、カメラを起動してカメラの視野の低解像度フレームをキャプチャするように、構成される。プロセッサは、さらに、低解像度フレームから画像ターゲットを特定し、リンク付けされたARコンテンツを画像ターゲットが有することを判断するように構成される。プロセッサは、さらに、画像ターゲットが利用可能であることをユーザにアラートするように構成される。プロセッサは、さらに、リンク付けされたARコンテンツと対話することをユーザが望む否かについて、ユーザからの命令を受信するように構成される。プロセッサは、リンク付けされたARコンテンツと対話することをユーザが望む場合、カメラを起動してカメラの視野のフル解像度フレームをキャプチャするようにさらに構成される。

機械可読命令を記憶する非一時的機械可読媒体が開示される。1つまたは複数のプロセッサが、ARコンテンツを検出および表示するためのステップを行うための命令を実行し得る。本命令は、ユーザが第1の状態にあることを検出することを含む。本命令は、ユーザが第1の状態にあることを検出するとユーザの視野の低解像度フレームをキャプチャすることも含む。本命令は、さらに、低解像度フレームから画像ターゲットを特定し、リンク付けされたARコンテンツを画像ターゲットが有することを判断することを含む。本命令は、さらに、画像ターゲットが利用可能であることをユーザにアラートすることを含む。本命令は、さらに、リンク付けされたARコンテンツと対話することをユーザが望むか否かについて、ユーザからの命令を受信することを含む。本命令は、さらに、リンク付けされたARコンテンツと対話することをユーザが望む場合、ユーザの視野のフル解像度フレームをキャプチャすることを含む。本命令は、さらに、リンク付けされたARコンテンツをユーザに提供することを含む。

ARコンテンツを検出および表示するためのシステムが開示される。本システムは、ユーザが第1の状態にあることを検出するための手段を含む。本システムは、ユーザが第1の状態にあることを検出するとユーザの視野の低解像度フレームをキャプチャするための手段も含む。本システムは、さらに、低解像度フレームから画像ターゲットを特定するための、かつリンク付けされたARコンテンツを画像ターゲットが有することを判断するための、手段を含む。本システムは、さらに、画像ターゲットが利用可能であることをユーザにアラートするための手段を含む。本システムは、さらに、リンク付けされたARコンテンツと対話することをユーザが望む否かについて、ユーザからの命令を受信するための手段を含む。本システムは、さらに、リンク付けされたARコンテンツと対話することをユーザが望む場合、ユーザの視野のフル解像度フレームをキャプチャするための手段を含む。本システムは、さらに、リンク付けされたARコンテンツをユーザに提供するための手段を含む。

本開示の主題の一実施形態による、画像ターゲットをスキャンしARコンテンツを表示するためにターゲットベースのARデバイスとして使用される、モバイルデバイスに接続されたHMDまたは装着式カメラを示す。 本開示の主題の一実施形態による、ターゲットベースのARデバイスがターゲットの低電力フロントエンド受動スキャンを使用しARターゲットを検出する処理の、フローチャートにおけるステップを示す。 本開示の主題の一実施形態による、画像ターゲット特定のためにターゲットベースのARデバイスがターゲットの低電力フロントエンド受動スキャンを行うための、処理のフローチャートにおけるステップを示す。 本開示の主題の一実施形態による、画像ターゲットに関するARコンテンツが利用可能であることを示すHMDのディスプレイの例示的な視野を示す。 本開示の主題の一実施形態による、本明細書において検討する1つまたは複数のコンポーネントを実装するのに適したコンピュータシステムのブロック図である。

本開示の実施形態および利点は、以下の詳細な説明を参照することによって最もよく理解される。1つまたは複数の図で示される同様の要素を特定するために、同様の参照符号が使用されることを認識されたい。

ターゲットベースのARデバイスが、ターゲットの低電力フロントエンド受動スキャンを行って、ユーザが見ている可能性のある画像ターゲットに、そしてユーザが気づかずに見ている可能性のあるターゲットにさえもリンク付けされたARコンテンツの存在をユーザにアラートするための、システムおよび方法が開示される。電力を温存するために、ユーザが一定のターゲットに興味を示しているまたは注意を払っている状態にあることを示唆するモーション動作をARデバイスが検出すると、ARデバイスはカメラを起動して探査スキャンを行い得る。探査スキャンから画像ターゲットが特定されると、ユーザはカメラを起動して、画像ターゲットのフルキャプチャまたはリアルタイムトラッキングを行って、画像ターゲットにリンク付けされたARコンテンツと対話し得る。

ARデバイスは、モバイルデバイスに接続されたHMDまたは装着式カメラを含み得る。HMDまたは装着式カメラの加速度計および/またはジャイロを使用して、当該HMDまたはカメラを着用しているユーザの頭部またはボディの動作を連続的にトラッキングし得る。ARデバイスは、加速度計および/またはジャイロを定期的な間隔でポーリングして動作パターンを検出し得る。これらのパターンは、ある期間モーションがあった後の頭部動作の休止を含み得る。加速度計および/またはジャイロが、ある期間モーションがあった後、数回のポーリングイベントにわたって顕著な動作を登録しない場合、そのような動作パターンは、ユーザが一定のターゲットを見ているまたはそれに興味を示している可能性があることをARデバイスに示唆し得る。ARデバイスはカメラを起動して、カメラの視野において、ターゲットの１つの低解像度フレームをキャプチャするまたは低フレームレートでターゲットをトラッキングし得る。ARデバイスは、1つまたは複数のフレーム上でARターゲットマッチングアルゴリズムを実行して、デバイスベースのターゲットデータベースを使用し、画像ターゲットを特定し得る。代替的に、ARデバイスは、リモートサーバへ1つまたは複数のフレームを送信して、クラウドベースのターゲットデータベースを使用し画像ターゲットを特定し得る。

画像ターゲットが特定された場合、ならびにカメラが起動されてから頭部またはボディの動作を加速度計および/またはジャイロが検出していない場合、ARデバイスは、HMDを介して視覚的に、または装着式カメラを介して触覚もしくは音声によるアラートを通じて、のいずれかによって、ARコンテンツが利用可能であることをユーザにアラートし得る。1つまたは複数の実施形態において、上記接続されたモバイルデバイスは、触覚、音声、または映像によるフィードバックを提供して、ARコンテンツが利用可能であることをユーザに知らせ得る。ユーザは、ARエクスペリエンスと対話するというオプションを有する、またはリンク付けされたARコンテンツを後で検索するために画像ターゲットにフラグを立てることができる。ユーザの決断を助けるために、キャプチャされた元の画像ターゲットのスナップショットが、装着式カメラに接続されたモバイルデバイス上にまたはHMDによって表示されて、ユーザを環境内の正しいターゲットへ向けることができる。ユーザは、HMDユーザインターフェースを介して、またはモバイルデバイスを介して、ARデバイスへ命令を発し得る。

ユーザがARエクスペリエンスと対話することを決定する場合、ARデバイスは、カメラを起動して、特定された画像ターゲットのフル解像度フレームをキャプチャして、ARデバイスがARコンテンツを拡張できるようにすることができる。たとえば、フル解像度フレームにより、画像ターゲットの追加のARコンテンツを検索可能にし、または追加の画像ターゲットを特定可能にすることができる。一実施形態において、ARデバイスは、画像ターゲットをより高いフレームレートでキャプチャして、画像ターゲットのリアルタイムトラッキングを可能にし得る。一実施形態において、モバイルデバイスのカメラが、装着式カメラからリアルタイムターゲットトラッキングを引継ぐことによって、ARコンテンツ拡張機能を行い得る。環境内の正しいターゲットへユーザを向けるのを助けるために、キャプチャされた元の画像ターゲットのスナップショットが、HMDによってまたはモバイルデバイス上に表示され得る。ユーザが、リンク付けされたARコンテンツを後で検索するために画像ターゲットにフラグを立てた場合、ARデバイスは画像ターゲットを保存し得る。後になってユーザがARエクスペリエンスする用意ができたとき、キャプチャされた元の画像ターゲットのスナップショットが表示されて、ユーザを画像ターゲットへ向かわせ得る。

図1は、本開示の主題の一実施形態による、画像ターゲットをスキャンしARコンテンツを表示するためにターゲットベースのARデバイスとして使用される、モバイルデバイスに接続された装着式カメラまたはHMDを示す。モバイルデバイス102は、スマートフォン(たとえば、iPhone(登録商標)、Googleフォン、またはAndroid(登録商標)、Window Mobile、もしくは他のオペレーティングシステムを実行している他の電話)、タブレットコンピュータ(たとえばiPad(登録商標)、Galaxy)、携帯情報端末(PDA)、ノートブックコンピュータ、または様々な他のタイプのワイヤレスもしくは有線のコンピューティングデバイスであり得る。モバイルデバイス102は、HMD104またはユーザ着用型カメラ108とネットワーク106を介して通信し得る。

ユーザ着用型カメラ108は、カメラを着用しているユーザのボディ動作をトラッキングするために、加速度計および/またはジャイロを有し得る。モバイルデバイス102は、定期的な間隔で加速度計および/またはジャイロをポーリングして、ユーザが一定のターゲットを見ていることを示唆し得る動作パターンを検出することができる。そのような動作パターンを検出すると、モバイルデバイス102は、ユーザ着用型カメラ108を起動して、ユーザの視野またはユーザの周囲内のターゲットの、1つまたは数個の低解像度フレームを低フレームレートでキャプチャし得る。ユーザ着用型カメラ108は、ターゲットの画像を、ネットワーク106を通じてモバイルデバイス102へ送信し得る。モバイルデバイス102は、画像上でARターゲットマッチングアルゴリズムを実行して、モバイルデバイスベースのターゲットデータベースを使用し、画像ターゲットを予備的に特定し得る。1つまたは複数の実施形態では、モバイルデバイス102は、リモートターゲットデータベース110を使用してもよいし、画像ターゲット特定のためにリモートサーバへ画像を送信してもよい。

画像ターゲットがARコンテンツを有すると予備的に特定された場合、モバイルデバイス102は、視覚、音声、触覚によるアラートを発して、ターゲットに関するARコンテンツが利用可能であることをユーザにアラートし得る。1つまたは複数の実施形態において、ユーザ着用型カメラ108は、音声または触覚によるアラートを発し得る。モバイルデバイス102は、画像ターゲットのスナップショットを表示して、ユーザを環境内のターゲットへ向かわせることができる。モバイルデバイス102は、ユーザがARエクスペリエンスと対話するまたは後でAR対話を行うためにターゲットを保存する、というオプションを提示し得る。ARコンテンツを見ることにするなど、ユーザがARエクスペリエンスと対話すると決定する場合、モバイルデバイス102は、ユーザ着用型カメラ108を起動して、ターゲットのフル解像度フレームをキャプチャする、または高フレームレートでターゲットをキャプチャしてターゲットのリアルタイムトラッキングを可能にし得る。1つまたは複数の実施形態では、モバイルデバイス102のカメラは、ユーザ着用型カメラ108からリアルタイムトラッキングを引き継いでもよい。1つまたは複数の実施形態において、モバイルデバイス102は、ターゲットデータベースを使用しフル解像度フレーム上でARターゲットマッチングアルゴリズムを実行して、ターゲットを確認する、ARコンテンツを拡張する、または追加の画像ターゲットを特定し得る。

ユーザが後でAR対話を行うためにターゲットを保存することにする場合、モバイルデバイス102は、画像ターゲットのスナップショットを保存することができる。ユーザがARエクスペリエンスの用意ができると、モバイルデバイス102は、画像ターゲットのスナップショットを表示し得る。ユーザが依然としてターゲットの近傍にいる場合、ユーザは、モバイルデバイス102またはユーザ着用型カメラ108に命令して、ターゲットのフル解像度フレームをキャプチャする、または高フレームレートでターゲットをキャプチャしてターゲットのリアルタイムトラッキングを可能にし得る。前と同様に、ユーザはARエクスペリエンスと対話し得る。1つまたは複数の実施形態において、ユーザがもはやターゲットの近傍にいない場合でも、ユーザは、ターゲットにリンク付けされたARコンテンツを検索して見ることができ得る。

ARデバイスはHMD104であり得る。HMD104の機能は、ユーザによって着用された眼鏡またはヘルメットに組込まれ得る。1つまたは複数の実施形態において、HMD104は、ユーザ着用型カメラ108およびモバイルデバイス102の機能を提供し得る。この点において、HMD104は、ユーザの頭部動作をトラッキングするための加速度計および/またはジャイロと、ユーザの視野内のターゲットをキャプチャするためのカメラと、ユーザにARコンテンツを表示するための表示媒体と、モーションセンサまたはユーザ命令を検出もしくは受信するための他の感知もしくは入力機構とを有し得る。1つまたは複数の実施形態において、より限定された性能を有するHMD104は、ネットワーク106を介してユーザから命令を受信するためのユーザインターフェースとしてモバイルデバイス102を使用し得る。

ユーザ着用型カメラ108およびモバイルデバイス102を含むARデバイスと同様に、HMD104は、定期的な間隔で加速度計および/またはジャイロをポーリングして、ユーザが一定のターゲットを見ていることを示唆する頭部動作のパターンを検出し得る。HMD104は、埋込まれたカメラを起動して、ユーザの視野内の画像の低電力探査スキャンを行い得る。HMD104は、内部ターゲットデータベースまたはリモートターゲットデータベース110を使用しスキャンされた画像上でARターゲットマッチングアルゴリズムを実行して、画像ターゲットを特定し得る。画像ターゲットがARコンテンツを有すると予備的に特定された場合、ならびに、加速度計および/またはジャイロが、事前設定された時間または頭部動作閾値を超える頭部動作を、カメラが起動されてから検出していない場合、HMD104は、ターゲットに関するARコンテンツが利用可能であるというアラートをユーザに表示し得る。HMD104はターゲットを特定し得、また、ARエクスペリエンスと対話するために、または後でAR対話を行うためにターゲットを保存するためにユーザが選択できるアイコンを表示し得る。

ユーザがARエクスペリエンスと対話することを選択する場合、HMD104は、カメラを起動して、フル解像度スキャンを行うまたはターゲットのリアルタイムトラッキングを行い得る。HMD104は、内部ターゲットデータベースまたはリモートターゲットデータベース110を使用し、フル解像度スキャンされた画像上でARターゲットマッチングアルゴリズムを実行して、ターゲットを確認する、ARコンテンツを拡張する、または追加の画像ターゲットを特定し得る。ユーザが画像ターゲットを保存することを選択する場合、HMD104は、画像ターゲットのスナップショットを保存し得る。前と同様に、ユーザは後で、ターゲットに関してARエクスペリエンスと対話し得る。

ネットワーク106は、単一のネットワークまたは複数のネットワークの組合せとして実装され得る。たとえば、様々な実施形態において、ネットワーク106は、インターネットおよび/もしくは1つまたは複数のイントラネット、ワイヤレスネットワーク(たとえば、セルラー、広域ネットワーク(WAN)、WiFiホットスポット、WiMax、パーソナルエリアネットワーク(PAN)、Bluetooth(登録商標)など)、陸線ネットワークならびに/または他の適切なタイプの通信ネットワークを含み得る。したがって、様々な実施形態において、コンピューティングデバイス102は、特定のリンク(たとえば、IP(インターネットプロトコル)アドレスへのURL(ユニフォームリソースロケータ)などのリンク)と関連付けられ得る。

図2Aは、本開示の主題の一実施形態による、ターゲットベースのARデバイスがターゲットの低電力フロントエンド受動スキャンを使用しARターゲットを検出する処理の、フローチャートにおけるステップを示す。201において、ARデバイスは、ARデバイスを着用しているユーザが第1の状態にあることを検出する。たとえば、HMD104は、加速度計/ジャイロからの加速サインをポーリングして、ある期間モーションがあった後のユーザの頭部動作における休止を検出し得る。

203において、ARデバイスは、検出された第1の状態に応答してユーザの視野の低解像度フレームをキャプチャする。低解像度フレームは、フル解像度フレームをキャプチャすることに伴う処理および/または電力の不利益を被ることなく、予備的にターゲット特定することを可能にし得る。205において、ARデバイスまたは外部デバイスは、リンク付けされたARコンテンツを有する画像ターゲットが特定され得るか否かを、低解像度フレームから判断する。たとえば、HMD104は、リモートターゲットデータベース110を使用しARターゲットマッチングアルゴリズムを実行して、リンク付けされたARコンテンツを有する画像ターゲットを予備的に特定し得る。

207において、リンク付けされたARコンテンツを有する画像ターゲットが見つかった場合、ARデバイスまたは外部デバイスは、画像ターゲットが利用可能であることをユーザにアラートし得る。たとえば、HMD104は、画像ターゲットが見つかったという視覚アラートを発し得、また、リンク付けされたARコンテンツをユーザが要求できるように、ユーザに対してオプションを提示し得る。209において、ARデバイスは、リンク付けされたARコンテンツとの対話をユーザが望む否かを示すユーザ命令を受信する。

211において、リンク付けされたARコンテンツとの対話をユーザが望むことをユーザ命令が示す場合、ARデバイスは、ユーザの視野のフル解像度フレームをキャプチャする。ARデバイスは、フル解像度フレーム上でターゲットマッチングアルゴリズムを実行して、ターゲットを確認する、ARコンテンツを拡張する、または追加の画像ターゲットを特定し得る。213において、ARデバイスは、1つまたは複数の特定された画像ターゲットにリンク付けされたARコンテンツをユーザに表示する。

図2Bは、本開示の主題の一実施形態による、画像ターゲット特定のためにターゲットベースのARデバイスがターゲットの低電力フロントエンド受動スキャンを行うための、処理のフローチャートにおけるステップを示す。図3は、本開示の主題の一実施形態による、画像ターゲットに関するARコンテンツが利用可能であることを示すHMDのディスプレイの例示的な視野を示す。次の検討では、図3を図2とともに参照して、図2のステップに従って動作するHMD104を着用しているユーザによって見られるディスプレイの例示的なビューを説明する。

202において、HMD104などのARデバイスが、ある期間モーションがあった後のユーザの頭部動作における休止を検出する。そのような頭部動作のパターンは、ユーザが一定のターゲットを見ている可能性があるまたはそれに興味を示している可能性があることをHMD104に示唆する。図3を参照して、HMD104は、HMD104が経験した加速を登録する加速度計/ジャイロ304を有する。HMD104は、数秒ごとなどの定期的な間隔で、加速度計/ジャイロ304をポーリングして、ユーザの頭部モーションを検出し得る。加速度計/ジャイロ304が、最初の期間のモーションを登録した後、数回のポーリング間隔にわたって顕著な頭部動作がなかった場合、HMD104は、ユーザの視野306内のあるオブジェクトがユーザの興味を引いていると、推定し得る。1つまたは複数の実施形態において、HMD104は、興味を引いているオブジェクトを包囲する視野306の領域を絞り込むために、アイトラッキングを採用し得る。

たとえば、ユーザは、電子機器店のテレビコーナーで買い物をしていることがあり得る。HMD104は、展示されているテレビの選択をスキャンするために、ユーザが無造作に自分の頭部を動かしている間ある期間の頭部モーションを検出し得る。ユーザが特定のテレビ308に数秒間目を留めると、HMD104は、当該期間の頭部モーションに続くユーザの頭部動作における休止を検出する。

図2Bの204に戻って、ARデバイスは、カメラを起動して、ユーザの視野内のターゲットの低電力探査スキャンを行う。ARデバイスは、カメラを起動して、ユーザの視野306内のターゲットの１つの低解像度フレームまたはユーザの視野306内のターゲットの低フレームレートでの数個のフレームを、キャプチャし得る。1つまたは複数の実施形態において、ユーザによって見られるオブジェクトを包囲するユーザの視野306の領域がより小さいとき、ARデバイスは、その領域のみについて探査スキャンを行い得る。1つまたは複数の実施形態において、カメラは、ユーザの全視野に対して探査スキャンを行って、ユーザが気づかずに見ている可能性のある画像ターゲットを特定するのを助ける。

206において、ARデバイスは、ターゲットデータベースを使用し1つまたは複数のフレーム上でARターゲットマッチングアルゴリズムを実行して、画像ターゲットを特定する。ターゲットデータベースは、ARデバイス内にあり得る。1つまたは複数の実施形態において、ARデバイスは、リモートサーバがリモートターゲットデータベースを使用し画像ターゲットを特定するように、リモートサーバへ1つまたは複数のフレームを送信し得る。ARデバイスまたはリモートサーバは、テキスト認識、パターンマッチング、顔認識、または他の手法を使用しターゲットマッチングを行って、キャプチャされたオブジェクトの画像をターゲットデータベース内の画像ターゲットと関連付け得る。

ターゲットマッチングアルゴリズムが、現在の視野内でターゲットを特定しなかった場合、ARデバイスは、202に戻って、他の視野のスキャンを開始するために、ユーザの動作パターンを定期的にモニタし得る。たとえば、HMD104は、加速度計/ジャイロ304をポーリングして、最後の探査スキャンが行われた期間の後に更新された頭部モーションを検出し得る。次いで、HMD104は、ユーザが追加のオブジェクトを見ている可能性があるまたはそれらに興味を示している可能性があることを示唆し得る頭部動作のパターンの探索を再開し得る。

ターゲットマッチングアルゴリズムが1つまたは複数のターゲットを特定すると、ARデバイスは、ARデバイスが探査スキャンのためにカメラを起動してからユーザの顕著な動作があったか否かを検出し得る。探査スキャンを行ってから顕著なユーザ動作があり、ユーザがもはや当該オブジェクトを見ていない可能性があることを示している場合、ARデバイスは、202に戻って、ユーザが他のオブジェクトを見ている可能性があるか否かを検出する。

208において、顕著なユーザ動作がなく、最初にユーザの注意を引いたオブジェクトをユーザが依然として見ている可能性があることを示唆している場合、ARデバイスはARコンテンツが利用可能であることをユーザにアラートする。ARデバイスは、ARコンテンツが利用可能な1つまたは複数のターゲットをユーザに対して特定し得る。たとえば、ARデバイスは、ターゲットのスナップショットを提示し得、またはユーザがターゲットを特定するのを助けるために、情報表示を提示し得る。210において、ARデバイスは、各ターゲットについて、ユーザが当該リンク付けされたARコンテンツと対話する、またはユーザが当該リンク付けされたARコンテンツを後で検索するためにターゲットを保存する、というオプションを提示し得る。

たとえば、図3において、HMD104は、カメラ302を起動して、ユーザの視野306の低解像度フレームをキャプチャする。視野306は、テレビ308および他のオブジェクトを包含している。HMD104は、キャプチャされたフレーム内のオブジェクト上でターゲットマッチングアルゴリズムを実行して、視野306においてユーザが気づいてまたは気づかずに見ている可能性のあるターゲットを特定し得る。たとえば、ターゲットマッチングアルゴリズムは、テレビ308のコンソール上のタグを読んで、テレビ308のブランド名およびモデル名を解読する。ターゲットマッチングアルゴリズムは、そのブランド名およびモデル名にマッチするテレビの画像ターゲットを見つける。

HMD104は、加速度計/ジャイロ304をポーリングして、カメラ302が探査スキャンを行ってから顕著な頭部動作がなく、ユーザが依然として視野306内のテレビ308または他のオブジェクトを見ていることが示されていることを、確かめる。HMD104は、テレビ308に関するARコンテンツが利用可能であることをユーザに知らせるポップアップウインドウ310を表示する。HMD104は、ユーザの注意をテレビ308に向けるのを助けるために、ポップアップウインドウ310をテレビ308の近くに位置づけてよい。ポップアップウインドウ310内には2つのアイコンが表示される。すなわち、テレビ308のリンク付けされたARコンテンツを見るためにユーザが選択し得る第1のアイコン312、および当該リンク付けされたARコンテンツを後で検索するためにテレビ308の画像ターゲットを保存するためにユーザが選択し得る第2のアイコン314である。ターゲットマッチングアルゴリズムが視野306内の追加のターゲットを特定する場合、HMD104は、同様に、ARコンテンツが利用可能なターゲットを特定するポップアップウインドウを表示し得、ARエクスペリエンスと対話するまたはターゲットを保存するという選択肢をユーザに提供し得る。

図2Bに戻って、212において、後で検索するために画像ターゲットを保存することをユーザが選んだ場合、ARデバイスは、メモリ内に当該画像ターゲットを保存する。後になってユーザがARエクスペリエンスの用意ができたとき、ARデバイスは、元の画像ターゲットのスナップショットを表示して、ユーザの注意を画像ターゲットへ向かせ得る。ARデバイスは、202に戻って、ユーザが追加のオブジェクトを見ている可能性があるまたはそれらに興味を示している可能性があることを示唆する、頭部動作のパターンの探索を再開する。

214において、ユーザがARエクスペリエンスと対話することを選んだ場合、ARデバイスは、カメラを起動して、ターゲットのフル解像度フレームをキャプチャして、ARデバイスがARコンテンツを拡張できるようにする。1つまたは複数の実施形態において、ARデバイスは、カメラを起動して、高フレームレートでターゲットをキャプチャして、ターゲットのリアルタイムトラッキングを可能にし得る。216において、ARデバイスは、リンク付けされたARコンテンツをユーザに提供して、ユーザがターゲットに関するARコンテンツと対話できるようにする。1つまたは複数の実施形態において、ARデバイスは、ターゲットデータベースを使用しフル解像度フレーム上でARターゲットマッチングアルゴリズムを実行して、ターゲットを確認する、ARコンテンツを拡張する、または追加の画像ターゲットを特定し得る。

たとえば、図3において、ユーザがテレビ308に関するARコンテンツと対話することを選んだ場合、ユーザは第1のアイコン312を選択し得る。HMD104は、第1のアイコン312に対するユーザの指の動きを感知することによって、または他の感知もしくは入力機構を通して、ユーザの選択を検出し得る。HMD104は、カメラ302を起動して、テレビ308のフル解像度フレームをキャプチャして、HMD104がARコンテンツを拡張できるようにし得る。HMD104は、テレビ308の拡張されたARコンテンツをユーザに表示し得る。拡張されたARコンテンツは、テレビ308に関する、たとえば特徴、価格、レビュー、値引き、他の同様の商品との比較などの情報を含み得る。

ユーザがARコンテンツを保存することを選んだ場合、ユーザは第2のアイコン314を選択し得る。HMD104は、ユーザが後で検索するためにテレビ308のARコンテンツを保存して、テレビ308がもはや視野306内になくても、ユーザがARコンテンツと対話できるようにし得る。1つまたは複数の実施形態では、HMD104は、加速度計/ジャイロ304をポーリングして、ポップアップウインドウ310が表示されてから顕著な頭部モーションがあったか否かを判断し得る。顕著な頭部モーションがあり、ユーザがもはやテレビ308を見ていない可能性があることを示している場合、HMD104はポップアップウインドウ310を閉じ得る。

図4は、本開示の主題の一実施形態による、本明細書において検討する1つまたは複数のコンポーネントを実装するのに適したコンピュータシステム400のブロック図である。様々な実装において、ユーザのモバイルデバイス102は、ネットワークと通信可能な、パーソナルコンピューティングデバイス(たとえば、スマートフォン、コンピューティングタブレット、パーソナルコンピュータ、ラップトップ、PDA、Bluetoothデバイス、キーフォブ、バッジなど)を含み得る。同様に、HMD104は、一対の眼鏡またはヘルメットに組込まれたパーソナルコンピューティングデバイスを含み得る。HMD104は、説明した実施形態に従った様々な方法を実行するよう動作する、複数のハードウェアコンポーネントおよび/またはソフトウェアコンポーネントを備え得るまたは実装し得る。例示的なHMD104は、たとえば、モバイルOSを実行するスタンドアロンコンピュータおよびネットワークされたコンピュータを含み得る。

コンピュータシステム400は、コンピュータシステム400の様々なコンポーネントの間で情報データ、信号、および情報をやりとりするためのバス402または他の通信機構を含む。コンポーネントは、仮想キーパッド/キーボードからのキーの選択、1つまたは複数のボタンまたはリンクの選択などのユーザアクションを処理し、かつ対応する信号をバス402に送る、入力/出力(I/O)コンポーネント404を含む。I/Oコンポーネント404は、ユーザの目の前に近い距離で装着された表示媒体411などの出力コンポーネント、およびカーソル制御部413(仮想キーボード、仮想キーパッド、仮想マウス、など)などの入力制御部も含み得る。オプションの音声入力/出力コンポーネント405も含まれ得、音声信号を情報信号へ変換することによってユーザが声を用いて情報を入力できるようにし得る。音声I/Oコンポーネント405は、ユーザが音声を聞けるようにし得る。トランシーバまたはネットワークインターフェース406が、コンピュータシステム400と、別のユーザデバイスなどの他のデバイスとの間で、またはネットワークへの通信リンク418を介して別のネットワークコンピューティングデバイスとの間で、信号を送受信する。一実施形態において、送信はワイヤレスであるが、他の送信媒体および方法も適し得る。マイクロコントローラ、デジタル信号プロセッサ(DSP)、または他の処理コンポーネントであり得るプロセッサ412が、たとえばコンピュータシステム400に表示するため、または通信リンク418を介して他のデバイスへ送信するために、これらの様々な信号を処理する。プロセッサ412は、クッキーまたはIPアドレスなどの情報の他のデバイスへの送信も制御し得る。

コンピュータシステム400のコンポーネントは、システムメモリコンポーネント414(たとえば、RAM)、スタティックストレージコンポーネント416 (たとえば、ROM)、および/またはディスクドライブ417も含む。コンピュータシステム400は、システムメモリコンポーネント414に含まれる1つまたは複数のシーケンスの命令を実行することによって、プロセッサ412および他のコンポーネントによる特定の動作を行う。論理は、コンピュータ可読媒体において符号化され得、このコンピュータ可読媒体は、実行のためにプロセッサ412に命令を与えることに関与する任意の媒体を指し得る。そのような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形式をとり得るが、これらに限定されない。様々な実装において、不揮発性媒体は、光学もしくは磁気ディスクまたはソリッドステートドライブを含み、揮発性媒体は、システムメモリコンポーネント414などのダイナミックメモリを含み、伝送媒体は、バス402を構成するワイヤを含む、同軸ケーブル、銅線、および光ファイバを含む。一実施形態において、論理は、非一時的コンピュータ可読媒体において符号化される。一例では、伝送媒体は、無線波、光、および赤外線のデータ通信の間に生成された、音波または光波の形式をとり得る。

本開示の様々な実施形態において、本開示を実施するための命令シーケンスの実行は、コンピュータシステム400によって行われ得る。本開示の様々な他の実施形態において、ネットワーク(たとえば、テレコミュニケーション、モバイル、および携帯電話ネットワークを含む、LAN、WLAN、PTSN、および/または様々な他の有線もしくはワイヤレスネットワーク)へ通信リンク418により結合された複数のコンピュータシステム400が、命令シーケンスを実行して互いに協調して本開示を実施し得る。

適用可能な場合、本開示によって提供された様々な実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを使用し実装され得る。また、適用可能な場合には、本明細書で記載した様々なハードウェアコンポーネント、ソフトウェアコンポーネント、および/またはファームウェアコンポーネントを組合わせて、本開示の精神から逸脱することなく、ソフトウェア、ファームウェア、ハードウェア、および/またはこれらすべてを含む複合コンポーネントにし得る。適用可能な場合には、本明細書で記載した様々なハードウェアコンポーネント、ソフトウェアコンポーネント、および/またはファームウェアコンポーネントを分離して、本開示の精神から逸脱することなく、ソフトウェア、ファームウェア、ハードウェア、またはこれらすべてを含むサブコンポーネントにし得る。加えて、適用可能な場合には、ソフトウェアコンポーネントをハードウェアコンポーネントとして実装し得、またその逆も考えられる。適用可能な場合には、本明細書で説明した様々なステップの順序を、変更、組合わせて複合ステップに、および/または分離してサブステップにして、本明細書で説明した特徴を提供し得る。

本開示の実施形態について説明したが、これらの実施形態は例示的なものであり、本開示を限定するものではない。たとえば、ARデバイスによる低電力探査スキャンの起動は、ある期間モーションがあった後でのユーザのボディ動作における休止を検出することで例示されたが、他の動作パターンを使用して探査スキャンを起動し得る。同様に、さらに電力を低減するために、加速度計またはジャイロ以外の網膜スキャナなどのセンサを使用して、探査スキャンの起動を高度なものにし得る。本開示の実施形態はこれらの実施形態に限定されるべきではなく、本開示の原理に従って当業者によって多くの変形や変更がなされ得、そのような変形や変更は、以下に特許請求する本開示の範囲および精神に含まれることを、理解されたい。

102 モバイルデバイス
104 HMD
106 ネットワーク
108 ユーザ着用型カメラ
110 内部ターゲットデータベース、リモートターゲットデータベース
302 カメラ
304 加速度計/ジャイロ
306 視野
308 テレビ
310 ポップアップウインドウ
312 第1のアイコン
314 第2のアイコン
400 コンピュータシステム
402 バス
404 入力/出力(I/O)コンポーネント
405 音声入力/出力コンポーネント
406 トランシーバまたはネットワークインターフェース
411 表示媒体
412 プロセッサ
413 カーソル制御部
414 システムメモリコンポーネント
416 スタティックストレージコンポーネント
417 ディスクドライブ
418 通信リンク

Claims (49)

1. 拡張現実(AR)デバイスを着用しているユーザと対話するための方法であって、
   前記ユーザが第1の状態にあることを前記ARデバイスによって検出するステップと、
   前記第1の状態を検出する前記ステップに応答して前記ユーザの視野の低解像度フレームを前記ARデバイスによってキャプチャするステップと、
   前記低解像度フレームから画像ターゲットを判断するステップであって、前記画像ターゲットはリンク付けされたARコンテンツを有する、ステップと、
   前記画像ターゲットが利用可能であることを前記ユーザにアラートするステップと、
   前記リンク付けされたARコンテンツと対話するか否かについて前記ユーザからの命令を前記ARデバイスによって受信するステップと、
   前記リンク付けされたARコンテンツと対話することを前記ユーザが望むことを示す前記命令に基づき、前記ユーザの視野のフル解像度フレームを前記ARデバイスによってキャプチャするステップと、
   前記リンク付けされたARコンテンツを前記ユーザに前記ARデバイスによって表示するステップと、
   を含む、方法。
2. 前記ユーザが前記第1の状態にあることを前記ARデバイスによって検出する前記ステップは、前記ARデバイスを着用している前記ユーザの動作パターンを検出するステップを含む、請求項1に記載の方法。
3. 前記動作パターンは、第1の期間の動作の後に第2の期間のモーションの休止が続くことを含む、請求項2に記載の方法。
4. 前記ユーザの視野の前記低解像度フレームを前記ARデバイスによってキャプチャする前記ステップは、低フレームレートで前記視野の複数のフレームをキャプチャするステップを含む、請求項1に記載の方法。
5. 前記低解像度フレームから前記画像ターゲットを判断する前記ステップは、前記低解像度フレーム上でARターゲットマッチングアルゴリズムを実行してターゲットデータベースから前記画像ターゲットを特定するステップを含む、請求項1に記載の方法。
6. 前記ARターゲットマッチングアルゴリズムを実行する前記ステップは、前記ARデバイスと通信状態にあるリモートサーバによって行われる、請求項5に記載の方法。
7. 前記画像ターゲットが利用可能であることを前記ユーザにアラートする前記ステップは、前記画像ターゲットが利用可能であることについての情報を前記ARデバイスよって視覚的に表示するステップを含む、請求項1に記載の方法。
8. 前記画像ターゲットが利用可能であることを前記ユーザにアラートする前記ステップは、前記ユーザの視野の前記低解像度フレームを前記ARデバイスによってキャプチャする前記ステップの後、前記ユーザが前記第1の状態に留まっていることを判断するステップを含む、請求項1に記載の方法。
9. 前記リンク付けされたARコンテンツと後で対話することを前記ユーザが望むことを示す前記命令に基づき、前記画像ターゲットを保存するステップをさらに含む、請求項1に記載の方法。
10. 前記ユーザの視野の前記フル解像度フレームを前記ARデバイスによってキャプチャする前記ステップは、前記フル解像度フレームを使用し前記画像ターゲットをトラッキングするステップを含む、請求項1に記載の方法。
11. 前記ユーザの視野の前記フル解像度フレームを前記ARデバイスによってキャプチャする前記ステップは、前記リンク付けされたARコンテンツを拡張するステップを含む、請求項1に記載の方法。
12. 前記ユーザの視野の前記フル解像度フレームから1つまたは複数の追加の画像ターゲットを判断するステップをさらに含み、前記1つまたは複数の追加の画像ターゲットはリンク付けされたARコンテンツを有する、請求項1に記載の方法。
13. 前記ARデバイスは、頭部装着型ディスプレイ(HMD)を含む、請求項1に記載の方法。
14. 前記ARデバイスは、モバイルデバイスと前記ユーザによって着用される第1のカメラとを含み、前記第1のカメラは前記ユーザの視野の前記低解像度フレームをキャプチャするために使用される、請求項1に記載の方法。
15. 前記モバイルデバイスは第2のカメラを含み、前記第2のカメラは前記ユーザの視野の前記フル解像度フレームをキャプチャするために使用される、請求項14に記載の方法。
16. 装置であって、
    前記装置のモーションを登録するように構成されたセンサと、
    カメラと、
    メモリと、
    前記メモリに結合された1つまたは複数のプロセッサとを含み、
    前記1つまたは複数のプロセッサは、
    前記センサをポーリングして前記装置の動作パターンを検出すること、
    前記カメラを起動して前記動作パターンに応答して前記カメラの視野の低解像度フレームをキャプチャすること、
    前記低解像度フレームから画像ターゲットを判断することであって、前記画像ターゲットがリンク付けされた拡張現実(AR)コンテンツを有する、こと、
    アラートを生成して前記画像ターゲットが利用可能であることを示すこと、
    前記リンク付けされたARコンテンツのための命令を受信すること、および
    前記リンク付けされたARコンテンツのための前記命令に基づき、前記カメラを起動して前記カメラの視野のフル解像度フレームをキャプチャすること
    を行うように構成される、装置。
17. 表示媒体をさらに含み、前記1つまたは複数のプロセッサは、前記リンク付けされたARコンテンツを前記表示媒体に表示するようにさらに構成される、請求項16に記載の装置。
18. 前記動作パターンは、第1の期間の動作の後に第2の期間のモーションの休止が続くことを含む、請求項16に記載の装置。
19. 前記カメラの視野の前記低解像度フレームは、低フレームレートでの前記カメラの視野の複数のフレームを含む、請求項16に記載の装置。
20. 前記1つまたは複数のプロセッサは、ARターゲットマッチングアルゴリズムを前記低解像度フレーム上で実行してターゲットデータベースから前記画像ターゲットを特定するようにさらに構成されることによって、前記低解像度フレームから前記画像ターゲットを判断するように構成される、請求項16に記載の装置。
21. 前記1つまたは複数のプロセッサは、前記画像ターゲットが利用可能であることについての情報を表示媒体に表示するようにさらに構成されることによって、前記アラートを生成して前記画像ターゲットが利用可能であることを示すように構成される、請求項16に記載の装置。
22. 前記1つまたは複数のプロセッサは、前記カメラを起動して前記カメラの視野の前記低解像度フレームをキャプチャするように構成された後、前記センサをポーリングして前記装置のモーション閾値を超えるモーションを前記センサが登録していないと判断するようにさらに構成されることによって、前記アラートを生成して前記画像ターゲットが利用可能であることを示すように構成される、請求項16に記載の装置。
23. 前記1つまたは複数のプロセッサは、前記リンク付けされたARコンテンツを後で提供する要求を含む前記命令に基づき、前記画像ターゲットを保存するようにさらに構成される、請求項16に記載の装置。
24. 前記1つまたは複数のプロセッサは、前記カメラの視野の前記フル解像度フレームを使用し前記画像ターゲットをトラッキングするようにさらに構成されることによって、前記カメラを起動して前記カメラの視野の前記フル解像度フレームをキャプチャするように構成される、請求項16に記載の装置。
25. 前記1つまたは複数のプロセッサは、前記カメラの視野の前記フル解像度フレームから前記リンク付けされたARコンテンツを拡張するようにさらに構成される、請求項16に記載の装置。
26. 前記1つまたは複数のプロセッサは、前記カメラの視野の前記フル解像度フレームから1つまたは複数の追加の画像ターゲットを判断するようにさらに構成され、前記1つまたは複数の追加の画像ターゲットはリンク付けされたARコンテンツを有する、請求項16に記載の装置。
27. 前記装置は、頭部装着型ディスプレイ(HMD)を含む、請求項16に記載の装置。
28. 1つまたは複数のプロセッサによって実行されると前記1つまたは複数のプロセッサに、
    ユーザが第1の状態にあることを検出するステップと、
    前記第1の状態を検出する前記ステップに応答して前記ユーザの視野の低解像度フレームをキャプチャするステップと、
    前記低解像度フレームから画像ターゲットを判断するステップであって、前記画像ターゲットはリンク付けされた拡張現実(AR)コンテンツを有する、ステップと、
    前記画像ターゲットが利用可能であることを前記ユーザにアラートするステップと、
    前記リンク付けされたARコンテンツのための命令を受信するステップと、
    前記リンク付けされたARコンテンツのための前記命令に基づき、前記ユーザの視野のフル解像度フレームをキャプチャするステップと、
    前記リンク付けされたARコンテンツを前記ユーザに提供するステップと、
    を含む、
    方法を行わせるように構成された複数の機械可読命令を含む、非一時的機械可読媒体。
29. 前記ユーザが前記第1の状態にあることを検出する前記ステップは、前記ユーザの動作パターンを検出するステップを含む、請求項28に記載の非一時的機械可読媒体。
30. 前記動作パターンは、第1の期間の動作の後に第2の期間のモーションの休止が続くことを含む、請求項29に記載の非一時的機械可読媒体。
31. 前記ユーザの視野の前記低解像度フレームをキャプチャする前記ステップは、低フレームレートで前記視野の複数のフレームをキャプチャするステップを含む、請求項28に記載の非一時的機械可読媒体。
32. 前記低解像度フレームから前記画像ターゲットを判断する前記ステップは、前記低解像度フレーム上でARターゲットマッチングアルゴリズムを実行してターゲットデータベースから前記画像ターゲットを特定するステップを含む、請求項28に記載の非一時的機械可読媒体。
33. 前記画像ターゲットが利用可能であることを前記ユーザにアラートする前記ステップは、前記画像ターゲットが利用可能であることについての情報を視覚的に表示するステップを含む、請求項28に記載の非一時的機械可読媒体。
34. 前記画像ターゲットが利用可能であることを前記ユーザにアラートする前記ステップは、前記ユーザの視野の前記低解像度フレームをキャプチャする前記ステップの後、前記ユーザが前記第1の状態に留まっていることを判断するステップを含む、請求項28に記載の非一時的機械可読媒体。
35. 前記方法は、前記リンク付けされたARコンテンツと後で対話することを前記ユーザが望むことを示す前記命令に基づき、前記画像ターゲットを保存するステップをさらに含む、請求項28に記載の非一時的機械可読媒体。
36. 前記ユーザの視野の前記フル解像度フレームをキャプチャする前記ステップは、前記フル解像度フレームを使用し前記画像ターゲットをトラッキングするステップを含む、請求項28に記載の非一時的機械可読媒体。
37. 前記方法は、前記ユーザの視野の前記フル解像度フレームを使用し前記リンク付けされたARコンテンツを拡張するステップをさらに含む、請求項28に記載の非一時的機械可読媒体。
38. 前記方法は、前記ユーザの視野の前記フル解像度フレームから1つまたは複数の追加の画像ターゲットを判断するステップをさらに含み、前記1つまたは複数の追加の画像ターゲットはリンク付けされたARコンテンツを有する、請求項28に記載の非一時的機械可読媒体。
39. ユーザが第1の状態にあることを検出するための手段と、
    前記第1の状態を検出することに応答して前記ユーザの視野の低解像度フレームをキャプチャするための手段と、
    前記低解像度フレームから画像ターゲットを判断するための手段であって、前記画像ターゲットはリンク付けされた拡張現実(AR)コンテンツを有する、手段と、
    前記画像ターゲットが利用可能であることを前記ユーザにアラートするための手段と、
    前記リンク付けされたARコンテンツのための命令を受信するための手段と、
    前記リンク付けされたARコンテンツのための前記命令に基づき、前記ユーザの視野のフル解像度フレームをキャプチャするための手段と、
    前記リンク付けされたARコンテンツを前記ユーザに提供するための手段と
    を含む、システム。
40. 前記ユーザが前記第1の状態にあることを検出するための前記手段は、前記ユーザの動作パターンを検出するための手段を含む、請求項39に記載のシステム。
41. 前記動作パターンは、第1の期間の動作の後に第2の期間のモーションの休止が続くことを含む、請求項40に記載のシステム。
42. 前記ユーザの視野の前記低解像度フレームをキャプチャするための前記手段は、低フレームレートで前記視野の複数のフレームをキャプチャするための手段を含む、請求項39に記載のシステム。
43. 前記低解像度フレームから前記画像ターゲットを判断するための前記手段は、前記低解像度フレーム上でARターゲットマッチングアルゴリズムを実行してターゲットデータベースから前記画像ターゲットを特定するための手段を含む、請求項39に記載のシステム。
44. 前記画像ターゲットが利用可能であることを前記ユーザにアラートするための前記手段は、前記画像ターゲットが利用可能であることについての情報を視覚的に表示するための手段を含む、請求項39に記載のシステム。
45. 前記画像ターゲットが利用可能であることを前記ユーザにアラートするための前記手段は、前記ユーザの視野の前記低解像度フレームをキャプチャした後、前記ユーザが前記第1の状態に留まっていることを判断するための手段を含む、請求項39に記載のシステム。
46. 前記リンク付けされたARコンテンツと後で対話することを前記ユーザが望むことを示す前記命令に基づき、前記画像ターゲットを保存するための手段をさらに含む、請求項39に記載のシステム。
47. 前記ユーザの視野の前記フル解像度フレームをキャプチャするための前記手段は、前記フル解像度フレームを使用し前記画像ターゲットをトラッキングするための手段を含む、請求項39に記載のシステム。
48. 前記ユーザの視野の前記フル解像度フレームを使用し前記リンク付けされたARコンテンツを拡張するための手段をさらに含む、請求項39に記載のシステム。
49. 前記ユーザの視野の前記フル解像度フレームから1つまたは複数の追加の画像ターゲットを判断するための手段をさらに含み、前記1つまたは複数の追加の画像ターゲットはリンク付けされたARコンテンツを有する、請求項39に記載のシステム。

Images