JP5607759B2 - 軌道ベースのロケーション判断を使用した画像識別 - Google Patents

Description

本明細書で開示する主題は、ハンドヘルドモバイルデバイスのイメージングデバイスを使用してターゲットオブジェクトに関する情報を捕捉することに関する。

セルフォンまたは携帯情報端末(PDA)など、デジタルカメラを含むハンドヘルドモバイルデバイスが普及し続けている。そのようなデバイスは、後で閲覧されるいくつかの写真を記憶し得る。写真は、その写真が撮影された時間、ピクセルサイズ、絞り、および露光設定などに関する情報とともに記憶され得る。しかしながら、写真中のオブジェクトに関する情報が望まれることがある。

一実装形態では、プロセスは、ハンドヘルドモバイルデバイスの概略位置を判断するステップと、ハンドヘルドモバイルデバイスに固定式に取り付けられたイメージングデバイスを使用して1つまたは複数のターゲットオブジェクトの画像をキャプチャするステップと、操作に応答して、ハンドヘルドモバイルデバイスのセンサから取得された測定値に少なくとも部分的に基づいて、概略位置に対するハンドヘルドモバイルデバイスの1つまたは複数の回転角を判断するステップと、概略位置と1つまたは複数の回転角とに少なくとも部分的に基づいて、1つまたは複数のターゲットオブジェクトの中から選択された、選択されたターゲットオブジェクトのロケーションを推定するステップと、選択されたターゲットオブジェクトの推定されたロケーションとキャプチャされた画像とに少なくとも部分的に基づいて、選択されたターゲットオブジェクトの識別情報を受信するステップと、受信した識別情報に少なくとも部分的に基づいて、選択されたターゲットオブジェクトを記述する情報をハンドヘルドモバイルデバイス上に表示するステップとを含み得る。ただし、これは、全体にわたって開示され説明される方法の特定の例にすぎず、請求する主題はこの特定の例に限定されないことを理解されたい。

以下の図を参照しながら非限定的で非網羅的な特徴について説明し、様々な図の全体を通して、同様の参照番号は同様の部分を指す。

一実装形態による、画像キャプチャデバイスおよびターゲットオブジェクトを示す概略図である。 一実装形態による、衛星測位システム(SPS)の概略図である。 一実装形態による、ターゲットオブジェクトのほうへ向けられた画像キャプチャデバイスを示す概略図である。 一実装形態による、ターゲットオブジェクトのほうへ向けられた画像キャプチャデバイスに結合されたビューファインダー画像を表す概略図である。 一実装形態による、ターゲットオブジェクトを含むキャプチャされた画像を表す概略図である。 一実装形態による、ターゲットオブジェクトに関する情報を捕捉するためのプロセスを示す流れ図である。 一実装形態による、ターゲットオブジェクトを識別するためのプロセスを示す流れ図である。 一実装形態による、ディスプレイを表す概略図である。 一実装形態による、モバイルデバイスの動きを感知することと、ワイヤレスネットワークと通信することとが可能なモバイルデバイスの概略図である。

本明細書全体にわたる「一例」、「1つの特徴」、「例」または「1つの特徴」という言及は、特定の特徴および/または例に関連して説明するその特徴、構造、または特性が、請求する主題の少なくとも1つの特徴および/または例に含まれることを意味する。したがって、本明細書全体にわたる様々な箇所における「一例では」、「例」、「1つの特徴では」または「特徴」という句の出現は、必ずしもすべてが同じ特徴および/または例を指すわけではない。さらに、それらの特定の特徴、構造、または特性を組み合わせて1つまたは複数の例および/または特徴にすることができる。

本明細書で説明する実装形態は、ハンドヘルドモバイルデバイス(HMD)を使用して、HMDに結合されたディスプレイに示された写真中の特定のターゲットオブジェクトを選択した後に、その特定のターゲットオブジェクトに関する情報を識別し、その後受信することを含む。たとえば、そのようなターゲットオブジェクトは、ほんの数例を挙げると、建築物または彫像を含み得る。そのようなディスプレイとHMDのユーザインターフェースとを使用して、ユーザは、キャプチャされた画像中のいくつかの表示されたターゲットオブジェクトの中の特定のターゲットオブジェクトを選択し得る。ターゲットオブジェクトが選択されると、HMDは、以下で詳細に説明するように、そのような選択されたターゲットオブジェクトを識別するプロセスを通過し得る。

特定の実装形態では、HMDが、HMDのメモリ中に特定のターゲットオブジェクトに関する情報をまだ維持していない場合、その特定のターゲットオブジェクトの選択により、HMDはリモートソースからそのような情報を捕捉することになり得る。たとえば地上基地局など、そのようなリモートソースを使用してターゲットオブジェクトを識別し得る。そのようなリモートソースは、たとえば、どのオブジェクト(たとえば、ターゲットオブジェクト)が、サービスに加入しているユーザにとって関心があり得るかを判断するそのようなサービスによって生成および/または維持されるターゲットオブジェクト情報を含むデータベースを含み得る。そのような情報は、ターゲットオブジェクトおよび/またはターゲットオブジェクトの履歴に関する事実を含み得る。そのような情報の少なくとも一部分をHMDに結合されたディスプレイに示し得るが、請求する主題はそのように限定されない。

特定の例を示すために、いくつかの大きい博物館が、特定の芸術品に関する情報を表示するかまたは可聴的に説明するように構成された特殊なハンドヘルドデバイスを(たとえば、有料で)提供することがあるが、そのようなデバイスはそのような個々の芸術品に極めて近接している。そのような場合、博物館は、個々の芸術品の近くに送信されるワイヤレス信号を介してそのような情報を提供し得る。しかしながら、上記で説明したHMDの実装形態では、博物館によって提供されるそのような特殊なハンドヘルドデバイスは、そのような芸術品に関する情報を提供することが可能でなくてもよい。代わりに、そのような情報は博物館とは無関係に提供され得るので、ユーザの個人用HMD(たとえば、セルフォン)を使用して、博物館との対話なしに情報を収集し得る。たとえば、そのようなHMDは、以下で詳細に説明するように、選択された特定の芸術品に関する情報を識別および/または収集するために、芸術品のデータベースを維持するサーバとワイヤレス通信し得る。そのような場合、ユーザは、そのようなオブジェクトの画像をキャプチャし、HMDのディスプレイにおいてオブジェクトの画像を選択し得るときに、特定の芸術品に関する情報を望み得る。特定の実装形態では、HMDは、選択されたオブジェクトに関する情報をすでに記憶していることがあり得、そうでない場合、HMDは、オブジェクトを識別し、そのオブジェクトに関する情報を提供するようにとの要求を基地局に送信し得る。したがって、次いで、HMDは、基地局から、要求された情報を受信し得、次いで、HMDはその情報をユーザに表示し得る。もちろん、そのような特定のHMDの詳細は例にすぎず、請求する主題はそのように限定されない。

図1は、一実装形態による、HMD150およびターゲットオブジェクト160を示す概略図である。そのようなHMDは、たとえば、ターゲットオブジェクト160の画像をキャプチャするための画像キャプチャデバイスを含み得る。ターゲットオブジェクト160に関する情報は、HMD150に固定式に取り付けられた画像キャプチャデバイスを使用することによって捕捉され得る。たとえば、そのような画像キャプチャデバイスは、ターゲットオブジェクト160の画像をキャプチャするために位置決め(照準)され得、HMD150の位置155は、以下で説明するように、いくつかの利用可能な位置決め技法のいずれか1つを使用して判断され得る。さらに、HMD150の1つまたは複数の回転角が判断され得る。選択されたターゲットオブジェクトのロケーションは、HMDの判断された位置および/または1つまたは複数の回転角に少なくとも部分的に基づいて推定され得る。たとえば、そのような回転角を使用して、HMD150とターゲットオブジェクト160との間の変位170を推定し得る。一緒に、位置155と推定された変位170とを使用して、ターゲットオブジェクト160のロケーションを推定し得る。ターゲットオブジェクト160のそのような推定されたロケーションとキャプチャされた画像とを使用して、選択されたターゲットオブジェクトの識別情報が判断され得る。次いで、HMD150は、識別されたターゲットオブジェクト160に関する情報を捕捉し得る。HMD150は、そのような識別されたターゲットオブジェクトおよび/または関連する情報を表示するためのディスプレイデバイス(図3)を含み得る。

そのような実装形態の一例として、ユーザは、ユーザが情報を望む特定の建築物に、セルラー電話中に含まれるカメラを照準し得る。そのようなセルラー電話は、1つまたは複数の位置決め技術を使用して、それのロケーションを判断することが可能であり得る。そのようなセルラー電話はまた、特定の基準方向に対するセルラー電話の回転角のうちの1つまたは複数を判断することが可能であり得る。たとえば、ニュージャージー州カーニーのブロードウェイアンドシルバンアベニューの角に位置するユーザが、特定の建築物にカメラを照準しながら、北から10度西にカメラを向けていることがある。ユーザが特定の建築物の写真を撮影する場合、カメラを含むセルラー電話のそのような位置および/または回転角は写真とともに記録され得る。そのような位置情報、1つまたは複数の回転角、および/または特定の建築物の画像に適用される画像認識プロセスを使用して、特定の建築物の識別情報が判断され得る。そのような識別を使用して、特定の建築物に関する情報が表示され得る。セルラー電話はそのような情報を含み得、および/または、そのような情報は、セルラー電話からのそのような情報についての要求に応答して地上基地局からワイヤレスに提供され得る。もちろん、ターゲットオブジェクトに関する情報を捕捉することのそのような詳細は例にすぎず、請求する主題はそのように限定されない。

一実装形態では、HMDの位置を記述する位置情報は、ユーザによってHMDに提供され、および/またはいくつかの利用可能な位置決め技法のいずれか1つを使用して判断され得る。そのような位置決め技法のリストは、ほんの数例を挙げると、衛星測位システム(SPS)、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、Ultra-wideband(UWB)、AFLT、デジタルTV、ワイヤレスリピータ、RFID、無線測位ビーコン、セルタワーID、および/またはブルートゥースを含み得る。いくつかの位置決め技法は、他の位置決め技法に比較してより正確でない位置情報を提供することがある。たとえば、より正確でない位置情報は、HMDのロケーションを、建築物、街区、州などの比較的大きいエリア内のみに特定し得る。例示のために、位置情報は、HMDがカーニー市に位置することを確定し得るか、あるいはHMDがサンフランシスコの金融街の地下鉄駅にまたはその近くに位置することを確定し得る。比較的不正確な位置情報のそのような事例では、HMDは、より正確な位置情報を判断するために、手動で入力されたユーザ入力、センサ情報、および/または画像認識技法などの追加情報を利用し得る。次いで、そのような改善された位置情報を使用して、そのような位置においてHMDによって画像中にキャプチャされたターゲットオブジェクトの識別情報を判断し得る。もちろん、位置情報を捕捉することのそのような詳細は例にすぎず、請求する主題はそのように限定されない。

別の実装形態では、ユーザは、ターゲットオブジェクト上に照射スポットを生成するために、光ビームをターゲットオブジェクト上に向けるようにHMDを操作し得る。その後、HMDは、ターゲットオブジェクトのキャプチャされた画像中のそのような照射スポットを検出し得る。したがって、ターゲットオブジェクトは、検出された照射スポットに少なくとも部分的に基づいて、選択され、さらに識別され得る。たとえば、キャプチャされた画像は複数のターゲットオブジェクトを含み得、HMDは、特定のターゲットオブジェクト上の照射スポットを検出することによって、選択されたターゲットオブジェクトを判断し得る。

別の実装形態では、ユーザは、距離測定(range-finding)ビームをターゲットオブジェクト上に向けるようにHMDを操作し得る。そのようなHMDは、音、光、IRおよび/またはRFエネルギーを放出および受信するためのエミッタおよび受信機、放出されたエネルギーがターゲットオブジェクトへおよびそれから進行するときの伝搬時間を判断するための時間モジュール、ならびに/あるいはターゲットオブジェクトまでの距離を判断するためのプロセッサを含み得る。別の実装形態では、ユーザは、少なくとも1つの距離測定ビームの発散が判断され得るように、少なくとも1つの距離測定ビームをターゲットオブジェクト上に向け得る。判断された発散から、ターゲットオブジェクトまでの距離が判断され得る。たとえば、ターゲットオブジェクト上のより大きいスポットサイズは、ターゲットオブジェクトが、より小さいスポットサイズの場合よりも遠く離れていることを暗示し得る。したがって、選択されたターゲットオブジェクトの識別情報は、HMDのロケーションおよび/または方位と、いくつかの技法のいずれか1つを使用して測定された、HMDからのターゲットオブジェクトの判断された距離とに少なくとも部分的に基づいて判断され得る。もちろん、ターゲットオブジェクトを識別するために距離を使用するそのようなプロセスは一例にすぎず、請求する主題はそのように限定されない。

図2は、一実装形態による、ターゲットオブジェクトを識別するために互いに通信し得る構成要素のシステム207を示す。特に、HMD204は、衛星ナビゲーション信号210を受信することと、基地局208へ/からワイヤレス通信信号212を送信/受信することとが可能な様々なモバイル受信機のいずれか1つを含み得る。HMD204はまた、ターゲットオブジェクト260との視覚的接触を有し得る。信号210は、たとえば、衛星ビークル(SV)206などの基準局から、ならびに/あるいは地上ビーコンまたは基地局208などの地上ロケーションから送信され得る。HMD204は、ほんの数例を挙げると、モバイルフォン、ハンドヘルドナビゲーション受信機、および/または携帯情報端末(PDA)を含み得る。上述のように、HMD204は、それの位置を計算するためにいくつかの技法のいずれかを採用し得る。特定の実装形態では、そのような位置決め技法は、それぞれ衛星206および/または地上基地局208から受信されたワイヤレス信号210および/またはワイヤレス信号212に少なくとも部分的に基づき得る。いくつかの実装形態では、HMD204は、SPS受信機と、ボイスおよび/またはデータ通信のためのワイヤレス通信デバイスとの両方を内蔵し得る。したがって、本明細書ではSPSシステムの具体的な例について説明し得るが、そのような原理および技法は、他の衛星測位システム、またはワイヤレスネットワークなどの地上測位システムに適用可能であり得る。もちろん、システム207のそのような詳細は例にすぎず、請求する主題はそのように限定されない。

図3は、一実装形態による、ターゲットオブジェクト310、320、および/または330のほうへ向けられたHMD300を示す概略図である。HMD300は、画像キャプチャデバイス302、ディスプレイ304、キーパッド306、および/またはアンテナ308を含み得る。そのような画像キャプチャデバイス(たとえば、カメラ)は、ディスプレイ304においてビューファインダー画像および/またはキャプチャされた画像を表示し得る。HMD300は、以下でより詳細に説明するように、1つまたは複数のアプリケーションをホスティングするための専用プロセッサ(図9)を含み得る。HMD300は、たとえばタッチスクリーンを含み得る、キーパッド306および/またはディスプレイ304などの1つまたは複数のユーザインターフェースを含み得る。アンテナ308は、測位システムから、および/または基地局へ/からなど、様々な信号を送信および/または受信するためにHMD300によって使用される送信機/受信機(図9)の一部分を含み得る。一適用例では、キャプチャされた画像が特定のターゲットオブジェクトを中心とするようにHMD300を向けるかまたは照準し得る。画像キャプチャデバイス302のためのビューファインダーとして使用されるディスプレイ304は、ユーザが、シーンのどの部分を画像としてキャプチャすべきかを判断するのを支援し得る、画像境界または閲覧角340と画像中心線350とを定義するビューファインダー(図4)を含み得る。たとえば、複数のターゲットオブジェクト310、320、および/または330が閲覧角340内に含まれ得、画像キャプチャデバイス302は、ターゲットオブジェクト320がキャプチャされた画像内の中心に位置するように照準され得る。そのようなターゲットオブジェクトは、ほんの数例を挙げると、人々、建築物、彫像、湖、山岳、および/またはランドマークを含み得る。そのようなターゲットオブジェクトは画像中にキャプチャされ得るが、たとえば人々など、すべてのターゲットオブジェクトが、本明細書で説明するプロセスおよび/または技法によって識別され得るとは限らない。たとえば、ある人は、写真(キャプチャされた画像)のためにリンカーン記念館の隣でポーズをとり得る。そのような記念物は、以下で説明するように識別され得るが、その人およびキャプチャさ
れた画像内の他のオブジェクトは識別される必要はない。どのターゲットオブジェクトを識別すべきかを識別するためのプロセスについて以下で詳細に説明する。

図4は、一実装形態による、ターゲットオブジェクト410、420、および430のほうへ向けられた、画像キャプチャデバイス302などの画像キャプチャデバイスのビューファインダー画像400を表す概略図である。上述のように、そのようなビューファインダー画像はディスプレイ304によって示され得る。閲覧角340はビューファインダー画像400のエッジを定義し得る。中心線350は画像中心460を定義し得、画像中心460は、たとえば、十字線、円、ならびに/あるいはユーザに画像中心を示す他のシンボルまたは構成を含み得る。ビューファインダー画像400は、光源レベル、シャッター速度、撮影された写真の数などの写真情報(図示せず)を含み得る。もちろん、そのようなビューファインダー画像の詳細は例にすぎず、請求する主題はそのように限定されない。

図5は、一実装形態による、ターゲットオブジェクト510、520、および530を含むキャプチャされた画像500を表す概略図である。そのようなターゲットオブジェクトは、たとえば、ラベル515、525、および/または535などのオーバーレイおよび/またはスーパーインポーズされたオブジェクト指示子によってラベリングされ得る。たとえば、そのようなラベルは、ターゲットオブジェクト上にスーパーインポーズされた半透明の数字および/または文字を含み得る。そのようなラベリングは、ユーザが複数のターゲットオブジェクトの中の特定のターゲットオブジェクトを選択する方法を提供し得る。特定の一実装形態では、HMDは、キャプチャされた画像中に含まれるどのターゲットオブジェクトが識別可能であるかを判断し、したがって、そのような識別されたターゲットオブジェクト上にラベルを配置し得る。HMDは、キャプチャされた画像のどの部分がターゲットオブジェクトを含み、どの部分が背景画像を含むにすぎないかを判断するために、画像認識技法を使用して、キャプチャされた画像を分析し得る。たとえば、キャプチャされた画像は、キャプチャされた画像の中央領域に、背景画像によって囲まれた3つの隣接する彫像を含み得る。そのような場合、画像認識技法を使用して、キャプチャされた画像のどの部分がターゲットオブジェクト(たとえば、彫像)であり、どの部分が背景イメージにすぎないかを判断し得る。そのようなプロセス中にそのようなターゲットオブジェクトがうまく識別された場合、HMDは、上記で説明したように、そのようなターゲットオブジェクトをラベリングし得る。別の実装形態では、そのようなラベルがない場合、ユーザは、マウスおよび/またはタッチパッドなどのポインティングデバイスによって特定のターゲットオブジェクトを選択し得、たとえば、表示されたキャプチャされた画像中の特定のターゲットオブジェクトにアイコンまたはシンボルをナビゲートして、特定のターゲットオブジェクトを選択し得る。さらに別の実装形態では、HMDは、表示されたキャプチャされた画像中の複数のターゲットオブジェクトの中のどのターゲットオブジェクトが現在選択されているかを示すために、ディスプレイデバイスにおいて選択インジケータまたはシンボルを表示し得る。そのような指示は、ほんの数例を挙げると、キャプチャされた画像の他の部分に比較して選択物を明るくすること、選択物の周りにフレームを表示すること、および/または選択物の画像サイズを増加させることによって現在の選択物を強調することを含み得る。次いで、ユーザは、表示されたキャプチャされた画像中のターゲットオブジェクトの間でジャンプするために、選択インジケータの位置をトグルし得る。たとえば、ユーザは、あるターゲットオブジェクトから次のターゲットオブジェクトへの選択ジャンプごとに1回キーを押し得る。したがって、次いで、ユーザは、そのような選択インジケータの位置に少なくとも部分的に基づいて、表示されたキャプチャされた画像中の1つまたは複数のターゲットオブジェクトを選択し得る。

図6は、一実装形態による、ターゲットオブジェクトに関する情報を捕捉するためのプロセス600の流れ図である。ブロック610において、ユーザは、ユーザが情報を望むターゲットオブジェクトのほうへ画像キャプチャデバイスを向ける。ユーザは、そのようなターゲットオブジェクトが、たとえば、画像中心460によって示されるように、少なくとも概略的にビューファインダー画像内の中心に位置するように、画像キャプチャデバイスを照準し得る。代替的に、ユーザは、たとえば上記で説明したように、画像をキャプチャした後に複数のターゲットオブジェクトの中のそのようなターゲットオブジェクトを選択し得る。ブロック620において、HMDは、少なくとも概略的にそれの位置を判断する。そのような判断は、たとえば、時々、断続的に、周期的に、またはブロック630の時点で画像をキャプチャしたことの結果として行われ得る。同様に、ブロック640において、HMDは、たとえば、時々、断続的に、周期的に、またはブロック630の時点で画像をキャプチャしたことの結果として、それの方位を判断する。特定の一実装形態では、そのようなHMDは、1つまたは複数の方位角を判断するための1つまたは複数のセンサを含み得る。たとえば、そのようなセンサは、ほんの数例を挙げると、加速度計、磁力計、コンパス、圧力センサ、および/またはジャイロを含み得る。したがって、そのようなセンサは、画像キャプチャプロセス中に、HMDの方向、高度、傾きなどを測定し得る。そのようなセンサ情報は、たとえば、メモリに記憶され、キャプチャされた画像に関連付けられ得る。もちろん、そのようなセンサの詳細は例にすぎず、請求する主題はそのように限定されない。

ブロック650において、選択されたターゲットの画像をキャプチャしたHMDの判断された位置と判断された1つまたは複数の回転角とに少なくとも部分的に基づいて、選択されたターゲットオブジェクトのロケーションを推定する。たとえば、HMDは、選択されたターゲットオブジェクトが、水平より上に10度の傾きで、HMDの北から20度西に位置すると判断し得る。そのようなHMDはまた、たとえば、SPS技術よって判断された測地位置など、それの位置を判断し得る。特定の一実装形態では、回転角を使用して、HMDとターゲットオブジェクトとの間の変位を推定し得る。一緒に、判断されたHMD位置とそのような推定された変位とを使用して、ターゲットオブジェクトのロケーションを推定し得る。ブロック660において、そのようなロケーション推定値および/または画像認識プロセスを使用して、以下でさらに詳細に説明するように、選択されたターゲットオブジェクトの識別情報を判断する。ブロック670において、識別された選択されたターゲットオブジェクトに関する情報をHMDのディスプレイに示す。もちろん、ターゲットオブジェクトの識別情報を判断することのそのような詳細は例にすぎず、請求する主題はそのように限定されない。

図7は、一実装形態による、キャプチャされた画像中のターゲットオブジェクトを識別するためのプロセス700の流れ図である。そのようなプロセスは、たとえば、図6中のブロック660において実行されるプロセスを含み得る。ブロック710において、たとえば、上記で識別されたいくつかの技法のいずれか1つを使用してHMDの位置を判断する。そのような位置判断は概略的であり得る。たとえば、プロセス700では、HMDが位置する都市、郡、および/または地方を判断することで十分であり得る。代替的に、ユーザは、タッチスクリーン、キーパッドなどによってロケーションを入力することによって、HMDのロケーションを手動で提供し得る。

ブロック720において、HMDは、そのような位置判断および/またはユーザ入力に少なくとも部分的に基づいて、識別情報のデータベースを基地局または他のそのような地上エンティティに要求する。そのようなデータベースは、HMDの現在のロケーションを囲む領域中のターゲットオブジェクトに関する情報を含み得る。一実装形態では、上述のように、そのような情報は、どのオブジェクトが、サービスに加入しているユーザにとって関心があり得るかを判断するそのようなサービスによって生成および/または維持され得る。たとえば、ニューヨーク市に到着したユーザは、HMDの半径1キロメートル内のターゲットオブジェクトに関する情報をダウンロードし得るHMDを携帯し得る。そのような半径のサイズは、そのような半径内のターゲットオブジェクトの数および/またはHMDのメモリ容量に依存し得るが、請求する主題はそのように限定されない。たとえば、ニューヨーク市の半径1キロメートルは、アリゾナの砂漠地帯の半径100キロメートルと同数のターゲットオブジェクト(たとえば、データベースに記録されている、関心を引くオブジェクト)を含み得る。HMDは、ターゲットオブジェクト識別のために使用されるべき現在のHMDロケーションのそのような情報を記憶し得る。識別情報は、選択されたターゲットオブジェクトを識別するためにHMDによって実行され得る画像認識プロセスのために使用されるべき画像情報を含み得る。1つのそのような画像認識プロセスは、たとえば、Fanの米国特許出願公開第2007/0009159号に記載されている。たとえば、そのような情報は、位置判断によればHMDの近くに位置する、たとえば、ランドマーク、建築物、彫像、および/または標識の画像を含み得る。特定の一実装形態では、HMDは、時々、周期的に、HMDのロケーションの大幅な変化(たとえば、空港への到着)の結果として、および/または画像をキャプチャしたことの結果として、そのような情報を要求し得る。したがって、そのようなHMDは、HMDの現在のロケーションに関するそのような情報を継続的に記憶し得、HMDがもはや位置しない領域に関する古い情報をパージし得る。そのようなメモリ更新/パージプロセスは、たとえば、HMDの限られたメモリサイズに適応し得る。

ブロック730において、HMDの位置は、ブロック710の時点で早くに判断されていることがあり得るが、HMDは、HMDを用いて画像をキャプチャ(写真を撮影)したことの結果として、それの位置の判断を再び実行する。さらに、上記で説明したように、基準方向に対するHMDの1つまたは複数の角度などの方位を判断する。しかしながら、HMDが最近の位置判断から捕捉された十分に最新のロケーション情報をすでに含んでいる場合、画像キャプチャのときに方位が判断されるように、ブロック730はスキップおよび/または変更され得る。

ブロック740において、画像認識プロセス中に、選択されたターゲットオブジェクトの画像の特徴を、HMDのメモリに記憶された1つまたは複数の画像の特徴と比較する。ブロック745において、一致する画像が発見された場合、ターゲットオブジェクトは識別され得る。たとえば、選択されたターゲットオブジェクトは自由の女神の画像を含み得る。そのような画像の1つまたは複数の特徴が、ニューヨーク市の領域中のランドマークおよび他のオブジェクトの複数の記憶された画像の特徴のデータベースと比較され得る。選択されたターゲットオブジェクトの画像が、知られているエンティティ(本例では自由の女神)の画像に一致する場合、選択されたターゲットオブジェクトは識別され得、そのようなデータベースはターゲットオブジェクトに関する情報を提供し得る。一方、一致が発見されない場合、プロセス700はブロック760に進み得、より大きいデータベースにアクセスする。特定の実装形態では、HMDは、選択されたターゲットオブジェクトの画像の少なくとも一部分を、HMDからリモートにある地上局または他のエンティティに送信し、そのような地上局において画像認識プロセスが実行されることを要求し得る。もちろん、画像情報のそのようなより大きいデータベースは別のモバイルデバイスに位置し得、請求する主題は地上エンティティに限定されない。

ブロック770において、画像認識プロセス中に、選択されたターゲットオブジェクトの画像の特徴を、基地局のメモリに記憶された1つまたは複数の画像の特徴と比較する。ブロック775において、一致する画像が発見された場合、ターゲットオブジェクトは識別され得る。したがって、基地局は、識別されたターゲットオブジェクトに関連する情報をHMDに送信し得る。一方、一致が発見されない場合、ブロック790において、基地局は、ターゲット識別プロセスが成功しなかったことを示すメッセージをHMDに送信する。もちろん、識別プロセスのそのような詳細は例にすぎず、請求する主題はそのように限定されない。

図8は、一実装形態による、ディスプレイ800を表す概略図である。HMDは、キャプチャされた画像のサムネイル810、選択されたターゲットオブジェクト830を示すためのグラフィックス820、および/または選択されたターゲットオブジェクト830に関する情報を表示するためのウィンドウ840を含み得る、そのようなディスプレイを含み得る。キャプチャされた画像の縮小サイズバージョンを含むそのようなサムネイル810は、フルサイズのキャプチャされた画像に比較してより小さい表示エリアを占有し、したがって、ディスプレイ800がウィンドウ840を表示するためのエリアを含むことを可能にし得る。そのような様式で、ディスプレイは、選択されたターゲットオブジェクト830を表示しながら、ウィンドウ840中にテキストとして表示される、ターゲットオブジェクトに関する情報をユーザに提供し得る。もちろん、そのようなディスプレイは一例にすぎず、請求する主題はそのように限定されない。

図9は、一実装形態による、ワイヤレスネットワークとの通信と、デバイスの動きを感知することとが可能なデバイスの概略図である。そのようなデバイスは画像キャプチャデバイスを含み得る。特定の実装形態では、図1に示すHMD150などのHMDは、擬似距離測定値を判断するためにアンテナ914において受信されたSPS信号を処理することと、アンテナ910を通してワイヤレス通信ネットワークと通信することとが可能なデバイス900を含み得る。ここで、無線トランシーバ906は、データ、ボイス、および/またはSMSメッセージなどのベースバンド情報をもつRFキャリア信号をRFキャリア上に変調し、そのようなベースバンド情報を取得するために、変調されたRFキャリアを復調するように適応され得る。アンテナ910は、ワイヤレス通信リンクを介して変調されたRFキャリアを送信し、ワイヤレス通信リンクを介して変調されたRFキャリアを受信するように適応され得る。

ベースバンドプロセッサ908は、ワイヤレス通信リンクを介した送信のために中央処理ユニット(CPU)902からのベースバンド情報をトランシーバ906に供給するように適応され得る。ここで、CPU902は、ローカルインターフェース916から、たとえば、環境知覚データ、動きセンサデータ、高度データ、(たとえば、加速度計からの)加速度情報、他のネットワーク(たとえば、Zigbee(登録商標)、ブルートゥース、WiFi、ピアツーピア)への近接度を含み得る、そのようなベースバンド情報を取得し得る。そのようなベースバンド情報はまた、たとえば、デバイス900のロケーションの推定値などの位置情報、および/または、たとえば、擬似距離測定値など、同じものを計算する際に使用され得る情報、および/またはES位置情報を含み得る。そのようなES位置情報は、上述のように、ユーザ入力からも受信され得る。CPU902は、測定された動きデータに少なくとも部分的に基づいてデバイス900の軌道を推定するように適応され得る。CPU902はまた、候補軌道を計算することが可能であり得る。チャネル復号器920は、ベースバンドプロセッサ908から受信したチャネルシンボルを、基礎をなすソースビットに復号するように適応され得る。

SPS受信機(SPS Rx)912は、SVからの送信を受信し、処理し、処理された情報を相関器918に供給するように適応され得る。相関器918は、受信機912によって供給された情報から相関関数を導出するように適応され得る。相関器918はまた、トランシーバ906によって供給された、パイロット信号に関係する情報からパイロット関連相関関数を導出するように適応され得る。この情報は、ワイヤレス通信ネットワークを捕捉するためにデバイスによって使用され得る。

メモリ904は、説明または示唆したプロセス、例、実装形態、またはそれらの例のうちの1つまたは複数を実行するように実行可能である機械可読命令を記憶するように適応され得る。専用プロセッサを含み得るCPU902は、そのような機械可読命令にアクセスし、それらを実行するように適応され得る。しかしながら、これらは特定の態様においてCPUによって実行され得るタスクの例にすぎず、請求する主題はこれらの点について限定されない。さらに、メモリ904は、1つまたは複数の所定の候補軌道を記憶するように適応され得、CPU902は、推定された軌道と1つまたは複数の所定の候補軌道との比較に少なくとも部分的に基づいて、デバイス900のロケーションを判断するように適応され得る。特定の実装形態では、CPU902は、ES位置情報に少なくとも部分的に基づいて、1つまたは複数の所定の候補軌道の数を低減するように適応され得る。

一実装形態では、動きセンサ950は、デバイス900の動きを測定するための1つまたは複数のトランスデューサを含み得る。そのようなトランスデューサは、たとえば、加速度計、コンパス、圧力センサ、および/またはジャイロを含み得る。デバイス900のそのような動きは回転および/または並進を含み得る。1つまたは複数のそのような動きの測定値は、記憶された測定値が、たとえば、上記で説明した場合のように、デバイス900の軌道を判断する際に使用するために検索され得るように、メモリ904に記憶され得る。

一実装形態では、画像キャプチャデバイス980は、たとえば、光センサの電荷結合素子(CCD)アレイおよび/またはCMOSアレイ、集束光学素子、ビューファインダー、ならびに/あるいはCPU902およびメモリ904と通信するためのインターフェース電子回路を含むカメラを含み得る。ディスプレイデバイス985は、いくつかの実装形態では、ユーザ対話のための手段を提供するためにタッチセンシティブであり得る液晶ディスプレイ(LCD)を含み得る。ディスプレイデバイス985は、画像キャプチャデバイス980のためのビューファインダーとして動作し得るが、請求する主題はそのように限定されない。記憶された画像が、上記で説明したように、選択されたターゲットオブジェクトとして検索され得るように、画像はメモリ904に記憶され得る。

本明細書で説明した方法は、特定の特徴および/または例に従って適用例に応じて様々な手段によって実装され得る。たとえば、そのような方法は、ハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組合せで実装され得る。ハードウェア実装の場合、たとえば、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他のデバイスユニット、および/またはそれらの組合せの中で実装され得る。

ファームウェアおよび/またはソフトウェア実装の場合、方法は、本明細書で説明する機能を実行するモジュール(たとえば、プロシージャ、関数など)を用いて実装され得る。命令を有形に実施するいずれの機械可読媒体も、本明細書で説明する方法の実装において使用され得る。たとえば、ソフトウェアコードは、メモリ、たとえば移動局のメモリに記憶され、プロセッサによって実行され得る。メモリは、プロセッサの内部またはプロセッサの外部に実装され得る。本明細書で使用する「メモリ」という用語は、長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリのいずれかのタイプを指し、メモリの特定のタイプまたはメモリの数、あるいはメモリが記憶される媒体のタイプに限定されない。

ワイヤレス端末などのエンティティは、データおよび他のリソースを要求するためにネットワークと通信し得る。セルラー電話を含むモバイルデバイス(MD)、携帯情報端末(PDA)、またはワイヤレスコンピュータは、そのようなエンティティのほんの数例である。そのようなエンティティの通信は、ネットワークデータにアクセスすることを含み得、これは、通信ネットワーク、回路、または他のシステムハードウェアのリソースに負担を課し得る。ワイヤレス通信ネットワークでは、データは、ネットワーク中で動作しているエンティティの間で要求され、交換され得る。たとえば、HMDは、ネットワーク内で動作しているHMDの位置を判断するために、データをワイヤレス通信ネットワークに要求し得、ネットワークから受信されたデータは、そのような位置判断のために有益であるかあるいは望ましいものであり得る。しかしながら、これらは特定の態様におけるHMDとネットワークとの間のデータ交換の例にすぎず、請求する主題はこれらの点について限定されない。

現在例示的な特徴と考えられていることを例示し説明したが、請求する主題を逸脱することなく、他の様々な改変を行い得、均等物を代用し得ることが、当業者には理解されよう。さらに、本明細書に記載の中心概念から逸脱することなく、請求する主題の教示に特定の状況を適応させるために多くの改変を行い得る。したがって、請求する主題は、開示された特定の例に限定されず、そのような請求する主題は、添付の特許請求の範囲内に入るすべての態様、およびその均等物をも含むものとする。

150 HMD
155 位置
160 ターゲットオブジェクト
170 変位
204 HMD
206 衛星ビークル(SV)
206 衛星
207 システム
208 基地局
210 地上基地局
212 ワイヤレス通信信号
212 ワイヤレス信号
260 ターゲットオブジェクト
300 HMD
302 画像キャプチャデバイス
304 ディスプレイ
306 キーパッド
308 アンテナ
310 ターゲットオブジェクト
320 ターゲットオブジェクト
330 ターゲットオブジェクト
340 閲覧角
350 画像中心線
350 中心線
400 ビューファインダー画像
410 ターゲットオブジェクト
420 ターゲットオブジェクト
430 ターゲットオブジェクト
460 画像中心
500 キャプチャされた画像
510 ターゲットオブジェクト
515 ラベル
520 ターゲットオブジェクト
525 ラベル
530 ターゲットオブジェクト
535 ラベル
800 ディスプレイ
810 サムネイル
820 グラフィックス
830 ターゲットオブジェクト
840 ウィンドウ
900 デバイス
902 中央処理ユニット(CPU)
902 CPU
904 メモリ
906 トランシーバ
908 ベースバンドプロセッサ
910 アンテナ
912 SPS受信機(SPS Rx)
912 受信機
914 アンテナ
916 ローカルインターフェース
918 相関器
920 チャネル復号器
950 動きセンサ
980 画像キャプチャデバイス
985 ディスプレイデバイス

Claims (40)

1. ハンドヘルドモバイルデバイスの概略位置を判断するステップと、
   前記ハンドヘルドモバイルデバイスに固定式に取り付けられたイメージングデバイスを使用して1つまたは複数のターゲットオブジェクトの画像をキャプチャするステップと、
   前記操作に応答して、前記ハンドヘルドモバイルデバイスのセンサから取得された測定値に少なくとも部分的に基づいて、前記概略位置に対する前記ハンドヘルドモバイルデバイスの1つまたは複数の回転角を判断するステップと、
   前記概略位置と前記1つまたは複数の回転角とに少なくとも部分的に基づいて、前記1つまたは複数のターゲットオブジェクトの中から選択された、選択されたターゲットオブジェクトのロケーションを推定するステップと、
   前記選択されたターゲットオブジェクトの前記推定されたロケーションと前記キャプチャされた画像とに少なくとも部分的に基づいて、前記選択されたターゲットオブジェクトの識別情報を受信するステップと、
   前記受信した識別情報に少なくとも部分的に基づいて、前記選択されたターゲットオブジェクトを記述する情報を前記ハンドヘルドモバイルデバイス上に表示するステップと、
   少なくとも1つの距離測定ビームを前記ターゲットオブジェクト上に向けるステップと、
   前記少なくとも1つの距離測定ビームの発散を測定するステップと、
   前記発散に少なくとも部分的に基づいて前記ターゲットオブジェクトまでの距離を判断するステップと、
   前記距離に少なくとも部分的に基づいて前記ターゲットオブジェクトの識別情報をさらに判断するステップと
   を含む方法。
2. 1つまたは複数のオブジェクト指示子を前記キャプチャされた画像上にオーバーレイするステップと、
   前記1つまたは複数のオブジェクト指示子の選択に基づいて、前記選択されたターゲットオブジェクトを選択するステップと
   をさらに含む、請求項1に記載の方法。
3. 前記1つまたは複数のオブジェクト指示子が、それぞれ、前記1つまたは複数のターゲットオブジェクトの中の対応するターゲットオブジェクトにオーバーレイする、請求項2に記載の方法。
4. 前記キャプチャされた画像の1つまたは複数の特徴を、複数の記憶された画像の1つまたは複数の特徴と比較するステップ
   をさらに含む、請求項1に記載の方法。
5. 前記キャプチャされた画像の前記1つまたは複数の特徴を、前記複数の記憶された画像の1つまたは複数の特徴と比較する前記ステップが、
   前記キャプチャされた画像の少なくとも一部分を、前記複数の記憶された画像を記憶するメモリを含むロケーションに送信するステップであって、前記ロケーションが前記モバイルデバイスからリモートにある、送信するステップ
   をさらに含む、請求項4に記載の方法。
6. 前記ハンドヘルドモバイルデバイスの前記概略位置を判断する前記ステップが、近距離通信(NFC)信号、WiFi信号、ブルートゥース（登録商標名）信号、Ultra-Wideband(UWB)信号、ワイドエリアネットワーク(WAN)信号、デジタルTV信号、および/またはセルタワーIDに少なくとも部分的に基づく、請求項1に記載の方法。
7. 前記ハンドヘルドモバイルデバイスの前記概略位置を判断する前記ステップが、前記モバイルデバイスにおける1つまたは複数の衛星測位システム信号の捕捉に少なくとも部分的に基づく、請求項1に記載の方法。
8. 前記ハンドヘルドモバイルデバイスの前記概略位置を判断する前記ステップが、ユーザ入力に少なくとも部分的に基づく、請求項1に記載の方法。
9. 前記ターゲットオブジェクト上に照射スポットを生成するために、光ビームを前記ターゲットオブジェクト上に向けるように前記ハンドヘルドモバイルデバイスを操作するステップと、
   前記キャプチャされた画像中の前記照射スポットを検出するステップと、
   前記検出された照射スポットに少なくとも部分的に基づいて前記ターゲットオブジェクトの識別情報をさらに判断するステップと
   をさらに含む、請求項1に記載の方法。
10. 前記センサが、加速度計、磁力計、コンパス、圧力センサ、および/またはジャイロを含む、請求項1に記載の方法。
11. ハンドヘルドモバイルデバイスの概略位置を判断するための手段と、
    前記ハンドヘルドモバイルデバイスに固定式に取り付けられたイメージングデバイスを使用して1つまたは複数のターゲットオブジェクトの画像をキャプチャするための手段と、
    前記操作に応答して、前記ハンドヘルドモバイルデバイスのセンサから取得された測定値に少なくとも部分的に基づいて、前記概略位置に対する前記ハンドヘルドモバイルデバイスの1つまたは複数の回転角を判断するための手段と、
    前記概略位置と前記1つまたは複数の回転角とに少なくとも部分的に基づいて、前記1つまたは複数のターゲットオブジェクトの中から選択された、選択されたターゲットオブジェクトのロケーションを推定するための手段と、
    前記選択されたターゲットオブジェクトの前記推定されたロケーションと前記キャプチャされた画像とに少なくとも部分的に基づいて、前記選択されたターゲットオブジェクトの識別情報を受信するための手段と、
    前記受信した識別情報に少なくとも部分的に基づいて、前記選択されたターゲットオブジェクトを記述する情報を前記ハンドヘルドモバイルデバイス上に表示するための手段と、
    少なくとも1つの距離測定ビームを前記ターゲットオブジェクト上に向けるための手段と、
    前記少なくとも1つの距離測定ビームの発散を測定するための手段と、
    前記発散に少なくとも部分的に基づいて前記ターゲットオブジェクトまでの距離を判断するための手段と、
    前記距離に少なくとも部分的に基づいて前記ターゲットオブジェクトの識別情報をさらに判断するための手段と
    を含む装置。
12. 1つまたは複数のオブジェクト指示子を前記キャプチャされた画像上にオーバーレイするための手段と、
    前記1つまたは複数のオブジェクト指示子の選択に基づいて、前記選択されたターゲットオブジェクトを選択するための手段と
    をさらに含む、請求項11に記載の装置。
13. 前記1つまたは複数のオブジェクト指示子が、それぞれ、前記1つまたは複数ターゲットオブジェクトの中の対応するターゲットオブジェクトにオーバーレイする、請求項12に記載の装置。
14. 前記キャプチャされた画像の1つまたは複数の特徴を、複数の記憶された画像の1つまたは複数の特徴と比較するための手段
    をさらに含む、請求項11に記載の装置。
15. 前記キャプチャされた画像の前記1つまたは複数の特徴を、前記複数の記憶された画像の1つまたは複数の特徴と比較するための前記手段が、
    前記キャプチャされた画像の少なくとも一部分を、前記複数の記憶された画像を記憶するメモリを含むロケーションに送信するための手段であって、前記ロケーションが前記モバイルデバイスからリモートにある、送信するための手段
    をさらに含む、請求項14に記載の装置。
16. 前記ハンドヘルドモバイルデバイスの前記概略位置を判断するための前記手段が、近距離通信(NFC)信号、WiFi信号、ブルートゥース（登録商標名）信号、Ultra-Wideband(UWB)信号、ワイドエリアネットワーク(WAN)信号、デジタルTV信号、および/またはセルタワーIDに少なくとも部分的に基づく、請求項11に記載の装置。
17. 前記ハンドヘルドモバイルデバイスの前記概略位置を判断するための前記手段が、前記モバイルデバイスにおける1つまたは複数の衛星測位システム信号の捕捉に少なくとも部分的に基づく、請求項11に記載の装置。
18. 前記ハンドヘルドモバイルデバイスの前記概略位置を判断するための前記手段が、ユーザ入力に少なくとも部分的に基づく、請求項11に記載の装置。
19. 前記ターゲットオブジェクト上に照射スポットを生成するために、光ビームを前記ターゲットオブジェクト上に向けるように前記ハンドヘルドモバイルデバイスを操作するための手段と、
    前記キャプチャされた画像中の前記照射スポットを検出するための手段と、
    前記検出された照射スポットに少なくとも部分的に基づいて前記ターゲットオブジェクトの識別情報をさらに判断するための手段と
    をさらに含む、請求項11に記載の装置。
20. 前記センサが、加速度計、磁力計、コンパス、圧力センサ、および/またはジャイロを含む、請求項11に記載の装置。
21. RF信号を受信するための受信機と、
    1つまたは複数のターゲットオブジェクトの画像をキャプチャするためのイメージングデバイスと、
    前記モバイルデバイスの1つまたは複数の回転角を測定するための1つまたは複数のセンサと、
    RF環境において、
    前記RF信号に少なくとも部分的に基づいて前記モバイルデバイスの概略位置を判断することと、
    前記概略位置と前記1つまたは複数の回転角とに少なくとも部分的に基づいて、前記1つまたは複数のターゲットオブジェクトの中から選択された、選択されたターゲットオブジェクトのロケーションを推定することと、
    前記選択されたターゲットオブジェクトの前記推定されたロケーションと前記キャプチャされた画像とに少なくとも部分的に基づいて、前記選択されたターゲットオブジェクトの識別情報を受信することと、
    前記受信した識別情報に少なくとも部分的に基づいて、前記選択されたターゲットオブジェクトを記述する情報を前記モバイルデバイス上での表示のために処理することと、
    前記モバイルデバイスから前記ターゲットオブジェクトに放出された少なくとも1つの距離測定ビームの発散を測定することと、
    前記発散に少なくとも部分的に基づいて前記ターゲットオブジェクトまでの距離を判断することと、
    前記距離に少なくとも部分的に基づいて前記ターゲットオブジェクトの識別情報をさらに判断することと
    を行うように動作するように適応された専用コンピューティングデバイスと
    を含むモバイルデバイス。
22. 前記専用コンピューティングデバイスが、RF環境において、
    1つまたは複数のオブジェクト指示子を前記キャプチャされた画像上にオーバーレイすることと、
    前記1つまたは複数のオブジェクト指示子の選択に基づいて、前記選択されたターゲットオブジェクトの選択を受信することと
    を行うように動作するようにさらに適応された、請求項21に記載のモバイルデバイス。
23. 前記1つまたは複数のオブジェクト指示子が、それぞれ、前記1つまたは複数ターゲットオブジェクトの中の対応するターゲットオブジェクトにオーバーレイする、請求項22に記載のモバイルデバイス。
24. 前記専用コンピューティングデバイスが、RF環境において、
    前記キャプチャされた画像の1つまたは複数の特徴を、複数の記憶された画像の1つまたは複数の特徴と比較するように動作するようにさらに適応された、請求項21に記載のモバイルデバイス。
25. 前記専用コンピューティングデバイスが、RF環境において、前記キャプチャされた画像の少なくとも一部分を、前記複数の記憶された画像を記憶するメモリを含むロケーションに送信することによって、前記キャプチャされた画像の1つまたは複数の特徴を、複数の記憶された画像の1つまたは複数の特徴と比較することを行うように動作するようにさらに適応され、前記ロケーションが前記モバイルデバイスからリモートにある、請求項24に記載のモバイルデバイス。
26. 前記専用コンピューティングデバイスが、RF環境において、近距離通信(NFC)信号、WiFi信号、ブルートゥース（登録商標名）信号、Ultra-Wideband(UWB)信号、ワイドエリアネットワーク(WAN)信号、デジタルTV信号、および/またはセルタワーIDに少なくとも部分的に基づいて、前記ハンドヘルドモバイルデバイスの前記概略位置を判断するように動作するようにさらに適応された、請求項21に記載のモバイルデバイス。
27. 前記専用コンピューティングデバイスが、RF環境において、前記モバイルデバイスにおける1つまたは複数の衛星測位システム信号の捕捉に少なくとも部分的に基づいて、前記ハンドヘルドモバイルデバイスの前記概略位置を判断するように動作するようにさらに適応された、請求項21に記載のモバイルデバイス。
28. 前記専用コンピューティングデバイスが、RF環境において、ユーザ入力に少なくとも部分的に基づいて、前記ハンドヘルドモバイルデバイスの前記概略位置を判断するように動作するようにさらに適応された、請求項21に記載のモバイルデバイス。
29. 前記専用コンピューティングデバイスが、RF環境において、
    前記モバイルデバイスから放出された光ビームによって生成された、前記ターゲットオブジェクトの前記キャプチャされた画像中の照射スポットを検出することと、
    前記検出された照射スポットに少なくとも部分的に基づいて前記ターゲットオブジェクトの識別情報をさらに判断することと
    を行うように動作するようにさらに適応された、請求項21に記載のモバイルデバイス。
30. 前記センサが、加速度計、磁力計、コンパス、圧力センサ、および/またはジャイロを含む、請求項21に記載のモバイルデバイス。
31. 専用コンピューティングデバイスによって実行された場合、前記専用コンピューティングデバイスが、
    ハンドヘルドモバイルデバイスの概略位置を判断することと、
    前記ハンドヘルドモバイルデバイスに固定式に取り付けられたイメージングデバイスを使用して1つまたは複数のターゲットオブジェクトの画像をキャプチャすることと、
    前記操作に応答して、前記ハンドヘルドモバイルデバイスのセンサから取得された測定値に少なくとも部分的に基づいて、前記概略位置に対する前記ハンドヘルドモバイルデバイスの1つまたは複数の回転角を判断することと、
    前記概略位置と前記1つまたは複数の回転角とに少なくとも部分的に基づいて、前記1つまたは複数のターゲットオブジェクトの中から選択された、選択されたターゲットオブジェクトのロケーションを推定することと、
    前記選択されたターゲットオブジェクトの前記推定されたロケーションと前記キャプチャされた画像とに少なくとも部分的に基づいて、前記選択されたターゲットオブジェクトの識別情報を判断することと、
    前記判断された識別情報に少なくとも部分的に基づいて、前記選択されたターゲットオブジェクトを記述する情報を前記ハンドヘルドモバイルデバイス上での表示のために取得することと、
    少なくとも1つの距離測定ビームを前記ターゲットオブジェクト上に向けることと、
    前記少なくとも1つの距離測定ビームの発散を測定することと、
    前記発散に少なくとも部分的に基づいて前記ターゲットオブジェクトまでの距離を判断することと、
    前記距離に少なくとも部分的に基づいて前記ターゲットオブジェクトの識別情報をさらに判断することと
    を可能にするように適応された機械可読命令を記録する記録媒体。
32. 前記機械可読命令が、前記専用コンピューティングデバイスによって実行された場合、
    1つまたは複数のオブジェクト指示子を前記キャプチャされた画像上にオーバーレイすることと、
    前記1つまたは複数のオブジェクト指示子の選択に基づいて、前記選択されたターゲットオブジェクトを選択することと
    を行うようにさらに適応された、請求項31に記載の記録媒体。
33. 前記1つまたは複数のオブジェクト指示子が、それぞれ、前記1つまたは複数ターゲットオブジェクトの中の対応するターゲットオブジェクトにオーバーレイする、請求項32に記載の記録媒体。
34. 前記機械可読命令が、前記専用コンピューティングデバイスによって実行された場合、
    前記キャプチャされた画像の1つまたは複数の特徴を、複数の記憶された画像の1つまたは複数の特徴と比較するようにさらに適応された、請求項31に記載の記録媒体。
35. 前記機械可読命令が、前記専用コンピューティングデバイスによって実行された場合、前記キャプチャされた画像の少なくとも一部分を、前記複数の記憶された画像を記憶するメモリを含むロケーションに送信することによって、前記キャプチャされた画像の1つまたは複数の特徴を、複数の記憶された画像の1つまたは複数の特徴と比較することを行うようにさらに適応され、前記ロケーションが前記モバイルデバイスからリモートにある、請求項34に記載の記録媒体。
36. 前記機械可読命令が、前記専用コンピューティングデバイスによって実行された場合、近距離通信(NFC)信号、WiFi信号、ブルートゥース（登録商標名）信号、Ultra-Wideband(UWB)信号、ワイドエリアネットワーク(WAN)信号、デジタルTV信号、および/またはセルタワーIDに少なくとも部分的に基づいて、前記ハンドヘルドモバイルデバイスの前記概略位置を判断するようにさらに適応された、請求項31に記載の記録媒体。
37. 前記機械可読命令が、前記専用コンピューティングデバイスによって実行された場合、前記モバイルデバイスにおける1つまたは複数の衛星測位システム信号の捕捉に少なくとも部分的に基づいて、前記ハンドヘルドモバイルデバイスの前記概略位置を判断するようにさらに適応された、請求項31に記載の記録媒体。
38. 前記機械可読命令が、前記専用コンピューティングデバイスによって実行された場合、ユーザ入力に少なくとも部分的に基づいて、前記ハンドヘルドモバイルデバイスの前記概略位置を判断するようにさらに適応された、請求項31に記載の記録媒体。
39. 前記機械可読命令が、前記専用コンピューティングデバイスによって実行された場合、
    前記モバイルデバイスから放出された光ビームによって生成された、前記ターゲットオブジェクトの前記キャプチャされた画像中の照射スポットを検出することと、
    前記検出された照射スポットに少なくとも部分的に基づいて前記ターゲットオブジェクトの識別情報をさらに判断することと
    を行うようにさらに適応された、請求項31に記載の記録媒体。
40. 前記センサが、加速度計、磁力計、コンパス、圧力センサ、および/またはジャイロを含む、請求項31に記載の記録媒体。

Images