JP7485824B2 - ランドマークを使用してユーザの現在の場所または方位を検証するための方法、コンピュータ機器、およびコンピュータ可読メモリ - Google Patents

Description

本開示は、ナビゲーション指示に関し、特に、ユーザを道案内するためにランドマークを使用することに関する。

本明細書で提供される背景技術の説明は、本開示の状況を概略的に提示することを目的とするものである。この背景技術のセクションにおいて説明される限りにおいて、現時点で明記されている本発明者らの取り組み、ならびに出願時に別段に従来技術と見なされないことがある説明の態様は、明示的にも黙示的にも、本開示に対する従来技術として認められない。

地理的場所の間で運転者のルートを自動的に決めるシステムは一般に、ルートに基づいてナビゲーション指示を生成するために、距離、通りの名前、建物の番号のインジケーションを利用する。たとえば、これらのシステムは、「4分の1マイル進んだら、メープルストリートを右折してください」などの命令を運転者に提供することができる。しかしながら、運転者が距離を正確に判断することは困難であり、運転者が通りの看板を見ることは必ずしも容易なことではない。さらに、通りおよび道路の標識が乏しい地理的エリアが存在する。

別の人が運転者に言う場合がある事柄により類似したガイダンスを運転者に提供するために、視覚的に際立った建物または広告板などの、ルートに沿った目立つ物体に関して、ナビゲーション指示を強化することが可能である。これらの目立つ物体は、「視覚ランドマーク」と呼ばれることがある。したがって、システムは、「4分の1マイル先で右側にMcDonald's(登録商標)レストランが見えたら、次にメープルストリートを右折してください」などのナビゲーション指示を生成することができる。このために、オペレータは、システムがナビゲーション指示を生成するときに適切な視覚ランドマークを自動的に選択することができるように、視覚ランドマークの場所の説明およびインジケーション(たとえば、通りの住所、座標)を入力することができる。

しかしながら、すべてのランドマークが常に目に見えるわけではない。たとえば、いくつかの広告板は、夜間には明るい照明が当てられている場合があるが、昼間にはほとんど目立たない場合がある。一方、建物の入り組んだ正面は、昼間には気付きやすい場合があるが、夜間には十分に照明が当てられておらず、したがって、目立たない場合がある。

さらに、ナビゲーションの開始時に、ユーザが静止しており、まだ移動の方向がないとき、ナビゲーションシステムは一般に、「ステートストリートを北に進んでください」などの絶対的な方向を提供する。ユーザは、必ずしも自分の方位を知っているとは限らないので、絶対的な方向を使用するのが困難であると感じる可能性がある。しかしながら、クライアントデバイスが静止している間に、クライアントデバイスがその動作または向きを判定することは困難である。

さらに、ナビゲーションシステムは通常、いくつかの全地球測位サービス(GPS)衛星から信号を受信するGPSモジュールなどの測位センサを用いて、ユーザの場所を判定する。しかしながら、GPSから判定された場所は通常、高い建物、橋、トンネルなどを有するエリアでは特に、あまり正確ではない。

たとえば、ユーザのクライアントデバイスが静止しているときに、ユーザの正確な場所および方位を判定するために、双方向ランドマーク位置特定システムは、ユーザのクライアントデバイスの現在の場所を取得し、ユーザの現在の場所および/またはユーザの推定される方位から目に見えるランドマークを識別する。次いで、双方向ランドマーク位置特定システムは、識別されたランドマークをユーザのクライアントデバイスに送り、識別されたランドマークがユーザの視野内にあることを確認することをユーザに要求する。識別されたランドマークがユーザの視野内にない場合、双方向ランドマーク位置特定システムは、他のランドマークをユーザのクライアントデバイスに送り得る。たとえば、双方向ランドマーク位置特定システムは、ユーザが北を向いていると推定し得、ユーザの現在の場所の北にあるランドマークを識別し得る。ユーザがこれらのランドマークを見ていない場合、双方向ランドマーク位置特定システムは、ユーザが南を向いていると推定し得、ユーザの現在の場所の南にあるランドマークを識別し得る。

いくつかの実装形態では、識別されたランドマークがユーザの視野内にないとき、クライアントデバイスは、拡張現実(AR)モードに切り替え、カメラビューを提示し、カメラビューに含まれる実世界画像を双方向ランドマーク位置特定システムに提供し得る。次いで、双方向ランドマーク位置特定システムは、たとえば、ユーザの正確な場所および方位を判定するために物体検出を使用して、カメラビューに含まれるランドマークを識別し得る。ユーザの正確な場所は、GPSなどの測位デバイスに従って判定された場所よりも高い精度で判定された場所であり得る。より具体的には、双方向ランドマーク位置特定システムは、ランドマークの場所、方位、大きさなどをランドマークデータベースから取り出し得る。ユーザの正確な場所および方位は、カメラビューに含まれる識別されたランドマークの場所、方位、大きさなどに基づき得る。たとえば、カメラビュー内のWalgreens(登録商標)の看板が南を向いており、カメラビューのビューポイントがWalgreens(登録商標)の看板と正反対である場合、双方向ランドマーク位置特定システムは、ユーザが北を向いていると判定し得る。別の例では、ユーザのクライアントデバイスからランドマークまでの距離は、カメラビューのスケールに基づいて判定され得る。カメラビューが高レベルでズームインしており、Burger King(登録商標)の看板がカメラビュー内にある場合、双方向ランドマーク位置特定システムは、ユーザがBurger King(登録商標)の看板の近くにいると判定し得る。一方、カメラビューがズームアウトしており、Burger King(登録商標)の看板がカメラビューの背景にある場合、双方向ランドマーク位置特定システムは、ユーザがBurger King(登録商標)の看板から遠く離れていると判定し得る。次いで、双方向ランドマーク位置特定システムは、Burger King(登録商標)の看板の場所およびBurger King(登録商標)の看板からのユーザの推定される距離に基づいてユーザの正確な場所を判定し得る。双方向ランドマーク位置特定システムは、カメラビュー内のBurger King(登録商標)の看板の位置および/または方位に基づいてユーザの方位を判定し得る。

いずれにしても、双方向ランドマーク位置特定システムはまた、ランドマークを使用して2人以上のユーザを送迎場所などの待ち合わせ場所にナビゲートし得る。いくつかの事例では、双方向ランドマーク位置特定システムは、共有ランドマークを使用してユーザを待ち合わせ場所に道案内し得る。たとえば、第1のユーザが目的地までの乗車を要求し、第2のユーザが要求を受け入れて第1のユーザを目的地まで輸送するとき、双方向ランドマーク位置特定システムは、第1のユーザの視野内の特定のランドマークに基づいて第1のユーザを送迎場所に道案内し得る。より具体的には、双方向ランドマーク位置特定システムは、特定のランドマークに向かって歩き、次いで、第2のユーザが到着するのを待っている間に特定のランドマークの下に立っているように第1のユーザを道案内し得る。双方向ランドマーク位置特定システムはまた、特定のランドマークに向かって進むように(たとえば、最終ナビゲーション命令において)第2のユーザを道案内し得、第1のユーザが特定のランドマークの下に立っていることを示し得る。

これらの技法の例示的な実施形態は、1つまたは複数のプロセッサによって実行される、2人以上のユーザを待ち合わせ場所にナビゲートするための方法である。方法は、第1のユーザの第1の場所および第2のユーザの第2の場所を含む待ち合わせ場所で第1のユーザが第2のユーザと待ち合わせることを求める要求を受信するステップであって、第1の場所および第2の場所が地理的エリア内にある、ステップを含む。方法は、データベースから、地理的エリア内の物理的物体に対応する複数の視覚ランドマークを取り出すステップと、複数の視覚ランドマークから、第1のユーザおよび第2のユーザを地理的エリア内の待ち合わせ場所に道案内するための共有視覚ランドマークを選択するステップであって、共有視覚ランドマークが、第1の場所と第2の場所の両方からの可視性に基づいて選択される、ステップとをさらに含む。加えて、方法は、第1のユーザおよび第2のユーザに、共有視覚ランドマークを参照する待ち合わせ場所までの道順を提供するステップを含む。

これらの技法の別の例示的な実施形態は、2人以上のユーザを待ち合わせ場所にナビゲートするためのサーバデバイスである。サーバデバイスは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサに結合され、命令を記憶した非一時的コンピュータ可読メモリとを含む。1つまたは複数のプロセッサによって実行されると、命令は、サーバデバイスに、第1のユーザの第1の場所および第2のユーザの第2の場所を含む待ち合わせ場所で第1のユーザが第2のユーザと待ち合わせることを求める要求を受信することであって、第1の場所および第2の場所が地理的エリア内にある、受信することを行わせる。命令はさらに、サーバデバイスに、データベースから、地理的エリア内の物理的物体に対応する複数の視覚ランドマークを取り出すことと、複数の視覚ランドマークから、第1のユーザおよび第2のユーザを地理的エリア内の待ち合わせ場所に道案内するための共有視覚ランドマークを選択することであって、共有視覚ランドマークが、第1の場所と第2の場所の両方からの可視性に基づいて選択される、選択することとを行わせる。さらに、命令は、サーバデバイスに、第1のユーザおよび第2のユーザに、共有視覚ランドマークを参照する待ち合わせ場所までの道順を提供することを行わせる。

これらの技法のさらに別の例示的な実施形態は、1つまたは複数のプロセッサによって実行される、ランドマークを使用してユーザの現在の場所または方位を検証するための方法である。方法は、クライアントデバイスから、クライアントデバイスのユーザの場所および方位の情報を受信するステップと、データベースから、場所情報に対応する、地理的エリア内の物理的物体に対応する複数の視覚ランドマークを取り出すステップと、ユーザの場所および方位の情報に基づいてユーザの視野内の複数の視覚ランドマークのうちの1つまたは複数を選択するステップと、クライアントデバイスに、1つまたは複数の視覚ランドマークのインジケーション、および1つまたは複数の視覚ランドマークがユーザの視野内にあることを確認するという要求を提供するステップとを含む。1つまたは複数の視覚ランドマークがユーザの視野内にないというインジケーションをクライアントデバイスから受信したことに応答して、方法は、視覚ランドマークを含む、クライアントデバイスの視野からの実世界画像を受信するステップと、実世界画像に基づいてユーザの場所および方位を判定するステップとを含む。

クライアントデバイスおよびサーバデバイスが双方向ランドマーク位置特定システムを実装するように動作することができる例示的な通信システムのブロック図である。 図1のシステムにおいて実装され得る視覚ランドマークデータベースに含まれる例示的なランドマークデータテーブルである。 特定のランドマークがそこから目に見える場所を示す、特定のランドマークの可視域を描写する例示的な地図表示である。 2人のユーザのクライアントデバイス上で提示された、共有ランドマークを介してユーザを待ち合わせ場所に道案内する例示的なナビゲーション表示である。 2人のユーザのクライアントデバイス上で提示された、共有ランドマークを介してユーザを待ち合わせ場所に道案内する例示的なナビゲーション表示である。 クライアントデバイス上で提示された、ユーザの視野内のランドマークに従ってクライアントデバイスの場所および/または方位を検証するための例示的な場所検証表示である。 ユーザの視野内のエリアのクライアントデバイス上で提示されたARモードでの例示的な表示である。 クライアントデバイスの正確な場所および/または方位を識別したことに応答してクライアントデバイス上で提示された例示的なナビゲーション表示である。 サーバデバイスにおいて実装され得る、2人以上のユーザを待ち合わせ場所にナビゲートするための例示的な方法の流れ図である。 サーバデバイスにおいて実装され得る、ランドマークを使用してユーザの現在の場所または方位を検証するための例示的な方法の流れ図である。

概要
開示される主題の態様は改善されたナビゲーションシステムを提供し、それによって、複数のユーザは、1つまたは複数の判定された相互視覚ランドマークに基づいて特定の場所に道案内される。すなわち、ユーザごとのナビゲーションが決定論的な方法でユーザの目に見える実世界の物体および互いのユーザに依存する、ナビゲーションが提供される。

加えて、開示される主題の態様は、実世界の物体に基づいてユーザの場所または方位を判定する、改善された方法を提供する。たとえば、1つまたは複数の視覚ランドマークがユーザの視野内にないという応答がクライアントデバイスから受信された場合、ユーザの場所および方位を決定論的な方法で判定するために、クライアントデバイスの視野からの実世界画像の形態の決定論的データが取得され得る。

例示的なハードウェア構成要素およびソフトウェア構成要素
図1は、双方向視覚ランドマークを提供するための技法のうちの少なくともいくつかが実装され得る環境10を示す。環境10は、通信ネットワーク16を介して相互接続されたクライアントデバイス12およびサーバデバイス14を含む。ネットワーク16は、インターネットなどのパブリックネットワーク、またはイントラネットなどのプライベートネットワークであってもよい。サーバデバイス14は、様々なデータベース、およびナビゲーションサーバ、地図データサーバ、相乗りサーバ、ライブ交通サーバ、気象サーバなどの他のサーバデバイスと通信することができる。

サーバデバイス14は、視覚ランドマークと、ランドマークの場所および高さ、ランドマークが向いている方位、ランドマークの大きさ、ランドマークの外観、ランドマークの名前、様々な条件でおよび/または様々な時刻などにランドマークがそこから目に見える場所のセットを示すランドマークの可視域などの視覚ランドマークごとの地理的情報とを記憶するデータベース52に通信可能に結合され得る。視覚ランドマークと、視覚ランドマークごとの地理的情報とは、本明細書で「人間視覚ジオコード(human visual geocodes)」と呼ばれることがある。これは、図2を参照しながら以下でより詳細に説明される。サーバデバイス14はまた、地図データベース50および様々な地理的エリアの実世界画像を記憶する実世界画像データベース54に通信可能に結合され得る。

クライアントデバイス12は、スマートフォンなどのポータブル電子デバイス、スマートウォッチもしくはヘッドマウントディスプレイなどのウェアラブルデバイス、またはタブレットコンピュータを含むことができる。クライアントデバイス12は、たとえば、相乗り環境において運転者クライアントデバイスおよび乗り手クライアントデバイスを含み得る。別の例では、クライアントデバイス12は、特定の待ち合わせ場所で待ち合わせようと試みるユーザのクライアントデバイスを含み得る。いずれにしても、クライアントデバイス12は、1つもしくは複数の中央処理ユニット(CPU)、グラフィックスコンテンツを効果的にレンダリングするための1つもしくは複数のグラフィックス処理ユニット(GPU)、特定用途向け集積回路(ASIC)、または任意の他の適切なタイプの処理ハードウェアを含むことができる処理モジュール22を含み得る。さらに、クライアントデバイス12は、永続的(たとえば、ハードディスク、フラッシュドライブ)構成要素および/または非永続的(たとえば、RAM)構成要素で構成されるメモリ24を含むことができる。図1に示された例示的な実装形態では、メモリ24は、地理的アプリケーション26および/または相乗りアプリケーション27を実装する命令を記憶する。

さらに、クライアントデバイス12は、カメラ(図示せず)、ユーザインターフェース28、およびネットワークインターフェース30を含む。いずれの場合も、ユーザインターフェース28は、タッチスクリーン、マイクロフォン、キーボードなどの1つまたは複数の入力構成要素、ならびにスクリーンまたはスピーカなどの1つまたは複数の出力構成要素を含むことができる。

ネットワークインターフェース30は、短距離通信および/または長距離通信をサポートすることができる。たとえば、ネットワークインターフェース30は、セルラー通信、IEEE802.11(たとえば、Wi-Fi)または802.15(Bluetooth)などのパーソナルエリアネットワークプロトコルをサポートすることができる。いくつかの実装形態では、クライアントデバイス12は、クライアントデバイス12内の複数のデバイスを相互接続し、クライアントデバイス12をネットワーク16に接続するための複数のネットワークインターフェースモジュールを含む。

さらに、ネットワークインターフェース30は、いくつかの場合、ジオ測位をサポートすることができる。たとえば、ネットワークインターフェース30は、Wi-Fi三辺測量をサポートすることができる。他の場合、クライアントデバイス12は、GPSモジュールなどの専用測位モジュール32を含むことができる。クライアントデバイス12はまた、加速度計、ジャイロスコープ、コンパスなどの磁力計などの他のセンサを含むことができる。

引き続き図1を参照すると、クライアントデバイス12は、インターネットなどのワイドエリアネットワークであり得るネットワーク16を介してサーバデバイス14と通信することができる。サーバデバイス14は、複数の地理的場所にわたって分散されたデバイスを含むもう1つのサーバデバイスにおいて実装され得る。サーバデバイス14は、ナビゲーション命令生成器42、および双方向ランドマーク選択モジュール44を実装することができる。構成要素42～44は、ハードウェア、ファームウェア、およびソフトウェアの任意の適切な組合せを使用して実装され得る。サーバデバイスは、地図データベース50、視覚ランドマークデータベース52、および実世界画像データベース54などのデータベースにアクセスすることができ、これらのデータベースは、任意の適切なデータストレージおよびアクセス技法を使用して実装され得る。

動作時に、双方向ランドマーク選択モジュール44は、地図データまたはナビゲーション指示を求める要求をクライアントデバイス12から受信することができる。要求は、ユーザの現在の場所および/または推定される方位を含むことができる。双方向ランドマーク選択モジュール44は、現在の場所のしきい値距離内にあり、ユーザの現在の場所および/または推定される方位から見ることができる視覚ランドマークを視覚ランドマークデータベース52から取り出し得る。より具体的には、双方向ランドマーク選択モジュール44は、視覚ランドマークが現在の場所のしきい値距離内にあり、ユーザの現在の場所および/または推定される方位から見ることができることを示す地理的情報を有する視覚ランドマークを識別し得る。いずれにしても、双方向ランドマーク選択モジュール44は、識別された視覚ランドマークがユーザの視野内にあることをユーザが確認することを求める要求またはユーザが識別された視覚ランドマークを向いているまでユーザが方向転換することを求める要求とともに、識別された視覚ランドマークのインジケーションをクライアントデバイス12に提供し得る。たとえば、双方向ランドマーク選択モジュール44は、ユーザインターフェース28を介してクライアントデバイス12上に表示された、ユーザが真正面にMcDonald's(登録商標)の看板を見ることができることをユーザが確認することを求める要求を提供し得る。

たとえば、ユーザインターフェース28上で提示されたユーザ制御を介して、識別された視覚ランドマークがユーザの視野内にあることまたはユーザが方向転換して識別された視覚ランドマークを向いていることをユーザが確認した場合、双方向ランドマーク選択モジュール44は、ユーザの現在の場所および方位を検証し、ユーザの現在の場所および方位に基づいてユーザの正確な場所および方位を判定する。たとえば、McDonald's(登録商標)の看板がユーザの現在の場所の北にある場合、双方向ランドマーク選択モジュール44は、ユーザが北を向いていると判定する。ユーザの正確な場所は、GPSなどの測位デバイスに従って判定された場所よりも高い精度で判定された場所であり得る。次いで、サーバデバイス14は、地図データ、ナビゲーションデータ、相乗りデータなどをクライアントデバイス12に提供するために、ユーザの正確な場所および方位を使用し得る。たとえば、ユーザが目的地場所までのナビゲーション指示を要求した場合、ナビゲーション命令生成器42は、ユーザの現在の場所から目的地までのルートを生成するために、地図データベース50から道路ジオメトリデータ、道路および交差点の制約(たとえば、一方通行、左折禁止)、道路タイプデータ(たとえば、幹線道路、地方道路)、制限速度データなどを取り出すことができる。道路データに加えて、地図データベース50は、川、山、および森などの様々な自然の地理的特徴、ならびに人工の地理的特徴、そのような建物および公園についてのジオメトリおよび場所のインジケーションの説明を記憶することができる。地図データは、他のデータの中でも、ベクターグラフィックスデータ、ラスタ画像データ、およびテキストデータを含むことができる。例示的な実装形態では、地図データベース50は地図データを地図タイルに編成し、地図タイルは一般に、八分木などの横断可能なデータ構造への地理空間データの2次元または3次元構成に対応する。

いずれにしても、ナビゲーション命令生成器42は、ナビゲーション命令のシーケンスを生成するために1つまたは複数のルートを使用することができる。ナビゲーション命令の例は、「500フィート先で、エルムストリートを右折してください」および「4マイル直進してください」を含む。ナビゲーション命令生成器42は、これらの句および類似の句をユーザの言語で構築するために自然言語生成技法を実装することができる。初期ナビゲーション命令の場合、「ステートストリートを北に進んでください」などの絶対的な方向を提供する代わりに、ナビゲーション命令生成器42は、双方向ランドマーク選択モジュール44によって判定されたユーザの正確な場所および方位に基づいてユーザを道案内することができる。たとえば、ナビゲーション命令生成器42は、ユーザが北を向いているので、「ステートストリートを直進してください」という初期ナビゲーション命令を生成し得る。初期命令がユーザが南に向かうことを必要とする場合、ナビゲーション命令生成器42は、「McDonald's(登録商標)の看板のところでUターンして、ステートストリートを直進してください」という初期ナビゲーション命令を生成し得る。

サーバデバイス14はまた、待ち合わせ場所に関する情報を別のユーザに提供するために、ユーザの正確な場所および方位を使用し得る。たとえば、2人のユーザは、ユーザによって、ユーザのクライアントデバイス12によって、サーバデバイス14によって、または別のサーバデバイスによって決定された待ち合わせ場所での待ち合わせを予定に入れることがある。第1のユーザは待ち合わせ場所に到着していることがあるか、または、GPSモジュール32またはクライアントデバイス12内の他のセンサに従って第1のユーザのクライアントデバイス12が静止していることによって示されるように、しきい値時間(たとえば、30秒)を超えて待ち合わせ場所のしきい値距離(たとえば、100m)内の場所で移動するのをやめていることがある。次いで、サーバデバイス14は、第1のユーザの視野内のランドマークのインジケーションを提供することおよび/または第1のユーザの前の実世界画像のカメラビューを受信することによって、第1のユーザの正確な場所および方位を判定し得る。次いで、サーバデバイス14は、第1のユーザに提供されたまたは第1のユーザのクライアントデバイス12のカメラビューにおいて識別された同じランドマークを第2のユーザを提供し得る。このようにして、第2のユーザは、第2のユーザが第1のユーザを見つけることができるように、第1のユーザの場所から目に見えるおよび/または第1のユーザの場所に最も近いランドマークを見ることができる。

ユーザが識別された視覚ランドマークを自分の視野内で見ておらず、たとえば、ユーザインターフェース28上で提示されたユーザ制御を介して、ユーザが識別された視覚ランドマークを見ていないというインジケーションを提供した場合、双方向ランドマーク選択モジュール44は、クライアントデバイス12の前で実世界画像のカメラビューを提示する拡張現実(AR)モードに切り替えるようにクライアントデバイス12に要求する。双方向ランドマーク選択モジュール44は、実世界画像を受信し、物体認識を使用して実世界画像内のランドマークを識別する。より具体的には、双方向ランドマーク選択モジュール44は、いくつかのテンプレートランドマークをデータベースから取得し得る。テンプレートランドマークは、看板、または他の目立つ物理的物体を含み得る。双方向ランドマーク選択モジュール44は、ぼやけ、モーション、ひずみ、方位、照明、スケーリング、および/またはカメラの視点での他の変更にかかわらず検出可能であるテンプレートランドマーク内の安定領域を検出することによって、テンプレートランドマークの各々の視覚特徴を識別し得る。安定領域は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、高速網膜キーポイント(FREAK)、バイナリロバスト不変スケーラブルキーポイント(BRISK)、または任意の他の適切なコンピュータビジョン技法を使用してテンプレートランドマークから抽出され得る。いくつかの実装形態では、キーポイントは、テンプレートランドマーク内の縁部などのテンプレートランドマークの高コントラスト領域に位置し得る。バウンディングボックスはキーポイントの周りに形成され得、バウンディングボックスによって作成されたテンプレートランドマークの部分は特徴であり得る。

双方向ランドマーク選択モジュール44は、テンプレート特徴ベクトルを生成するために、特徴の幅および高さ、特徴のRGBピクセル値、物体内の特徴の中心点のピクセル位置などの特徴の数値表現を作成し得る。また、双方向ランドマーク選択モジュール44は、特徴ベクトルを生成するために、クライアントデバイス12のカメラからのカメラビューの視覚特徴またはカメラビューの部分(本明細書で「物体」とも呼ばれる)を識別し得る。次いで、双方向ランドマーク選択モジュール44は、クライアントデバイス12のカメラからのカメラビューの特徴ベクトルに最も近いテンプレート特徴ベクトルを有する1つまたは複数のテンプレート物体を識別するために、カメラビューの特徴ベクトルまたはカメラビュー内の物体の特徴ベクトルをテンプレート特徴ベクトルと比較し得る。たとえば、双方向ランドマーク選択モジュール44は、カメラビューの特徴ベクトルに最も近いテンプレート特徴ベクトルを有する上位3つのテンプレート物体を識別し得る。1つまたは複数の識別されたテンプレート物体の大部分がWalgreens(登録商標)の看板である場合、双方向ランドマーク選択モジュール44は、カメラビュー内の物体をWalgreens(登録商標)の看板として識別し得る。

いずれにしても、双方向ランドマーク選択モジュール44は、識別された各ランドマークの場所、方位、大きさなどを判定するために、カメラビュー内の識別されたランドマークの人間視覚ジオコードまたは地理的情報をたとえば、視覚ランドマークデータベース52から取り出し得る。識別されたランドマークがWalgreens(登録商標)の看板などの2つ以上の場所を有するとき、双方向ランドマーク選択モジュール44は、ユーザのおおよその現在の場所に最も近い場所の地理的情報を取り出す。他の実装形態では、2つ以上のランドマークがカメラビュー内で識別されるとき、双方向ランドマーク選択モジュール44は、識別されたランドマークの各々を含む地理的エリアに基づいて、識別されたランドマークごとに場所を判定する。いずれにしても、双方向ランドマーク選択モジュール44は、カメラビュー内の識別されたランドマークの場所および方位に基づいてユーザの現在の場所および方位を判定する。たとえば、Walgreens(登録商標)の看板がメインストリートとステートストリートの角にあって東を向いており、カメラビューがWalgreens(登録商標)の看板に直面しているとき、双方向ランドマーク選択モジュール44は、ユーザが西を向いており、メインストリートとステートストリートの角の東にいると判定する。さらに、双方向ランドマーク選択モジュール44は、カメラビュー内の識別された各ランドマークの大きさに基づいてユーザの現在の場所を判定し得る。たとえば、カメラビュー内でWalgreens(登録商標)の看板が大きく見えるほど、ユーザはWalgreens(登録商標)の看板に近くなる。

別の例示的なシナリオでは、双方向ランドマーク選択モジュール44は、2人以上のユーザをそれぞれのクライアントデバイス12を介して待ち合わせ場所にナビゲートするための要求を受信する。次いで、双方向ランドマーク選択モジュール44は、ユーザが待ち合わせ場所に近づいている方位および場所に基づいて、ユーザの各々を待ち合わせ場所に道案内するためのランドマークを識別することができる。いくつかの実装形態では、双方向ランドマーク選択モジュール44は、同じランドマークを使用して、ユーザの各々を待ち合わせ場所に道案内するための共有ランドマークを識別し得る。他の実装形態では、双方向ランドマーク選択モジュール44は、ユーザが待ち合わせ場所に近づいている場所および方向に従って、最も各ユーザの目に入るランドマークに基づいて、ユーザの各々を待ち合わせ場所に道案内するための異なるランドマークを識別し得る。

たとえば、相乗り環境では、乗り手は、自分の乗り手クライアントデバイス12内の相乗りアプリケーション27を介して目的地場所への輸送サービスを要求し得る。運転者は、自分の運転者クライアントデバイス12内の相乗りアプリケーション27を介して要求を受信し、受け入れ得、サーバデバイス14または別のサーバは、乗り手を拾うための送迎場所を識別し得る。次いで、双方向ランドマーク選択モジュール44は、送迎場所と、運転者および乗り手の現在の場所とを取得し得る。たとえば、運転者および乗り手の現在の場所は、上記で説明された技法を使用して判定され得る。いくつかの実装形態では、ナビゲーション命令生成器42は、運転者および乗り手のための送迎場所までのルートを生成し得、双方向ランドマーク選択モジュール44は、それぞれのルートの最終操作が実施される場所を取得し得る。たとえば、ナビゲーション命令生成器42は、運転者を送迎場所に道案内するための命令のセットを生成し得、ここで、最終命令は、ステートストリートを北に向かった後にステートストリートからメインストリートに左折し、直進して送迎場所に到着することである。この例では、双方向ランドマーク選択モジュール44は、運転者の場所としてステートストリートとメインストリートの交差点、および運転者がステートストリートを北に向かってメインストリートに左折した後に向く方向として運転者の方位を取得し得る。このようにして、双方向ランドマーク選択モジュール44は、運転者の場所および方位から目に見える送迎場所のしきい値距離内のランドマークを識別する。次いで、双方向ランドマーク選択モジュール44は、識別されたランドマークをナビゲーション命令のセットに組み込むために、識別されたランドマークをナビゲーション命令生成器42に提供し得る。たとえば、ステートストリートからメインストリートに左折するように運転者を道案内した後、ナビゲーション命令生成器42は、Walgreens(登録商標)の看板に向かって移動するための追加のナビゲーション命令を生成し得、乗り手はWalgreens(登録商標)の看板の下に立っている。識別されたランドマークは、ユーザの各々を道案内するための共有ランドマークであり得、ナビゲーション命令生成器42は、乗り手がWalgreens(登録商標)の看板に向かって移動し、Walgreens(登録商標)の看板の下に立っているための追加のナビゲーション命令を生成し得る。

視覚ランドマークデータベース52は、運転している(または自転車に乗っている、歩いている、もしくは別のやり方でナビゲーションルートに沿って移動している)ときに目に見えるものであり、したがって視覚ランドマークとして働くことができる、目立つ地理的エンティティに関する情報を記憶することができる。たとえば、視覚ランドマークデータベース52は、PGEパーク70、ゴールデンゲートブリッジ72、デンバーのWalgreens(登録商標)74、および任意の他の適切な視覚ランドマークの地理的情報などの人間視覚ジオコードを記憶することができる。

視覚ランドマークごとに、視覚ランドマークデータベース52は、1つまたはいくつかの写真、2次元または3次元の地理的座標、テキスト記述、ランドマークの高さ、ランドマークが向いている方位、ランドマークの大きさ、ランドマークの外観、ランドマークの名前、様々な条件でおよび/または様々な時刻などにランドマークがそこから目に見える場所のセットを示すランドマークの可視域を記憶することができる。可視域は、時刻、気象条件、季節などに従って異なり得る。したがって、視覚ランドマークデータベース52は、異なる時刻、季節、気象条件、照明条件、交通条件などに対するランドマークのいくつかの可視域を記憶することができる。

視覚ランドマークデータベース52をポピュレートするために、サーバデバイス14は、衛星画像、様々なユーザによってサブミットされた写真およびビデオ、専用パノラマカメラを装備した車によって収集された路上の画像、歩行者および自転車運転者によって収集された通りおよび歩道の画像などを受信することができる。同様に、視覚ランドマークデータベース52は、サーバデバイス14のオペレータおよびユーザ生成コンテンツをサブミットする人などの様々なソースからランドマークの説明を受信することができる。

視覚ランドマークデータベース52に含まれるランドマークごとに人間視覚ジオコードまたは地理的情報の例示的なインデックスを含むデータテーブル200が図2に示されている。ランドマークごとに、データテーブル200は、ランドマーク識別子202と、2次元または3次元の地理的座標およびランドマークの高さを含むランドマークの場所204と、ランドマークが向いている方位206と、ランドマークの大きさまたは寸法208と、ランドマークの外観のテキスト記述210と、ランドマークの名前212と、様々な条件でおよび/または様々な時刻などにランドマークがそこから目に見える場所のセットを示すランドマークの可視域214とを含む。データテーブル200はまた、ランドマークの写真を含み得る。

たとえば、データテーブル200の第1のエントリは、Walgreens(登録商標)の看板の地理的情報を含む。データテーブル200によれば、Walgreens(登録商標)の看板は、5mの高さに位置し、東を向いている。Walgreens(登録商標)の看板は、幅4mおよび長さ2mで、赤色の背景に白色の筆記体を含む。Walgreens(登録商標)の看板の可視域は、昼間にWalgreens(登録商標)の看板がそこから目に見える場所の第1のセットと、夜間にWalgreens(登録商標)の看板がそこから目に見える場所の第2のセットとを含み得る。Walgreens(登録商標)の看板は東を向いているので、可視域は、Walgreens(登録商標)の看板の東の位置を含み得る。加えて、より大きい看板または地面より上の高いところに置かれている看板は、より小さい看板または地面のより近くに置かれている看板よりも遠い距離から目に見えることがある。レストラン、店、および他の企業の看板に加えて、ランドマークは、ロッキー山脈などの自然のランドマーク、ゴールデンゲートブリッジなどの橋を含むインフラストラクチャ、建物、競技場、劇場、コンサートホールなどを含み得る。看板は特定の方向を向いていることがあるので、その方向から目に見え得るが、ゴールデンゲートブリッジなどの他のランドマークはあらゆる方向から目に見える。

特定のランドマーク304(たとえば、PGEパーク)の例示的な可視域302が図3の地図表示300に示されている。可視域302は、ランドマーク304がそこから目に見える空間内のポイントのセットを含む。網掛け領域は、ランドマーク304の少なくとも一部分がそこから目に見えるポイントを表す。可視域302は、ランドマーク304に最も近い通りおよび他の横断可能な小道に沿ったテストポイントに基づいて判定され得る。示されているように、可視域302は、ランドマーク304がランドマーク304に最も近い他の建物などの他の物体によって遮蔽されている結果として、複雑な形状を有する。この例では、ランドマークはあらゆる方向から目に見えるが、ランドマーク304は、ランドマーク304の北西の場所、南の場所、南西の場所の場合、ランドマークの北、東、または西の場所よりもさらに遠くから目に見える。ランドマークごとに、視覚ランドマークデータベース52は、図3に示された、ランドマークがそこから目に見える場所のセットを含む例示的な可視域302に類似した可視域のインジケーションを記憶し得る。

ランドマーク304の可視域は、たとえば、ランドマークが位置する地理的エリアに関連付けられた3次元モデルにアクセスすることによって判定され得る。モデルは、ランドマークの3次元表現を含むことができる。一実装形態では、3次元モデルは、ランドマークに関連付けられた複数のメッシュトライアングルを含む地理的エリアの立体メッシュモデルであり得る。モデルはまた、仮想地球アプリケーションにおいて提供される合成モデルなどの地理的エリア内の地理的特徴または他のランドマークの合成モデルを含むことができるか、またはその合成モデルにアクセスすることができる。モデルはまた、3次元モデル内の表面にマッピングされたテクスチャを含むことができる。テクスチャは、地理的エリアに関連付けられた写真または他の画像を含むことができ、木(葉ありまたは葉なし)橋の構脚、および地理的エリア内のランドマークの可視性を妨げる可能性がある他の構造などの地理的物体を描写することができる。

ランドマーク304の3次元表現の可視性は、3次元モデル内の3次元空間における複数の異なる地理的ポイントから評価され得る。たとえば、地理的ポイントごとに、ランドマーク304の3次元表現が地理的ポイントから目に見えるかどうかが判定され得る。目に見える場合、地理的ポイントは、ランドマーク304の可視域302に含まれる。

一実装形態では、地理的ポイントは、ランドマーク304の3次元表現が事前定義されたしきい値を超えるほど地理的ポイントから目に見える場合にのみ、可視域302に含まれ得る。しきい値は、ランドマーク304の可視性に関連付けられた任意の適切なメトリックに基づき得る。たとえば、しきい値は、ランドマーク304の事前定義された表面積を超えるほどのものが地理的ポイントから目に見える場合に地理的ポイントが可視域302に含まれ得るように、ランドマーク304の目に見える表面積に基づき得る。別の例として、しきい値は、ステラジアン単位の事前定義された立体角を超えるほどのものが地理的ポイントから目に見える場合に地理的ポイントが可視域302に含まれるように、地理的ポイントからのランドマーク304の所与のビューの特徴が対応するステラジアン単位の立体角に基づき得る。

サーバデバイス14は、ユーザの特定の場所および方位からのランドマークごとの可視性スコアまたはランキングを判定するために、ランドマークの写真、ランドマークの2次元または3次元の地理的座標、ランドマークのテキスト記述、ランドマークの高さ、ランドマークが向いている方位、ランドマークの大きさ、ランドマークの外観、ランドマークの名前、ならびに様々な条件でのおよび/または様々な時刻におけるランドマークの可視域を含む、ランドマークごとの地理的情報を使用し得る。次いで、サーバデバイス14は、ユーザを目的地または待ち合わせ場所に道案内するために、最も高い可視性スコアまたはランキングを有するランドマークを選択し得る。たとえば、サーバデバイス14は、ユーザの現在の場所を含まない可視域を有するランドマークよりも、ユーザの現在の場所を含む可視域を有するランドマークに、より高い可視性スコアを割り当て得る。さらに、サーバデバイス14は、ユーザが現在向いている方向から見ることができないランドマークよりも、ユーザが現在向いている方向から見ることができるランドマークに、より高い可視性スコアを割り当て得る。

上記で説明されたように、サーバデバイス14は、複数のユーザを待ち合わせ場所にナビゲートするための要求をクライアントデバイス12から受信し得る。いくつかの実装形態では、サーバデバイス14は、待ち合わせ場所および各ユーザの現在の場所を受信し得る。他の実装形態では、サーバデバイス14は、待ち合わせ場所を、ユーザのうちの一方のしきい値距離内の場所または各ユーザの現在の場所の間の場所として判定し得る。たとえば、乗り手が相乗りアプリケーション26を介して目的地場所への輸送サービスを要求し、運転者が要求を受け入れるとき、サーバデバイス14または相乗りサーバなどの別のサーバは、乗り手の現在の場所のしきい値距離内にある送迎場所を識別し得る。別の例では、2人のユーザは待ち合わせることを要求し得、サーバデバイス14は、2人のユーザの現在の場所からほぼ等距離である待ち合わせ場所を識別し得る。

いずれにしても、サーバデバイス14は、ナビゲーション命令生成器42を介して、待ち合わせ場所までのユーザごとのルートを生成し得る。いくつかの実装形態では、サーバデバイス14は、ルートごとの最終操作または最終操作の前の操作を識別し、最終操作または最終操作の前の操作を完了した後にユーザの場所および方位を判定し得る。他の実装形態では、ユーザの現在の場所が待ち合わせ場所からしきい値距離(たとえば、100m)未満離れているとき、サーバデバイス14は待ち合わせ場所までのルートを生成しない。その代わりに、サーバデバイス14は、ユーザを待ち合わせ場所に道案内するために使用され得る、ユーザの現在の場所から目に見えるランドマークを識別する。

次いで、ユーザの判定された場所および方位を使用して、サーバデバイス14は、双方向ランドマーク選択モジュール44を介して、ユーザの判定された場所および方位から目に見えるならびに/または待ち合わせ場所を含む地理的エリア内にある候補ランドマークを視覚ランドマークデータベース52から識別し得る。双方向ランドマーク選択モジュール44は、視覚ランドマークデータベース52に含まれる各ランドマークの可視域、方位、位置、高さ、寸法などを使用して候補ランドマークを識別し得る。次いで、双方向ランドマーク選択モジュール44は、たとえば、待ち合わせ場所への近接度(proximity to the meeting location)を含む候補ランドマークの場所、時刻、気象条件、季節などに対応する可視域に基づいた可視性、ランドマークの大きさ、ユーザの方位およびランドマークの方位によればランドマークがユーザに直面しているかどうかなどを含むいくつかのメトリックに基づいて、候補ランドマークに可視性スコアまたはランキングを割り当て得る。双方向ランドマーク選択モジュール44は、待ち合わせ場所への近接度スコア、可視域スコア、ランドマークの大きさスコア、ランドマークの方位スコア、ランドマークの高さスコアなどのメトリックごとに個々のスコアを割り当て、ユーザの判定された場所および方位に基づいて候補ランドマークの可視性スコアを生成するために任意の適切な方法で個々のスコアを集約するかまたは組み合わせ得る。いくつかの実装形態では、双方向ランドマーク選択モジュール44は、最も高いスコアリングまたはランキングの候補ランドマークをランドマークとして選択し得る。次いで、サーバデバイス14は、選択されたランドマークを介してユーザを待ち合わせ場所に道案内するナビゲーション命令をユーザのクライアントデバイス12に提供し得る。また、いくつかの実装形態では、ランドマークが待ち合わせ場所のごく近傍内(たとえば、10mのしきい値距離内)にあるとき、サーバデバイス14は待ち合わせ場所をランドマークの場所に移動し得る。

双方向ランドマーク選択モジュール44は、ユーザが待ち合わせ場所に近づいている場所および方向に基づいて、最も高いスコアリングまたはランキングの候補ランドマークに従って各ユーザを待ち合わせ場所に道案内するための異なるランドマークを選択し得る。他の実装形態では、双方向ランドマーク選択モジュール44は、同じランドマークを使用して各ユーザを待ち合わせ場所に道案内するための共有ランドマークを選択し得る。たとえば、双方向ランドマーク選択モジュール44は、ユーザのうちの一方に固有の候補ランドマークごとのスコアを生成し得る。次いで、双方向ランドマーク選択モジュール44は、候補ランドマークごとの全体スコアを生成するためにユーザ固有スコアを組み合わせ得る。次いで、双方向ランドマーク選択モジュール44は、最も高い全体スコアを有する候補ランドマークを共有ランドマークとして選択し得る。いくつかの実装形態では、共有ランドマークは、双方向ランドマーク選択モジュール44が1人のユーザの場所からは非常に目に付きやすく、別のユーザの場所からは見ることが難しい共有ランドマークを選択しないように、ユーザ固有スコアまたはユーザ固有ランキングごとに、しきい値スコアを上回るユーザ固有スコアまたはしきい値ランキングを上回るユーザ固有ランキングを有しなければならない。このシナリオでは、候補ランドマークが最も高い全体スコアを有するが、しきい値スコアを下回るユーザ固有スコアを有する場合、双方向ランドマーク選択モジュール44は、双方向ランドマーク選択モジュール44がしきい値スコアを上回るユーザ固有スコアを有する候補ランドマークを識別するまで、次の最も高い全体スコアを有する候補ランドマークを選択し得る。

例示的なユーザインターフェース
図4A～図4Bは、共有ランドマークを介してユーザを待ち合わせ場所に道案内するための、2人のユーザのクライアントデバイス12上で提示された例示的なナビゲーション表示400、450を示す。図4A～図4Bに示されているように、共有ランドマークはWalgreens(登録商標)の看板である。例示的なナビゲーション表示400では、クライアントデバイス12は、待ち合わせ場所までの徒歩指示(walking directions)を示す、乗り手用の地図表示402を提示する。ナビゲーション表示400はまた、Walgreens(登録商標)の看板に向かって進み、その下に立っているというナビゲーション命令404を含み、待ち合わせ場所がWalgreens(登録商標)の看板であることを示している。さらに、ナビゲーション表示400は、ユーザが何を探すべきかが分かるように、Walgreens(登録商標)の看板の描写406を含む。例示的なナビゲーション表示450では、クライアントデバイス12は、待ち合わせ場所までの運転指示(driving directions)または任意の適切な移動モードのための指示を示す、運転者用の地図表示452を提示する。ナビゲーション表示450はまた、500m先でメインストリートを右折し、Walgreens(登録商標)の看板の下に立っているジョンを乗せるというナビゲーション命令454を含む。さらに、ナビゲーション表示450はまた、ユーザが何を探すべきかが分かるように、Walgreens(登録商標)の看板の描写456を含む。この例では、ユーザは相乗り手配によって待ち合わせている場合があり、ナビゲーション表示400は乗り手のクライアントデバイス12上で提示され、ナビゲーション表示450は運転者のクライアントデバイス12上で提示される。

やはり上記で説明されたように、サーバデバイス14は、地図データまたはナビゲーション指示を求める要求をクライアントデバイス12から受信し得る。要求は、たとえば、GPSモジュール32および/またはコンパスからのユーザの現在の場所および/または推定される方位を含むことができる。双方向ランドマーク選択モジュール44は、現在の場所のしきい値距離内にあり、ユーザの現在の場所および/または推定される方位から見ることができる視覚ランドマークを視覚ランドマークデータベース52から取り出し得る。より具体的には、双方向ランドマーク選択モジュール44は、視覚ランドマークが現在の場所のしきい値距離内にあり、ユーザの現在の場所および/または推定される方位から見ることができることを示す地理的情報を有する視覚ランドマークを識別し得る。いずれにしても、双方向ランドマーク選択モジュール44は、識別された視覚ランドマークがユーザの視野内にあることをユーザが確認することを求める要求またはユーザが識別された視覚ランドマークを向いているまでユーザが方向転換することを求める要求とともに、識別された視覚ランドマークのインジケーションをクライアントデバイス12に提供し得る。

図5は、ユーザのクライアントデバイス12上で提示された例示的な場所検証表示500を示す。たとえば、場所検証表示500は、ユーザが地理的アプリケーション26を介して自分の現在の場所から目的地までのナビゲーション指示を要求するときに提示され得る。次いで、双方向ランドマーク選択モジュール44は、ユーザを目的地に道案内するための初期ナビゲーション命令を生成するために、ユーザの視野内の視覚ランドマークに基づいてユーザの正確な場所および方位を識別し得る。別の例では、場所検証表示500は、ユーザが相乗りアプリケーション27を介して輸送サービスを要求するときに提示され得る。双方向ランドマーク選択モジュール44は、ユーザを送迎場所に道案内するためのまたは送迎場所をユーザの正確な場所として識別するための初期ナビゲーション命令を生成するために、ユーザの視野内の視覚ランドマークに基づいてユーザの正確な場所および方位を識別し得る。次いで、双方向ランドマーク選択モジュール44は、ユーザの正確な場所を送迎場所として運転者のクライアントデバイス12に提供することができる。さらに別の例では、双方向ランドマーク選択モジュール44は、運転者の視野内の視覚ランドマークに基づいて運転者の正確な場所および方位を識別し得る。次いで、双方向ランドマーク選択モジュール44は、乗り手が運転者を見つけるのに苦労しているときに乗り手を運転者の正確な場所に道案内するために、運転者の正確な場所を乗り手のクライアントデバイス12に提供することができる。

いずれにしても、場所検証表示500は、ユーザが識別されたランドマーク(たとえば、Burger King(登録商標)の看板およびWalgreens(登録商標)の看板)が自分の前に見えることをユーザが確認することを求める要求502を含み得る。場所検証表示500はまた、ユーザが何を探すべきかが分かるように、ランドマークの描写504、506を含み得る。さらに、場所検証表示500は、識別されたランドマークがユーザの視野内にあることを確認または否定するためのユーザ制御508、510を含む。他の実装形態では、場所検証表示500は、識別されたランドマークがユーザの視野内にあることを確認するために、識別されたランドマークの写真を撮ることをユーザに促し得る。上述したように、ユーザが自分の前にランドマーク504、506を見ていない場合、ユーザはランドマーク504、506を見つけるために方向転換するかまたは周りを見回し、いくらか探索した後にユーザがランドマーク504、506を見つけた場合、識別されたランドマーク504、506が自分の視野内にあることを確認し得る。しかしながら、いくらか探索した後でもユーザが識別されたランドマーク504、506を見ることができない場合、ユーザは、識別されたランドマーク504、506が見えることを否定するユーザ制御510を選択し得る。次いで、クライアントデバイス12は、ユーザの応答のインジケーションをサーバデバイス14に送信し得る。

サーバデバイス14が、識別されたランドマーク504、506がユーザの視野内にあることを確認するインジケーションを受信した場合、サーバデバイス14は、現在の場所および/または推定される方位に基づいてユーザの正確な場所および方位を判定し得る。次いで、サーバデバイス14は、ユーザの正確な場所および方位に基づいて目的地までのナビゲーション指示を生成し得、地図表示におけるユーザの正確な場所および方位のインジケーションを提示し得、別のクライアントデバイス12の第2のユーザが正確な場所でユーザと待ち合わせるために、ユーザの正確な場所および方位を別のクライアントデバイス12に提供し得、別のユーザ、待ち合わせ場所、もしくはユーザを待ち合わせ場所に道案内するためのランドマークを見るために特定の方向に方向転換するようにユーザに命令し得、または、任意の他の適切な目的で正確な場所および方位を利用し得る。

一方、サーバデバイス14が、識別されたランドマーク504、506がユーザの視野内にあることを否定するインジケーションを受信した場合、サーバデバイス14は、クライアントデバイス12の前で実世界画像のカメラビューを提示するARモードに切り替えるという要求をクライアントデバイス12に提供し得る。他の実装形態では、クライアントデバイス12は、識別されたランドマーク504、506がユーザの視野内にあることを否定するユーザ制御510の選択を受信したことに応答して、ARモードに自動的に切り替える。

図6は、クライアントデバイス12上で提示されたARモードからのユーザ視野内の実世界画像の例示的なカメラビュー600を示す。カメラビュー600は、車両、建物、電柱、通りなどを含む。カメラビュー600はまた、ジョーのレストラン602の地理的情報を記憶する視覚ランドマークデータベース52に含まれるランドマークであるジョーのレストラン602の看板を含む。クライアントデバイス12はカメラビュー600をサーバデバイス14に提供し、サーバデバイス14はジョーのレストランの看板602などのカメラビュー600内のランドマークを識別し得る。

より具体的には、双方向ランドマーク選択モジュール44は、視覚ランドマークデータベース52からのテンプレートランドマークの写真などのいくつかのテンプレートランドマークをデータベースから取得し得る。双方向ランドマーク選択モジュール44は、ぼやけ、モーション、ひずみ、方位、照明、スケーリング、および/またはカメラの視点での他の変更にかかわらず検出可能であるテンプレートランドマーク内の安定領域を検出することによって、テンプレートランドマークの各々の視覚特徴を識別し得る。いくつかの実装形態では、キーポイントは、テンプレートランドマーク内の縁部などのテンプレートランドマークの高コントラスト領域に位置し得る。バウンディングボックスはキーポイントの周りに形成され得、バウンディングボックスによって作成されたテンプレートランドマークの部分は特徴であり得る。双方向ランドマーク選択モジュール44は、テンプレート特徴ベクトルを生成するために、特徴の幅および高さ、特徴のRGBピクセル値、物体内の特徴の中心点のピクセル位置などの特徴の数値表現を作成し得る。

双方向ランドマーク選択モジュール44は、ジョーのレストランの看板602を含むカメラビュー600における領域の視覚特徴などの、カメラビュー600内の視覚特徴またはカメラビューにおける物体内の視覚特徴を識別し得る。

次いで、双方向ランドマーク選択モジュール44は、カメラビュー600の特徴ベクトルに最も近いテンプレート特徴ベクトルを有する1つまたは複数のテンプレートランドマークを識別するために、カメラビュー600の特徴ベクトルまたはカメラビュー600内の物体の特徴ベクトルをテンプレート特徴ベクトルと比較し得る。

カメラビュー600がジョーのレストランの看板602を含むとの判定に応答して、双方向ランドマーク選択モジュール44は、ジョーのレストランの看板602の場所、ジョーのレストランの看板602の方位、ジョーのレストランの看板602の高さ、ジョーのレストランの看板602の大きさなどの、ジョーのレストランの看板602の地理的情報を視覚ランドマークデータベース52から取得し得る。視覚ランドマークデータベース52にジョーのレストランの看板602の複数のインスタンスがある場合、双方向ランドマーク選択モジュール44は、ユーザの受信された現在の場所に最も近い場所を有するインスタンスを選択し得る。他の実装形態では、2つ以上のランドマークがカメラビュー600内で識別されるとき、双方向ランドマーク選択モジュール44は、識別されたランドマークの各々を含む地理的エリアに基づいて、識別されたランドマークごとに場所を判定する。たとえば、ジョーのレストランは5つの異なる都市に位置し得るが、ジョーのレストランは5つの都市のうちの1つのみにおいてMcDonald's(登録商標)の隣に位置し得る。McDonald's(登録商標)もカメラビュー内で識別された場合、双方向ランドマーク選択モジュール44は、隣接するMcDonald's(登録商標)を有する都市からジョーのレストランを選択し得る。

いずれにしても、双方向ランドマーク選択モジュール44は、カメラビュー600内の識別されたランドマークの場所、方位、高さ、および/または大きさに基づいてユーザの正確な場所および方位を判定する。より具体的には、双方向ランドマーク選択モジュール44は、ランドマークの大きさに対するカメラビュー600を有するランドマークの大きさに基づいてユーザとランドマークとの間の距離を判定し得る。ユーザからランドマークまでの距離は、カメラビュー600内のランドマークの大きさに比例し得る。ランドマークの寸法に対してカメラビュー600においてより大きく見えるランドマークは、ユーザがランドマークの近くにいることを示し得る。たとえば、ゴールデンゲートブリッジ全体がカメラビュー600に含まれる場合、双方向ランドマーク選択モジュール44は、ユーザがゴールデンゲートブリッジから少なくとも100m離れていると判定し得る。一方、ゴールデンゲートブリッジの1つのみのつりケーブルがカメラビュー600に含まれる場合、双方向ランドマーク選択モジュール44は、ユーザがゴールデンゲートブリッジに立っているかまたはゴールデンゲートブリッジから数メートル内にいると判定し得る。双方向ランドマーク選択モジュール44はまた、ランドマークがカメラビュー600の前景にあるかまたは背景にあるかに基づいてユーザとランドマークとの間の距離を判定し得る。ランドマークがカメラビュー600の前景にある場合、ランドマークはランドマークがカメラビュー600の背景にある場合よりもユーザに近い可能性がある。

ユーザからランドマークまでの距離に基づいて、双方向ランドマーク選択モジュール44は、ユーザが位置する地理的エリアを識別し得、ユーザの正確な場所および/または方位を地理的エリア内の場所として判定し得る。ユーザの正確な場所および/または方位を地理的エリア内の場所として判定するために、双方向ランドマーク選択モジュール44は、カメラビュー600内のランドマークの方位を判定し得る。ランドマークがカメラビュー600のビューポイントに直面している場合、双方向ランドマーク選択モジュール44は、ユーザはランドマークが向いている方向に位置し、ユーザはランドマークが向いている方向とは実質的に反対の方向を向いていると判定し得る。たとえば、ランドマークがカメラビュー600のビューポイントに直面しており、ランドマークが南を向いている場合、双方向ランドマーク選択モジュール44は、ユーザがランドマークのすぐ南に位置し、北に直面していると判定し得る。次いで、双方向ランドマーク選択モジュール44は、ランドマークからの距離、ランドマークの場所、およびランドマークに対するユーザの方位に基づいてユーザの正確な場所を判定し得る。たとえば、ランドマークがメインストリートとステートストリートの角にあり、ユーザがランドマークのすぐ南50mのところにいる場合、双方向ランドマーク選択モジュール44は、ユーザの正確な場所がメインストリートとステートストリートの角のすぐ南50mの場所であり、ユーザの方位が北であると判定し得る。

ランドマークが、カメラビュー600内のジョーのレストランの看板602を有するなどの、カメラビュー600のビューポイントに直面していない場合、双方向ランドマーク選択モジュール44は、カメラビュー600内のランドマークの方位を判定する。次いで、双方向ランドマーク選択モジュール44は、カメラビュー600内のランドマークの方位およびランドマークが向いている方向に基づいてランドマークに対するユーザの方位を判定し得る。加えて、双方向ランドマーク選択モジュール44は、ユーザの方位をランドマークに対するユーザの方向とは実質的に反対の方向として判定し得る。たとえば、双方向ランドマーク選択モジュール44は、視覚ランドマークデータベース52に含まれるジョーのレストランの看板602の地理的情報に基づいて、ジョーのレストランの看板602が南を向いていると判定し得る。双方向ランドマーク選択モジュール44は、ジョーのレストランの看板602がカメラビュー600のビューポイントに対して45°の角度であると判定し得る。したがって、双方向ランドマーク選択モジュール44は、ユーザがジョーのレストランの看板602の南西におり、北東を向いていると判定し得る。

次いで、サーバデバイス14は、ユーザの正確な場所および方位に基づいて任意の適切な移動モードでの目的地までのナビゲーション指示を生成し得、地図表示におけるユーザの正確な場所および方位のインジケーションを提示し得、別のクライアントデバイス12の第2のユーザが正確な場所でユーザと待ち合わせるために、ユーザの正確な場所および方位を別のクライアントデバイス12に提供し得、別のユーザ、待ち合わせ場所、またはユーザを待ち合わせ場所に道案内するためのランドマークを見るために特定の方向に方向転換するようにユーザに命令し得、または、任意の他の適切な目的で正確な場所および方位を利用し得る。

図7は、クライアントデバイス12の正確な場所および/または方位を識別したことに応答してクライアントデバイス12上で提示された例示的なナビゲーション表示700を示す。例示的なナビゲーション表示700では、クライアントデバイス12は、ユーザの正確な場所および/または方位から目的地または待ち合わせ場所までの徒歩指示を示す地図表示702を提示する。ナビゲーション表示700はまた、コロンバスアベニューを100m直進するというナビゲーション命令704を含む。この例では、ユーザは、自分の正確な場所および方位に従って自分の目的地に到達するために自分が移動する必要がある方向を向いている。他の例では、ユーザが自分の目的地に到達するために自分が移動する必要がある方向を向いていないとき、初期ナビゲーション命令は、ユーザが自分の目的地への移動を開始するために方向転換する必要がある相対的な方向を提供し得る。より具体的には、初期ナビゲーション命令は、絶対的なまたは基本的な方向を使用することなしに、ユーザが現在向いている方向に対して特定の方向に方向転換することであり得る。初期ナビゲーション命令は、真っ直ぐに進む前に、「Uターンしてください」、「左折してください」、「右折してください」などであり得る。

地理的アプリケーションまたは相乗りアプリケーションにおいて双方向ランドマークを提供するための例示的な方法
図8は、2人以上のユーザを待ち合わせ場所にナビゲートするための例示的な方法800の流れ図を示す。方法は、コンピュータ可読メモリ上に記憶され、サーバデバイス14の1つまたは複数のプロセッサにおいて実行可能な命令のセットにおいて実装され得る。たとえば、方法は、ナビゲーション命令生成器42および/または双方向ランドマーク選択モジュール44によって実装され得る。

ブロック802において、待ち合わせ場所で第1のユーザが第2のユーザと待ち合わせることを求める要求が受信される。いくつかの実装形態では、要求は、地理的エリア内にいる第1のユーザおよび第2のユーザの現在の場所および待ち合わせ場所を含み得る。他の実装形態では、要求は、第1のユーザおよび第2のユーザの現在の場所を含み得、サーバデバイス14は、たとえば、現在の場所のうちの少なくとも1つに基づいて待ち合わせ場所を判定し得る。たとえば、要求は、第1のユーザの現在の場所から降車場所までの輸送サービスを求める要求であり得る。次いで、サーバデバイス14は、要求を運転者にブロードキャストし得、第2のユーザの現在の場所のインジケーションとともに、第2のユーザが要求を受け入れたというインジケーションを受信し得る。次いで、サーバデバイス14は、第1のユーザに最も近い送迎場所である待ち合わせ場所を識別し得る。いずれにしても、サーバデバイス14は、待ち合わせ場所をユーザのうちの一方のしきい値距離内の場所または各ユーザの現在の場所の間の場所として識別し得る。

要求を受信したことに応答して、サーバデバイス14は、ナビゲーション命令生成器42を介して、待ち合わせ場所までのユーザごとのルートを生成し得る。いくつかの実装形態では、サーバデバイス14は、ルートごとの最終操作または最終操作の前の操作を識別し、最終操作または最終操作の前の操作を完了した後にユーザの場所および方位を判定し得る。他の実装形態では、ユーザの現在の場所が待ち合わせ場所からしきい値距離(たとえば、100m)未満離れているとき、サーバデバイス14は待ち合わせ場所までのルートを生成しない。その代わりに、サーバデバイス14は、ユーザを待ち合わせ場所に道案内するために使用され得る、ユーザの現在の場所から目に見えるランドマークを識別する。また、いくつかの実装形態では、ランドマークが待ち合わせ場所のごく近傍内(たとえば、10mのしきい値距離内)にあるとき、サーバデバイス14は待ち合わせ場所をランドマークの場所に移動し得る。

次いで、第1のユーザの判定された場所および方位を使用して、たとえば、ルートに沿った最終操作を完了した後、サーバデバイス14は、双方向ランドマーク選択モジュール44を介して、第1のユーザの判定された場所および方位から目に見えるならびに/または待ち合わせ場所を含む地理的エリア内にある候補ランドマークを視覚ランドマークデータベース52から識別し得る(ブロック804)。双方向ランドマーク選択モジュール44は、視覚ランドマークデータベース52に含まれる各ランドマークの可視域、方位、位置、高さ、寸法などを使用して候補ランドマークを識別し得る。次いで、ブロック806において、双方向ランドマーク選択モジュール44は、たとえば、待ち合わせ場所への近接度を含む候補ランドマークの場所、時刻、気象条件、季節などに対応する可視域に基づいた可視性、ランドマークの大きさ、第1のユーザの方位およびランドマークの方位によればランドマークが第1のユーザに直面しているかどうかなどを含むいくつかのメトリックに基づいて、候補ランドマークに第1の可視性スコアまたはランキングを割り当て得る。双方向ランドマーク選択モジュール44は、待ち合わせ場所への近接度スコア、可視域スコア、ランドマークの大きさスコア、ランドマークの方位スコア、ランドマークの高さスコアなどのメトリックごとに個々のスコアを割り当て、第1のユーザの判定された場所および方位に基づいて候補ランドマークの第1の可視性スコアを生成するために任意の適切な方法で個々のスコアを集約するかまたは組み合わせ得る。

次いで、第2のユーザについて、このプロセスが繰り返される。サーバデバイス14は、第2のユーザの判定された場所および方位から目に見えるならびに/または待ち合わせ場所を含む地理的エリア内にある候補ランドマークを視覚ランドマークデータベース52から識別し得る(ブロック804)。次いで、ブロック806において、双方向ランドマーク選択モジュール44は、たとえば、待ち合わせ場所への近接度、時刻、気象条件、季節などに対応する可視域に基づいた可視性、ランドマークの大きさ、第2のユーザの方位およびランドマークの方位によればランドマークが第2のユーザに直面しているかどうかなどを含むいくつかのメトリックに基づいて、候補ランドマークに第2の可視性スコアまたはランキングを割り当て得る。

ブロック808において、双方向ランドマーク選択モジュール44は、各候補ランドマークに割り当てられた可視性スコアおよび/またはランキングに基づいて、同じランドマークを使用して各ユーザを待ち合わせ場所に道案内するための共有ランドマークを選択し得る。上記で説明されたように、双方向ランドマーク選択モジュール44は、第1のユーザに固有の候補ランドマークごとの第1のスコアと、第1のユーザに固有の候補ランドマークごとの第2のスコアとを生成し得る。次いで、双方向ランドマーク選択モジュール44は、候補ランドマークごとの全体スコアを生成するためにユーザ固有スコアを集約するかまたは組み合わせ得る。双方向ランドマーク選択モジュール44は、候補ランドマークを、それらのそれぞれのユーザ固有スコアに従ってランク付けし得る。たとえば、双方向ランドマーク選択モジュール44は、第1の可視性スコアに従った候補ランドマークのランキングの第1のセットと、第2の可視性スコアに従った候補ランドマークのランキングの第2のセットとを生成し得る。

次いで、双方向ランドマーク選択モジュール44は、最も高い全体スコアを有する候補ランドマークを共有ランドマークとして選択し得る。いくつかの実装形態では、共有ランドマークは、双方向ランドマーク選択モジュール44が1人のユーザの場所からは非常に目に付きやすく、別のユーザの場所からは見ることが難しい共有ランドマークを選択しないように、ユーザ固有スコアまたはユーザ固有ランキングごとに、しきい値スコアを上回るユーザ固有スコアまたはしきい値ランキングを上回るユーザ固有ランキングを有しなければならない。このシナリオでは、候補ランドマークが最も高い全体スコアを有するが、しきい値スコアを下回るユーザ固有スコアまたはしきい値ランキングを下回るユーザ固有ランキングを有する場合、双方向ランドマーク選択モジュール44は、双方向ランドマーク選択モジュール44がしきい値スコアを上回るユーザ固有スコアまたはしきい値ランキングを上回るユーザ固有ランキングを有する候補ランドマークを識別するまで、次の最も高い全体スコアを有する候補ランドマークを選択し得る。

ブロック810において、サーバデバイス14は、ナビゲーション指示の第1のセットを生成し、共有ランドマークを参照する第1のユーザに提供する。上記の例では、第1のユーザが相乗りサービスを要求する乗り手である場合、ナビゲーション指示の第1のセットは送迎場所までの徒歩指示であり得る。ナビゲーション指示の第1のセットは、「Burger King(登録商標)の看板に到着するまで直進してください」または「Walgreens(登録商標)の看板を過ぎてすぐの角まで行ってください」などの、共有ランドマークを包含するナビゲーション命令(たとえば、最終ナビゲーション命令)を含み得る。

ブロック812において、サーバデバイス14は、ナビゲーション指示の第2のセットを生成し、共有ランドマークを参照する第2のユーザに提供する。上記の例では、第2のユーザが乗り手を乗せる運転者である場合、ナビゲーション指示の第2のセットは送迎場所までの運転指示であり得る。ナビゲーション指示の第2のセットは、「Burger King(登録商標)の看板に到着したら車を止めてください」または「500m先で、Walgreens(登録商標)の看板の下に立っているジョンを乗せてください」などの、共有ランドマークを包含するナビゲーション命令(たとえば、最終ナビゲーション命令)を含み得る。

図9は、ランドマークを使用してユーザの現在の場所または方位を検証するための例示的な方法900の流れ図を示す。方法は、コンピュータ可読メモリ上に記憶され、サーバデバイス14の1つまたは複数のプロセッサにおいて実行可能な命令のセットにおいて実装され得る。たとえば、方法は、ナビゲーション命令生成器42および/または双方向ランドマーク選択モジュール44によって実装され得る。

ブロック902において、ユーザのクライアントデバイス12から現在の場所および/または推定される方位が受信される。いくつかの実装形態では、現在の場所および/または推定される方位は、地図データ、ナビゲーション指示、相乗りデータなどを求める要求とともに受信され得る。現在の場所および/または推定される方位は、GPSモジュール32、コンパスなどの、ユーザのクライアントデバイス12内のセンサから取得され得る。

次いで、ブロック904において、サーバデバイス14、より具体的には、双方向ランドマーク選択モジュール44は、候補視覚ランドマークを視覚ランドマークデータベース52から取り出し、現在の場所のしきい値距離内にあり、ユーザの現在の場所および/または推定される方位から見ることができる候補視覚ランドマークのうちの1つまたは複数を選択し得る(ブロック906)。より具体的には、双方向ランドマーク選択モジュール44は、視覚ランドマークが現在の場所のしきい値距離内にあり、ユーザの現在の場所および/または推定される方位から見ることができることを示す地理的情報を有する視覚ランドマークを識別し得る。

いくつかの実装形態では、双方向ランドマーク選択モジュール44は、たとえば、ユーザの現在の場所への近接度を含む候補ランドマークの場所、時刻、気象条件、季節などに対応する可視域に基づいたユーザの現在の場所および/または推定される方位からの可視性、ランドマークの大きさ、ユーザの推定される方位およびランドマークの方位によればランドマークがユーザに直面しているかどうかなどを含むいくつかのメトリックに基づいて、候補視覚ランドマークの各々に可視性スコアまたはランキングを割り当て得る。

次いで、双方向ランドマーク選択モジュール44は、しきい値スコアを上回る可視性スコアを有する候補視覚ランドマークのうちの1つまたは複数を選択し得る。たとえば、3つのランドマークの可視性スコアが、ユーザの現在の場所への近接度、ユーザの現在の場所および/または推定される方位からの可視性、ユーザの推定される方位およびランドマークの方位によればランドマークがユーザに直面しているかどうかなどに基づいて、3つのランドマークの各々がユーザの視野内にあることを示すしきい値スコアを上回るとき、双方向ランドマーク選択モジュール44は、ユーザのクライアントデバイスに提供するために3つのランドマークを選択し得る。一方、1つのみのランドマークがしきい値スコアを上回る可視性スコアを有するとき、双方向ランドマーク選択モジュール44は、ユーザのクライアントデバイス12に提供するためにその1つのランドマークを選択し得る。

次いで、ブロック908において、双方向ランドマーク選択モジュール44は、識別された視覚ランドマークがユーザの視野内にあることをユーザが確認することを求める要求またはユーザが識別された視覚ランドマークを向いているまでユーザが方向転換することを求める要求とともに、識別された視覚ランドマークのインジケーションをクライアントデバイス12に提供し得る。たとえば、双方向ランドマーク選択モジュール44は、ユーザインターフェース28を介してクライアントデバイス12上に表示された、ユーザが真正面にMcDonald's(登録商標)の看板を見ることができることをユーザが確認することを求める要求を提供し得る。

ブロック910において、たとえば、クライアントデバイス12のユーザインターフェース28上で提示されたユーザ制御を介して、識別された視覚ランドマークがユーザの視野内にあることまたはユーザが方向転換して識別された視覚ランドマークを向いていることをユーザが確認した場合、双方向ランドマーク選択モジュール44は、ユーザの正確な場所および方位が現在の場所および/または推定される方位であると判定し得る(ブロック918)。たとえば、McDonald's(登録商標)の看板がユーザの現在の場所の北にある場合、双方向ランドマーク選択モジュール44は、ユーザが北を向いていると判定する。次いで、サーバデバイス14は、地図データ、ナビゲーションデータ、相乗りデータなどをクライアントデバイス12に提供するために、ユーザの正確な場所および方位を使用し得る。たとえば、ユーザが目的地場所までのナビゲーション指示を要求した場合、ナビゲーション命令生成器42は、ユーザの正確な場所から目的地までのルートを生成するために、道路ジオメトリデータ、道路および交差点の制約(たとえば、一方通行、左折禁止)、道路タイプデータ(たとえば、幹線道路、地方道路)、制限速度データなどを地図データベース50から取り出すことができる(ブロック916)。

ナビゲーション命令生成器42は、ナビゲーション命令のシーケンスを生成するために1つまたは複数のルートを使用することができる。初期ナビゲーション命令の場合、「ステートストリートを北に進んでください」などの絶対的な方向を提供する代わりに、ナビゲーション命令生成器42は、双方向ランドマーク選択モジュール44によって判定されたユーザの正確な場所および方位に基づいてユーザを道案内することができる。たとえば、ナビゲーション命令生成器42は、ユーザが北を向いているので、「ステートストリートを直進してください」という初期ナビゲーション命令を生成し得る。初期命令がユーザが南に向かうことを必要とする場合、ナビゲーション命令生成器42は、「McDonald's(登録商標)の看板のところでUターンして、ステートストリートを直進してください」という初期ナビゲーション命令を生成し得る。

ブロック910において、ユーザが識別された視覚ランドマークを自分の視野内で見ておらず、たとえば、クライアントデバイス12のユーザインターフェース28上で提示されたユーザ制御を介して、ユーザが識別された視覚ランドマークを見ていないというインジケーションを提供した場合、双方向ランドマーク選択モジュール44は、クライアントデバイス12の前で実世界画像のカメラビューを提示するARモードに切り替えるようにクライアントデバイス12に要求する。他の実装形態では、クライアントデバイス12は、識別されたランドマークがユーザの視野内にあることを否定するユーザ制御の選択を受信したことに応答して、ARモードに自動的に切り替える。

次いで、双方向ランドマーク選択モジュール44は、クライアントデバイス12のカメラビューから実世界画像を受信し、物体認識を使用して実世界画像内のランドマークを識別する(ブロック912)。より具体的には、双方向ランドマーク選択モジュール44は、視覚ランドマークデータベース52からのテンプレートランドマークの写真などのいくつかのテンプレートランドマークをデータベースから取得し得る。双方向ランドマーク選択モジュール44は、テンプレートランドマークの各々の視覚特徴を識別し得る。いくつかの実装形態では、キーポイントは、テンプレートランドマーク内の縁部などのテンプレートランドマークの高コントラスト領域に位置し得る。バウンディングボックスはキーポイントの周りに形成され得、バウンディングボックスによって作成されたテンプレートランドマークの部分は特徴であり得る。双方向ランドマーク選択モジュール44は、テンプレート特徴ベクトルを生成するために、特徴の幅および高さ、特徴のRGBピクセル値、物体内の特徴の中心点のピクセル位置などの特徴の数値表現を作成し得る。

また、双方向ランドマーク選択モジュール44は、カメラビューの視覚特徴またはカメラビューの物体内の視覚特徴を識別し得る。次いで、双方向ランドマーク選択モジュール44は、カメラビューの特徴ベクトルに最も近いテンプレート特徴ベクトルを有する1つまたは複数のテンプレートランドマークを識別するために、カメラビューの特徴ベクトルまたはカメラビュー内の物体の特徴ベクトルをテンプレート特徴ベクトルと比較し得る。カメラビュー内の識別された物体ごとに、双方向ランドマーク選択モジュール44は、物体の特徴ベクトルに最も近いテンプレート特徴ベクトルを有するテンプレートランドマークを識別し得る。テンプレートランドマークの各々は、カメラビュー内のランドマークとして識別され得る。

次いで、双方向ランドマーク選択モジュール44は、識別された各ランドマークの場所、方位、大きさなどを判定するために、カメラビュー内の識別されたランドマークの地理的情報を、たとえば、視覚ランドマークデータベース52から取り出し得る。識別されたランドマークがWalgreens(登録商標)の看板などの2つ以上の場所を有するとき、双方向ランドマーク選択モジュール44は、ユーザのおおよその現在の場所に最も近い場所の地理的情報を取り出す。他の実装形態では、2つ以上のランドマークがカメラビュー内で識別されるとき、双方向ランドマーク選択モジュール44は、識別されたランドマークの各々を含む地理的エリアに基づいて、識別されたランドマークごとに場所を判定する。たとえば、ジョーのレストランは5つの異なる都市に位置し得るが、ジョーのレストランは5つの都市のうちの1つのみにおいてMcDonald's(登録商標)の隣に位置し得る。McDonald's(登録商標)もカメラビュー内で識別された場合、双方向ランドマーク選択モジュール44は、隣接するMcDonald's(登録商標)を有する都市からジョーのレストランを選択し得る。

いずれにしても、双方向ランドマーク選択モジュール44は、カメラビュー内の識別されたランドマークの場所、方位、高さ、および/または大きさに基づいてユーザの正確な場所および方位を判定する(ブロック914)。より具体的には、識別されたランドマークごとに、双方向ランドマーク選択モジュール44は、ランドマークの大きさに対するカメラビューを有するランドマークの大きさに基づいてユーザとランドマークとの間の距離を判定し得る。ユーザからランドマークまでの距離は、カメラビュー内のランドマークの大きさに比例し得る。ランドマークの寸法に対してカメラビューにおいてより大きく見えるランドマークは、ユーザがランドマークの近くにいることを示し得る。双方向ランドマーク選択モジュール44はまた、ランドマークがカメラビューの前景にあるかまたは背景にあるかに基づいてユーザとランドマークとの間の距離を判定し得る。ランドマークがカメラビューの前景にある場合、ランドマークはランドマークがカメラビューの背景にある場合よりもユーザに近い可能性がある。

ユーザからランドマークまでの距離に基づいて、双方向ランドマーク選択モジュール44は、ユーザが位置する地理的エリアを識別し得、ユーザの正確な場所および/または方位を地理的エリア内の場所として判定し得る。ユーザの正確な場所および/または方位を地理的エリア内の場所として判定するために、双方向ランドマーク選択モジュール44は、カメラビュー内のランドマークの方位を判定し得る。ランドマークがカメラビューのビューポイントに直面している場合、双方向ランドマーク選択モジュール44は、ユーザはランドマークが向いている方向に位置し、ユーザはランドマークが向いている方向とは実質的に反対の方向を向いていると判定し得る。たとえば、ランドマークがカメラビューのビューポイントに直面しており、ランドマークが南を向いている場合、双方向ランドマーク選択モジュール44は、ユーザがランドマークのすぐ南に位置し、北に直面していると判定し得る。次いで、双方向ランドマーク選択モジュール44は、ランドマークからの距離、ランドマークの場所、およびランドマークに対するユーザの方位に基づいてユーザの正確な場所を判定し得る。たとえば、ランドマークがメインストリートとステートストリートの角にあり、ユーザがランドマークのすぐ南50mのところにいる場合、双方向ランドマーク選択モジュール44は、ユーザの正確な場所がメインストリートとステートストリートの角のすぐ南50mの場所であり、ユーザの方位が北であると判定し得る。

ランドマークがカメラビューのビューポイントに直面していない場合、双方向ランドマーク選択モジュール44は、カメラビュー内のランドマークの方位を判定する。次いで、双方向ランドマーク選択モジュール44は、カメラビュー内のランドマークの方位およびランドマークが向いている方向に基づいてランドマークに対するユーザの方位を判定する。加えて、双方向ランドマーク選択モジュール44は、ユーザの方位をランドマークに対するユーザの方向とは実質的に反対の方向として判定し得る。

上記で説明されたように、次いで、サーバデバイス14は、地図データ、ナビゲーションデータ、相乗りデータなどをクライアントデバイス12に提供するために、ユーザの正確な場所および方位を使用し得る。たとえば、ユーザが目的地場所までのナビゲーション指示を要求した場合、ナビゲーション命令生成器42は、ユーザの正確な場所から目的地までのルートを生成するために、道路ジオメトリデータ、道路および交差点の制約(たとえば、一方通行、左折禁止)、道路タイプデータ(たとえば、幹線道路、地方道路)、制限速度データなどを地図データベース50から取り出すことができる(ブロック916)。

ナビゲーション命令生成器42は、ナビゲーション命令のシーケンスを生成するために1つまたは複数のルートを使用することができる。初期ナビゲーション命令の場合、「ステートストリートを北に進んでください」などの絶対的な方向を提供する代わりに、ナビゲーション命令生成器42は、双方向ランドマーク選択モジュール44によって判定されたユーザの正確な場所および方位に基づいてユーザを道案内することができる。たとえば、ナビゲーション命令生成器42は、ユーザが北を向いているので、「ステートストリートを直進してください」という初期ナビゲーション命令を生成し得る。初期命令がユーザが南に向かうことを必要とする場合、ナビゲーション命令生成器42は、「McDonald's(登録商標)の看板のところでUターンして、ステートストリートを直進してください」という初期ナビゲーション命令を生成し得る。

追加の考慮事項
本明細書で説明される例示的な方法の様々な動作は、関連する動作を実施するために(たとえば、ソフトウェアによって)一時的に構成されたまたは恒久的に構成された1つまたは複数のプロセッサによって少なくとも部分的に実施され得る。一時的に構成されるか恒久的に構成されるかにかかわらず、そのようなプロセッサは、1つまたは複数の動作または機能を実施するように動作するプロセッサ実装モジュールを構成し得る。本明細書で言及されるモジュールは、いくつかの例示的な実施形態では、プロセッサ実装モジュールを備え得る。

同様に、本明細書で説明される方法またはルーチンは、少なくとも部分的にプロセッサ実装され得る。たとえば、方法の動作のうちの少なくともいくつかは、1つまたは複数のプロセッサまたはプロセッサ実装ハードウェアモジュールによって実施され得る。動作のうちのいくつかの実施は、単一のマシン内に存在するだけでなく、いくつかのマシンにわたって展開される1つまたは複数のプロセッサ間で分散され得る。いくつかの例示的な実施形態では、1つまたは複数のプロセッサは(たとえば、ホーム環境、オフィス環境内の、またはサーバファームとしての)単一の場所に位置し得るが、他の実施形態では、プロセッサはいくつかの場所にわたって分散され得る。

1つまたは複数のプロセッサはまた、クラウドコンピューティング環境におけるまたはソフトウェアアズアサービス(SaaS)としての関連する動作の実施をサポートするように動作し得る。たとえば、動作のうちの少なくともいくつかは、(プロセッサを含むマシンの例として)コンピュータのグループによって実施され得、これらの動作は、ネットワーク(たとえば、インターネット)を介しておよび1つまたは複数の適切なインターフェース(たとえば、アプリケーションプログラムインターフェース(API))を介してアクセス可能である。

本開示を読めば、当業者は、ナビゲーションにおいて双方向ランドマークを使用するためのシステムについてのさらに追加の代替的な構造的および機能的設計を諒解されよう。このように、特定の実施形態および適用例が示され、説明されてきたが、開示される実施形態は本明細書で開示される正確な構造および構成要素に限定されないことを理解されたい。当業者には明らかであろう様々な修正、変更および変形は、添付の特許請求の範囲に定義された趣旨および範囲から逸脱することなく、構成、動作、ならびに本明細書で開示される方法および装置の詳細において行われ得る。

10 環境
12 クライアントデバイス
14 サーバデバイス
16 通信ネットワーク、ネットワーク
22 処理モジュール
24 メモリ
26 地理的アプリケーション
27 相乗りアプリケーション
28 ユーザインターフェース
30 ネットワークインターフェース
32 測位モジュール、GPSモジュール
42 ナビゲーション命令生成器、構成要素
44 双方向ランドマーク選択モジュール、構成要素
50 地図データベース
52 視覚ランドマークデータベース
54 実世界画像データベース
70 PGEパーク
72 ゴールデンゲートブリッジ
74 Walgreens(登録商標)
200 データテーブル
202 ランドマーク識別子
204 ランドマークの場所
206 ランドマークが向いている方位
208 ランドマークの大きさまたは寸法
210 ランドマークの外観のテキスト記述
212 ランドマークの名前
214 可視域
300 地図表示
302 可視域
304 ランドマーク
400 ナビゲーション表示
402 地図表示
404 ナビゲーション命令
406 Walgreens(登録商標)の看板の描写
450 ナビゲーション表示
452 地図表示
454 ナビゲーション命令
456 Walgreens(登録商標)の看板の描写
500 場所検証表示
502 要求
504 ランドマーク
506 ランドマーク
508 ユーザ制御
510 ユーザ制御
600 カメラビュー
602 ジョーのレストランの看板
700 ナビゲーション表示
702 地図表示
704 ナビゲーション命令

Claims (6)

1. ランドマークを使用してユーザの現在の場所または方位を検証するための方法であって、
   1つまたは複数のプロセッサにおいて、クライアントデバイスから、前記クライアントデバイスのユーザの場所および方位の情報を受信するステップと、
   前記1つまたは複数のプロセッサによって、データベースから、前記場所の情報に対応する、地理的エリア内の物理的物体に対応する複数の視覚ランドマークを取り出すステップと、
   前記1つまたは複数のプロセッサによって、前記ユーザの前記場所および方位の情報に基づいて前記ユーザの視野内の前記複数の視覚ランドマークのうちの1つまたは複数を選択するステップと、
   前記1つまたは複数のプロセッサによって、前記クライアントデバイスに、前記1つまたは複数の視覚ランドマークのインジケーション、および前記1つまたは複数の視覚ランドマークが前記ユーザの視野内にあることを確認するという要求を提供するステップと、
   前記1つまたは複数の視覚ランドマークが前記ユーザの視野内にないというインジケーションを前記クライアントデバイスから受信したことに応答して、
   前記1つまたは複数のプロセッサにおいて、視覚ランドマークを含む、前記クライアントデバイスの視野からの実世界画像を受信するステップと、
   前記1つまたは複数のプロセッサによって、前記実世界画像に基づいて前記ユーザの場所および方位を判定するステップとを含むランドマークを使用してユーザの現在の場所または方位を検証するための方法。
2. 前記実世界画像に基づいて前記ユーザの場所および方位を判定するステップが、
   前記1つまたは複数のプロセッサによって、前記実世界画像に含まれる前記視覚ランドマークを前記データベースからの前記複数の視覚ランドマークと比較するステップと、
   前記1つまたは複数のプロセッサによって、前記実世界画像において前記データベースからの前記複数の視覚ランドマークのうちの1つまたは複数を識別するステップと、
   前記1つまたは複数のプロセッサによって、前記1つまたは複数の識別された視覚ランドマークの1つまたは複数の場所および前記1つまたは複数の識別された視覚ランドマークが向いている1つまたは複数の方位に基づいて前記ユーザの前記場所および方位を判定するステップとを含む、請求項1に記載のランドマークを使用してユーザの現在の場所または方位を検証するための方法。
3. 前記1つまたは複数の識別された視覚ランドマークの1つまたは複数の場所および前記1つまたは複数の識別された視覚ランドマークが向いている1つまたは複数の方位に基づいて前記ユーザの前記場所および方位を判定するステップが、
   前記1つまたは複数のプロセッサによって、前記1つまたは複数の識別された視覚ランドマークの前記1つまたは複数の場所に基づいて、および、前記実世界画像内の前記1つまたは複数の識別された視覚ランドマークの1つまたは複数の大きさに基づいて前記場所を判定するステップと、
   前記1つまたは複数のプロセッサによって、前記実世界画像内の前記1つまたは複数の識別された視覚ランドマークが、前記実世界画像のカメラビューのビューポイントに直面していることに基づいて、前記ユーザの前記方位を前記1つまたは複数の識別された視覚ランドマークが向いている前記1つまたは複数の方位とは反対の方向として判定するステップとを含む、請求項2に記載のランドマークを使用してユーザの現在の場所または方位を検証するための方法。
4. 前記1つまたは複数のプロセッサによって、前記ユーザの前記場所および方位から目的地までのルートを判定するステップと、
   前記1つまたは複数のプロセッサによって、前記ルートに沿って前記目的地まで前記ユーザをガイドするためにナビゲーション命令を提供するステップとをさらに含む、請求項1に記載のランドマークを使用してユーザの現在の場所または方位を検証するための方法。
5. ランドマークを使用してユーザの現在の場所または方位を検証するためのコンピュータ機器であって、
   1つまたは複数のプロセッサと、
   前記1つまたは複数のプロセッサに接続されたコンピュータ可読メモリであって、前記1つまたは複数のプロセッサにより実行されると前記コンピュータ機器に請求項１～４のいずれか一項に記載の方法を実行させる命令を記憶する、コンピュータ可読メモリと、
   を備える、コンピュータ機器。
6. コンピュータ可読メモリであって、前記1つまたは複数のプロセッサにより実行されると前記1つまたは複数のプロセッサに請求項１～４のいずれか一項に記載の方法を実行させる命令を記憶する、コンピュータ可読メモリ。