JP2024503008A - 運転ナビゲーションにおけるサイネージ可視性の明示的手がかり - Google Patents

Abstract

視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提供するために、コンピューティングデバイスは、出発位置から目的位置までのナビゲーション指示を求める、ユーザからの要求を受信し、要求に応答して、出発位置から目的位置まである経路に沿って移動するためのナビゲーション指示のセットを取得する。少なくとも1つのマヌーバについて、コンピューティングデバイスは、そのマヌーバに対応する位置をユーザが識別するのを支援するための視覚的補助を識別し、視覚的補助についての可視性の大きさを決定し、ナビゲーション指示のセット内の、そのマヌーバに対応するナビゲーションインストラクションを、視覚的補助についての可視性の大きさの説明を含むように調整する。コンピューティングデバイスは、調整されたナビゲーションインストラクションを含むナビゲーション指示のセットを、ユーザに提示するために、提供する。

Description

本開示は、ナビゲーション指示に関し、詳細には、ユーザに指示する際に視覚的補助の可視性の説明を提供することに関する。

本明細書において提供される背景技術の記載は、本開示の背景を大まかに提示するためのものである。現在名を連ねている発明者らの、本背景技術セクションにおいて記載されている範囲内の研究、ならびに普通なら出願時に従来技術として見なされない場合のある本記載の態様は、明示的にも黙示的にも、本開示に対する従来技術として認められるものではない。

運転者の地理学的位置間の経路を自動的に定めるシステムは一般に、距離、街路名称、建物番号などの標識を利用して、経路に基づくナビゲーション指示を生成する。例えば、これらのシステムは運転者に、「4分の1マイル進み、次いで右折して、Maple Streetに入ってください」といったインストラクションを提供することができる。しかし、運転者が距離を正確に判断することは困難であり、運転者が街路サインを見ることも常に容易であるとは限らない。さらには、街路および道路のサイネージが不十分な地理学的エリアもある。

別の人物が運転者に話しかけることによりよく似た案内を運転者に提供するために、ナビゲーション指示を、視覚的に際立った建物や広告板など、経路沿いの目立つオブジェクトを参照して強化することが可能である。これらの目立つオブジェクトを街路サインとともに、「視覚的補助」と呼ぶことができる。したがって、システムは、「4分の1マイル先、右側にMcDonald's(登録商標)レストランが見えます。その次の角を右折して、Maple Streetに入ってください」といったナビゲーション指示を生成することができる。このために、オペレータは、システムがナビゲーション指示を生成するときに適切な視覚的補助を自動的に選択することができるように、視覚的補助についての位置の説明および標識(例えば街路の住所、座標)を入力することができる。

しかし、あらゆる視覚的補助がいつも見えるとは限らない。例えば、一部の街路サインは、夜間明るく照明され得るが日中は一般に人目につかない場合がある。一方、建物サインまたは広告板は、日中は容易に気付くことができる場合があるが、夜間は、照明が不十分であり、したがって人目につかない場合がある。

ナビゲーションにおいてユーザを支援するために、サイン可視性インジケータシステムは、ユーザを出発位置から目的位置までナビゲーションするためのナビゲーション指示のセットを取得する。次いで、サイン可視性インジケータシステムは、各ナビゲーションインストラクションについて、マヌーバのための位置または交差点をユーザが識別するのを支援するための、そのナビゲーションインストラクション内に含まれている視覚的補助を識別する。例えば、ナビゲーションインストラクションが「ABC Roadを右折してください」である場合、サイン視覚性インジケータシステムは、ABC Roadの街路サインを視覚的補助として識別する。別の例では、ナビゲーションインストラクションが「Burger King(登録商標)の付近の交差点で右折してください」である場合、サイン可視性インジケータシステムは、Burger King(登録商標)のサインを視覚的補助として識別する。

次いで、サイン可視性インジケータシステムは、視覚的補助についての可視性の大きさを決定する。例えば、サイン可視性インジケータシステムは、視覚的補助を遮蔽しているオブジェクト、視覚的補助のサイズ、視覚的補助に対する照明の量、時刻、時期、気象条件、視覚的補助についての知名度メトリック、視覚的補助に対応する位置において実施されるマヌーバのタイプなどに基づいて、視覚的補助についての可視性メトリックを生成してもよい。サイン可視性インジケータシステムは、可視性メトリックを決定するためのこれらの因子のうちの少なくともいくつかを、視覚的補助を含む地理学的エリアの3次元(3D)パノラマ街路レベル画像を取得することによって、識別してもよい。次いで、サイン可視性インジケータシステムは、街路レベル画像を解析して、視覚的補助を遮蔽しているオブジェクト、視覚的補助のサイズ、視覚的補助に対する照明の量などを識別してもよい。

いくつかの実装形態では、サイン可視性インジケータシステムは、ユーザがナビゲーション指示に基づいて視覚的補助に接近するときに進行している方向を識別してもよい。次いで、サイン可視性インジケータシステムは、識別された方向についての可視性メトリックを生成してもよい。例えば、サイン可視性インジケータシステムは、ユーザが視覚的補助に接近するときのユーザの方位に整合する方位を有する仮想カメラの視点からの、視覚的補助を含む地理学的エリアの3Dパノラマ街路レベル画像を、取得してもよい。

いずれにせよ、サイン可視性インジケータシステムは、ナビゲーションインストラクション内に含めるための視覚的補助の可視性の説明を生成してもよい。例えば、説明は、「このサインは一部が樹木の後ろにあり、見えにくくなっています」であってもよく、あるいは「曲がり角に街路灯がなく、サインが小さいので、早めに減速してください」であってもよい。いくつかの実装形態では、サイン可視性インジケータシステムは、ナビゲーション指示のセット内に含まれるナビゲーションインストラクションのサブセットについての可視性の説明を生成する。例えば、サイン可視性インジケータシステムは、視覚的補助が特に人目につきやすいとき、または視覚的補助が特に見えにくいときに、ユーザにさらなる詳細を提供するために、可視性メトリックが第1のしきい値未満であるかまたは第2のしきい値を上回るときに、視覚的補助についての可視性の説明を生成してもよい。

次いで、サイン可視性インジケータシステムは、視覚的補助の可視性の少なくとも1つの説明を含むナビゲーションインストラクションのセットを、ユーザに提示してもよい。このようにして、ユーザが経路を移動するのを支援するためのさらなる詳細を提供することによって、ナビゲーション指示が改善される。結果として、サイン可視性インジケータシステムは、曲がり角を間違えるなど、ナビゲーション上の誤りの可能性を低下させる。

これらの技法の例示的な一実施形態は、視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提供するための方法である。方法は、出発位置から目的位置までのナビゲーション指示を求める、ユーザからの要求を受信することと、要求に応答して、出発位置から目的位置まである経路に沿って移動するためのナビゲーション指示のセットを取得することとを含む。ナビゲーション指示のセットは、経路沿いの対応する位置における1つまたは複数のマヌーバを含む。少なくとも1つのマヌーバについて、方法は、そのマヌーバに対応する位置をユーザが識別するのを支援するための視覚的補助を識別することと、視覚的補助についての可視性の大きさを決定することと、ナビゲーション指示のセット内の、そのマヌーバに対応するナビゲーションインストラクションを、視覚的補助についての可視性の大きさの説明を含むように調整することとを含む。方法は、調整されたナビゲーションインストラクションを含むナビゲーション指示のセットを、ユーザに提示するために、提供することをさらに含む。

これらの技法の別の例示的な実施形態は、視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提供するためのコンピューティングデバイスである。コンピューティングデバイスは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサに結合され、命令をその上に格納する、コンピュータ可読メモリ(任意選択で非一時的コンピュータ可読メモリ)を含む。命令は、1つまたは複数のプロセッサによって実行されるとコンピューティングデバイスに、出発位置から目的位置までのナビゲーション指示を求める、ユーザからの要求を受信することと、要求に応答して、出発位置から目的位置まである経路に沿って移動するためのナビゲーション指示のセットを取得することとを行わせる。ナビゲーション指示のセットは、経路沿いの対応する位置における1つまたは複数のマヌーバを含む。少なくとも1つのマヌーバについて、命令はコンピューティングデバイスに、そのマヌーバに対応する位置をユーザが識別するのを支援するための視覚的補助を識別することと、視覚的補助についての可視性の大きさを決定することと、ナビゲーション指示のセット内の、そのマヌーバに対応するナビゲーションインストラクションを、視覚的補助についての可視性の大きさの説明を含むように調整することとを行わせる。命令はコンピューティングデバイスに、調整されたナビゲーションインストラクションを含むナビゲーション指示のセットを、ユーザに提示するために、提供することをさらに行わせる。

これらの技法のさらに別の例示的な実施形態は、視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提示するための方法である。方法は、出発位置から目的位置までのナビゲーション指示を求める、ユーザからの要求を受信することと、要求に応答して、出発位置から目的位置まである経路に沿って移動するためのナビゲーション指示のセットを取得することとを含む。ナビゲーション指示のセットは、経路沿いの対応する位置における1つまたは複数のマヌーバを含み、少なくとも1つのナビゲーションインストラクションが、そのナビゲーションインストラクション内に含まれるマヌーバに対応する位置をユーザが識別するのを支援するための視覚的補助、および視覚的補助を見るための可視性の大きさの説明を含む。方法は、視覚的補助についての可視性の大きさの説明を有する少なくとも1つのナビゲーションインストラクションを提示することを含む、ナビゲーション指示のセットを提示することをさらに含む。

クライアントデバイスとサーバデバイスがサイン可視性インジケータシステムを実施するようにその中で動作することのできる、例示的な通信システムのブロック図である。 図1のシステム内に実装することのできる、視覚的補助データベース内に含まれる例示的な視覚的補助データテーブルの図である。 視覚的補助の可視性を決定するために図1のシステム内で解析することのできる、視覚的補助を含む地理学的エリアの例示的な3次元(3D)パノラマ街路レベル画像の図である。 ユーザが視覚的補助に接近するときに進行している方向を決定するために図1のシステム内で解析することのできる経路の例示的なナビゲーション表示の図である。 視覚的補助の可視性の説明を有するナビゲーションインストラクションを含む、クライアントデバイス上に提示された例示的なナビゲーション表示の図である。 サーバデバイスにおいて実施することのできる、視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提供するための例示的な方法のフロー図である。 クライアントデバイスにおいて実施することのできる、視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提示するための例示的な方法のフロー図である。

概要
概して、視覚的補助の可視性の標識をナビゲーション中に提供するための技法は、1つまたは複数のクライアントデバイス、1つまたは複数のネットワークサーバ、またはこれらのデバイスの組合せを含むシステム内に実装することができる。しかし、分かりやすいように、以下の例では、主として、出発位置から目的位置までのナビゲーション指示を求める要求をクライアントデバイスがサーバデバイスに送信する実施形態に焦点を当てる。次いで、サーバデバイスは、経路沿いの対応する位置におけるマヌーバを含むナビゲーション指示のセットを取得する。各マヌーバについて、ナビゲーション指示のセットは、そのマヌーバを実施するための交差点をユーザが識別するのを支援するための、街路サインや建物サインなどの視覚的補助を含んでもよい。

次いで、サーバデバイスは、例えばユーザがナビゲーション指示に従って視覚的補助を見るときに面しているであろう方向からの視覚的補助の可視性の大きさを決定してもよい。例えば、サーバデバイスは、視覚的補助を遮蔽しているオブジェクト、視覚的補助のサイズ、視覚的補助に対する照明の量、時刻、時期、気象条件、視覚的補助についての知名度メトリック、視覚的補助に対応する位置において実施されるマヌーバのタイプなどに基づいて、視覚的補助についての可視性メトリックを生成してもよい。

1つまたは複数のマヌーバについて、サーバデバイスは、決定された可視性の大きさに基づいて、対応するナビゲーションインストラクション内に含めるための視覚的補助の可視性の説明を生成してもよい。次いで、サーバデバイスは、視覚的補助の可視性の説明を含むナビゲーション指示のセットを、ユーザに提示するために、クライアントデバイスに提供する。

例示的なハードウェアコンポーネントおよびソフトウェアコンポーネント
図1は、視覚的補助の可視性の説明をナビゲーション中に提供するための技法のうちの少なくともいくつかをその中に実装することのできる環境10を示す。環境10は、通信ネットワーク16を介して相互接続されたクライアントデバイス12およびサーバデバイス14を含む。ネットワーク16は、インターネットなどのパブリックネットワークであってもよく、あるいはイントラネットなどのプライベートネットワークであってもよい。サーバデバイス14は、さまざまなデータベースと、またナビゲーションサーバ、地図データサーバ、ライブトラフィックサーバ、気象サーバなど、他のサーバデバイスと、通信することができる。

サーバデバイス14は、視覚的補助、ならびに視覚的補助の位置および高さ、視覚的補助が面する方位、視覚的補助のサイズ、視覚的補助の外観、視覚的補助の名称など、各視覚的補助についての地理学的情報を格納するデータベース52に、通信可能に結合することができる。これについては、下で図2を参照してより詳細に説明する。サーバデバイス14は、地図データベース50、およびさまざまな地理学的エリアについての現実世界画像を格納する現実世界画像データベース54にも、通信可能に結合することができる。

クライアントデバイス12は、スマートフォン、スマートウォッチやヘッドマウントディスプレイなどのウェアラブルデバイス、またはタブレットコンピュータなどの、ポータブル電子デバイスを含むことができる。クライアントデバイス12は、処理モジュール22を含んでもよく、処理モジュール22は、1つもしくは複数の中央処理装置(CPU)、グラフィックコンテンツを効率的にレンダリングするための1つもしくは複数のグラフィック処理装置(GPU)、特定用途向け集積回路(ASIC)、または他の任意の適切なタイプの処理ハードウェアを含むことができる。さらに、クライアントデバイス12は、永続的(例えばハードディスク、フラッシュドライブ)コンポーネントおよび/または非永続的(例えばRAM)コンポーネントからなるメモリ24を含むことができる。図1に示す例示的な実装形態では、メモリ24は、「マッピングアプリケーション26」とも呼ぶことのできる地理学的アプリケーション26を実施する命令を格納する。

さらに、クライアントデバイス12は、カメラ(図示せず)、ユーザインターフェース28、およびネットワークインターフェース30を含む。いずれの場合にも、ユーザインターフェース28は、タッチスクリーン、マイクロホン、キーボードなどの1つまたは複数の入力コンポーネント、ならびにスクリーンやスピーカなどの1つまたは複数の出力コンポーネントを含むことができる。

ネットワークインターフェース30は、短距離および/または長距離通信をサポートすることができる。例えば、ネットワークインターフェース30は、セルラー通信、IEEE802.11(例えばWi-Fi)や802.15(Bluetooth)などのパーソナルエリアネットワークプロトコルをサポートすることができる。いくつかの実装形態では、クライアントデバイス12は、クライアントデバイス12内の複数のデバイスを相互接続するための、かつクライアントデバイス12をネットワーク16に接続するための、複数のネットワークインターフェースモジュールを含む。

さらに、ネットワークインターフェース30は、いくつかの場合には、無線位置測定をサポートすることができる。例えば、ネットワークインターフェース30は、Wi-Fi三角測量をサポートすることができる。他の場合には、クライアントデバイス12は、GPSモジュールなど、専用の測位モジュール32を含むことができる。クライアントデバイス12は、加速度計、ジャイロスコープ、コンパスなどの磁力計など、他のセンサを含むこともできる。

引き続き図1を参照すると、クライアントデバイス12はサーバデバイス14と、インターネットなどの広域ネットワークとすることのできるネットワーク16を介して通信することができる。サーバデバイス14は、複数の地理学的位置にわたって分散されたデバイスを含む1つまたは複数のサーバデバイス内に実装することができる。サーバデバイス14は、ナビゲーションインストラクションジェネレータ42およびサイン可視性インジケータモジュール44を実装することができる。これらのコンポーネント42～44は、ハードウェア、ファームウェア、およびソフトウェアの任意の適切な組合せを使用して実装することができる。サーバデバイスは、任意の適切なデータ格納およびアクセス技法を使用して実装することのできる、地図データベース50、視覚的補助データベース52、および現実世界画像データベース54などのデータベースにアクセスすることができる。

動作の際には、サイン可視性インジケータモジュール44は、ナビゲーション指示を求める要求をクライアントデバイス12から受信することができる。サイン可視性インジケータモジュール44は、出発位置から目的位置まである経路に沿って進行するためのナビゲーション指示のセットを、例えばナビゲーションジェネレータ42から取得してもよい。次いで、サイン可視性インジケータモジュール44は、ナビゲーション指示のセット内に含まれる街路名称、建物、または他のランドマークを、視覚的補助として識別してもよい。次いで、サイン可視性インジケータモジュール44は、経路沿いのさまざまな位置からそれらの視覚的補助に接近するユーザの視点からそれらの視覚的補助を見るための可視性の大きさを決定してもよい。より具体的には、サイン可視性インジケータモジュール44は、それらの視覚的補助を含む地理学的エリアの3Dパノラマ街路レベル画像を、現実世界データベース54から取り出してもよい。サイン可視性インジケータモジュール44は、街路レベル画像を解析して、視覚的補助を遮蔽しているオブジェクト、視覚的補助のサイズ、視覚的補助に対する照明の量などを識別し、解析の結果を視覚的補助データベース52内に格納してもよい。次いで、サイン可視性インジケータモジュール44は、視覚的補助の可視性の説明を生成してもよい。

視覚的補助データベース52は、運転(または自転車運転、徒歩、もしくはその他の方法でのナビゲーション経路に沿った移動)の際に可視であり、したがって視覚的補助としての役割を果たすことのできる、目立つ地理学的エンティティに関する情報を格納することができる。例えば、視覚的補助データベース52は、Mila Streetのサイン70、DenverのWalgreens(登録商標)のサイン72、Willow Creek Dr.の街路サイン74、および他の任意の適切な視覚的補助についての地理学的情報など、視覚的補助についての地理学的情報を格納することができる。

各視覚的補助について、視覚的補助データベース52は、1つまたは複数の写真、2次元または3次元の地理学的座標、視覚的補助の高さ、視覚的補助が面する方位、視覚的補助のサイズ、視覚的補助の外観、視覚的補助の名称などを格納することができる。視覚的補助データベース52を埋めるために、サーバデバイス14は、衛星画像、さまざまなユーザによってサブミットされた写真およびビデオ、特殊なパノラマカメラを装備した車両によって収集された街路レベル画像、歩行者および自転車運転者によって収集された街路および歩道の画像などを、例えば現実世界データベース54から受け取ることができる。同様に、視覚的補助データベース52は、視覚的補助の説明を、サーバデバイス14のオペレータやユーザ生成のコンテンツをサブミットする人々など、さまざまな供給元から受け取ることができる。

次いで、サイン可視性インジケータモジュール44は、街路サイン、建物サイン、柱、街路灯、樹木、建物、道路、車両など、街路レベル画像内のオブジェクトを識別してもよい。次いで、サイン可視性インジケータモジュール44は、オブジェクトの位置を視覚的補助の位置と比較して、視覚的補助を遮蔽しているオブジェクトを識別してもよい。サイン可視性インジケータモジュール44は、オブジェクトを、物体認識技法、セマンティックセグメンテーション、および/または機械学習技法を使用して識別してもよい。より具体的には、サイン可視性インジケータモジュール44は、いくつかのテンプレートオブジェクトの画像データをデータベースから、機械学習モデルをトレーニングするためのトレーニングデータとして取得してもよく、その際、それらのオブジェクトのオブジェクトタイプは既知である。テンプレートオブジェクトは、街路サイン、建物サイン、柱、街路灯、樹木、建物、道路、車両など、さまざまなオブジェクトタイプを有してもよい。

サイン可視性インジケータモジュール44は、各テンプレートオブジェクトの視覚的諸特徴を識別してもよい。テンプレートオブジェクトの諸特徴は、テンプレートオブジェクトのエッジの幾何形状、テンプレートオブジェクト内のRGB画素値または色、テンプレートオブジェクト内の隣接する異なる位置におけるRGB画素値の変化などを含んでもよい。これらの特徴は、ブレ、動き、歪み、向き、照明、拡大縮小、および/またはカメラ視点の他の変化にかかわらず検出可能である、テンプレートオブジェクト内の安定領域を検出することによって、識別されてもよい。安定領域は、スケール不変特徴変換(SIFT)、speeded up robust features(SURF)、fast retina keypoint(FREAK)、binary robust invariant scalable keypoints(BRISK)、または他の任意の適切なコンピュータビジョン技法を使用して、テンプレートオブジェクトから抽出されてもよい。いくつかの実装形態では、キーポイントが、テンプレートオブジェクト内のエッジなど、テンプレートオブジェクトの高コントラスト領域に位置付けられてもよい。キーポイントの周りにバウンディングボックスが形成されてもよく、またテンプレートオブジェクトの、バウンディングボックスによって作り出された部分が、特徴であってもよい。

機械学習モデルは、街路サイン、建物サイン、柱、街路灯、樹木、建物、道路、車両などのさまざまなオブジェクトタイプに対応するテンプレートオブジェクトの諸特徴に基づいて生成されてもよい。機械学習モデルは、サインについての第1の特徴セット、建物についての第2の特徴セット、街路灯についての第3の特徴セット、樹木についての第4の特徴セット、道路についての第5の特徴セット、車両についての第6の特徴セットなど、各オブジェクトタイプについての特徴セットを含んでもよい。例えば、オブジェクトの色が、そのオブジェクトの幅、そのオブジェクトの色階調、および/またはそのオブジェクトの他の視覚的特徴とともに、テンプレート諸特徴として格納されてもよい。

次いで、サイン可視性インジケータモジュール44は、1つまたは複数のオブジェクトに対応する街路レベル画像の一部分についての画像データを取得し、その1つまたは複数のオブジェクトの諸特徴を、上述したのと同様の技法を使用して識別してもよい。サイン可視性インジケータモジュール44は、街路レベル画像内のオブジェクトについて識別された諸特徴を、画像分類および/または機械学習技法を使用して比較してもよい。機械学習技法は、線形回帰、多項式回帰、ロジスティック回帰、ランダムフォレスト、ブースティング、最近傍、ベイジアンネットワーク、ニューラルネットワーク、サポートベクタマシン、または他の任意の適切な機械学習技法を含んでもよい。機械学習モデルからのテンプレート諸特徴がそれぞれ、オブジェクトの諸特徴と比較されてもよい。

いくつかの実施形態では、テンプレート諸特徴がオブジェクトの諸特徴と、最近傍アルゴリズムを使用して比較されてもよい。最近傍アルゴリズムは、そのオブジェクトの諸特徴に最も近いテンプレート諸特徴を、諸特徴の数値表現を作成して、オブジェクトの画素の幅および高さ、そのオブジェクトについてのRGB画素値、そのオブジェクト内の色階調などの特徴ベクトルを生成することによって、識別してもよい。そのオブジェクトの諸特徴の数値表現または特徴ベクトルは、そのオブジェクトと各テンプレートオブジェクトの諸特徴相互間のベクトル距離を決定するために、各テンプレートオブジェクトの特徴ベクトルと比較されてもよい。次いで、サイン可視性インジケータモジュール44は、オブジェクトのオブジェクトタイプを、そのオブジェクトの諸特徴と特定のオブジェクトタイプを表す各テンプレートオブジェクトの諸特徴との間の類似性の大きさ、または最近傍アルゴリズムにおけるベクトル距離に基づいて、決定してもよい。例えば、街路レベル画像内のオブジェクトについて、サイン可視性インジケータモジュール44は、そのオブジェクトの特徴ベクトルに最も近いテンプレート特徴ベクトルを有する上位3つのテンプレートオブジェクトを識別してもよい。識別された1つまたは複数のテンプレートオブジェクトの大多数が街路サインである場合、サイン可視性インジケータモジュール44は、街路レベル画像内のそのオブジェクトを街路サインとして識別してもよい。サイン可視性インジケータモジュール44は、街路レベル画像内の複数のオブジェクトについて、このプロセスを反復してもよい。

次いで、サーバデバイス14は、オブジェクトの位置を視覚的補助の位置と比較して、視覚的補助を遮蔽しているオブジェクトを識別してもよい。サイン可視性インジケータモジュール44はまた、街路レベル画像内の街路灯オブジェクトを識別し、街路灯オブジェクトの位置を視覚的補助の位置と比較して、視覚的補助に対する照明の量を決定してもよい。それに加えて、サイン可視性インジケータモジュール44は、照明に関連する他のオブジェクトの位置を視覚的補助の位置と比較して、視覚的補助に対する照明の量を決定してもよい。

いずれにせよ、サーバデバイス14は、視覚的補助を遮蔽しているオブジェクトおよび/または視覚的補助の位置に対するオブジェクトの位置に基づいて、視覚的補助についての遮蔽メトリックを生成してもよい。例えば、樹木が、街路サインの下部部分を覆うことによって、視覚的補助を部分的に遮蔽している場合があり、その結果、視覚的補助を完全に遮蔽している建物よりも遮蔽メトリックが低くなる場合がある。サーバデバイス14はまた、視覚的補助についての遮蔽メトリック、視覚的補助のサイズ、視覚的補助の高さ、視覚的補助の位置、視覚的補助が面する方位、視覚的補助に対する照明の量、時刻、時期、気象条件、視覚的補助についての知名度メトリック、視覚的補助に対応する位置において実施されるマヌーバのタイプなどの任意の適切な組合せに基づいて、視覚的補助についての可視性メトリックを生成してもよい。

例えば、視覚的補助のより高いレベルの遮蔽を意味する遮蔽メトリックの増大に伴い可視性が低減するという点で、可視性メトリックは遮蔽メトリックに反比例してもよい。さらに、可視性メトリックは、霧、雨、曇り、または雪の気象条件に基づいて低減されてもよく、一方で、可視性メトリックは、快晴の気象条件時に増大してもよい。

さらに、可視性メトリックは、照明レベルメトリック、時刻、および時期に基づいて調整されてもよい。時刻および/または時期に基づいて決まる日中は、可視性メトリックは夜間よりも高くてもよい。しかし、可視性メトリックは、照明レベルが上がるときは、夜間増大してもよい。照明レベルメトリックも、ビジネスサイン(business sign)が営業時間の間は点灯されるが店舗が閉まった後は消される場合のあるときは、時刻および/または時期に応じて変わってもよい。

さらに、可視性メトリックは、視覚的補助の位置、視覚的補助が面する方位、および視覚的補助に対応する位置において実施されるマヌーバのタイプに基づいて調整されてもよい。例えば、視覚的補助はユーザの左側にあるが、マヌーバのタイプは右折である場合、マヌーバの方向とは離れたオブジェクトを見ることが困難であるため、可視性メトリックは低減されてもよい。

視覚的補助データベース52内に含まれる各視覚的補助についての例示的な地理学的情報インデックスを含むデータテーブル200が、図2に示されている。次いで、各視覚的補助についての地理学的情報を使用して、視覚的補助についての可視性メトリックおよび/または視覚的補助の可視性の説明を生成してもよい。

各ランドマークについて、データテーブル200は、視覚的補助識別子202、2次元または3次元の地理学的座標および視覚的補助の高さを含む視覚的補助の位置204、視覚的補助が面する方位206、視覚的補助のサイズまたは寸法208、視覚的補助の外観210のテキストによる説明、視覚的補助の名称212、ならびにオブジェクトが視覚的補助を遮蔽しているかどうか、またオブジェクトが視覚的補助を遮蔽している程度を示す視覚的補助についての遮蔽メトリック214を含む。例えば、遮蔽メトリック214は、1～100のスコアであってもよく、ただしスコア1は、視覚的補助への見通しが効くこと、および視覚的補助を遮蔽しているどんなオブジェクトもないことを示す。スコア100は、視覚的補助が、建物や樹木など、他のオブジェクトによって完全に遮蔽されていることを示し、1から100の間のスコアは、視覚的補助が部分的に遮蔽されていることを示してもよい。

データテーブル200はまた、特定の視覚的補助の知名度または人気度の大きさを示す、視覚的補助についての知名度メトリック(図示せず)を含んでもよい。例えば、McDonald's(登録商標)は、McDonald'sレストランをよく知っておりそれを認識することのできる人々の数に基づいて、高い知名度メトリックを有してもよい。一方、地方のビジネスは、より低い知名度メトリックを有してもよい。より高い知名度メトリックを有する視覚的補助のほうが、さらに離れたところから認識されることが可能であるので、より高い可視性を有してもよい。

それに加えて、データテーブル200は、視覚的補助に存在する光の量を示す、視覚的補助についての照明レベルメトリック(図示せず)を含んでもよい。照明レベルメトリックは、街路灯に近接しているかまたは明るく照らされたサインを有する視覚的補助の場合のほうが、街路灯に近接していないかまたは薄暗く照らされたサインを有する視覚的補助の場合よりも高くてもよい。照明レベルメトリックは、時刻に基づいて変化してもよい。例えば、ビジネスサインは、営業時間の間は点灯されるが店舗が閉まった後は消される場合がある。したがって、ビジネスサインについての照明レベルメトリックは、営業時間の間のほうが、店舗が閉まっている時間の間よりも高くてもよい。

例えば、データテーブル200の第1の入力は、Walgreens(登録商標)のサインについての地理学的情報を含む。データテーブル200によれば、Walgreens(登録商標)のサインは、高さ5mに位置付けられており、東に面している。Walgreens(登録商標)のサインは、幅4m、長さ2mであり、白色の筆記体文字および赤色の背景を含む。Walgreens(登録商標)のサインについての遮蔽メトリックは、サインが例えば他の建物、樹木などによって遮蔽されていることを示す、1～100のスケール上の95である。

視覚的補助についての遮蔽メトリックは、例として、その視覚的補助が位置付けられている地理学的エリアに関連する3次元モデルにアクセスすることによって決定することができる。モデルは、視覚的補助の3次元表現を含むことができる。一実装形態では、3次元モデルは、視覚的補助に関連する複数のメッシュ三角形(mesh triangle)を含む、地理学的エリアの立体メッシュモデル(stereo mesh model)とすることができる。モデルはまた、バーチャルグローブアプリケーション(virtual globe application)において提供される合成モデルなど、地理学的エリア内の地理学的特徴または他のランドマークの合成モデルを含むことができ、またはそれにアクセスすることができる。モデルは、3次元モデル内の表面にマッピングされたテクスチャを含むこともできる。テクスチャは、地理学的エリアに関連する写真または他の画像を含むことができ、地理学的エリア内の視覚的補助の可視性を遮蔽することが可能である樹木(葉ありまたは葉なし)、橋の構脚、および他の構造物などの地理学的オブジェクトを描くことができる。

図3は、視覚的補助302(Joe's Restaurant)を含む地理学的エリアの例示的な3Dパノラマ街路レベル画像300を示す。サーバデバイス14は、街路レベル画像300を物体認識および/またはセマンティックセグメンテーション技法を使用して解析して、街路レベル画像300内のオブジェクトを識別し、各オブジェクトのオブジェクトタイプを決定する。例えば、サーバデバイス14は、街路レベル画像300を解析して、視覚的補助としての街路サイン302、送電線304、および街路灯306を識別する。次いで、サーバデバイス14は、街路レベル画像内での各オブジェクト302～306のポジションを決定する。例えば、サーバデバイス14は、現実世界画像内での各オブジェクト302～306のポジションを、街路レベル画像を描く仮想カメラの視錐台を識別し、街路レベル画像内の画素に対して視錐台内での位置をマッピングすることによって、決定してもよい。次いで、サーバデバイス14は、オブジェクト304、306のポジションをビジネスサインオブジェクト302のポジションと比較して、オブジェクト304、306がビジネスサインオブジェクト302を遮蔽している程度を決定してもよい。この場合、いかなるオブジェクトもビジネスサインオブジェクト302を遮蔽していないようであり、したがって、ビジネスサインオブジェクト302についての遮蔽メトリックは、1～100のスケール上のスコア1であってもよく、あるいはビジネスサインオブジェクト302が遮蔽されていないことをその他の方法で示してもよい。それに加えて、サーバデバイス14は、オブジェクト304、306のポジションをビジネスサインオブジェクト302のポジションと比較して、ビジネスサインオブジェクト302の照明レベルを決定してもよい。このシナリオでは、街路灯306は、ビジネスサインオブジェクト302に近接しておらず、その結果、ビジネスサインオブジェクト302についての照明レベルメトリックが低くなる場合がある。サーバデバイス14はまた、ビジネスサインオブジェクト302がそれ自体の照明を有する(例えばビジネスサインがネオンサインである)かどうかを判定してもよく、またそれに応じて照明レベルメトリックを調整してもよい。

さらに、サーバデバイス14は、視覚的補助を見るためにさまざまな方位から視覚的補助についての別々の遮蔽メトリックおよび/または照明レベルメトリックを生成してもよい。例えば、ユーザが視覚的補助を見るときに東に進行している場合、サーバデバイス14は、東からの視覚的補助を見るための遮蔽メトリックおよび/または照明レベルメトリックを生成してもよい。別々の遮蔽メトリックおよび/または照明レベルメトリックを生成するために、サーバデバイス14は、複数の方位または位置を有する複数の仮想カメラの複数の視点からの、視覚的補助の3Dパノラマ街路レベル画像を取得してもよい。次いで、サーバデバイス14は、ユーザが視覚的補助に接近するときに面している方位に対応する方位を有する仮想カメラの視点から、視覚的補助の3Dパノラマ街路レベル画像を解析して、視覚的補助についての遮蔽メトリックおよび/または照明レベルメトリックを決定してもよい。

ユーザが視覚的補助に接近するときに面している方位を決定するために、サーバデバイス14は、ナビゲーション指示のセットを解析して、ユーザが視覚的補助に接近するときにユーザが経路に沿って進行している方向を決定してもよい。図4は、出発位置402から目的位置412に至る経路406の例示的な表示400を示す。サーバデバイス14は、経路406沿いの位置および/またはマヌーバを解析して、ユーザが視覚的補助に接近するときに進行している方向を決定してもよい。次いで、サーバデバイス14は、ユーザが視覚的補助に接近するときに面している方位に対応する方位を有する仮想カメラの視点からの、視覚的補助の3Dパノラマ街路レベル画像を取得して、視覚的補助についての遮蔽メトリックおよび/または照明レベルメトリックを決定してもよい。

いずれにせよ、サーバデバイス14は、視覚的補助の写真、視覚的補助の2次元または3次元の地理学的座標、視覚的補助の高さ、視覚的補助が面する方位、視覚的補助に対応する位置において実施されるマヌーバのタイプ、視覚的補助のサイズ、視覚的補助についての遮蔽メトリック、視覚的補助についての照明レベルメトリック、視覚的補助についての知名度メトリックなどを含む、各視覚的補助についての地理学的情報を、さまざまな気象条件についてかつ/またはさまざまな時刻において使用して、例えばユーザがナビゲーション指示に従って視覚的補助に接近しているであろう方位からの視覚的補助についての可視性メトリックを生成してもよい。

次いで、サーバデバイス14は、可視性メトリックによる、視覚的補助における可視性の大きさの説明を生成してもよい。視覚的補助における可視性の大きさの説明は、照明レベルメトリックによる、視覚的補助を見るための照明レベルの説明、遮蔽メトリックによる、視覚的補助を遮蔽しているオブジェクトの説明、視覚的補助のサイズの説明、ユーザに対する視覚的補助の位置の説明(例えば「街路サインは街路の右側にあります」)、または視覚的補助における可視性の大きさの他の任意の適切な説明を含んでもよい。さらに、視覚的補助における可視性の大きさの説明は、「早めに減速してください」など、視覚的補助における可視性の大きさに基づく推奨を含んでもよい。

より具体的には、視覚的補助についての可視性メトリックが例えば第1のしきい値未満であるとき、サーバデバイス14は、視覚的補助の低可視性が生じていることを示す説明を生成してもよい。視覚的補助についての可視性メトリックが第1のしきい値を上回るが第2のしきい値未満であるとき、サーバデバイス14は、視覚的補助の部分的な可視性が生じていることを示す説明を生成してもよい。視覚的補助についての可視性メトリックが第2のしきい値を上回るとき、サーバデバイス14は、視覚的補助の高可視性が生じていることを示す説明を生成してもよい。別の例では、視覚的補助についての可視性メトリックがしきい値可視性メトリック未満であり、かつその視覚的補助のサイズがしきい値サイズ未満であるとき、サーバデバイス14は、視覚的補助が小さいため視覚的補助の低可視性が生じていることを示す説明を生成してもよい。さらに別の例では、視覚的補助についての可視性メトリックがしきい値可視性メトリック未満であり、かつその視覚的補助についての照明レベルメトリックがしきい値照明レベルメトリック未満であるとき、サーバデバイス14は、視覚的補助が不十分に照らされているため視覚的補助の低可視性が生じていることを示す説明を生成してもよい。別の例では、視覚的補助についての可視性メトリックがしきい値可視性メトリック未満であり、かつその視覚的補助についての遮蔽メトリックがしきい値遮蔽メトリック未満であるとき、サーバデバイス14は、視覚的補助が遮蔽されているかまたは少なくとも部分的に遮蔽されているため視覚的補助の低可視性が生じていることを示す説明を生成してもよく、また視覚的補助を遮蔽しているオブジェクトについて説明してもよい。

いくつかの実装形態では、サーバデバイス14は、ナビゲーション指示のセット内の視覚的補助のサブセットについての可視性の説明を生成してもよい。例えば、サーバデバイス14は、第1のしきい値を上回るかまたは第2のしきい値未満の可視性メトリックを有する少なくとも1つの視覚的補助についての可視性の説明を生成してもよい。このようにして、ナビゲーション指示は、特に人目につきやすい、または特に見えにくい視覚的補助についてのさらなる詳細を、ユーザに提供してもよい。別の例では、サーバデバイス14は、ナビゲーション指示のセット内の視覚的補助のランク付けを、それらのそれぞれに対応する可視性メトリックに従ってしてもよい。次いで、サーバデバイス14は、しきい値ランキングより上にランク付けされた視覚的補助(例えば上位3位の視覚的補助)を選択してもよく、また選択された視覚的補助についての可視性の説明を生成してもよい。

いずれにせよ、次いで、サーバデバイス14は、ナビゲーションインストラクションをユーザが実施するのを支援するための視覚的補助の可視性の大きさの説明を有する1つまたは複数のナビゲーションインストラクションを含んだナビゲーション指示のセットを、クライアントデバイス12上に表示するために、提供する。図5は、ユーザのクライアントデバイス12上に提示された例示的なナビゲーション表示500を示す。ナビゲーション表示500は、マヌーバ(「左折してください」)を実施するようにユーザに指示し、マヌーバを実施するための位置(ユーザがState Streetに接近する交差点)をユーザが識別するのを支援するための視覚的補助(例えばState Streetのサイン)を参照する、ナビゲーションインストラクションを含む。ナビゲーションインストラクションは、視覚的補助の可視性の大きさのテキストによる説明502(例えば「街路灯がなく、サインが小さいので、早めに減速してください」)も含む。クライアントデバイス12は、テキストによる説明を提供することに加えて、例えば視覚的補助の可視性の大きさのオーディオによる説明を、クライアントデバイス12のスピーカを介して提示してもよい。

視覚的補助の可視性の標識をナビゲーション中に提供するための例示的な方法
図6は、視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提供するための例示的な方法600のフロー図を示す。方法は、コンピュータ可読メモリ上に格納され、サーバデバイス14の1つまたは複数のプロセッサにおいて実行可能な、命令のセットとして実装することができる。例えば、方法は、ナビゲーションインストラクションジェネレータ42および/またはサイン可視性インジケータモジュール44によって実装することができる。

ブロック602において、出発位置から目的位置までのナビゲーション指示を求める要求が受信される。要求を受信したことに応答して、サーバデバイス14は、目的位置まである経路に沿って進行するためのナビゲーション指示のセットを、ナビゲーションインストラクションジェネレータ42を介して取得してもよい(ブロック604)。ナビゲーション指示のセットは、左折してください、右折してください、そのまま直進してくださいなど、経路沿いの対応する位置におけるマヌーバを含んでもよい。マヌーバを実施するための位置をユーザが識別するのを支援するために、ナビゲーション指示のセットは、マヌーバを実施するための位置に近接した街路サイン、建物サインなどの視覚的補助を参照してもよい。

ブロック606において、サーバデバイス14は、マヌーバを実施するための位置をユーザが識別するのを支援するための、ナビゲーション指示のセット内で参照された視覚的補助を、識別する。次いで、サーバデバイス14は、視覚的補助を見るための可視性の大きさを決定する(ブロック608)。より具体的には、サーバデバイス14は、視覚的補助を含む地理学的エリアの3Dパノラマ街路レベル画像を、現実世界データベース54から取り出してもよい。いくつかの実装形態では、サーバデバイス14は、ユーザが視覚的補助に接近するときに面している方位に対応する方位を有する仮想カメラの視点からのものである、3Dパノラマ街路レベル画像を取り出してもよい。ユーザが視覚的補助に接近するときに面している方位を決定するために、サーバデバイス14は、ナビゲーション指示のセットを解析して、ユーザが視覚的補助に接近するときにユーザが経路に沿って進行している方向を決定してもよい。例えば、視覚的補助を参照するナビゲーションインストラクションの前の、先行するナビゲーションインストラクションが、左折してMain Streetに入るというものであり、その結果、ユーザが東に向かう場合、サーバデバイス14は、ユーザが東に面して西から視覚的補助に接近すると決定してもよい。

いずれにせよ、サーバデバイス14は、3Dパノラマ街路レベル画像を解析して、視覚的補助を遮蔽しているオブジェクト、視覚的補助のサイズ、視覚的補助に対する照明の量などを識別し、また解析の結果を視覚的補助データベース52内に格納してもよい。次いで、サーバデバイス14は、視覚的補助の高さ、視覚的補助の位置、視覚的補助が面する方位、視覚的補助のサイズ、視覚的補助に対応する位置において実施されるマヌーバのタイプ、視覚的補助についての遮蔽メトリック、視覚的補助についての照明レベルメトリック、視覚的補助についての知名度メトリック、視覚的補助における気象条件、時刻、時期などの、任意の適切な組合せに基づいて、視覚的補助の可視性の大きさを決定してもよい。

ブロック610において、サーバデバイス14は、ナビゲーションインストラクションを、視覚的補助についての可視性の大きさの説明を含むように調整する。視覚的補助における可視性の大きさの説明は、照明レベルメトリックによる、視覚的補助を見るための照明レベルの説明、遮蔽メトリックによる、視覚的補助を遮蔽しているオブジェクトの説明、視覚的補助のサイズの説明、ユーザに対する視覚的補助の位置の説明(例えば「街路サインは街路の右側にあります」)、または視覚的補助における可視性の大きさの他の任意の適切な説明を含んでもよい。さらに、視覚的補助における可視性の大きさの説明は、「早めに減速してください」など、視覚的補助における可視性の大きさに基づく推奨を含んでもよい。

いくつかの実装形態では、サーバデバイス14は、ナビゲーション指示のセット内の視覚的補助のサブセットについての可視性の説明を生成してもよい。例えば、サーバデバイス14は、第1のしきい値を上回るかまたは第2のしきい値未満の可視性メトリックを有する少なくとも1つの視覚的補助についての可視性の説明を生成してもよい。このようにして、ナビゲーション指示は、特に人目につきやすい、または特に見えにくい視覚的補助についてのさらなる詳細を、ユーザに提供してもよい。別の例では、サーバデバイス14は、ナビゲーション指示のセット内の視覚的補助のランク付けを、それらのそれぞれに対応する可視性メトリックに従ってしてもよい。次いで、サーバデバイス14は、しきい値ランキングより上にランク付けされた視覚的補助(例えば上位3位の視覚的補助)を選択してもよく、また選択された視覚的補助についての可視性の説明を生成してもよい。

いずれにせよ、次いで、サーバデバイス14は、ナビゲーションインストラクションをユーザが実施するのを支援するための視覚的補助の可視性の大きさの説明を有する1つまたは複数のナビゲーションインストラクションを含んだナビゲーション指示のセットを、クライアントデバイス12上に表示するために、提供する(ブロック612)。

図7は、視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提示するための例示的な方法700のフロー図を示す。方法は、コンピュータ可読メモリ上に格納され、クライアントデバイス12の1つまたは複数のプロセッサにおいて実行可能な、命令のセットとして実装することができる。例えば、方法は、地理学的アプリケーション26によって実装することができる。

ブロック702において、出発位置から目的位置までのナビゲーション指示を求める要求が受信される。要求を受信したことに応答して、クライアントデバイス12は、目的位置まである経路に沿って進行するためのナビゲーション指示のセットを取得してもよい(ブロック704)。例えば、クライアントデバイス12は、要求をサーバデバイス14に送信してもよく、またサーバデバイス14からナビゲーション指示のセットを受信してもよい。ナビゲーション指示のセットは、左折してください、右折してください、そのまま直進してくださいなど、経路沿いの対応する位置におけるマヌーバを含んでもよい。マヌーバを実施するための位置をユーザが識別するのを支援するために、ナビゲーション指示のセットは、マヌーバを実施するための位置に近接した街路サイン、建物サインなどの視覚的補助を参照してもよい。それに加えて、ナビゲーション指示のセットは、ナビゲーションインストラクション内で参照された視覚的補助を見るための可視性の大きさの説明を有する1つまたは複数のナビゲーションインストラクションを含んでもよい。

視覚的補助における可視性の大きさの説明は、視覚的補助を見るための照明レベルの説明、視覚的補助を遮蔽しているオブジェクトの説明、視覚的補助のサイズの説明、ユーザに対する視覚的補助の位置の説明(例えば「街路サインは街路の右側にあります」)、または視覚的補助における可視性の大きさの他の任意の適切な説明を含んでもよい。さらに、視覚的補助における可視性の大きさの説明は、「早めに減速してください」など、視覚的補助における可視性の大きさに基づく推奨を含んでもよい。

次いで、ブロック706において、地理学的アプリケーション26が、ナビゲーション指示のセットをユーザインターフェース28および/またはクライアントデバイスのスピーカを介してユーザに提示してもよい。地理学的アプリケーション26は、視覚的補助の可視性の大きさのテキストによる説明を提示してもよく、かつ/または例えば視覚的補助の可視性の大きさのオーディオによる説明を、クライアントデバイス12のスピーカを介して提示してもよい。

したがって、本技法は、改善されたナビゲーションインストラクションの自動的な生成を可能にすることによって、ユーザと電子ナビゲーションシステムとの間のインターフェースの改善をもたらす。これらのナビゲーションインストラクションは、所与のユーザの状況に合わされてもよく、というのも、実施形態において例示されたように、所与のユーザの経路、計画されたマヌーバ、照明、および気象条件などが全て、ユーザの経路上の視覚的補助の可視性を決定する際に考慮されてもよいためである。さらに、これらの改善されたナビゲーションインストラクションは、任意のナビゲーション経路について自動的に生成されてもよい。例えば、ユーザの位置および方位に対応する3Dパノラマ街路レベル画像、および適切にトレーニングされた機械学習モデルが使用されるとき、ユーザは、3Dパノラマ街路レベル画像がそれについて存在する任意の経路上での改善されたナビゲーションの恩恵を取得することができる。これは、全てのユーザにより容易でより安全なナビゲーションを提供する上で有用である。

追加の考慮事項
本明細書において説明した例示的な方法のさまざまな動作は、当該の動作を実施するように(例えばソフトウェアによって)一時的に構成されたかまたは恒久的に構成された1つまたは複数のプロセッサによって、少なくとも部分的に実施されてもよい。一時的に構成されようと、恒久的に構成されようと、そのようなプロセッサは、1つまたは複数の動作または機能を実施するように動作するプロセッサ実装モジュールを構成してもよい。本明細書において言及されるモジュールは、いくつかの例示的な実施形態では、プロセッサ実装モジュールを備えてもよい。

同様に、本明細書において説明した方法またはルーチンも、少なくとも部分的にプロセッサ実装されてもよい。例えば、方法の動作のうちの少なくともいくつかが、1つまたは複数のプロセッサ、またはプロセッサ実装ハードウェアモジュールによって実施されてもよい。動作のうちのいくつかの動作の実施は、単一のマシン内に存在するのみならずいくつかのマシンにわたってデプロイされた、1つまたは複数のプロセッサの間で分散されてもよい。いくつかの例示的な実施形態では、1つまたは複数のプロセッサは、単一の位置に(例えば家庭環境内に、オフィス環境内に、またはサーバファームとして)位置付けられてもよく、一方、他の実施形態では、プロセッサは、いくつかの位置にわたって分散されてもよい。

1つまたは複数のプロセッサはまた、クラウドコンピューティング環境内での、またはサービスとしてのソフトウェア(SaaS)としての、当該の動作の実施をサポートするように動作してもよい。例えば、動作のうちの少なくともいくつかは、(プロセッサを含むマシンの例としての)コンピュータのグループによって実施されてもよく、これらの動作には、ネットワーク(例えばインターネット)を介して、また1つまたは複数の適切なインターフェース(例えばアプリケーションプログラムインターフェース(API))を介してアクセス可能である。

当業者なら、本開示を読めば、視覚的補助の可視性の標識をナビゲーション中に提供するためのシステムに関する、さらなる追加の代替的な構造設計および機能設計を理解するであろう。以上、特定の実施形態および応用例について図示し説明してきたが、開示した実施形態は、本明細書において開示した厳密な構造およびコンポーネントに限定されないことを理解されたい。添付の特許請求の範囲において定められる趣旨および範囲から逸脱することなく、本明細書において開示した方法および装置の構成、動作および詳細に、当業者には明らかとなるさまざまな修正、変更、および変形が加えられてもよい。

10 環境
12 クライアントデバイス
14 サーバデバイス
16 通信ネットワーク
22 処理モジュール
24 メモリ
26 地理学的アプリケーション、マッピングアプリケーション
28 ユーザインターフェース
30 ネットワークインターフェース
32 測位モジュール
42 ナビゲーションインストラクションジェネレータ、コンポーネント、ナビゲーションジェネレータ
44 サイン可視性インジケータモジュール、コンポーネント
50 地図データベース
52 視覚的補助データベース
54 現実世界画像データベース、現実世界データベース
70 Mila Streetのサイン
72 Walgreens(登録商標)のサイン
74 Willow Creek Dr.の街路サイン
200 データテーブル
202 視覚的補助識別子
204 視覚的補助の位置
206 視覚的補助が面する方位
208 視覚的補助のサイズまたは寸法
210 視覚的補助の外観
212 視覚的補助の名称
214 遮蔽メトリック
300 3Dパノラマ街路レベル画像
302 視覚的補助、街路サイン、ビジネスサインオブジェクト
304 送電線、オブジェクト
306 街路灯、オブジェクト
400 表示
402 出発位置
406 経路
412 目的位置
500 ナビゲーション表示
502 視覚的補助の可視性の大きさのテキストによる説明
600 方法
700 方法

Claims (20)

1. 視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提供するための方法であって、
   1つまたは複数のプロセッサにおいて、出発位置から目的位置までのナビゲーション指示を求める、ユーザからの要求を受信するステップと、
   前記1つまたは複数のプロセッサによって、前記要求に応答して、前記出発位置から前記目的位置まである経路に沿って移動するためのナビゲーション指示のセットを取得するステップであって、前記ナビゲーション指示のセットが、前記経路沿いの対応する位置における1つまたは複数のマヌーバを含む、ステップと、
   少なくとも1つのマヌーバについて、
   前記1つまたは複数のプロセッサによって、前記マヌーバに対応する位置を前記ユーザが識別するのを支援するための視覚的補助を識別するステップと、
   前記1つまたは複数のプロセッサによって、前記視覚的補助についての可視性の大きさを決定するステップと、
   前記1つまたは複数のプロセッサによって、前記視覚的補助についての前記可視性の大きさの説明を含むように、前記マヌーバに対応する前記ナビゲーション指示のセット内のナビゲーションインストラクションを調整するステップと
   を備える、ステップと、
   前記1つまたは複数のプロセッサによって、前記ユーザに提示するために前記調整されたナビゲーションインストラクションを含む前記ナビゲーション指示のセットを提供するステップと
   を含む、方法。
2. 前記視覚的補助についての可視性の大きさを決定するステップが、
   前記1つまたは複数のプロセッサによって、前記ユーザが前記ナビゲーション指示のセットに基づいて前記視覚的補助に接近するときの前記ユーザの方位を決定するステップと、
   前記1つまたは複数のプロセッサによって、前記ユーザが前記視覚的補助に接近する前記方位からの前記視覚的補助についての前記可視性の大きさを決定するステップと
   を含む、請求項1に記載の方法。
3. 前記視覚的補助についての可視性の大きさを決定するステップが、
   前記1つまたは複数のプロセッサによって、前記視覚的補助を含む地理学的エリアの3次元パノラマ街路レベル画像を取得するステップと、
   前記1つまたは複数のプロセッサによって、前記3次元パノラマ街路レベル画像内に含まれるオブジェクトに基づいて、前記視覚的補助についての前記可視性の大きさを決定するステップと
   を含む、請求項1または2に記載の方法。
4. 地理学的エリアの3次元パノラマ街路レベル画像を取得するステップが、前記ユーザが前記視覚的補助に接近するときの前記ユーザの位置または方位に対応する視錐台を有する仮想カメラの視点からの、前記3次元パノラマ街路レベル画像を取得するステップを含む、請求項3に記載の方法。
5. 前記1つまたは複数のプロセッサによって、前記3次元パノラマ街路レベル画像の1つまたは複数の部分を1つまたは複数のタイプのオブジェクトに分類するステップと、
   前記1つまたは複数のプロセッサによって、前記1つまたは複数のタイプのオブジェクトが前記視覚的補助を遮蔽しているかどうかを判定するステップと、
   前記1つまたは複数のプロセッサによって、前記1つまたは複数のタイプのオブジェクトが前記視覚的補助を遮蔽しているかどうかに基づいて、前記視覚的補助についての遮蔽メトリックを決定するステップと、
   前記1つまたは複数のプロセッサによって、前記遮蔽メトリックに基づいて、前記視覚的補助についての前記可視性の大きさを決定するステップと
   をさらに含む、請求項3または請求項4に記載の方法。
6. 前記3次元パノラマ街路レベル画像の1つまたは複数の部分を1つまたは複数のタイプのオブジェクトに分類するステップが、
   1つまたは複数のプロセッサによって、(i)複数の3次元パノラマ街路レベル画像内に含まれる複数のオブジェクトについての画像データ、および(ii)前記複数のオブジェクトのそれぞれについてのオブジェクトタイプを使用して、機械学習モデルをトレーニングするステップと、
   前記1つまたは複数のプロセッサによって、前記3次元パノラマ街路レベル画像の一部分についての画像データを取得するステップと、
   前記1つまたは複数のプロセッサによって、3次元パノラマ街路レベル画像の前記一部分を特定のタイプのオブジェクトに分類するために、前記機械学習モデルを前記画像データに適用するステップと
   を含む、請求項5に記載の方法。
7. 前記視覚的補助についての可視性の大きさを決定するステップが、
   前記視覚的補助のサイズ、
   前記視覚的補助を見るための光レベル、
   時刻、
   時期、
   前記視覚的補助の位置における気象条件、または
   前記視覚的補助に接近した際に実施されるマヌーバのタイプ
   のうちの少なくとも1つに基づいて、前記視覚的補助についての前記可視性の大きさを決定するステップを含む、請求項1から6のいずれか一項に記載の方法。
8. 前記視覚的補助についての前記可視性の大きさの説明を含むようにナビゲーションインストラクションを調整するステップが、
   前記1つまたは複数のプロセッサによって、前記ナビゲーションインストラクションを、前記視覚的補助を遮蔽しているオブジェクトの説明または前記視覚的補助を見るための照明レベルの説明を含むように調整するステップ
   を含む、請求項1から7のいずれか一項に記載の方法。
9. 視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提供するためのコンピューティングデバイスであって、
   1つまたは複数のプロセッサと、
   前記1つまたは複数のプロセッサに結合され、かつ命令を格納する非一時的コンピュータ可読メモリであって、前記命令が、前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングデバイスに、
   出発位置から目的位置までのナビゲーション指示を求める、ユーザからの要求を受信することと、
   前記要求に応答して、前記出発位置から前記目的位置まである経路に沿って移動するためのナビゲーション指示のセットを取得することであって、前記ナビゲーション指示のセットが、前記経路沿いの対応する位置における1つまたは複数のマヌーバを含む、取得することと、
   少なくとも1つのマヌーバについて、
   前記マヌーバに対応する位置を前記ユーザが識別するのを支援するための視覚的補助を識別することと、
   前記視覚的補助についての可視性の大きさを決定することと、
   前記視覚的補助についての前記可視性の大きさの説明を含むように、前記マヌーバに対応する前記ナビゲーション指示のセット内のナビゲーションインストラクションを調整することと、
   前記ユーザに提示するために前記調整されたナビゲーションインストラクションを含む前記ナビゲーション指示のセットを提供することと
   を行わせる、非一時的コンピュータ可読メモリと
   を備える、コンピューティングデバイス。
10. 前記視覚的補助についての可視性の大きさを決定するために、前記命令が前記コンピューティングデバイスに、
    前記ユーザが前記ナビゲーション指示のセットに基づいて前記視覚的補助に接近するときの前記ユーザの方位を決定することと、
    前記ユーザが前記視覚的補助に接近する前記方位からの前記視覚的補助についての前記可視性の大きさを決定することと
    を行わせる、請求項9に記載のコンピューティングデバイス。
11. 前記視覚的補助についての可視性の大きさを決定するために、前記命令が前記コンピューティングデバイスに、
    前記視覚的補助を含む地理学的エリアの3次元パノラマ街路レベル画像を取得することと、
    前記3次元パノラマ街路レベル画像内に含まれるオブジェクトに基づいて、前記視覚的補助についての前記可視性の大きさを決定することと
    を行わせる、請求項9または請求項10に記載のコンピューティングデバイス。
12. 前記地理学的エリアの前記3次元パノラマ街路レベル画像が、前記ユーザが前記視覚的補助に接近するときの前記ユーザの位置または方位に対応する視錐台を有する仮想カメラの視点からのものである、請求項11に記載のコンピューティングデバイス。
13. 前記命令が前記コンピューティングデバイスに、
    前記3次元パノラマ街路レベル画像の1つまたは複数の部分を1つまたは複数のタイプのオブジェクトに分類することと、
    前記1つまたは複数のタイプのオブジェクトが前記視覚的補助を遮蔽しているかどうかを判定することと、
    前記1つまたは複数のタイプのオブジェクトが前記視覚的補助を遮蔽しているかどうかに基づいて、前記視覚的補助についての遮蔽メトリックを決定することと、
    前記遮蔽メトリックに基づいて、前記視覚的補助についての前記可視性の大きさを決定することと
    をさらに行わせる、請求項11または請求項12に記載のコンピューティングデバイス。
14. 前記3次元パノラマ街路レベル画像の1つまたは複数の部分を1つまたは複数のタイプのオブジェクトに分類するために、前記命令が前記コンピューティングデバイスに、
    (i)複数の3次元パノラマ街路レベル画像内に含まれる複数のオブジェクトについての画像データ、および(ii)前記複数のオブジェクトのそれぞれについてのオブジェクトタイプを使用して、機械学習モデルをトレーニングすることと、
    前記3次元パノラマ街路レベル画像の一部分についての画像データを取得することと、
    3次元パノラマ街路レベル画像の前記一部分を特定のタイプのオブジェクトに分類するために、前記機械学習モデルを前記画像データに適用することと
    を行わせる、請求項13に記載のコンピューティングデバイス。
15. 前記視覚的補助についての前記可視性の大きさが、
    前記視覚的補助のサイズ、
    前記視覚的補助を見るための光レベル、
    時刻、
    時期、
    前記視覚的補助の位置における気象条件、または
    前記視覚的補助に接近した際に実施されるマヌーバのタイプ
    のうちの少なくとも1つに基づいて決定される、請求項9から14のいずれか一項に記載のコンピューティングデバイス。
16. 前記ナビゲーションインストラクションが、前記視覚的補助を遮蔽しているオブジェクトの説明または前記視覚的補助を見るための照明レベルの説明を含むように調整される、請求項9から15のいずれか一項に記載のコンピューティングデバイス。
17. 視覚的補助の可視性の標識を伴うナビゲーションインストラクションをナビゲーション中に提示するための方法であって、
    1つまたは複数のプロセッサにおいて、出発位置から目的位置までのナビゲーション指示を求める、ユーザからの要求を受信するステップと、
    前記1つまたは複数のプロセッサによって、前記要求に応答して、前記出発位置から前記目的位置まである経路に沿って移動するためのナビゲーション指示のセットを取得するステップであって、前記ナビゲーション指示のセットが、前記経路沿いの対応する位置における1つまたは複数のマヌーバを含み、少なくとも1つのナビゲーションインストラクションが、前記ナビゲーションインストラクション内に含まれるマヌーバに対応する位置を前記ユーザが識別するのを支援するための視覚的補助、および前記視覚的補助を見るための可視性の大きさの説明を含む、ステップと、
    前記視覚的補助についての前記可視性の大きさの前記説明を有する前記少なくとも1つのナビゲーションインストラクションを提示するステップを含む、前記1つまたは複数のプロセッサによって、前記ナビゲーション指示のセットを提示するステップと
    を含む、方法。
18. 前記ナビゲーション指示のセットを提示するステップが、前記視覚的補助を遮蔽しているオブジェクトの説明を有する前記少なくとも1つのナビゲーションインストラクションを提示するステップを含む、請求項17に記載の方法。
19. 前記ナビゲーション指示のセットを提示するステップが、前記視覚的補助を見るための照明レベルの説明を有する前記少なくとも1つのナビゲーションインストラクションを提示するステップを含む、請求項17または18に記載の方法。
20. 前記ナビゲーション指示のセットを提示するステップが、前記ユーザが前記視覚的補助に接近する方位から前記視覚的補助を見るための前記可視性の大きさの前記説明を有する前記少なくとも1つのナビゲーションインストラクションを提示するステップを含む、請求項17から19のいずれか一項に記載の方法。

Images