JP7486564B2 - 困難な運転状態下でのランドマークによる強化されたナビゲーション指示 - Google Patents

Description

関連出願の相互参照
本出願は、「Enhanced Navigation Instructions with Landmarks Under Difficult Driving Conditions」という名称の2018年11月20日に出願された米国仮出願第62/769,646号の出願日の利益を主張し、その開示は参照により本明細書に組み込まれる。

地図ナビゲーションシステムは、運転または歩行の道順をユーザに提供するときを含む、多くの異なる状況で使用される。運転の場合、ナビゲーションシステムは、現在の交通状況に適応して、交通渋滞や事故の知識に基づいてルートを変更することができる。この情報は、たとえば、他のドライバ、地元の交通機関などからクラウドソーシングされた、サードパーティの報告から受信され得る。しかしながら、旅行にも影響を与える可能性のあるリアルタイムの環境およびその他の要因が存在する場合がある。これは、たとえば、天候、道路建設/車線工事、時刻による弱光状態、および他の要因を含み得る。そのような要因に関連する状態は、ドライバなどのユーザが運転の道順のセットに適切に従う能力を制限する可能性がある。

本技術の態様は、悪天候など、強化された運転の道順をトリガする要因に関する。1つまたは複数の関連する要因が決定されると、システムは、リアルタイムで道順を変更する、またはそうでなければ強化し、したがって、ドライバは、異なるランドマークを迅速に容易に識別し、所望の目的地にナビゲートするために、強化された情報を使用することができる。たとえば、以下で詳細に説明するように、車載カメラは、車両の前方の視線内など、車両に隣接する、またはそうでなければ車両の近くにある環境内の対象物および状態を検出するように構成されている。そのようなリアルタイムの環境情報が分析され、ドライバが既存の道順に従う能力に環境情報が悪影響を与える可能性があると決定されると、ドライバが特定のルートに正しく従うことがより簡単にできるように強化された道順が提供される。

一態様によれば、方法は、車両のドライバのための運転ルートの初期道順を取得するステップであって、道順が出発点から目的地までの車両のルーティングに使用するためのものである、取得するステップと、ルートに沿った1つまたは複数のロケーションの以前にキャプチャされた画像を取得するステップと、以前にキャプチャされた画像に位置する第1のランドマークを識別するステップと、コンピュータデバイスの1つまたは複数のプロセッサによって、車両に配置されたカメラによって取得されたリアルタイム画像を受信するステップと、第1のランドマークが車両のドライバによって視認可能であるかどうかを決定するために、1つまたは複数のプロセッサによって、リアルタイム画像からの少なくとも1つの画像を、以前にキャプチャされた画像からの少なくとも1つの画像と比較するステップと、第1のランドマークが車両のドライバによって視認可能でないと決定されると、1つまたは複数のプロセッサによって、第1のランドマークとは異なる少なくとも1つの他のランドマークを示すために運転ルートの初期道順を変更するステップとを含む。

一例では、第1のランドマークが車両のドライバによって視認可能であるかどうかを決定するために比較するステップは、第1のランドマークが車両のドライバによる目視から部分的または完全に覆い隠されているかどうかを決定するステップを含む。ここで、第1のランドマークが部分的または完全に覆い隠されているかどうかを決定するステップは、第1のランドマークの視界が気象状態、弱光状態、別の車両、建物、または植生によって悪影響を受けていることを決定するステップを含み得る。リアルタイム画像は、ルートに沿った運転中にカメラによって取得される場合がある。変更された道順は、少なくとも1つの他のランドマークがドライバにとって可視であるときに特定の運転行動をとるようドライバに指示し得る。ここで、特定の運転行動は、減速、方向転換、停止、または駐車からなるグループから選択され得る。

初期道順を変更するステップは、車両内のグラフィカル表示を更新するステップ、または車両内で可聴指示を再生するステップのうちの少なくとも1つを含み得る。車両に配置されたカメラは視野を有し、リアルタイム画像からの少なくとも1つの画像を、以前にキャプチャされた画像からの少なくとも1つの画像と比較するステップは、ドライバの予想される視野に対するカメラの視野を評価するステップを含み得る。また、初期道順を変更するステップは、初期道順を、カメラにとって可視である運転ルートに沿った1つまたは複数の対象物に基づく少なくとも1つの視覚的手がかりで増強または置換するステップを含み得る。

別の態様によれば、方法は、コンピュータデバイスの1つまたは複数のプロセッサによって、ドライバによる車両の運転中に車両に配置されたカメラによって取得されたリアルタイム画像を受信するステップと、1つまたは複数のプロセッサによって、車両の周囲の外部環境における現在の状態を決定するために、リアルタイム画像からの少なくとも1つの画像を分析するステップと、1つまたは複数のプロセッサによって、分析に基づいて、現在の状態が、外部環境における選択されたランドマークをドライバによる目視から覆い隠すと予想されることを決定するステップと、現在の状態が、外部環境における選択されたランドマークをドライバによる目視から覆い隠すと予想されると決定すると、1つまたは複数のプロセッサによって、車両に配置されたカメラによって視認可能な異なるランドマークを識別するステップと、ドライバに異なるランドマークの視覚的、聴覚的、または触覚的な指示を提供するステップとを含む。

方法は、提供するステップの前に、異なるランドマークの指示で目的地まで運転するための初期の道順のセットを変更するステップを含み得る。変更された初期道順は、異なるランドマークがドライバにとって可視であるときに特定の運転行動をとるようドライバに指示し得る。特定の運転行動は、減速、方向転換、停止、または駐車からなるグループから選択され得る。

現在の状態が、外部環境における選択されたランドマークをドライバによる目視から覆い隠すと予想されることを決定するステップは、選択されたランドマークの視界が気象状態、弱光状態、別の車両、建物、または植生によって悪影響を受けていることを決定するステップを含み得る。また、車両の周囲の外部環境における現在の状態を決定するために、リアルタイム画像から少なくとも1つの画像を分析するステップは、外部環境における障害物または他の視界障害を検出するために、機械学習モデルをリアルタイム画像に適用するステップを含み得る。

さらなる態様によれば、システムは、命令またはデータのうちの少なくとも1つを記憶するように構成されたメモリと、メモリに動作可能に結合された1つまたは複数のプロセッサとを含む。1つまたは複数のプロセッサは、車両のドライバのための運転ルートの初期道順を取得することであって、道順が出発点から目的地までの車両のルーティングに使用するためのものである、取得することと、ルートに沿った1つまたは複数のロケーションの以前にキャプチャされた画像を取得することと、以前にキャプチャされた画像に位置する第1のランドマークを識別することと、車両に配置されたカメラによって取得されたリアルタイム画像を受信することと、第1のランドマークが車両のドライバによって視認可能であるかどうかを決定するために、リアルタイム画像からの少なくとも1つの画像を、以前にキャプチャされた画像からの少なくとも1つの画像と比較することと、第1のランドマークが車両のドライバによって視認可能でないと決定されると、第1のランドマークとは異なる少なくとも1つの他のランドマークを示すために運転ルートの初期道順を変更することと、を行うように構成されている。

一例では、システムは、カメラをさらに含む。カメラは、パーソナル通信デバイスの一部であってもよい。

また別の態様によれば、システムは、命令またはデータのうちの少なくとも1つを記憶するように構成されたメモリと、メモリに動作可能に結合された1つまたは複数のプロセッサとを含む。1つまたは複数のプロセッサは、ドライバによる車両の運転中に車両に配置されたカメラによって取得されたリアルタイム画像を受信することと、車両の周囲の外部環境における現在の状態を決定するために、リアルタイム画像からの少なくとも1つの画像を分析することと、分析に基づいて、現在の状態が、外部環境における選択されたランドマークをドライバによる目視から覆い隠すと予想されることを決定することと、現在の状態が、外部環境における選択されたランドマークをドライバによる目視から覆い隠すと予想されると決定すると、車両に配置されたカメラによって視認可能な異なるランドマークを識別することと、ドライバに異なるランドマークの視覚的、聴覚的、または触覚的な指示を提供することと、を行うように構成されている。

車両の周囲の外部環境における現在の状態を決定するためのリアルタイム画像からの少なくとも1つの画像の分析が、機械学習プロセスに従って1つまたは複数のプロセッサによって実行され得る。

さらなる態様によれば、コンピューティングシステムは、1つまたは複数のプロセッサと、非一時的コンピュータ可読メモリとを含む。メモリは、実行されると、少なくとも1つのプロセッサに上記の方法を実行させる命令を含む。

また、別の態様によれば、非一時的コンピュータ可読記憶媒体は、実行されると、1つまたは複数のプロセッサに、上記の方法を実行させる命令を記憶する。

本技術の態様とともに使用するための例示的な乗用車を外部から見た図である。 図1Aの例示的な乗用車を内部から見た図である。 本開示の態様による例示的な乗用車の機能図である。 本開示の態様による撮像デバイスの例示的な機能図である。 本開示の態様によるデバイスの例示的なネットワークを示す図である。 本開示の態様によるデバイスの例示的なネットワークを示す図である。 本技術の態様による運転シナリオを示す図である。 本技術の態様による運転シナリオを示す図である。 本開示の態様による別の運転シナリオを示す図である。 本開示の態様による別の運転シナリオを示す図である。 本開示の態様による別の運転シナリオを示す図である。 本開示の態様による例示的な方法を示す図である。 本開示の態様による別の例示的な方法を示す図である。

車両の近くの環境要因は、ドライバが、表示されたまたは可聴の運転指示に従うことがどれほど容易にできるかに影響を及ぼし得る。したがって、本技術の態様は、異なるまたは追加の(たとえば、強化された)視覚的または聴覚的手がかりでそのような指示を強化することを伴う。これは、全体的な視界が悪いとき、障害物によってドライバが道路標識、業務用看板、または他のランドマークを見ることができないときなど、不利な運転条件で特に重要であり得る。車載カメラまたは他の撮像デバイスは、外部環境に関する画像を取得するためにシステムによって使用され、その情報は、強化された視覚的および/または聴覚的手がかりもしくは道順をドライバに提示するかどうか、および提示する方法を評価するときに使用される。この手法は、ユーザに提供される案内を改善することによって、ユーザが車両を制御するタスクを実行するのを支援する。付随する利点は、車両リソースのより効率的な使用および交通安全の改善を含み得る。

例示的な車両システム
図1Aは、外部から見た例示的な乗用車100を示し、図1Bは、インタビュー視点からの車両100を示している。両方の図に示されるように、撮像デバイス200は、1つまたは複数の画像センサが車両の外部の環境に面するように配置される。たとえば、撮像デバイス200は、ドライバの視界を妨げることなく、ドライバと同じまたは同様の見晴らしの良いロケーションを有するように車両内に配列され得る。例として、撮像デバイス200は、車両のドライバ側のフロントガラスのダッシュボードまたは内部に沿って配置されてもよい。車両のワイパーおよび/またはデフロスターは、フロントガラスをきれいに保つように設計されている。したがって、このように撮像デバイス200を配置することによって、静止画像またはビデオ画像を、ガラスを通してキャプチャすることが可能になる。

本開示のいくつかの態様は、特定のタイプの車両に関連して特に有用である可能性があるが、車両は、これらに限定されないが、自動車、トラック、オートバイ、バス、レクリエーション用車両などを含む任意のタイプの車両であり得る。

図2Aは、図1A～図1Bの車両100などの例示的な乗用車の様々なシステムのブロック図を示している。図2Aのブロック図に示されるように、車両は、1つまたは複数のプロセッサ104、メモリ106、および汎用コンピューティングデバイスに通常存在する他の構成要素を含むコンピューティングデバイス102など1つまたは複数のコンピューティングデバイスの制御システムを含む。メモリ106は、プロセッサ104によって実行され得る、またはそうでなければ使用され得る命令108およびデータ110を含む、1つまたは複数のプロセッサ104によってアクセス可能な情報を記憶する。メモリ106は、コンピューティングデバイス可読媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのものであり得る。メモリは、ハードドライブ、メモリカード、光ディスク、半導体、テープメモリなど非一時的媒体である。システムは、上記の異なる組合せを含んでいる場合があり、それによって、命令およびデータの異なる部分が異なるタイプの媒体に記憶される。

命令108は、プロセッサによって直接的に(機械コードなど)、または間接的に(スクリプトなど)実行される命令の任意のセットであってもよい。たとえば、命令は、コンピューティングデバイス可読媒体上にコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」および「プログラム」という用語は、本明細書では互換的に使用されてもよい。命令は、プロセッサによる直接の処理のためのオブジェクトコード形式で、または要求に応じて解釈されるかもしくは事前にコンパイルされた独立したソースコードモジュールのスクリプトまたは集合を含む任意の他のコンピューティングデバイス言語で記憶されてもよい。データ110は、命令108に従って1つまたは複数のプロセッサ104によって取り出され、記憶され、または変更されてもよい。一例では、メモリ106の一部またはすべては、実装に応じて、車両に搭載またはリモートであり得る、車両診断および/または検出されたセンサデータを記憶するように構成されたイベントデータレコーダまたは他の安全なデータストレージシステムであってよい。

1つまたは複数のプロセッサ104は、市販のCPUなど任意の従来のプロセッサであり得る。代替的に、1つまたは複数のプロセッサは、ASICまたは他のハードウェアベースのプロセッサなどの専用デバイスであり得る。図2Aは、コンピューティングデバイス102のプロセッサ、メモリ、および他の要素が同じブロック内にあることを機能的に示しているが、そのようなデバイスは、実際には、複数のプロセッサ、コンピューティングデバイス、またはメモリを含み得、これらは、同じ物理的ハウジング内に記憶されていてもよく、またはされていなくてもよい。同様に、メモリ106は、プロセッサ104のものとは異なるハウジング内に配置されたハードドライブまたは他の記憶媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並列に動作する場合もしない場合もあるプロセッサまたはコンピューティングデバイスまたはメモリの集合への言及を含むと理解されよう。

一例では、コンピューティングデバイス202は、たとえば、車両が部分または完全自律運転モードで動作し得るように、車両100に組み込まれた運転コンピューティングシステムを形成し得る。例として、部分自律運転モードは、適応型クルーズ制御または緊急ブレーキを提供するために、先進運転支援システム(ADAS)の一部として実装され得る。運転コンピューティングシステムは、車両の様々な構成要素と通信することができ得る。たとえば、コンピューティングデバイス102は、減速システム112(車両のブレーキングを制御するため)、加速システム114(車両の加速を制御するため)、ステアリングシステム116(車輪の向きおよび車両の方向を制御するため)、信号システム118(方向指示器を制御するため)、ナビゲーションシステム120(車両をあるロケーションまたは対象物の周りにナビゲートするため、および/または手動または部分自律運転モードでの操作時にドライバにナビゲーションの道順を提供するため)、および位置決めシステム122(車両の位置を決定するため)を含む運転システムを含む、車両の様々なシステムと通信し得る。

コンピューティングデバイス102はまた、車両の乗客からの連続的または定期的な入力を要求または必要としない運転モードで、メモリ106の命令108に従って車両の動き、速度などを制御するために、知覚システム124(車両の環境内の対象物を検出するため)、電力システム126(たとえば、バッテリーおよび/またはガスもしくはディーゼル動力エンジン)、および送信システム128に動作可能に結合されている。車輪/タイヤ130のいくつかまたはすべては、送信システム128に結合され、コンピューティングデバイス102は、タイヤ圧力、バランス、および任意の運転モードでの運転に影響を与える可能性がある他の要因に関する情報を受信することができ得る。

適応走行制御または緊急ブレーキなどいくつかの運転モードでは、コンピューティングデバイス102は、様々な構成要素を制御することによって、車両の方向および/または速度を制御し得る。コンピューティングデバイス102は、車両をナビゲートするか、または地図情報およびナビゲーションシステム120からのデータを使用して、ドライバが車両を目的地にナビゲートするのを支援し得る。コンピューティングデバイス102は、位置決めシステム122を使用して車両の位置を決定し、知覚システム124を使用して、位置に安全に到達することが必要とされるときに対象物を検出し、応答してもよい。そうするために、コンピューティングデバイス102は、車両に、加速させる(たとえば、加速システム114によってエンジンに提供される燃料または他のエネルギーを増加させることによって)、減速させる(たとえば、エンジンに供給される燃料を減少させることによって、ギアを変更することによって、および/または減速システム112によってブレーキをかけることによって)、方向を変えさせる(たとえば、ステアリングシステム116によって車両100の前輪または他の車輪の方向を変えることによって)、そのような変化をシグナリングさせる(たとえば、信号システム118の方向指示器を点灯することによって)ことができる。したがって、加速システム114および減速システム112は、車両のエンジンと車両の車輪との間の様々な構成要素を含むドライブトレインまたは他の送信システム128の一部であり得る。この場合も、これらのシステムを制御することによって、コンピューティングデバイス102はまた、部分(または完全)自律モードで車両を操縦するために、車両の送信システム128を制御し得る。

一例として、コンピューティングデバイス102は、車両の速度を制御するために、減速システム112および加速システム114と相互作用し得る。同様に、ステアリングシステム116は、車両の方向を制御するために、コンピューティングデバイス102によって使用され得る。信号システム118は、たとえば、必要に応じて方向指示器またはブレーキライトを点灯することによって、他のドライバまたは車両に車両の意図をシグナリングするために、コンピューティングデバイス102またはドライバによって使用され得る。

ナビゲーションシステム120は、あるロケーションへのルートを決定し、それに従うために、コンピューティングデバイス102によって使用され得る。これに関して、ナビゲーションシステム120および/またはメモリ106は、地図情報、たとえば、コンピューティングデバイス102が車両をナビゲートまたは制御するために使用することができる非常に詳細な地図を記憶し得る。一例として、これらの地図は、道路、レーンマーカー、交差点、横断歩道、制限速度、交通信号灯、建物、標識、リアルタイムの交通情報、植生、または他のそのような対象物および情報の形状および高度を識別し得る。レーンマーカーは、実線または破線の二重または単一の車線、実線または破線の車線、リフレクタなどの特徴を含み得る。所与のレーンは、左右の車線またはレーンの境界を画定する他のレーンマーカーに関連付けられ得る。したがって、ほとんどのレーンは、ある車線の左端と別の車線の右端によって囲まれている可能性がある。地図情報は、マッピングデータベースなどのリモートコンピューティングシステムから、他の車両から、および/または車両100が行った以前の旅行から受信され得る。

知覚システム124はまた、車両の外部の対象物を検出するためのセンサを含む。検出された対象物は、他の車両、車道の障害物、交通信号、標識、樹木などであり得る。たとえば、知覚システム124は、1つまたは複数の光検出および測距(ライダー)センサ、音響(ソナー、内部および/または外部マイクロフォン)デバイス、レーダーユニット、カメラなどの撮像デバイス(たとえば、光学および/または赤外線)、慣性センサ(たとえば、ジャイロスコープまたは加速度計)、および/またはコンピューティングデバイス102によって処理される可能性のあるデータを記録する任意の他の検出デバイスを含み得る。知覚システム124のセンサは、対象物と、位置、向き、サイズ、形状、タイプ(たとえば、車両、歩行者、自転車など)、進行方向、および移動速度など、それらの特性を検出することができる。センサからの生データおよび/または上述の特性は、知覚システム124によって生成されるときに、定期的かつ継続的にコンピューティングデバイス102にさらなる処理のために送信することができる。コンピューティングデバイス102は、位置決めシステム122を使用して車両の位置を決定し、知覚システム124を使用して、位置に安全に到達することが必要とされるときに対象物を検出し、応答してもよい。さらに、コンピューティングデバイス102は、個々のセンサ、特定のセンサアセンブリ内のすべてのセンサ、または異なるセンサアセンブリ内のセンサ間の較正を実行することができる。

図2Aには、通信システム132も示されている。通信システム132は、車両内のドライバおよび/または乗客のパーソナルコンピューティングデバイスなど、他のコンピューティングデバイス、ならびに車道またはリモートネットワーク上の近くの別の車両内など、車両外部のコンピューティングデバイスとの通信を容易にするための1つまたは複数のワイヤレスネットワーク接続を含み得る。ネットワーク接続は、Bluetooth(商標)、Bluetooth(商標)低エネルギー(LE)、セルラー接続などの短距離通信プロトコル、ならびに、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、1つまたは複数の企業が所有する通信プロトコルを使用するプライベートネットワーク、イーサネット、WiFi、HTTP、および上述の様々な組合せを含む様々な構成およびプロトコルを含み得る。

図2Aはまた、ユーザインターフェースサブシステム134を示す。ユーザインターフェースサブシステム134は、1つまたは複数のユーザ入力136(たとえば、マウス、キーボード、タッチスクリーンまたは他の触覚入力、および/または1つもしくは複数のマイクロフォン)およびディスプレイサブシステム138の1つまたは複数のディスプレイデバイス(たとえば、画面または情報を表示するように動作可能な任意の他のデバイスを有するモニタ)を含み得る。この点について、内部電子ディスプレイ140は、乗用車のキャビン内に配置されてもよく(図1Bを参照)、車両内のドライバまたは乗客に情報を提供するためにコンピューティングデバイス102によって使用され得る。スピーカ142などの出力デバイスもまた、乗用車内に配置されてもよい。以下でより詳細に説明するように、ディスプレイ140および/またはスピーカ142は、車両が手動または部分自律運転モードで操作されているときに、ドライバに強化された道順または運転の合図を提供するように構成される。

図2Bは、撮像デバイス200の一例を示している。撮像デバイス200は、車両の車載知覚システム124の一部であり得る。あるいは、代替的に、撮像デバイス200は、自己完結型またはそうでなければ別個のセンサユニットであり得る。たとえば、撮像デバイス200は、ドライバ(または乗客)の携帯電話であり得るか、またはウェアラブルデバイス(たとえば、ヘッドマウントディスプレイシステム、スマートウォッチなど)、もしくは、車両の内部キャビン内に取り付けることができる他のデバイス(たとえば、PDA、タブレットなど)であり得る。

示されるように、撮像デバイス200は、1つまたは複数のプロセッサ204、メモリ206、および汎用コンピューティングデバイスに通常存在する他の構成要素を含むコンピューティングデバイスなど1つまたは複数のコンピューティングデバイス202を含む。メモリ206は、プロセッサ304によって実行され得る、またはそうでなければ使用され得る命令208およびデータ210を含む、1つまたは複数のプロセッサ204によってアクセス可能な情報を記憶する。図2Aのプロセッサ、メモリ、命令、およびデータの説明は、図2Bのこれらの要素に適用される。

この例では、撮像デバイス200は、通信システム212も含み、これは、ワイヤレス接続214およびワイヤード接続216の一方または両方を有し得る。このようにして、別個のセンサユニットは、直接または間接的に、コンピューティングデバイス102または車両の他のシステムと、および/またはリモートシステムと通信するように構成される(図3A～図3Bを参照)。

撮像デバイス200は、1つまたは複数の画像センサ220を有する撮像システム218も含む。例として、画像センサ220は、光学的および/または赤外線画像キャプチャ用に構成された1つまたは複数のセンサデバイスまたはセンサデバイスのアレイを含み得る。画像キャプチャは、静止画像および/または一連のビデオ画像として、フレームごとに行われ得る。1つまたは複数の画像センサ220は、たとえば、ランドスケープまたはパノラマスタイルの画像として、車両の外部の環境の画像をキャプチャすることができる。

撮像デバイス200は、ユーザ入力224を有するユーザインターフェースサブシステム222も含み得る。ユーザ入力224は、1つまたは複数の機械的アクチュエータ226(たとえば、スイッチ、ボタン、および/またはダイヤル)、および/または1つもしくは複数のソフトアクチュエータ228(たとえば、容量性または誘導性タッチスクリーン)を含み得る。ユーザインターフェースサブシステム222は、画像をキャプチャするためのプレビュー画面、キャプチャされた画像を目視するためのディスプレイ、またはその両方など、グラフィカルディスプレイ230も含み得る。

さらに、撮像デバイス200は、位置決めサブシステム236など他の構成要素を含み得る。このサブシステム236は、加速度計238、ジャイロスコープ240、および/または撮像デバイス200の姿勢または向きを決定するのを助ける他の慣性センサなどのセンサを含み得る。位置決めサブシステム236は、撮像デバイス200の緯度/経度(および高度)を決定するためのGPSユニット242または他の位置決め要素も含み得る。撮像デバイス200はまた、たとえば、プロセッサ204、GPSユニット242のタイミング情報を取得するために、または撮像システム218によって獲得された画像のタイムスタンプを生成するために、1つまたは複数の内部クロック244を含み得る。また、撮像デバイス200の内部の1つまたは複数のバッテリーまたは外部電源への接続などの電源246も提供され得る。

例示的な協調的システム
上記で説明したように、車載システムは、リモートシステム(たとえば、リモート支援またはフリート管理)、他の車両、および/または車両内の様々な撮像デバイスと通信し得る。この一例が図3Aおよび図3Bに示される。特に、図3Aおよび図3Bは、それぞれ、ネットワーク314を介して接続された複数のコンピューティングデバイス302、304、306、308、撮像デバイス310、およびストレージシステム312を含む例示的なシステム300の絵図および機能図である。例として、コンピューティングデバイス304は、タブレット、ラップトップ、またはネットブックコンピュータであり得、コンピューティングデバイス306は、PDAまたは携帯電話であり得る。コンピューティングデバイス308は、スマートウォッチまたはヘッドマウントディスプレイ(HMD)デバイスなどのウェアラブルデバイスであり得る。これらのいずれも、カメラまたは他のイメージャを含み、図2Bに示されるような撮像デバイス200として動作し得る。

システム300はまた、車両316および318とともに示され、これらは、図1Aおよび図1Bの車両100と同じまたは同様に構成され得る。たとえば、車両316は、セダンまたはミニバンなどの乗客型車両であり得る。また、車両318は、トラック、バスなどのより大きい車両であり得る。車両316および/または318は、車両のフリートの一部であり得る。簡単のために、少数の車両、コンピューティングデバイス、および撮像デバイスのみが示されているが、そのようなシステムは、かなりより多くの要素を含み得る。図3Bに示されるように、コンピューティングデバイス302、304、306、および308の各々は、1つまたは複数のプロセッサ、メモリ、データ、および命令を含み得る。そのようなプロセッサ、メモリ、データ、および命令は、図2Aに関して上述したものと同様に構成され得る。

様々なコンピューティングデバイスおよび車両は、ネットワーク314など1つまたは複数のネットワークを介して通信し得る。ネットワーク314、および介在するノードは、短距離通信プロトコル、たとえばBluetooth(商標)、Bluetooth(商標)LE、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、1つまたは複数の企業が所有する通信プロトコルを使用するプライベートネットワーク、イーサネット、WiFi、HTTP、および上述の様々な組合せを含む様々な構成およびプロトコルを含み得る。そのような通信は、モデムおよびワイヤレスインターフェースなど、他のコンピューティングデバイスとの間でデータを送受信することができる任意のデバイスによって促進され得る。

一例では、コンピューティングデバイス302は、他のコンピューティングデバイスとの間でデータを受信、処理、および送信する目的でネットワークの異なるノードと情報を交換する、たとえば、負荷分散サーバファームなど、複数のコンピューティングデバイスを有する1つまたは複数のサーバコンピューティングデバイスを含み得る。たとえば、コンピューティングデバイス302は、ネットワーク314を介して、車両316および/または318のコンピューティングデバイス、ならびにコンピューティングデバイス304、306、および308と通信することができる1つまたは複数のサーバコンピューティングデバイスを含み得る。たとえば、車両316および/または318は、サーバコンピューティングデバイスによって様々なロケーションにディスパッチされ得る車両のフリートの一部であり得る。この点について、コンピューティングデバイス302は、乗客を乗降させるため、または貨物を乗せて配達するために、車両を異なるロケーションにディスパッチするために使用することができるディスパッチングサーバコンピューティングシステムとして機能し得る。加えて、サーバコンピューティングデバイス302は、ネットワーク314を使用して、他のコンピューティングデバイスのうちの1つのユーザ(たとえば、ドライバ)または車両の乗客に情報を送信し、提示し得る。この点について、コンピューティングデバイス304、306、および308は、クライアントコンピューティングデバイスと見なされ得る。

図3Bに示されるように、各クライアントコンピューティングデバイス304、306、および308は、それぞれのユーザによる使用を目的としたパーソナルコンピューティングデバイスであり得、1つまたは複数のプロセッサ(たとえば、中央処理装置(CPU))、データおよび命令を記憶するメモリ(たとえば、RAMおよび内蔵ハードドライブ)、ディスプレイ(たとえば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能なスマートウォッチディスプレイなど他のデバイス)、およびユーザ入力デバイス(たとえば、マウス、キーボード、タッチスクリーン、またはマイク)を含むパーソナルコンピューティングデバイスに関連して通常使用されるすべての構成要素を有し得る。クライアントコンピューティングデバイスはまた、本明細書で論じられるように強化された運転の合図に使用され得る画像を記録するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用されるすべての構成要素を含み得る。コンピューティングデバイスの一部である可能性のある他の特徴および構成要素については、上記の図2Bの説明も参照されたい。

ストレージシステム312は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD-ROM、フラッシュドライブおよび/またはテープドライブなどのサーバコンピューティングデバイス302によってアクセス可能な情報を記憶することができるデータベースまたは任意のタイプのコンピュータ化されたストレージとすることができる。さらに、ストレージシステム312は、データが、同じまたは異なる地理的位置に物理的に配置され得る複数の異なる記憶デバイスに記憶される分散ストレージシステムを含み得る。ストレージシステム312は、図3A～図3Bに示されるように、ネットワーク314を介してコンピューティングデバイスに接続され得る、および/またはコンピューティングデバイスのいずれかに直接接続されるか、または組み込まれ得る。

ストレージシステム312は、様々なタイプの情報を記憶し得る。たとえば、ストレージシステム312は、地図、ランドマーク、および/または画像を1つまたは複数のデータベースに記憶し得る。この情報は、本明細書に記載の特徴の一部またはすべてを実行するために、1つまたは複数のサーバコンピューティングデバイス302などのサーバコンピューティングデバイスによって取り出される、またはそうでなければアクセスされ得る。

たとえば、ストレージシステム312は、地図データを記憶し得る。この地図データは、たとえば、車両100の知覚システムなどの知覚システムによって生成されたセンサデータを含み得る。地図データはまた、様々な画像から獲得された地図情報でもあり得る。ランドマークデータベースは、地図データベース内のロケーションに関連付けられている場合と関連付けられていない場合がある、様々なランドマークに関する情報を記憶する場合がある。たとえば、地図データベースは、ニューヨーク市に関するストリート情報を含み、ランドマークデータベースは、様々なロケーションまたは関心のあるアイテム(たとえば、エンパイアステートビル)に関する情報を含み得る。画像データベースは、これらのデータベースの一部であるか、またはこれらのデータベースとは別個であり得、地図および/またはランドマークデータベース内のロケーションに関する以前に取得された画像を含み得る。画像データベースは、様々なロケーションに関するストリートレベルまたは他のタイプの画像を含み得る。地図、ランドマーク、および/または画像データベースのうちの1つまたは複数は、道路標識、業務用看板、彫刻、ルートに沿ってドライバに見え得る他のアートワークなどの補足情報を含む場合がある。そのような情報は、サーバシステム302、コンピューティングデバイス304、306、308、および/または撮像デバイス310によって、直接的または間接的にアクセス可能であり得る。

例示的な実装形態
上記で説明され、図に示されている構造および構成に鑑みて、次に様々な実装について説明する。

撮像デバイス200などの車内(またはそうでなければ車載)カメラは、車両の前方の視線内など、車両に隣接する、またはそうでなければ車両の近くにある環境内の対象物および状態を検出するように構成されている。上述のように、カメラは、車両内、たとえば、ダッシュボード、またはバックミラーもしくはサンバイザーに隣接するようなフロントガラスの内側に配置され得る。一例では、カメラは、運転中にドライバが車両の前で視認するものと同様の、またはそれに沿った視野を提供するように配置されている。このようにして、画像センサがカメラに配列されるか、車内キャビンに配置されて、道路標識、業務用看板、店先、ランドマーク、および関心のある他のポイントなどを検出できるように、車両の前の道路および隣接するエリアを目視することができる。

カメラの視野(FOV)は、使用される撮像デバイスのタイプ、車両内のカメラの配置、および他の要因に基づいて制約され得る。静止画または動画が獲得され得る。カメラは、複数の撮像デバイスを含み得るか、または複数のカメラが、たとえば、立体撮像を提供するために使用され得る。たとえば、単一の撮像デバイス200が図1A～図1Bに示されているが、2つ以上の撮像デバイス200は、車両の周囲に異なる視野を提供するために、車両キャビン内に配列され得る。これらの撮像デバイス200は、直接または間接的に(たとえば、Bluetooth(商標)接続を介して)、互いにまたは車両のシステムと通信し、リモートシステムもしくはサービス、またはそのようなデバイスのいずれかもしくはすべてと通信し得る。

図2Bには示されていないが、撮像デバイス200または他のカメラは、1つまたは複数のマイクロフォンを含み得るか、または音を獲得するために車両の周囲に配置された1つまたは複数のマイクロフォンに動作可能に結合され得る。そのようなマイクロフォンは、たとえば、車両が車道に沿って移動するときのタイヤの音に基づいて、車両が雪または雨の中を運転しているかどうかを検出するために使用され得る。

例示的なシナリオ
ドライバが手動でまたは部分自律モードで車両を運転している状況の場合、ドライバは、事前に計画されたルートに沿った道順のセットに従って目的地まで運転している可能性がある。道順は、携帯電話、PDA、タブレットコンピュータなどの個人用デバイスによって生成されるか、またはダウンロードされてもよく、これらは、撮像デバイス200を含み得る場合も含まない場合もある。代替的に、道順は、車両自体のナビゲーションシステム120によって生成または維持され得る。道順は、ドライバに、特定の通りに曲がる、一定数のフィートまたはメートルの間操縦する、いくつかの対象物または関心のある地点に向かう(または離れる)ように指示する場合がある。

残念ながら、実際の状態および他の要因は、ドライバが運転の道順に従う能力に悪影響を与える可能性がある。たとえば、雪、霧、または強風によって植生が揺れると、道路標識が不明瞭になる場合がある。または、トラックや建設機械によって、ドライバがランドマークを見ることができない場合がある。またさらに、ドライバは、現在の状態では標識がほとんどまたはまったく見えない小さい通りに大雪で曲がる必要があるとき、問題に遭遇する可能性がある。したがって、一時停止標識、停止信号、または他の標識が近くにある場合でも、障害物(他の車両、建物)、悪天候(たとえば、雪、霧、大雨など)、またはそうでなければ運転状態が悪い(たとえば、夕暮れ時または他の弱光状態)のためにドライバがそれを見ることができない場合がある。受信された、または以前に生成された道順は、そのような要因に対処するのに十分でない場合がある。

システムは、カメラから受信された画像情報および車載位置情報を使用して、現在の気象状態(たとえば、雨、霧、雪、夕暮れ、または夜間など)および/または道路状況(たとえば、表面タイプの変化、甌穴などの道路の損傷、濡れた道路または滑りやすい道路、道路上のがれき、閉鎖など)をリアルタイムで決定することができる。標識の変化または標識の障害物は、カメラによってキャプチャされた画像に基づいて決定することもできる。これは、たとえば、キャプチャされた画像を現在のロケーションの以前に獲得された画像と比較することによって行われ得る。例として、車載システムは、リモートサーバから、他の車両から、および/または同じ車両によって行われた以前の旅行によって、もしくは撮像デバイス自体によって、以前に取得された画像を取得することができる。

撮像デバイス200は、車載システムにリアルタイム画像の「カメラフィードバックループ」を提供するように構成される。旅行中、システムは、以前に取得された画像を車載カメラからのリアルタイム画像と比較することができる。そのような画像処理は、リアルタイム画像をキャプチャしたカメラまたは他のデバイス(たとえば、図3A～図3Bの304、306、308、または310)によって、車両の車載コンピュータシステム(たとえば、図2Aの102)、および/またはリモートサーバ(たとえば、図3A～図3Bのサーバ302)によって行われ得る。画像の比較または差異の決定は、たとえば、処理リソースの可用性、通信帯域幅、および他の要因に従って、システムの異なる処理デバイス間で共有され得る。分析に基づいて、取得され獲得された画像の差異に関する情報を生成することが可能である。差異が何であるかに応じて(たとえば、道路標識が見えない、または部分的に覆い隠されている)、システムは、ドライバの他の視覚的合図を識別し得る。

別の例では、車載システム、リモートシステム(たとえば、サーバ302)、またはその両方は、雪、雨の量、建設機械、または他のタイプの障害物および視界障害の有無を検出するために、リアルタイムで獲得された画像に機械学習モデルを使用し得る。このように、現在の運転状態および環境は、リアルタイム画像に鑑みて決定される。

以下で説明するように、このフィードバックループは、システムが、獲得されたリアルタイム画像データに基づいてドライバに警告することを可能にする。これは、たとえば、通常の予想される通りごとのナビゲーションモードと比較して、簡単に視認できるものに基づいて、より詳細な指示で運転の初期の道順のセットを更新または変更することによって行われ得る。システムは、より詳細な指示を使用して、ドライバを目的地に案内する。これは、ルート上で適切な向きを提供することが期待または知られている視覚的手がかりで指示を増強することを含むことができる。特に、システムは、現在の運転指示を強化し(指示をより詳細にするなど)、リアルタイムで変更を加えるどうか、およびその方法を決定することができる。これによって、次に、ドライバが計画されたルートに正しく従うことが容易になり、可能性が高くなり得る。加えて、システムは、いくつかの準最適な状態を回避するためにルートを変更する場合がある。

例として、ランドマーク、建物、または都市景観の他の様々な特徴(公園、看板、街灯柱など)などより大きく、より簡単に見つけられる視覚的なガイドを使用して、ドライバに、より良い向きを提供し、いつ曲がるかを伝えることができる。その結果、「右側の大きい看板の後で、15番街を左折してください」、または「右側の高い茶色の建物の近くで減速を開始し、次のそのような高い建物の前で右折する準備をしてください」など、より詳細な指示セットが得られ、当然、後者の例では、これら2つの建物が他の建物よりも際立っていると仮定する。これらの指示は、車両のディスプレイ140、撮像デバイス200のグラフィカルディスプレイ230などに視覚的に提示され得る。ここでは、より大きいフォント、異なる色、および/または強調表示などの視覚的合図が使用され得る。

指示はまた、車両のユーザインターフェース134のスピーカ142によって、または撮像デバイス200のスピーカ232によってなど、聴覚的に提示され得る。加えて、または代替的に、触覚フィードバック(たとえば、ステアリングホイールを介して)はまた、右または左の曲がり角を示すようにステアリングホイールを振動させることによってなど、ドライバに強化された更新された案内を提供するのに役立ち得る。

本技術の別の態様は、ドライバが現在の環境条件に鑑みて提供されたナビゲーション指示に正しく従う可能性を伴う。この可能性は、同じドライバ、同じまたは同様のロケーションにある他のドライバの集約された(および匿名化された)統計情報、および/または同じもしくは同様の条件下で、現在のロケーションで利用可能なランドマーク情報のタイプ、および他の要因を伴う以前のナビゲーション状況に基づき得る。そのような情報は、システムを較正するおよび/または、ドライバの追加の(詳細な)特徴の手がかりを選択するために使用され得る。

たとえば、システムは、個々のユーザの逸脱(たとえば、ドライバが最初の指示セットに正しく従わない)、およびこれらの逸脱が異なる状況でどのように発生するか、ならびに個人の運転習慣を分析することができる。任意の個人固有の情報は、ユーザのデバイスに記憶され、通常の一連の指示をフェッチするか、「強化された」一連の指示をフェッチするかを決定するときにのみ使用される。

この手法の一部として、システムは、ルートに従う個々の障害だけでなく、全体としての障害も分析し得る。したがって、ドライバが運転中に複数の曲がり角を逃した場合、またはルートに沿った複数のドライバが曲がり角を逃したことをシステムが認識した場合、より詳細な視覚的および/または聴覚的(および触覚的)合図をドライバに提供することができる。別の例では、これが予期されていないエリア、たとえばルートの直線セグメントの途中でドライバが減速していることをシステムが検出した場合、これは、ドライバが元の道順に従うのが困難であることも示している可能性がある。たとえば、これは、夜間または雪の中で道路標識が読みづらい、車道が凍っている、または雪が降っているなどのためであり得る。

シナリオに応じて、この手法は、時間の経過とともに情報を蓄積することを伴い得る。例として、カメラおよび/または他のデバイスからの証拠に基づいて、視界の明示的な条件依存モデルを開発することができる。ここで、システムが一定時間、たとえば、15分、1時間など、雪が降っていることを検出した場合、システムは、ドライバを支援するために異なるまたは追加の合図を選択してもよい。

さらに、天候や弱光により標識または他のランドマークが不明瞭になった場合でも、車道の湾曲またはトラックおよび他の大型車両などの一時的な障害物などにより、見えにくい場合がある。この場合、カメラのフィードバックループ分析によってドライバが道順に問題がある可能性があることが示唆されたとき、ドライバを支援するために可聴合図が提示され得る。

ドライバを詳細な手がかりで支援する1つの方法は、最初に環境内に存在するランドマークのタイプを理解することを伴う。たとえば、これは、公開されているストリートレベルの画像(たとえば、Googleストリートビューのパノラマおよび他の公開されている画像など)の分析を伴うことができる。画像コンテンツ分析システムは、多種多様な都市の特徴とそのような特徴の様々な特性(形状、色、サイズ)、および意味的特徴の組合せ(たとえば、「高層タワーブロックの北向きの壁の壁画」など)を検出することができる。

たとえば、システムは、リモートサーバまたは他の車両から、計画されたルートに沿った特定のロケーションの画像情報を取得し得る。取得される情報の量は、ワイヤレス通信リンクの堅牢性次第であり得る。または、代替的に、旅行を開始する前にドライバ(または同乗者)の個人用デバイスが画像をダウンロードしてもよい。コンテンツ更新は、旅行中に必要に応じて、または利用可能な場合に提供され得る。天気、交通、緊急通知など他の情報も、他の車両を含む外部ソースから取得することができる。

この情報のすべては、詳細で強化された道順情報を提供するかどうか、または提供する方法を決定するときにシステムが使用するための要因として分析され、および/または結合することができる。

図4A～図4Bは、1つのシナリオ400を示しており、典型的な道順情報は、不明瞭であるか、またはそうでなければ検出するのが難しい可能性がある。たとえば、図4Aに示されるように、ドライバは、道路に沿って、事前に生成された道順に従って車両100を運転している可能性がある。しかしながら、メインストリートの道路標識402は、建物404によって覆い隠されている可能性がある。また、業務用看板「ジョーの理髪店」406は、雪、雨、または弱光状態のために見づらい場合がある。しかしながら、理髪店に関連付けられた、またはそうでなければ近くに位置する別のランドマークがあり、それは、建物404の理髪店のポール408である。

図4Bの上面図に示されるように、車内撮像デバイス200は、視野410を有し得る。視野410は、車道のドライバの視点に類似している可能性がある。ここで、画像比較、機械学習、および/または本明細書で論じられる他の手法のいずれかによって、システムは、撮像デバイスの獲得されたリアルタイム画像から、道路標識が覆い隠されており、状態が悪化しすぎてドライバが業務用看板を見ることができない可能性があると決定することができる。しかしながら、撮像デバイス200によってキャプチャされた画像は、オンまたはオフであり得る理髪店のポール408を容易に識別し得る。この追加のランドマークは、より良く見える興味のあるポイントを提供するためにシステムによって決定され得る。その結果、運転の道順が変更され得る、たとえば理髪店のポールの近くに駐車するために、または追加の合図が視覚的または聴覚的にドライバに提示され得る(図1Bを参照)。そのような詳細な増強は、撮像デバイス200、車両のコンピューティングデバイス102、および/またはナビゲーションシステム120によって、またはリモートサーバ302(またはそれらの組合せ)によって実行され得る。

図5A～図5Cは、ドライバの視野が制限され、または不明瞭になる可能性がある別のシナリオを示している。たとえば、図5Aは、視野範囲500を示している。この図は、良好な状態下で、ドライバが200フィートまたはメートル以上車両の前方に向かって覆い隠すものがない視野502を有する可能性があることを示している。図5Bの運転シナリオ510に示されるように、車道を運転している間、交差点に隣接して一時停止標識512などの対象物が位置する可能性がある。車両の前の車道の一部に沿って、水たまりまたは結氷514が存在する場合もある。しかしながら、次のレーンに大型トラック516が存在する場合もある。また、図5Cのトップダウン図520によって示されるように、標識および水たまりまたは結氷の少なくとも一部は、トラックによってドライバの視野から不明瞭にされ得る。水たまりや結氷は、大雨や雪などによって覆い隠されることもある。それでも、本明細書で論じられる手法を使用すると、車載撮像デバイスから取得された画像を使用して、視界が低下したか、予想される対象物(たとえば、一時停止標識)がドライバの視界にないかどうかを識別することができる。これに基づいて、システムは、特定の運転行動を実行するなど、強化されたまたは代替の道順または他の指示を提供し得る。これは、レーンの変更、またはそうでなければルートの変更を伴い得る。特定の運転行動の例には、減速、方向転換、停止、または駐車がある。また、ドライバが所望の目的地に進むのに役立つ他のランドマークに関する情報を視覚的、聴覚的、または触覚的に提供することも伴い得る。

例示的な方法
図6は、運転の道順を変更するための方法の一例600を示す。たとえば、ブロック602に示されるように、車両のドライバの運転ルートについての初期道順が取得される。道順は、出発点から目的地まで車両をルーティングするために使用される。ブロック604で、ルートに沿った1つまたは複数のロケーションの以前にキャプチャされた画像が取得される。これは、たとえば、リモートシステム、別の車両の画像データベース、または現在の車両もしくは車両とともに使用されている撮像デバイスによって以前に取得された画像から得られ得る。ブロック606で、プロセスは、以前にキャプチャされた画像に位置する第1のランドマークを識別する。ブロック602、604、および606のプロセスは、異なる順序でまたは並行して実行され得る。それらのいずれかまたはすべては、ドライバによる車両の運転前、または車両が目的地に向かうルートの途中で行われる場合がある。

ブロック608で、車両に配置されたカメラによって取得されたリアルタイム画像が受信される。それは、カメラ、車両、および/またはサーバシステム302などのリモートシステムの1つまたは複数のプロセッサによって受信され得る。ブロック610で、第1のランドマークが車両のドライバによって視認可能であるかどうかを決定するために、リアルタイム画像からの少なくとも1つの画像が、以前にキャプチャされた画像からの少なくとも1つの画像と比較される。たとえば、画像を比較して、画像の相対的な明るさおよび/または他の画像特性を評価するなど、第1のランドマークの可観測性に関連付けられた相対的な特性を評価することができる。画像特性は、画像から識別された対象物または外部環境における現在の状態などの意味的な内容を含み得る。これは、車両が運転されている間にリアルタイムで行われることが望ましい。次いで、ブロック612で、第1のランドマークが車両のドライバによって視認可能でないと決定されると、第1のランドマークとは異なる少なくとも1つの他のランドマークを示すために運転ルートの初期道順が変更される。このようにして、ドライバが目的地まで車両を操縦するのを効果的に支援するために、堅牢な情報をドライバに提供することができる。

図7は、更新または増強された道順情報を車両のドライバに提供するための方法の一例700を示している。ブロック702で、プロセスは、車両に配置されたカメラによって取得されたリアルタイム画像を受信する。リアルタイム画像は、ドライバによる車両の運転中に取得される。ブロック704では、車両の周囲の外部環境における現在の状態を決定するために、リアルタイム画像からの少なくとも1つの画像が分析される。この分析は、たとえば、カメラ、車両、および/またはサーバシステム302などのリモートサーバシステムの1つまたは複数のプロセッサによって行われ得る。現在の状態は、これらに限定されないが、気象状態および/または時刻を含み得る。ブロック706で、システムは、分析に基づいて、現在の状態が、外部環境における選択されたランドマークをドライバによる目視から覆い隠すと予想されることを決定する。たとえば、各ランドマークは、ランドマークが不明瞭と見なされる条件に関連付けられている場合がある(たとえば、消灯している道路標識は夜間に不明瞭と見なされる場合がある)。そのような問題のある状況を回避するために、ブロック708で、現在の状態が、外部環境における選択されたランドマークをドライバによる目視から覆い隠すと予想されると決定すると、システムは、車両に配置されたカメラによって視認可能な異なるランドマークを識別することが説明されている。異なるランドマークは、現在リアルタイムに視認可能である場合があり、または、近い将来、たとえば次の5～10秒または1分以内、1～3ブロック以内などで視認できる場合もある。この情報に基づくと、ブロック710で、異なるランドマークの視覚的、聴覚的、および/または触覚的指示がドライバに提供される。

特に明記されていない限り、上述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組合せで実施されてもよい。上記の特徴のこれらおよび他の変形および組合せは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の上述の説明は、特許請求の範囲によって定義される主題の限定としてではなく、例示として解釈されるものとする。さらに、本明細書に記載の例の提供、ならびに「たとえば」、「含む」などと表現された条項は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、これらの例は、多くの可能な実施形態のうちの1つのみを示すことを目的としたものである。さらに、異なる図面の同じ参照番号は、同じまたは類似の要素を識別することができる。プロセスまたは他の動作は、本明細書において明示されていない限り、異なる順序でまたは同時に実行することができる。

上述のように、本技術の1つの有益なエリアは、悪天候についてである。例として、システムは、雪が交通の1つのレーンを覆うまたはクローズするときなど、対象となる車線案内を提供し得る。ここで、異なる出口またはターンオフポイントを識別するために、道順が変更され得る。このシステムは、他の最適とは言えない条件にも適している。たとえば、特定の道路標識は、照明のない住宅街では夜間に見えない場合がある。

他の利点は、外部環境条件を伴うもの以外の要因に対して詳細な変更された指示を提供する能力を伴い得る。たとえば、上記のように、システムは、ドライバが運転指示にどれだけ厳密に従うことができるかを評価することができる。この点において、代替要因は、道順の複雑さ、時間または距離において互いに接近する多数の曲がり角などを含み得る。この情報のいずれかまたはすべてを使用して、ドライバが所望の目的地への運転の道順に効果的に従うことができる可能性を高めるために、更新または増強された指示または合図をドライバにリアルタイムで提供することができる。

この技術はまた、車両のフォームファクタに依存しない。同様の手法は、乗用車、バス、オートバイ、小型および大型トラック、建設機械などに適用することができる。

100 乗用車
102 コンピューティングデバイス
104 プロセッサ
106 メモリ
108 命令
110 データ
112 減速システム
114 加速システム
116 ステアリングシステム
118 信号システム
120 ナビゲーションシステム
122 位置決めシステム
124 知覚システム
126 電力システム
128 送信システム
130 車輪/タイヤ
132 通信システム
134 ユーザインターフェースサブシステム
136 ユーザ入力
138 ディスプレイサブシステム
140 内部電子ディスプレイ
142 スピーカ
200 撮像デバイス
202 コンピューティングデバイス
204 プロセッサ
206 メモリ
208 命令
210 データ
212 通信システム
214 ワイヤレス接続
216 ワイヤード接続
218 撮像システム
220 画像センサ
222 ユーザインターフェースサブシステム
224 ユーザ入力
226 機械的アクチュエータ
228 ソフトアクチュエータ
230 グラフィカルディスプレイ
232 スピーカ
236 位置決めサブシステム
238 加速度計
240 ジャイロスコープ
242 GPSユニット
244 内部クロック
246 電源
300 システム
302 コンピューティングデバイス
304 コンピューティングデバイス
306 コンピューティングデバイス
308 コンピューティングデバイス
310 撮像デバイス
312 ストレージシステム
314 ネットワーク
316 車両
318 車両
400 シナリオ
402 道路標識
404 建物
406 業務用看板「ジョーの理髪店」
408 ポール
410 視野
500 視野範囲
502 視野
510 運転シナリオ
512 一時停止標識
514 結氷
516 大型トラック

Claims (22)

1. 車両のドライバのための運転ルートの初期道順を取得するステップであって、前記道順が出発点から目的地までの前記車両のルーティングに使用するためのものであり、前記初期道順が第1のランドマークの指示を含む、ステップと、
   前記ルートに沿った1つまたは複数のロケーションの以前にキャプチャされた画像を取得するステップと、
   前記以前にキャプチャされた画像に位置する前記第1のランドマークを識別するステップと、
   コンピュータデバイスの1つまたは複数のプロセッサによって、前記車両に配置されたカメラによって取得されたリアルタイム画像を受信するステップと、
   前記1つまたは複数のプロセッサによって、前記車両に配置されたマイクロフォンによって取得されたリアルタイム非言語オーディオ入力を受信するステップと、
   前記第1のランドマークが前記車両の前記ドライバによって視認可能であるかどうかを決定するために、前記1つまたは複数のプロセッサによって、前記リアルタイム画像からの少なくとも1つの画像を、前記以前にキャプチャされた画像からの少なくとも1つの画像と比較するステップと、
   前記1つまたは複数のプロセッサによって、リアルタイムで、前記比較するステップおよび受信した前記リアルタイム非言語オーディオ入力に基づいて、前記第1のランドマークが前記車両の前記ドライバの視点から不明瞭であろうことを決定するステップと、
   前記比較に基づいて前記1つまたは複数のプロセッサによって、前記第1のランドマークが前記車両の前記ドライバによって視認可能でないことを決定するステップと、
   前記1つまたは複数のプロセッサによって、前記リアルタイム画像からの少なくとも1つの第2のランドマークを識別するステップであって、前記少なくとも1つの第2のランドマークが前記第1のランドマークと異なり、かつ前記車両の前記ドライバによって視認可能である、ステップと、
   前記第1のランドマークが前記車両の前記ドライバによって視認可能でないと決定されると、前記1つまたは複数のプロセッサによって、前記第1のランドマークの前記指示を前記少なくとも1つの第2のランドマークの指示に置換するために前記運転ルートの前記初期道順を変更するステップと、
   を含む、方法。
2. 前記第1のランドマークが前記車両の前記ドライバによって視認可能であるかどうかを決定するために比較するステップは、前記第1のランドマークが前記車両の前記ドライバによる目視から部分的または完全に覆い隠されているかどうかを決定するステップを含む、請求項1に記載の方法。
3. 前記第1のランドマークが部分的または完全に覆い隠されているかどうかを決定するステップは、前記第1のランドマークの視界が気象状態、弱光状態、別の車両、建物、または植生によって悪影響を受けていることを決定するステップを含む、請求項2に記載の方法。
4. 前記リアルタイム画像は、前記ルートに沿った運転中に前記カメラによって取得される、請求項1に記載の方法。
5. 前記変更された道順は、前記少なくとも1つの第2のランドマークが前記ドライバにとって可視であるときに特定の運転行動をとるよう前記ドライバに指示する、請求項1に記載の方法。
6. 前記特定の運転行動は、減速、方向転換、停止、または駐車からなるグループから選択される、請求項5に記載の方法。
7. 前記初期道順を変更するステップは、前記車両内のグラフィカル表示を更新するステップ、または前記車両内で可聴指示を再生するステップのうちの少なくとも1つを含む、請求項1に記載の方法。
8. 前記車両に配置された前記カメラが視野を有し、前記リアルタイム画像からの前記少なくとも1つの画像を前記以前にキャプチャされた画像からの前記少なくとも1つの画像と比較するステップは、前記ドライバの予想される視野に対する前記カメラの視野を評価するステップを含む、請求項1に記載の方法。
9. 前記初期道順を変更するステップは、前記初期道順を、前記カメラにとって可視である前記運転ルートに沿った1つまたは複数の対象物に基づく少なくとも1つの視覚的手がかりで増強または置換するステップをさらに含む、請求項1に記載の方法。
10. コンピュータデバイスの1つまたは複数のプロセッサによって、ドライバによる車両の運転中に前記車両に配置されたカメラによって取得されたリアルタイム画像を受信するステップと、
    前記1つまたは複数のプロセッサによって、運転中の前記車両に配置されたマイクロフォンによって取得されたリアルタイム非言語オーディオ入力を受信するステップと、
    前記1つまたは複数のプロセッサによって、前記車両の周囲の外部環境における現在の状態を決定するために、前記リアルタイム画像からの少なくとも1つの画像を分析するステップと、
    前記1つまたは複数のプロセッサによって、前記分析の後でリアルタイムで前記リアルタイム画像および前記リアルタイム非言語オーディオ入力に基づいて、前記現在の状態が、前記外部環境における選択されたランドマークを前記ドライバによる目視から少なくとも部分的に覆い隠すと予想されることを決定するステップと、
    前記現在の状態が、前記外部環境における前記選択されたランドマークを前記ドライバによる目視から少なくとも部分的に覆い隠すと予想されると決定すると、前記1つまたは複数のプロセッサによって、前記車両に配置された前記カメラによって視認可能な異なるランドマークを識別するステップであって、前記識別するステップは、前記リアルタイム画像から前記異なるランドマークを選択するステップを含む、ステップと、
    前記ドライバに前記異なるランドマークの視覚的、聴覚的、または触覚的な指示を提供するステップと、
    を含む方法。
11. 前記提供するステップの前に、前記異なるランドマークの前記指示で目的地まで運転するための初期の道順のセットを変更するステップをさらに含む、請求項10に記載の方法。
12. 前記変更された初期道順が、前記異なるランドマークが前記ドライバにとって可視であるときに特定の運転行動をとるよう前記ドライバに指示する、請求項11に記載の方法。
13. 前記特定の運転行動は、減速、方向転換、停止、または駐車からなるグループから選択される、請求項12に記載の方法。
14. 前記現在の状態が、前記外部環境における前記選択されたランドマークを前記ドライバによる目視から少なくとも部分的に覆い隠すと予想されることを決定するステップは、前記選択されたランドマークの視界が気象状態、弱光状態、別の車両、建物、または植生によって悪影響を受けていることを決定するステップを含む、請求項10に記載の方法。
15. 前記車両の周囲の前記外部環境における前記現在の状態を決定するために、前記リアルタイム画像から前記少なくとも1つの画像を分析するステップは、前記外部環境における障害物または他の視界障害を検出するために、機械学習モデルを前記リアルタイム画像に適用するステップを含む、請求項10に記載の方法。
16. システムであって、
    命令またはデータのうちの少なくとも1つを記憶するように構成されたメモリと、
    前記メモリに動作可能に結合された1つまたは複数のプロセッサとを含み、前記1つまたは複数のプロセッサは、
    車両のドライバのための運転ルートの初期道順を取得することであって、前記道順が出発点から目的地までの前記車両のルーティングに使用するためのものであり、前記初期道順が第1のランドマークの指示を含む、ことと、
    前記ルートに沿った1つまたは複数のロケーションの以前にキャプチャされた画像を取得することと、
    前記以前にキャプチャされた画像に位置する前記第1のランドマークを識別することと、
    前記車両に配置されたカメラによって取得されたリアルタイム画像を受信することと、
    前記車両に配置されたマイクロフォンによって取得されたリアルタイム非言語オーディオ入力を受信することと、
    前記第1のランドマークが前記車両の前記ドライバによって視認可能であるかどうかを決定するために、前記リアルタイム画像からの少なくとも1つの画像を、前記以前にキャプチャされた画像からの少なくとも1つの画像と比較することと、
    リアルタイムで前記比較および受信された前記リアルタイム非言語オーディオ入力に基づいて、前記第1のランドマークが前記車両の前記ドライバによって視認可能でないことを決定することと、
    前記リアルタイム画像からの少なくとも1つの第2のランドマークを識別することであって、前記少なくとも1つの第2のランドマークが前記第1のランドマークと異なり、かつ前記車両の前記ドライバによって視認可能である、ことと、
    前記第1のランドマークが前記車両の前記ドライバによって視認可能でないと決定されると、前記第1のランドマークの前記指示を前記少なくとも1つの第2のランドマークの指示に置換するために前記運転ルートの前記初期道順を変更することと、
    を行うように構成されている、システム。
17. 前記カメラをさらに含む請求項16に記載のシステム。
18. 前記カメラがパーソナル通信デバイスの一部である、請求項16に記載のシステム。
19. システムであって、
    命令またはデータのうちの少なくとも1つを記憶するように構成されたメモリと、
    前記メモリに動作可能に結合された1つまたは複数のプロセッサとを含み、前記1つまたは複数のプロセッサは、
    ドライバによる車両の運転中に前記車両に配置されたカメラによって取得されたリアルタイム画像を受信することと、
    運転中の前記車両に配置されたマイクロフォンによって取得されたリアルタイム非言語オーディオ入力を受信することと、
    前記車両の周囲の外部環境における現在の状態を決定するために、前記リアルタイム画像からの少なくとも1つの画像を分析することと、
    前記分析の後でリアルタイムで前記リアルタイム画像およびリアルタイム非言語オーディオ入力に基づいて、前記現在の状態が、前記外部環境における選択されたランドマークを前記ドライバによる目視から少なくとも部分的に覆い隠すと予想されることを決定することと、
    前記現在の状態が、前記外部環境における前記選択されたランドマークを前記ドライバによる目視から少なくとも部分的に覆い隠すと予想されると決定すると、前記車両に配置された前記カメラによって視認可能な異なるランドマークを識別することであって、前記識別することは、前記リアルタイム画像から前記異なるランドマークを選択することを含む、ことと、
    前記ドライバに前記異なるランドマークの視覚的、聴覚的、または触覚的な指示を提供することと、
    を行うように構成されている、システム。
20. 前記車両の周囲の外部環境における前記現在の状態を決定するための前記リアルタイム画像からの前記少なくとも1つの画像の前記分析が、機械学習プロセスに従って前記1つまたは複数のプロセッサによって実行される、請求項19に記載のシステム。
21. 以前のルート指示から前記ドライバの逸脱に基づいて、前記少なくとも1つの第2のランドマークのための追加の特徴の手がかりを選択するステップをさらに含む、請求項1に記載の方法。
22. 前記少なくとも1つの第2のランドマークを含む以前のルート指示から複数のドライバの集約された逸脱に基づいて、前記少なくとも1つの第2のランドマークのための追加の特徴の手がかりを選択するステップをさらに含む、請求項1に記載の方法。

Images