JP6798526B2 - 運転者へのロードミラー内容の提供 - Google Patents

Description

（関連出願への相互参照）
本出願は、「PROVIDING TRAFFIC MIRROR CONTENT TO A DRIVER」と題し、２０１７年５月２３日に出願された米国特許出願第１５／６０３，０８６号の優先権を主張する。これらの特許出願は、その全体が参照によって本願明細書に援用される。

本明細書は、車両の運転者にロードミラーの内容を提供するための運転者支援システムに関する。

ロードミラーは安全ではなく、運転者にとって見えにくく、理解しにくい。例えば、ロードミラーが安全ではない理由は、運転者が走行している道路から視線を上げ、自分の目で周囲を見渡してロードミラーを探して確認しなければならず、そのためロードミラーを見ることが危ないからである。ロードミラーが見えにくい理由は、ロードミラーによって反射される画像自体が小さく、そのため画像が見えにくいからである。また、ロードミラーが理解しにくい理由は、画像内の物体が光学的に反転されているからである。

ロードミラーの使用の問題に対する既存の解決策は、車道環境内に設置されたロードミラーを、特殊センサと、カメラが車両と通信することを可能にする通信機能とを含む高精細カメラ（本明細書では「ロードカメラ」という）で置き換えることに重点を置くものである。その場合これらのロードカメラは、Ｖ２Ｉ（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）技術を使用して、カメラが取り込んだ画像を車両にストリーミングする。その場合、これらの車両の運転者は、自車の電子ディスプレイ上でこれらのロードカメラが取り込んだ画像を見ることができる。

既存の解決策は実施するのが非常に高くつき、複雑であるため、これらの解決策とするのには問題がある。第１に、何千台ものロードミラーを取り外し、廃棄しなければならない。このプロセスは高くつき、ロードミラーはその所期の目的のために十分に機能するのであるから、無駄が多い。第２に、Ｖ２Ｉ通信機能を有する何千台もの高精細カメラを多額の費用で購入しなければならない。第３に、高精細カメラを設置するプロセスもまた高くつき、時間を要する。第４に、新しく設置されるカメラは、電源と、熟練電気技師による定期的な保守とを必要とし、それらの電気技師は通常の道路保守作業員よりも雇用経費が高いため、追加出費の原因になる。それに比べて、ロードミラーはいかなる電源も必要とせず、その保守は、雇用経費が安い非熟練道路保守作業員が行える、通常の清掃だけに限られる。第５に、新しく設置されるロードカメラは特定の通信プロトコルを使用することになるため、国中の技術を、その特定の通信プロトコルを使用してロードカメラと通信することを可能にする通信モジュールを含むように更新することが必要になる。

本明細書に記載するのは、車両の運転者にロードミラー内容を提供する運転者支援システムである。本運転者支援システムは、車両にいかなる新しいハードウェアも設置しなくてよい、車両の車載コンピュータにインストールされるソフトウェアとしうるため、有利である。

本運転者支援システムは、運転者が、ロードミラーによって反射される画像を安全に見
て理解することができるよう支援する。このようにして、本運転者支援システムは、運転者が裸眼では見ることができない車道の領域を運転者がよりよく理解できるようになるため、運転者にいつ左折または右折すれば安全であるかが分かるよう支援する。

本運転者支援システムは、車両の現在位置を記述する全地球測位システム（以下「ＧＰＳ」という）データを取得することができる。ＧＰＳデータは、±３メートル以内の精度の狭域通信（以下「ＤＳＲＣ」という）準拠のＧＰＳユニットから受信できる。本運転者支援システムは、ＧＰＳデータに基づいてミラーデータを生成することができる。例えば、マップデータは地理的領域のロードミラーの位置を記述することができる。本運転者支援システムは、ＧＰＳデータを使用して、マップデータから車両に近接したロードミラーの対応する位置を識別することができる。

本運転者支援システムは、ミラーデータに基づいて、車両と関連付けられた外部カメラに、ロードミラーの画像を記述する撮像データを取り込むよう命令することができる。例えば、本運転者支援システムは外部カメラに、ロードミラーを含む画像を取り込むためにロードミラーの位置に対応するように適応するよう命令することができる。

本運転者支援システムは、画像の光学的反転バージョンを記述する処理済み画像データを生成する。また処理済み画像データは、画像の光学的反転バージョンの拡大バージョンおよび画像の光学的反転バージョンの無ひずみバージョンのうちの１つまたは複数も記述することができる。

本運転者支援システムは表示装置に、画像の光学的反転バージョンを表示するよう命令することができる。表示装置は、拡張現実ゴーグル（以下「ＡＲゴーグル」という）を含むことができ、ＡＲゴーグルに画像の光学的反転バージョンを表示するよう命令するステップは、ＡＲゴーグルに処理済み画像データを提供するステップと、車両の運転者の頭部の位置を記述する頭部位置データを受信するステップと、グラフィックオーバーレイを生成するステップと、ＡＲゴーグルにグラフィックオーバーレイを表示するよう命令するステップとを含むことができる。また表示装置は、３次元ヘッドアップディスプレイ（以下「３Ｄ−ＨＵＤ」という）、またはインフォテインメントシステムと関連付けられたディスプレイなどのフルカラー電子ディスプレイも含むことができる。

本明細書に記載する運転者支援システムシステムは、車両の性能および運転者の安全性を向上させる多くの利点を提供することができる。第１に、本運転者支援システムでは、ロードミラーを取り外し、高額な専門家による保守を必要とする高価なカメラで置き換える必要が回避される。第２に、本運転者支援システムでは、現行の車両ハードウェアを使用し、追加的なハードウェアを動作させる必要がない。第３に、本運転者支援システムでは、ロードミラーからの物体の光学的反転バージョンを含む処理済み画像データを表示するため、運転者により安全な体験が提供される。第４に、本運転者支援システムでは、運転者が、道路から見上げて、ロードミラーに何が表示されているか判断しなくても表示装置上でロードミラー内容を見ることができるので、運転者により快適な体験が提供される。

１台または複数のコンピュータのシステムを、動作に際してシステムに特定の操作または動作を行わせるソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせをシステム上にインストールすることによってそれらの動作を行うように構成することができる。１つまたは複数のコンピュータプログラムを、データ処理装置によって実行されると装置に特定の操作または動作を行わせる命令を含むことによってそれらの動作を行うように構成することができる。

１つの一般的な態様は、車両の現在位置を記述するＧＰＳデータを取得するステップと、ＧＰＳデータに基づいて、車道環境に含まれるロードミラーの固定位置を識別するミラーデータを生成するステップと、ミラーデータに基づいて、車両と関連付けられた外部センサに、ロードミラーの画像を記述する撮像データを取り込むよう命令するステップと、画像の光学的反転バージョンを記述する処理済み画像データを生成するステップと、表示装置に画像の光学的反転バージョンを表示するよう命令するステップと、を含む方法を含む。

各実施態様は以下の特徴のうちの１つまたは複数を含むことができる。
表示装置が拡張現実ゴーグルを含み、表示装置に画像の光学的反転バージョンを表示するよう命令するステップが、拡張現実ゴーグルに処理済み画像データを提供するステップと、車両の運転者の頭部の位置を記述する頭部位置データを受信するステップと、頭部位置データに基づいて、画像の光学的反転バージョンを描写するグラフィックオーバーレイを表示すると決定したことに応答して、グラフィックオーバーレイを生成するステップと、拡張現実ゴーグルにグラフィックオーバーレイを表示するよう命令するステップと、拡張現実ゴーグルにグラフィックオーバーレイの更新を周期的に表示するよう命令するステップと、を含む方法。
本方法は、グラフィックオーバーレイを表示すると決定することが、運転者が、ロードミラーが位置するはずの現実世界における固定位置を見ているという判定にさらに基づくものである場合を含む。
本方法は、表示装置に画像の光学的反転バージョンを表示するよう命令するステップが、車両が静止しているという車両データの分析に基づく判定に応答して行われる場合を含む。
本方法は、特定の方向に曲がろうとする車両の運転者の意思を判定するステップと、運転者がその特定の方向に曲がることが安全かどうか推定するステップとをさらに含み、表示装置に画像の光学的反転バージョンを表示するよう命令するステップは、表示装置に運転者がその特定の方向に曲がることが安全かどうかについての助言を提供するよう命令するステップを含む。
本方法は、表示装置が３Ｄ−ＨＵＤを含み、表示装置に画像の光学的反転バージョンを表示するよう命令するステップが、３Ｄ−ＨＵＤ上に画像の光学的反転バージョンを表示するステップを含む場合を含む。
本方法は、処理済み画像データが、画像の光学的反転バージョンの拡大バージョンおよび画像の光学的反転バージョンの無ひずみバージョンをさらに記述する場合を含む。
本方法は、外部センサにミラーデータに基づいてロードミラーの画像を取り込むよう命令するステップが、外部カメラから撮像データを受信するステップと、撮像データをオブジェクト事前情報と比較するステップと、撮像データとオブジェクト事前情報との比較に基づいてロードミラーを識別するステップと、をさらに含む場合を含む。
本方法は、表示装置がフルカラー電子ディスプレイを含む場合を含む。
本方法は、ＧＰＳデータが車両の一部であるＤＳＲＣ準拠のＧＰＳユニットから受信されることをさらに含む。
ＧＰＳデータに基づいてミラーデータを生成するステップが、地理的位置におけるロードミラーのセットの対応する位置を記述するマップデータを受信するステップと、車両の現在位置をマップデータと比較することによってロードミラーの固定位置を識別するステップと、を含む方法。

１つの一般的態様は、コンピュータコードを格納した非一時的メモリを含む車載コンピュータシステムであって、コンピュータコードは、車載コンピュータシステムによって実行されると車載コンピュータシステムに、車両の現在位置を記述するＧＰＳデータを取得させ、ＧＰＳデータに基づいて、車道環境に含まれるロードミラーの固定位置を識別するミラーデータを生成させ、ミラーデータに基づいて、車両と関連付けられた外部センサに
、ロードミラーの画像を記述する撮像データを取り込むよう命令させ、画像の光学的反転バージョンを記述する処理済み画像データを生成させ、処理済み画像データを表示装置に提供することによって表示装置に画像の光学的反転バージョンを表示するよう命令させる、車載コンピュータシステム、を含むシステムを含む。また本システムは、車載コンピュータシステムに結合された表示装置も含むことができ、表示装置は、処理済み画像データを受信し、画像の光学的反転バージョンを表示する。

各実施態様は以下の特徴のうちの１つまたは複数を含むことができる。
表示装置は拡張現実ゴーグルを含み、車載コンピュータシステムは、車載コンピュータシステムによって実行された場合に、車載コンピュータシステムに、拡張現実ゴーグルに処理済み画像データを提供させ、車両の運転者の頭部の位置を記述する頭部位置データを受信させ、頭部位置データに基づいて、画像の光学的反転バージョンを描写するグラフィックオーバーレイを表示すると決定したことに応答して、グラフィックオーバーレイを生成させ、拡張現実ゴーグルにグラフィックオーバーレイを表示するよう命令させ、拡張現実ゴーグルにグラフィックオーバーレイの更新を周期的に表示するよう命令させる、追加的なコードを含む。
本システムは、グラフィックオーバーレイを表示すると決定することが、運転者が、ロードミラーが位置するはずの現実世界における固定位置を見ているという判定にさらに基づくものである場合を含む。

１つの一般的態様は、車載コンピュータシステムによって実行されると車載コンピュータシステムに、車両の現在位置を記述するＧＰＳデータを取得させ、ＧＰＳデータに基づいて、車道環境に含まれるロードミラーの固定位置を識別するミラーデータを生成させ、ミラーデータに基づいて、車両と関連付けられた外部センサに、ロードミラーの画像を記述する撮像データを取り込むよう命令させ、画像の光学的反転バージョンを記述する処理済み画像データを生成させ、表示装置に画像の光学的反転バージョンを表示するよう命令させる、コンピュータ実行可能コードを格納した車両の車載コンピュータシステムの非一時的メモリを含むコンピュータプログラム製品を含む。

各実施態様は以下の特徴のうちの１つまたは複数を含むことができる。
本コンピュータプログラム製品は、表示装置が拡張現実ゴーグルを含み、コンピュータ実行可能コードが車載コンピュータシステムに、拡張現実ゴーグルに処理済み画像データを提供させ、車両の運転者の頭部の位置を記述する頭部位置データを受信させ、頭部位置データに基づいて、画像の光学的反転バージョンを描写するグラフィックオーバーレイを表示すると決定したことに応答して、グラフィックオーバーレイを生成させ、拡張現実ゴーグルにグラフィックオーバーレイを表示するよう命令させ、拡張現実ゴーグルにグラフィックオーバーレイの更新を周期的に表示するよう命令させること、を含む。
本コンピュータプログラム製品は、グラフィックオーバーレイを表示すると決定することが、運転者が、ロードミラーが位置するはずの現実世界における固定位置を見ているという判定にさらに基づくものである場合を含む。
本コンピュータプログラム製品は、表示装置に画像の光学的反転バージョンを表示するよう命令することが、車両が静止しているという車両データの分析に基づく判定に応答して行われる場合をさらに含む。
本コンピュータプログラム製品は、コンピュータ実行可能コードが車載コンピュータシステムに、特定の方向に曲がろうとする車両の運転者の意思を判定させ、運転者がその特定の方向に曲がることが安全かどうか推定させることをさらに含み、表示装置に画像の光学的反転バージョンを表示するよう命令することは、表示装置に運転者がその特定の方向に曲がることが安全かどうかについての助言を提供するよう命令することを含む。
本コンピュータプログラム製品は、表示装置が３Ｄ−ＨＵＤを含み、表示装置に画像の光学的反転バージョンを表示するよう命令することが、３Ｄ−ＨＵＤ上に画像の光学的反
転バージョンを表示することを含む場合を含む。

前述の技法の各実施態様は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含むことができる。

本発明に係る方法は、
車両の現在位置を取得する位置取得ステップと、前記車両の現在位置に基づいて、道路に設置されたロードミラーの位置を識別する位置識別ステップと、前記車両に備えられた外部センサを用いて、識別された前記ロードミラーを含む第一の画像を取り込む画像取得ステップと、前記第一の画像を光学的に反転させた第二の画像データを生成する画像処理ステップと、表示装置に、前記第二の画像データを表示させる表示ステップと、を含む。

また、前記表示装置は、拡張現実（ＡＲ）表示装置であり、前記表示ステップは、前記車両の運転者の頭部位置を取得するステップと、前記頭部位置に基づいて前記第二の画像データを描画するためのグラフィックオーバーレイを生成するステップと、前記グラフィックオーバーレイを前記ＡＲ表示装置に出力するステップと、を含むことを特徴としてもよい。
また、前記車両の運転者の視線を検出する視線検出ステップをさらに含み、前記表示ステップでは、前記運転者の視線が、特定のロードミラーの方向にある場合に、当該ロードミラーに対応する前記グラフィックオーバーレイを前記ＡＲ表示装置に出力することを特徴としてもよい。
また、前記車両の速度を検出する速度検出ステップをさらに含み、前記表示ステップでは、前記車両が停止している場合に、前記表示装置に前記第二の画像データを表示させることを特徴としてもよい。
また、前記車両の進行方向を予測する第一の予測ステップと、前記予測された進行方向における安全性を予測する第二の予測ステップと、をさらに含み、前記表示ステップでは、前記予測された安全性についての情報をさらに前記表示装置に表示させることを特徴としてもよい。
また、前記表示装置は、３Ｄヘッドアップディスプレイであることを特徴としてもよい。
また、前記第二の画像データは、前記第一の画像を光学的に反転させ、さらに拡大した画像、または、前記第一の画像を光学的に反転させ、歪みを取り除いた画像であることを特徴としてもよい。
また、前記位置識別ステップでは、外部カメラが撮像した画像と、前記ロードミラーに関するオブジェクト情報とを比較した結果に基づいて、前記ロードミラーの位置を識別することを特徴としてもよい。
また、前記位置識別ステップでは、ロードミラーの配置位置が記録されたマップデータを用いて前記ロードミラーの位置を識別することを特徴としてもよい。

本発明に係るシステムは、
車両の現在位置を取得する位置取得手段と、前記車両の現在位置に基づいて、道路に設置されたロードミラーの位置を識別する位置識別手段と、前記車両に備えられた外部センサを用いて、識別された前記ロードミラーを含む第一の画像を取り込む画像取得手段と、前記第一の画像を光学的に反転させた第二の画像データを生成する画像処理手段と、表示装置に、前記第二の画像データを表示させる表示手段と、を有することを特徴とする。

本開示は、限定のためではなく例として、添付の図面の各図に示されており、図面において類似した参照符号は類似した要素を指すのに使用されている。

いくつかの実施形態による車両の運転者支援システムのための動作環境を示すブロック図である。 いくつかの実施形態による車両の運転者支援システムを含むコンピュータシステムの例を示すブロック図である。 いくつかの実施形態による、ロードミラーが車道環境内の物体に関する情報をどのように提供するかを示すブロック図である。 車道環境内の物体を含むロードミラーを備えた道路の例図、および、運転者支援システムがロードミラーの画像を処理した後のミラー内容の例図である。 車道環境内の物体を含むロードミラーを備えた道路の例図、および、画像の光学的反転バージョンを含むグラフィックオーバーレイの例の例図である。 いくつかの実施形態による３Ｄ−ＨＵＤを示すブロック図である。 いくつかの実施形態による車両の運転者にロードミラー内容を生成するための方法の流れ図の例である。 いくつかの実施形態による拡張現実ゴーグルに画像の光学的反転バージョンを表示するよう命令するための方法の流れ図の例である。

本明細書に記載するのは、車両に含まれる運転者支援システムの実施形態である。

（動作環境の例）
図１を参照すると、いくつかの実施形態による車両１２３の運転者支援システム１９９のための動作環境１００が示されている。動作環境１００は、車両１２３およびサーバ１０７のうちの１つまたは複数を含むことができる。これらの要素は、ネットワーク１０５を介して相互に通信可能に結合できる。図１には、１台の車両１２３、１台のサーバ１０７、および１つのネットワーク１０５が示されているが、実際には動作環境１００は、１台または複数の車両１２３、１台または複数のサーバ１０７、および１つまたは複数のネットワーク１０５を含むことができる。

ネットワーク１０５は従来型の有線または無線とすることができ、スター型構成、トークンリング構成、または他の構成を含む多くの異なる構成を有することができる。さらに、ネットワーク１０５は、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）（例えばインターネット）、または、複数の機器やエンティティが通信するための他の相互接続データパスを含むことができる。いくつかの実施形態では、ネットワーク１０５は、ピアツーピアネットワークを含むことができる。またネットワーク１０５は、多種多様な通信プロトコルでデータを送信するための電気通信ネットワークの各部分に結合され、またはこれらを含むことができる。いくつかの実施形態では、ネットワーク１０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信ネットワーク、またはショート・メッセージ・サービス（ＳＭＳ）、マルチメディア・メッセージング・サービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、直接データ接続、ワイヤレス・アプリケーション・プロトコル（ＷＡＰ）、電子メール、ＤＳＲＣ、全二重無線通信などによるものを含むデータを送受信するためのセルラ通信ネットワークを含む。またネットワーク１０５は、３Ｇ、４Ｇ、ＬＴＥ、ＬＴＥ−Ｖ２Ｘ、ＶｏＬＴＥまたは任意の他のモバイル・データ・ネットワークもしくはモバイル・データ・ネットワークの組み合わせを含むモバイル・データ・ネットワークを含むことができる。さらに、ネットワーク１０５は１つまたは複数のＩＥＥＥ８０２．１１無線ネットワークを含むことができる。

いくつかの実施形態では、車両１２３はＤＳＲＣ搭載車両である。ネットワーク１０５は、車両１２３とサーバ１０７との間で共有される１つまたは複数の通信路を含むことができる。通信路は、ＤＳＲＣ、ＬＴＥ−Ｖ２Ｘ（ＬＴＥ ｖｅｈｉｃｌｅ ｔｏ ｅｖｅｒｙｔｈｉｎｇ）、全二重無線通信または任意の他の無線通信プロトコルを含むことがで
きる。例えば、ネットワーク１０５は、ＤＳＲＣメッセージ、ＤＳＲＣプローブ、基本安全メッセージ（ＢＳＭ）、または本明細書に記載するデータのいずれかを含む全二重メッセージを送信するのに使用できる。

車両１２３は任意の種類の車両である。例えば、車両１２３は、自動車、トラック、スポーツ・ユーティリティ・ビークル、バス、トレーラトラック、ドローンまたは任意の他の車道を走る乗り物の各車種のうちの１つである。

いくつかの実施形態では、車両１２３は自律型車両または半自律型車両である。例えば、車両１２３は、先進運転者支援システム（以下「ＡＤＡＳシステム」という）を含むことができる。ＡＤＡＳシステムは、自律機能を提供する機能の一部または全部を提供することができる。

いくつかの実施形態では、車両１２３は、プロセッサ１２５Ａ、メモリ１２７Ａ、通信ユニット１４５Ａ、ＤＳＲＣ準拠のＧＰＳユニット１５０、外部センサ１５５、内部センサ１５９、表示装置１９８、および運転者支援システム１９９の各要素のうちの１つまたは複数を含む。車両１２３のこれらの要素は、バス１２０Ａを介して相互に通信可能に結合される。

サーバ１０７は、プロセッサベースのコンピューティングデバイスである。例えば、サーバ１０７は、パーソナルコンピュータ、ラップトップ、メインフレーム、またはサーバとして機能する任意の他のプロセッサベースのコンピューティングデバイスの各種のプロセッサベースのコンピューティングデバイスうちの１つまたは複数を含むことができる。サーバ１０７は、ハードウェアサーバを含むことができる。

いくつかの実施形態では、サーバ１０７は、プロセッサ１２５Ｂ、メモリ１２７Ｂ、通信ユニット１４５Ｂ、および運転者支援システム１９９の各要素のうちの１つまたは複数を含む。サーバ１０７のこれらの要素は、バス１２０Ｂを介して相互に通信可能に結合される。

本明細書では、車両１２３のプロセッサ１２５Ａおよびサーバ１０７のプロセッサ１２５Ｂをまとめて、または個別に「プロセッサ１２５」と呼ぶこともある。というのは、例えば、車両１２３のプロセッサ１２５Ａは車両１２３の構成要素に、サーバ１０７のプロセッサ１２５Ｂが提供するのと同様の機能を提供するからである。同様の理由で、本明細書で提供する説明では、車両１２３とサーバ１０７とに共通する要素を指す場合に、メモリ１２７Ａとメモリ１２７Ｂとをまとめて、または個別に指す場合の「メモリ１２７」、および通信ユニット１４５Ａと通信ユニット１４５Ｂとをまとめて、または個別に指す場合の「通信ユニット１４５」の各用語を使用する。

次に、車両１２３およびサーバ１０７について説明する。

（車両１２３）
いくつかの実施形態では、プロセッサ１２５およびメモリ１２７は、車載コンピュータシステム（図２に関連して後述するコンピュータシステム２００など）の要素でありうる。車載コンピュータシステムは運転者支援システム１９９の動作を行わせ、または制御することができる。車載コンピュータシステムは、メモリ１２７に格納されたデータにアクセスし、データを実行して、運転者支援システム１９９または運転者支援システム１９９の要素（例えば、図２参照）について本明細書に記載する機能を提供することができる。車載コンピュータシステムは、車載コンピュータシステムに、図７に関連して後述する方法７００のステップのうちの１つまたは複数を実行させる運転者支援システム１９９を実
行することができる。

ＤＳＲＣ準拠のＧＰＳユニット１５０は、１つまたは複数の異なる時刻における車両１２３の１つまたは複数の位置を記述するＧＰＳデータ１８３を記録することができる。ＧＰＳデータ１８３は、車両１２３がこの特定の位置にあった時刻を指示するようにタイムスタンプを付けることができる。例えば、ＧＰＳデータ１８３は、車線レベルの精度で車両１２３の位置を記述し、それによってより正確なミラーデータ１８８が生成できる。ＧＰＳデータ１８３はメモリ１２７に格納される。ＤＳＲＣ準拠のＧＰＳユニット１５０は、ＤＳＲＣアンテナなど、ＧＰＳをＤＳＲＣに準拠させるハードウェアを含む。

外部センサ１５５は、車両１２３の外部の物理環境を記述する１台または複数のセンサを含むことができる。外部センサ１５５は、車両１２３に近接した物理環境の１つまたは複数の物理特性を記録することができる。例えば、外部センサ１５５は、ロードミラーの画像を含む撮像データ１８４を取り込む。また外部センサ１５５は、ロードミラーによって反射された画像に特に重点を置いたロードミラーの画像も取り込みうる。撮像データ１８４は、ＲＡＷ画像、ＪＰＥＧ画像、ＰＮＧ画像などを含むことができる。外部センサ１５５は、撮像データ１８４をメモリ１２７に格納することができる。

いくつかの実施形態では、外部センサ１５５には、カメラ、ＬＩＤＡＲセンサ、レーダセンサ、レーザ高度計、赤外線検知器、動き検知器、サーモスタット、聴音器、一酸化炭素センサ、二酸化炭素センサ、酸素センサ、質量空気流量センサ、エンジン冷却剤温度センサ、スロットル位置センサ、クランクシャフト位置センサ、自動車エンジンセンサ、バルブタイマ、空気燃焼比メータ、死角メータ、カーブフィーラ、不具合検出器、ホール効果センサ、マニホールド絶対圧センサ、駐車センサ、レーダガン、速度計、速度センサ、タイヤ空気圧モニタリングセンサ、トルクセンサ、トランスミッション油温センサ、タービン速度センサ（ＴＳＳ）、可変リラクタンスセンサ、車両速度センサ（ＶＳＳ）、水センサ、車輪速度センサ、および任意の他の種類の自動車センサの各車両センサのうちの１台または複数が含まれうる。

内部センサ１５９は、車両１２３内部のセンサである。いくつかの実施形態では、内部センサ１５９は、運転者の頭部位置をモニタして頭部位置データ１８９を生成するセンサを含む。いくつかの実施形態では、運転者の頭部位置をモニタする内部センサ１５９は、表示装置１９８がＡＲゴーグルを含む実施形態など、表示装置１９８の一部である。

いくつかの実施形態では、内部センサ１５９は、車両データ１８５を記録する内部センサ１５９を含む。車両データ１８５は、車両１２３が動いているかどうか判定するために運転者支援システム１９９が使用することのできる車両運動学的データを含むことができる。内部センサ１５９は、頭部位置データ１８９や車両データ１８５をメモリ１２７に格納することができる。

いくつかの実施形態では、内部センサ１５９は、特定の方向に曲がろうとする車両１２３の運転者の意思を指示するセンサを含む。例えば、内部センサ１５９は、運転者支援システム１９９に、運転者が左折または右折しようとしているかどうかに関する情報を提供する方向指示灯と関連付けられたセンサを含むことができる。

プロセッサ１２５は、計算処理を行い、表示装置に電子表示信号を提供するための算術論理演算装置、マイクロプロセッサ、汎用コントローラ、または何らかの他のプロセッサアレイを含む。プロセッサ１２５はデータ信号を処理し、複雑命令セットコンピュータ（ＣＩＳＣ）アーキテクチャ、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャ、または命令セットの組み合わせを実施するアーキテクチャを含む様々なコンピューティン
グアーキテクチャを含むことができる。車両１２３は１つまたは複数のプロセッサ１２５を含むことができる。他のプロセッサ、オペレーティングシステム、センサ、ディスプレイ、および物理構成も可能である。

メモリ１２７はプロセッサ１２５によってアクセスされ、実行されうる命令またはデータを格納する。命令またはデータは、本明細書に記載する技法を行うためのコードを含むことができる。メモリ１２７は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）・デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）・デバイス、フラッシュメモリ、または何らかの他のメモリデバイスとすることができる。いくつかの実施形態では、メモリ１２７は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ−ＲＯＭデバイス、ＤＶＤ−ＲＯＭデバイス、ＤＶＤ−ＲＡＭデバイス、ＤＶＤ−ＲＷデバイス、フラッシュ・メモリ・デバイス、またはより永続的に情報を格納するための何らかの他の大容量記憶装置を含む、不揮発性メモリまたは類似した永続記憶装置および媒体も含む。メモリ１２７の一部分が、バッファまたは仮想ランダム・アクセス・メモリ（仮想ＲＡＭ）として使用するために確保されてもよい。車両１２３は１つまたは複数のメモリ１２７を含むことができる。

車両１２３のメモリ１２７は、ＧＰＳデータ１８３、撮像データ１８４、車両データ１８５、マップデータ１８６、オブジェクト事前情報データ１８７、ミラーデータ１８８、頭部位置データ１８９、および処理済み画像データ１９０の各要素のうちの１つまたは複数を格納することができる。

ＧＰＳデータ１８３は、車両１２３の現在位置に関する情報を含む。ＧＰＳデータ１８３は、ＤＳＲＣ準拠のＧＰＳユニット１５０から受信され、特定の車線内の車両１２３の位置が識別されうる精度で車両１２３の現在位置を記述することができる。

撮像データ１８４は、上述のように外部センサ１５５によって取り込まれた画像を記述することができる。撮像データ１８４は、ロードミラーを含む画像を識別するために取り込まれたすべての画像を記述することができる。あるいは、画像を撮像データ１８４として格納する前に画像がロードミラーを含むかどうかが判定できる。

車両データ１８５は、時間の関数としての車両の速度や距離など、車両に関する情報を記述することができる。車両データ１８５は、上述のように内部センサ１５９によって取り込まれてもよい。

マップデータ１８６は、ＧＰＳデータ１８３など、位置データによって索引付けされたデジタルデータとすることができる。マップデータ１８６は、ロードミラーの位置および車両１２３の特定の走行車線から見たロードミラーを画像化するための視野角を記述する。

オブジェクト事前情報データ１８７は、ロードミラーのオブジェクト事前情報を記述する。例えば、オブジェクト事前情報データ１８７は、基準ロードミラーの形状、ロードミラーの予期される位置などを記述することができる。運転者支援システム１９９は、撮像データ１８４をオブジェクト事前情報データ１８７と比較することによってロードミラーの位置を識別することができる。

ミラーデータ１８８は、ロードミラーがＧＰＳデータによって記述される位置に存在するかどうか記述する存在データを含む。またミラーデータ１８８は、オプションとして、ロードミラーの画像を取り込むために外部センサ１５５をどのように向けるべきか記述する視野角データも含む。視野角データによって、ロードミラーがどこに位置するか識別す
るために外部センサ１５５が車道環境を見渡すのに費やさなければならない時間が短くなる。

頭部位置データ１８９は、運転者の頭部の向きを記述する。頭部位置データ１８９は、運転者がＡＲゴーグルを着用している間に追跡できる。例えば、頭部位置データ１８９は、ロール座標、ピッチ座標およびヨー座標を有する回転ベクトルを含むことができる。運転者支援システム１９９は、頭部位置データ１８９に基づいて、運転者がどこを見ているか、およびどのようにしてＡＲゴーグルに処理済み画像データ１９０を含むオーバーレイを位置決めするよう命令するか決定する。いくつかの実施形態では、頭部位置データ１８９は、運転者がＡＲゴーグルを着用しているかどうかと無関係に追跡される。例えば、頭部位置データ１８９は、運転者支援システム１９９によって、「ロードミラーが位置しているはずの現実世界における固定位置を運転者が見ているか」を判定するために使用できる。

処理済み画像データ１９０は、運転者支援システム１９９によって処理された処理済み画像を記述する。例えば、運転者支援システム１９９は、外部センサ１５５によって取り込まれたロードミラーの画像を受信し、画像を拡大し、画像をひずみ補正し、オプションとして、拡大され、ひずみ補正された画像を反転させる。拡大され、ひずみ補正され、または反転された画像は、処理済み画像データ１９０として格納される。

通信ユニット１４５は、ネットワーク１０５または別の通信路との間でデータを送受信する。いくつかの実施形態では、通信ユニット１４５は、ＤＳＲＣ送受信機、ＤＳＲＣ受信機、および車両１２３（またはサーバ１０７などの他の何らかの装置）をＤＳＲＣ対応装置にするのに必要な他のハードウェアまたはソフトウェアを含むことができる。

いくつかの実施形態では、通信ユニット１４５は、ネットワーク１０５への、または別の通信路への直接物理接続のためのポートを含む。例えば、通信ユニット１４５は、ユニバーサル・シリアル・バス（ＵＳＢ）、セキュアデジタル（ＳＤ）、ＣＡＴ−５、またはネットワーク１０５との有線通信のための類似したポートを含む。いくつかの実施形態では、通信ユニット１４５は、以下の無線通信方法を含む１つまたは複数の無線通信方法を使用してネットワーク１０５または他の通信路とデータを交換するための無線送受信機を含む。ＩＥＥＥ８０２．１１；ＩＥＥＥ８０２．１６；ＢＬＵＥＴＯＯＴＨ（登録商標）；ＥＮ ＩＳＯ １４９０６：２００４ Ｅｌｅｃｔｒｏｎｉｃ Ｆｅｅ Ｃｏｌｌｅｃｔｉｏｎ−Ａｐｐｌｉｃａｔｉｏｎ ｉｎｔｅｒｆａｃｅ；ＥＮ １１２５３：２００４
Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ−Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ−Ｐｈｙｓｉｃａｌ ｌａｙｅｒ ｕｓｉｎｇ ｍｉｃｒｏｗａｖｅ ａｔ ５．８ ＧＨｚ （ｒｅｖｉｅｗ）；ＥＮ １２７９５：２００２ Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ−Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＤＳＲＣ）−ＤＳＲＣ Ｄａｔａ ｌｉｎｋ ｌａｙｅｒ：Ｍｅｄｉｕｍ Ａｃｃｅｓｓ ａｎｄ Ｌｏｇｉｃａｌ Ｌｉｎｋ Ｃｏｎｔｒｏｌ（ｒｅｖｉｅｗ）；ＥＮ １２８３４：２００２ Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ−Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ−Ａｐｐｌｉｃａｔｉｏｎ ｌａｙｅｒ（ｒｅｖｉｅｗ）；ＥＮ １３３７２：２００４ Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ−Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＤＳＲＣ）−ＤＳＲＣ ｐｒｏｆｉｌｅｓ ｆｏｒ ＲＴＴＴ ａｐｐｌｉｃａｔｉｏｎｓ（ｒｅｖｉｅｗ）；２０１４年８月２８日に出願された、「Ｆｕｌｌ−Ｄｕｐｌｅｘ Ｃｏｏｒｄｉｎａｔｉｏｎ Ｓｙｓｔｅｍ」という名称の米国特許出願第１４／４７１，３８７号明細書（以下、３８７号明細書）に記載されている通信方法；または別の適切な無線通信方法。

いくつかの実施形態では、通信ユニット１４５は、３８７号明細書に記載されている全二重協調システムを含む。

いくつかの実施形態では、通信ユニット１４５は、ショート・メッセージ・サービス（ＳＭＳ）、マルチメディア・メッセージング・サービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、直接データ接続、ＷＡＰ、電子メール、または別の適切な種類の電子通信によるものを含む、セルラ通信ネットワーク上でデータを送受信するためのセルラ通信送受信機を含む。いくつかの実施形態では、通信ユニット１４５は有線ポートおよび無線送受信機を含む。また通信ユニット１４５は、ＴＣＰ／ＩＰ、ＨＴＴＰ、ＨＴＴＰＳ、およびＳＭＴＰ、ミリ波、ＤＳＲＣなどを含む標準ネットワークプロトコルを使用したファイルまたはメディアオブジェクトの配布のためのネットワーク１０５への他の従来型の接続も提供する。

表示装置１９８は、処理済み画像データ１９０によって記述される画像の光学的反転バージョンを表示する装置である。表示装置１９８は、ＡＲゴーグル、３Ｄ−ＨＵＤ、またはフルカラー電子ディスプレイを含む。表示装置１９８は、運転者支援システム１９９から受信するデータを一時的に格納する非一時的なキャッシュまたはバッファを含むことができる。

ＡＲゴーグルには、Ｇｏｏｇｌｅ（商標）Ｇｌａｓｓ，ＣａｓｔＡＲ，Ｍｏｖｅｒｉｏ
ＢＴ−２００，Ｍｅｔａ，Ｖｕｚｉｘ Ｍ−１００，Ｌａｓｔｅｒ ＳｅｅＴｈｒｕ，Ｉｃｉｓ，Ｏｐｔｉｎｖｅｎｔ ＯＲＡ−Ｓ，ＧｌａｓｓＵＰ，Ａｔｈｅｅｒ Ｏｎｅ，Ｋ−Ｇｌａｓｓ，およびＭｉｃｒｏｓｏｆｔ（商標）Ｈｏｌｏｌｅｎｓのうちの１つまたは複数が含まれうる。ＡＲゴーグルは、車両１２３を運転する際に車両１２３の運転者が運転に集中できるように構成されている。ＡＲゴーグルは、運転者がＡＲゴーグルを着用している間の運転者の頭部の向きを記述する頭部位置データ１８９を生成する。ＡＲゴーグルは、頭部位置データ１８９を生成する１つまたは複数の内部センサ１５９を含むことができる。いくつかの実施形態では、ＡＲゴーグルは、ＡＲゴーグルによって表示される仮想物体を操作するＡＲグローブなどの追加的機器を含むことができる。

３Ｄ−ＨＵＤは、車両１２３のフロントガラスの１層として設置できる。３Ｄ−ＨＵＤの一例を図６に示す。例えば、車両１２３の運転者は３Ｄ−ＨＵＤを見ることができ、３Ｄ−ＨＵＤは、運転者支援システム１９９によって車両１２３に提供された処理済み画像データ１９０によって記述される画像の光学的反転バージョンを表示することができる。３Ｄ−ＨＵＤについては、図６に関連して以下でより詳細に説明する。

フルカラー電子ディスプレイは、ラップトップ、タブレット、ＬＣＤ画面などを含むことができる。いくつかの実施形態では、フルカラー電子ディスプレイはインフォテインメントシステムと関連付けられている。

いくつかの実施形態では、運転者支援システム１９９は、車両１２３の通信ユニット１４５を使用して、ネットワーク１０５を介してサーバ１０７上に格納された運転者支援システム１９９と通信するコードまたはルーチンを含む。サーバ１０７上の運転者支援システム１９９は、車両１２３内の運転者支援システム１９９に、運転者支援システム１９９および表示装置１９８が運転者を支援するのに必要なデータを提供することができる。例えば、サーバ１０７上の運転者支援システム１９９は、車両１２３内の運転者支援システム１９９に、マップデータ１８６や撮像データ１８４を提供することができる。

いくつかの実施形態では、車両１２３の運転者支援システム１９９は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実施できる。いくつかの他の実施形態では、運転者支援システム１９９は、ハードウェアとソフトウェアとの組み合わせを使用して実施できる。運転
者支援システム１９９は装置（例えばサーバや他の装置）の組み合わせに、またはそれらの装置のうちの１台に格納できる。

運転者支援システム１９９は、ＧＰＳデータ１８３およびマップデータ１８６を使用してミラーデータ１８８を生成し、ミラーデータ１８８に基づいて外部センサ１５５を、ロードミラーの画像を取り込むように向け、画像を、ロードミラーを記述する撮像データ１８４として格納することができる。また外部センサ１５５は、ロードミラーによって反射された画像に特に重点を置いたロードミラーの画像も取り込みうる。撮像データ１８４は、ロードミラーに映った反射画像の画像を記述する。運転者支援システム１９９は、撮像データ１８４を処理して処理済み画像データ１９０を生成する。処理済み画像データ１９０は、ロードミラー内の画像が光学的に反転されるように構成される。このようにして、処理済み画像データ１９０によって記述される画像に含まれる物体は、鏡に映った物体を見るのではなく、現実世界において肉眼で直接見たときに見える通りに見える。次いで運転者支援システム１９９は、表示装置１９８に、処理済み画像データ１９０を表示させる。例えば、運転者支援システム１９９は表示装置１９８に、処理済み画像データ１９０によって記述される画像の光学的反転バージョンを表示させる。表示装置１９８によって表示された画像は、より大きく、光学的に反転されているため、理解しやすい。運転者支援システム１９９については、図２、図３（Ａ）、図３（Ｂ）、図４（Ａ）、図４（Ｂ）、図５（Ａ）、図５（Ｂ）、図７、および図８に関連して以下でより詳細に説明する。

（サーバ１０７）
いくつかの実施形態では、サーバ１０７は、運転者支援システム１９９、メモリ１２７Ｂ、プロセッサ１２５Ｂ、および通信ユニット１４５Ｂを含むクラウドサーバである。メモリ１２７は、運転者支援システム１９９および表示装置１９８が車両１２３に、この特定の車両１２３の運転者が通常は利用できないはずの新しい車両機能または異なる車両機能を提供するのに必要な任意のデータを格納する。例えば、メモリ１２７は、地理的領域におけるロードミラーの位置を記述するマップデータ１８６を含むことができる。またメモリ１２７は、ロードミラーのカメラによって取り込まれた画像を記述する撮像データ１８４も含むことができる。例えば、撮像データ１８４は、運転者支援システム１９９を含む車両１２３の近くの他の車両上のカメラによって取り込まれうる。車両１２３の運転者支援システム１９９はマップデータ１８６を生成できるが、運転者支援システム１９９がマップデータ１８６を同時に生成する必要がなければ、運転者支援システム１９９はより速くミラーデータ１８８を生成することができる。

サーバ１０７の、プロセッサ１２５Ｂ、メモリ１２７Ｂ、および通信ユニット１４５Ｂの各要素は、車両１２３について上述した要素と同じまたは同様であり、よって、ここではこれらの要素の説明を繰り返さない。通信ユニット１４５Ｂは、ネットワーク１０５を介したサーバ１０７と車両１２３との間の通信を処理する。

図１には示されていないが、いくつかの実施形態では運転者支援システム１９９は、３８７号明細書に記載されている全二重協調システムを含むことができる。

（コンピュータシステムの例）
次に図２を参照すると、いくつかの実施形態による運転者支援システム１９９を含むコンピュータシステムの例２００を示すブロック図が描かれている。

いくつかの実施形態では、コンピュータシステム２００は、それぞれ、図７および図８に関連して後述する方法７００および方法７２５の１つまたは複数のステップを行うようにプログラムされた専用コンピュータシステムを含む。

いくつかの実施形態では、コンピュータシステム２００の１つまたは複数の構成要素は、サーバ１０７の一部とすることができる。

いくつかの実施形態では、コンピュータシステム２００は、車両１２３の車載コンピュータとすることができる。

いくつかの実施形態では、コンピュータシステム２００は、車両１２３の電子制御ユニット、ヘッドユニット、または他のプロセッサベースのコンピューティングデバイスを含むことができる。

コンピュータシステム２００は、いくつかの例によれば、運転者支援システム１９９、プロセッサ１２５、メモリ１２７、通信ユニット１４５、ＤＳＲＣ準拠のＧＰＳユニット１５０、外部センサ１５５、内部センサ１５９、および表示装置１９８、の各要素のうちの１つまたは複数を含むことができる。コンピュータシステム２００の各構成要素はバス１２０によって通信可能に結合される。

図示の実施形態において、プロセッサ１２５は信号線２３８を介してバス１２０に通信可能に結合される。メモリ１２７は信号線２４０を介してバス１２０に通信可能に結合される。通信ユニット１４５は信号線２４２を介してバス１２０に通信可能に結合される。ＤＳＲＣ準拠のＧＰＳユニット１５０は信号線２４４を介してバス１２０に通信可能に結合される。外部センサ１５５は、信号線２４６を介してバス１２０に通信可能に接続される。内部センサ１５９は、信号線２４８を介してバス１２０に通信可能に接続される。表示装置１９８は、信号線２５０を介してバス１２０に通信可能に接続される。

コンピュータシステム２００の、プロセッサ１２５、メモリ１２７、通信ユニット１４５、ＤＳＲＣ準拠のＧＰＳユニット１５０、外部センサ１５５、内部センサ１５９、および表示装置１９８の各要素については、図１に関連して上述したので、ここではそれらの説明を繰り返さない。

メモリ１２７は、図１に関連して上述したデータのいずれかを格納することができる。メモリ１２７は、コンピュータシステム２００がその機能を提供するのに必要な任意のデータを格納することができる。

図２に示す例示の実施形態では、運転者支援システム１９９は、通信モジュール２０２、ミラーモジュール２０４、画像処理モジュール２０６、ＡＲモジュール２０８、および助言モジュール２１０を含む。

通信モジュール２０２は、運転者支援システム１９９とコンピュータシステム２００の他の構成要素との間の通信を処理するためのルーチンを含むソフトウェアである。いくつかの実施形態では、通信モジュール２０２は、運転者支援システム１９９とコンピュータシステム２００の他の構成要素との間の通信を処理するための後述する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。いくつかの実施形態では、通信モジュール２０２はコンピュータシステム２００のメモリ１２７に格納することができ、プロセッサ１２５によってアクセス可能、実行可能とすることができる。通信モジュール２０２は、信号線２２２を介してプロセッサ１２５およびコンピュータシステム２００の他の構成要素と協働し、通信するように適合できる。

通信モジュール２０２は、通信ユニット１４５を介して、動作環境１００の１つまたは複数の要素との間でデータを送受信する。例えば、通信モジュール２０２は、通信ユニット１４５を介して、ＧＰＳデータ１８３、撮像データ１８４、車両データ１８５、マップ
データ１８６、オブジェクト事前情報データ１８７、ミラーデータ１８８、頭部位置データ１８９、および処理済み画像データ１９０の各要素のうちの１つまたは複数を送受信する。通信モジュール２０２は、通信ユニット１４５を介して、図１に関連して上述した、または図７および図８に関連して後述するデータまたはメッセージのいずれかを送受信することができる。

いくつかの実施形態では、通信モジュール２０２は、車両１２３や運転者支援システム１９９の構成要素からデータを受信し、そのデータをメモリ１２７（または表示装置１９８のバッファもしくはキャッシュ）に格納する。例えば、通信モジュール２０２は、（ネットワーク１０５を介して）通信ユニット１４５からメモリ１２７に関連して上述したデータのいずれかを受信し、そのデータをメモリ１２７（または表示装置１９８のバッファもしくはキャッシュ）に格納する。別の例として、通信モジュール２０２はＤＳＲＣ準拠のＧＰＳユニット１５０からＧＰＳデータ１８３を受信し、ＧＰＳデータ１８３をメモリ１２７に記憶する。

いくつかの実施形態では、通信モジュール２０２は、運転者支援システム１９９の構成要素間の通信を処理することができる。例えば、通信モジュール２０２は、画像処理モジュール２０６からＡＲモジュール２０８に処理済み画像データ１９０を送信することができる。

ミラーモジュール２０４は、ミラーデータ１８８を生成するためのルーチンを含むソフトウェアである。いくつかの実施形態では、ミラーモジュール２０４は、ミラーデータ１８８を生成するための後述する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。いくつかの実施形態では、ミラーモジュール２０４はコンピュータシステム２００のメモリ１２７に格納することができ、プロセッサ１２５によってアクセス可能、実行可能とすることができる。ミラーモジュール２０４は、信号線２２４を介してプロセッサ１２５およびコンピュータシステム２００の他の構成要素と協働し、通信するように適合できる。

ミラーモジュール２０４は、ＤＳＲＣ準拠のＧＰＳユニット１５０からＧＰＳデータ１８３を受信する。ＧＰＳデータ１８３は、車両１２３の現在位置を記述する。ＧＰＳデータ１８３はＤＳＲＣ準拠の装置からのものであるため、ＧＰＳデータ１８３は±３メートル以内の精度である。比較すると、非ＤＳＲＣ準拠のＧＰＳユニットのＧＰＳデータは±１０メートル以内の精度しかない。結果として、ＧＰＳデータ１８３は、車両１２３が走行している車線を表すことができる。いくつかの実施形態では、車線レベルの精度のＧＰＳデータ１８３を有することが関係する。というのは、現実世界のロードミラーは、車両１２３が走行している車線がどれかによって異なる視野角を提供するからである。

いくつかの実施形態では、ミラーモジュール２０４は、ＧＰＳデータ１８３およびマップデータ１８６に基づいてミラーデータ１８８を生成する。ＧＰＳデータ１８３は、車両１２３の現在位置を記述する。マップデータ１８６は、地理的位置におけるロードミラーのセットの対応する位置を記述する。例えば、マップデータ１８６は、カリフォルニア州サンノゼや、ＺＩＰコード９４０４３、カリフォルニア州マウンテンビューにおけるロードミラーのセットの対応する位置を記述することができる。ミラーモジュール２０４は、車両１２３の現在位置のＧＰＳデータ１８３およびマップデータ１８６を入力することによってミラーデータ１８８を取得し、ロードミラーが現在位置と関連付けられているかどうか記述するミラーデータ１８８を出力することができる。

例えば、マップデータ１８６がＧＰＳデータ１８３によって索引付けされている場合、ＧＰＳデータ１８３はマップデータ１８６からミラーデータ１８８を取得するための問い
合わせとして使用できる。ミラーデータ１８８は、ロードミラーをより容易に位置特定し、外部センサ１５５を使用して画像化できるように、同じ位置にある他の物体に対するロードミラーの正確な位置および向きを記述することができる。

いくつかの実施形態では、マップデータ１８６は、ＧＰＳデータ１８３によって記述される車両の特定の走行車線におけるロードミラーの視野角も含む。したがってミラーモジュール２０４は、ミラーモジュール２０４が外部センサ１５５にロードミラーをスキャンするよう命令するかどうか、およびロードミラーの画像を迅速に取り込むために外部センサ１５５をどのように向けるか決定するのに使用するミラーデータ１８８を生成することができる。ミラーモジュール２０４は、ミラーデータ１８８に基づいて、外部センサ１５５に、ロードミラーを含む画像を取り込むよう命令する。外部センサ１５５は画像を撮像データ１８４として格納する。

いくつかの実施形態では、ミラーモジュール２０４は、オブジェクト事前情報に基づいてミラーデータ１８８を生成する。ミラーモジュール２０４は、（例えば、通信モジュール２０２を介して）外部センサ１５５またはメモリ１２７から撮像データ１８４を受信し、メモリ１２７からオブジェクト事前情報データ１８７を受信することができる。ミラーモジュール２０４は、撮像データ１８４をオブジェクト事前情報データ１８７と比較することができる。例えば、オブジェクト事前情報データ１８７は、基本となるロードミラーの形状、ロードミラーの予期される位置などを記述することができる。ミラーモジュール２０４は、撮像データ１８４をオブジェクト事前情報データ１８７と比較することによってロードミラーの位置を識別することができる。

ミラーモジュール２０４は、ミラーモジュール２０４が外部センサ１５５に画像を迅速に高精度で取り込むよう命令できるように、ミラーデータ１８８をリアルタイムで生成することができる。加えて、これにより処理済み画像データ１９０を生成する速度も増し、その結果、最新のロードミラー表示内容により、運転者体験が改善され、運転者の安全が高まる。

画像処理モジュール２０６は、処理済み画像データ１９０を生成するためのルーチンを含むソフトウェアである。いくつかの実施形態では、画像処理モジュール２０６は、処理済み画像データ１９０を生成するための後述する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。いくつかの実施形態では、画像処理モジュール２０６は、コンピュータシステム２００のメモリ１２７に格納することができ、プロセッサ１２５によってアクセス可能、実行可能とすることができる。画像処理モジュール２０６は、信号線２２６を介してプロセッサ１２５およびコンピュータシステム２００の他の構成要素と協働し、通信するように適合できる。

図３（Ａ）および図３（Ｂ）を見ると、ロードミラーを使用して運転者を支援するロードミラー内容をどのように生成するかの２つの例が示されている。図３（Ａ）には、ロードミラーが車道環境内の物体に関する情報をどのように提供するかを示すブロック図３００が含まれている。この例では、車両３０５は、画像処理モジュール２０６を備えた運転者支援システム１９９を含む。画像処理モジュール２０６は、外部センサ１５５から撮像データ１８４を受信し、または画像処理モジュール２０６はメモリ１２７から撮像データ１８４を取得する。画像処理モジュール２０６は、撮像データ１８４を処理して、撮像データ１８４を運転者に理解可能にする処理済み画像データ１９０を生成する。例えば、画像処理モジュール２０６は、撮像内の物体は反転されているため、ロードミラーからの撮像を光学的に反転させた処理済み画像を生成する。画像処理モジュール２０６は表示装置１９８に処理済み画像データ１９０を表示するよう命令する。例えば、画像処理モジュール２０６は表示装置１９８に、処理済み画像データ１９０によって記述された画像の光学
的反転バージョンを表示するよう命令する。

運転者は、処理済み画像データ１９０を使用して、運転が安全かどうかの判断に役立てることができる。例えば、車両３０５の運転者が右折したい場合、左側から接近してくる車両がないため、安全に右折することができる。逆に、運転者が左折したい場合、車両３０５は車両３１０と衝突することになるため、安全ではない。以下でさらに詳細に論じるように、運転者支援システム１９９は、運転者がどちらの方向に移動しようとしているかを判定する助言モジュール２１０を含むことができ、助言モジュール２１０は対応する助言を行いうる。引き続き図３（Ａ）の例を見ると、助言モジュール２１０は運転者が左折しようとしていると判定する可能性もあり、助言モジュール２１０は左折することを勧めない可能性がある。

図３（Ｂ）には、いくつかの実施形態による、複数のロードミラーが車道環境内の物体に関する情報をどのように提供するかを示すブロック図３５０が含まれている。この例では、２台のロードミラーと２台の他の車両３６０、３６５があるため、ロードミラー内容はさらに一層複雑である。車両３５５の運転者がロードミラーからのロードミラー内容を見ようとした場合、その運転者は左から来る第１の車３６５と、右から来る第２の車３６０とを識別しなければならないことになる。結果として、運転者支援システム１９９は、ロードミラー内容をより理解しやすくすることによって車両３５５の運転者を支援することができる。

いくつかの実施形態では、画像処理モジュール２０６は、以下の３つの処理ステップのうちの１つまたは複数を任意の順序で行うことによって処理済み画像データ１９０を生成する。第１に、画像処理モジュール２０６は、画像の拡大バージョンを生成する。例えば、画像処理モジュール２０６は、ロードミラー内容を含むロードミラーの画像部分を識別し、ロードミラー内容を含む画像部分のみを含むように画像をトリミングし、画像を拡大する。第２に、画像処理モジュール２０６は、画像をひずみ補正する。例えば、ロードミラーは球面を有しうるため、ロードミラー内容はひずみを有することができる。画像処理モジュール２０６は、画像を実質的に正方形に、または実質的に長方形に合わせることによって画像をひずませうる。

第３に、画像処理モジュール２０６は、画像を光学的に反転させる。物理法則により、反射画像は、反射画像に示される物体が鏡に映った物体を見るのではなく現実世界において肉眼で直接見たときにそれらの物体がどのような向きになるかを基準として反転されるように、光学的に反転される。画像処理モジュール２０６は、画像に含まれる物体が、鏡に映った物体を見るのではなく現実世界において肉眼で直接見たときに見える通りに見えるように、画像を光学的に反転させる。

画像処理モジュール２０６は表示装置１９８に処理済み画像データ１９０を表示するよう命令する。例えば、画像処理モジュール２０６は表示装置１９８に、処理済み画像データ１９０によって記述された画像の光学的反転バージョンを表示するよう命令する。表示装置１９８がＡＲゴーグルを含むいくつかの実施形態では、画像処理モジュール２０６は処理済み画像データ１９０をＡＲモジュール２０８に送信する。いくつかの実施形態では、画像処理モジュール２０６は、助言モジュール２１０が処理済み画像データ１９０の表示と連携した助言を生成できるように、処理済み画像データ１９０を助言モジュール２１０に送信する。

図４（Ａ）および図４（Ｂ）を見ると、ロードミラー内容が画像処理モジュール２０６によってどのように処理されるかの例が示されている。図４（Ａ）は、車道環境内の物体を含むロードミラーを備えた道路の例図４００である。この例には、車両の座席に座って
いる間に運転者に現実世界がどのように見えるかが示されている。ロードミラー４０５は、運転者の左側のロードミラー内容を示している。ロードミラー４１０は、運転者の右側のロードミラー内容を示している。

図４（Ｂ）は、画像処理モジュール２０６がロードミラーの画像を処理した後の図４（Ａ）のロードミラー内容のブロック４５０である。図４（Ａ）の左のロードミラー４０５からのロードミラー内容４５５および図４（Ａ）の右のロードミラー４１０からのロードミラー内容４６０は、拡大され、ひずみ補正され、光学的に反転されている。

いくつかの実施形態では、画像処理モジュール２０６は、処理済み画像データ１９０がユーザに表示されるべき位置を決定する。例えば、画像処理モジュール２０６は、表示装置１９８がフルカラー電子ディスプレイであるため、フルカラー電子ディスプレイの画面は処理済み画像データ１９０のみを含むべきであり、処理済み画像データ１９０を取り囲む内容は含むべきでないと判定することができる。表示装置１９８がＡＲゴーグルまたは３Ｄ−ＨＵＤを含む別の例では、画像処理モジュール２０６は処理済み画像データ１９０を、処理済み画像データ１９０を不明瞭にする運転者の視野内の物体の上に処理済み画像データ１９０からのオブジェクトの現在位置を示すグラフィックオーバーレイとして位置決めすることができる。例えば、ロードミラー内容により運転者の車両１２３に別の車両が接近していることが明らかになった場合、画像処理モジュール２０６は３Ｄ−ＨＵＤに、処理済み画像データ１９０を、その別の車両の運転者の視野を隠す建物の上のオーバーレイとして表示するよう命令することができる。

ＡＲモジュール２０８は、処理済み画像データ１９０を描写するグラフィックオーバーレイを生成するためのルーチンを含むソフトウェアである。例えば、ＡＲモジュール２０８は、処理済み画像データ１９０によって記述される画像の光学的反転バージョンを描写するグラフィックオーバーレイを生成するためのルーチンを含むソフトウェアである。いくつかの実施形態では、ＡＲモジュール２０８は、グラフィックオーバーレイを生成するための後述する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。いくつかの実施形態では、ＡＲモジュール２０８はコンピュータシステム２００のメモリ１２７に格納することができ、プロセッサ１２５によってアクセス可能、実行可能とすることができる。ＡＲモジュール２０８は、信号線２２８を介してプロセッサ１２５およびコンピュータシステム２００の他の構成要素と協働し、通信するように適合できる。

いくつかの実施形態では、画像処理モジュール２０６またはＡＲモジュール２０８は、表示装置１９８がＡＲゴーグルを含む場合、表示装置１９８に処理済み画像データ１９０を提供する。例えば、ＡＲモジュール２０８は、運転者の頭部位置が運転者に現実世界のロードミラー内容が見えるはずの向きであるときにＡＲゴーグルが処理済み画像データ１９０を迅速に取得できるように、処理済み画像データ１９０をＡＲゴーグルのバッファに格納する。

いくつかの実施形態では、画像処理モジュール２０６は、車両１２３が移動しているかどうかに基づいて、表示装置１９８に処理済み画像データ１９０によって記述される画像を表示するよう命令するかどうか決定する。例えば、画像処理モジュール２０６は、（例えば、通信モジュール２０２を介して）内部センサ１５９または車両運動学的データを含むメモリ１２７から車両データ１８５を受信することができる。画像処理モジュール２０６は車両データ１８５を使用して、車両１２３が移動しているかそれとも静止しているか判定する。画像処理モジュール２０６は、車両１２３が静止しているという判定に基づいて表示装置１９８に、処理済み画像データ１９０を表示するよう命令することができる。例えば、画像処理モジュール２０６は、車両１２３が静止しているという判定に基づいて
表示装置１９８に、処理済み画像データ１９０によって記述される画像の光学的反転バージョンを表示するよう命令することができる。

いくつかの実施形態では、画像処理モジュール２０６は、処理済み画像データ１９０がビデオのように見える一連の画像として表示されるように、表示装置１９８に処理済み画像データ１９０を更新するよう周期的に命令することができる。例えば、画像処理モジュール２０６は表示装置１９８に、０．１秒ごと、０．５秒ごと、１秒ごとなどに処理済み画像データ１９０を更新するよう命令することができる。このようにして、処理済み画像データ１９０によって記述される１つまたは複数データは、ロードミラーの反射画像の現実世界の内容を正確に反映する。

ＡＲモジュール２０８は、車両１２３の運転者の頭部の位置を記述する頭部位置データ１８９を受信することができる。例えば、ＡＲモジュール２０８は、（例えば、通信モジュール２０２を介して）内部センサ１５９から頭部位置データ１８９を受信し、またはメモリ１２７から頭部位置データ１８９を受信することができる。ＡＲモジュール２０８は、頭部位置データ１８９に基づいて、処理済み画像データ１９０を描写するグラフィックオーバーレイ（例えば、処理済み画像データ１９０によって記述される画像の光学的反転バージョン）を表示するかどうか決定する。例えば、ＡＲモジュール２０８は、頭部位置データ１８９を、ロードミラーの視野角を記述するミラーデータ１８８と比較して、車道環境の特定の車線内の車両１２３の位置に基づいてロードミラーが運転者に見えるはずであると判定することができる。

ＡＲモジュール２０８がグラフィックオーバーレイを表示すると決定したことに応答して、ＡＲモジュール２０８はグラフィックオーバーレイを生成し、ＡＲゴーグルにグラフィックオーバーレイを表示するよう命令する。ＡＲゴーグルは、処理済み画像データ１９０のグラフィックオーバーレイを、運転者が現実世界を常に見ることができ、運転体験から切り離されないように構成された方法で表示する。グラフィックオーバーレイは現実世界を選択的にオーバーレイすることができる。

いくつかの実施形態では、ＡＲモジュール２０８は、運転者が、ロードミラーが位置するはずの現実世界の位置を見ているときに、ＡＲゴーグルにグラフィックオーバーレイを表示するよう命令することができる。例えば、車両１２３がロードミラーを含む交差点に到達すると、ＡＲモジュール２０８は、運転者がロードミラーを見上げることによって交差点から目をそらさずに運転者にロードミラーに何が表示されているかが分かるように、ＡＲゴーグルに、当該交差点に存在していることが分かっている処理済み画像データ１９０を表示するグラフィックオーバーレイを表示するよう命令する。

図５（Ａ）は、車道環境内の物体を含むロードミラーを備えた道路の例図５００である。外部センサ１５５は、ロードミラーを含む画像５０５を取り込みうる。画像処理モジュール２０６は、画像５０５に基づいて処理済み画像データ１９０を生成することができる。ＡＲモジュール２０８はＡＲゴーグルに、処理済み画像データ１９０を含むグラフィックオーバーレイを表示するよう命令することができる。例えば、ＡＲモジュール２０８はＡＲゴーグルに、処理済み画像データ１９０によって記述されている画像の光学的反転バージョンを含むグラフィックオーバーレイを表示するよう命令することができる。

図５（Ｂ）は、図５（Ａ）のロードミラー内容に基づく処理済み画像データ１９０を含むグラフィックオーバーレイの例の例図５５０である。この例では、ＡＲモジュール２０８は、ロードミラー内容の位置を識別する処理済み画像データ１９０に基づいてグラフィックオーバーレイを生成する。例えば、図５（Ａ）の画像５０５は、左から接近している別の車両５５５および右から接近している歩行者５６０を含むことができる。ＡＲモジュ
ール２０８は、運転者の視野を隠す建物の上に別の車両５５５を表示するグラフィックオーバーレイを生成する。グラフィックオーバーレイは、運転者の視野を隠す別の建物の上に歩行者５６０も表示する。加えて、グラフィックオーバーレイは、別の車両５５５および歩行者５６０が移動している方向を指示する、それぞれ別の車両５５５および歩行者５６０から出る矢印も含む。このように、運転者は、別の車両５５５が原因で左折が難しい可能性があると注意喚起される。同様に、運転者が右折する場合、運転者には、車両１２３の前方を横切ろうとする可能性のある歩行者に注意すべきことが分かる。

助言モジュール２１０は、助言を生成するためのルーチンを含むソフトウェアである。いくつかの実施形態では、助言モジュール２１０は、助言を生成するための後述する機能を提供する、プロセッサ１２５が実行可能な命令セットとすることができる。いくつかの実施形態では、助言モジュール２１０は、コンピュータシステム２００のメモリ１２７に格納することができ、プロセッサ１２５によってアクセス可能、実行可能とすることができる。助言モジュール２１０は、信号線２３０を介してプロセッサ１２５およびコンピュータシステム２００の他の構成要素と協働し、通信するように適合できる。

いくつかの実施形態では、助言モジュール２１０は、特定の方向に曲がろうとする車両１２３の運転者の意思を判定する。例えば、助言モジュール２１０は、運転者が方向指示灯を始動させたかどうか、そうである場合、方向指示灯の方向はどちら向きであるかについて（例えば、通信モジュール２０２を介して）内部センサ１５９またはメモリ１２７から車両データ１８５を受信する。助言モジュール２１０は、運転者がその特定の方向に曲がることが安全かどうか推定する。例えば、助言モジュール２１０は、運転者は左折しようとしていると判定し、処理済み画像データ１９０に基づいて、助言モジュール２１０は、潜在的に衝突する可能性のある進入車両があると判定する。

助言モジュール２１０は表示装置１９８に、運転者がその特定の方向に曲がることが安全かどうかについての助言を提供するよう命令する。例えば、助言モジュール２１０は、進入車両が原因で左折は安全ではないと判定し、助言モジュール２１０は表示装置１９８に、「警告：曲がらないでください！」という警告を表示するよう命令する。いくつかの実施形態では、助言モジュール２１０は、助言を提供する方法として処理済み画像データ１９０を強調表示する。例えば、助言モジュール２１０は表示装置１９８に、ユーザにとって安全リスクである物体を囲む赤の枠を表示するよう命令する。助言モジュール２１０が、特定の方向に曲がることが安全であると判定した場合、助言モジュール２１０は表示装置１９８に、例えば、安全アイコンや、曲がっても安全であると指示する言葉や、ユーザにとって安全リスクではない物体を囲む緑の枠を提供することによって、曲がることが安全であると示すよう命令することができる。

（拡張現実と仮想現実との区別）
ＡＲと仮想現実（ＶＲ）とは同じものではない。ＶＲでは、ユーザは、ユーザが外界を見ることができないＶＲゴーグルセットと、ＶＲゴーグルが表示する画像に対応する音声を提供するヘッドフォンとを着用する。その考え方は、ユーザが現実世界を完全に忘れるようにユーザをＶＲ世界に没頭させることである。

ＶＲは、運転者の注意を車道からそらし、よって、安全上の問題があるため、車両での配備に適さない。この理由で本発明にＶＲは関与しない。

ＡＲでは、ユーザは、ユーザが現実世界を完全に見ることができる透明なＡＲゴーグル（または眼鏡や透過ＨＵＤ）を着用する。ＡＲゴーグルは、現実世界の見え方を強化するグラフィックオーバーレイを表示する。グラフィックオーバーレイは、視覚的には、透明、半透明、不透明、または立体的に見える。グラフィックオーバーレイは、ＡＲゴーグル
を通して見たときの現実世界の見え方を強化し、または修正する。またユーザは、現実世界の感じ方を強化するＡＲグローブも着用することができる。その結果、ＡＲはユーザに現実世界を忘れさせることなく現実世界に体験を付加することになる。

（３Ｄ−ＨＵＤの例）
図６を参照すると、表示装置１９８が３Ｄ−ＨＵＤである実施形態における表示装置１９８を示すブロック図が示されている。

いくつかの実施形態では、３Ｄ−ＨＵＤは、プロジェクタ６０１、可動スクリーン６０２、スクリーン駆動ユニット６０３、光学系（レンズ６０４、６０６、反射器６０５などを含む）を含む。プロジェクタ６０１は、デジタル・ミラー・デバイス（ＤＭＤ）・プロジェクタ、液晶プロジェクタなど、任意の種類のプロジェクタとすることができる。プロジェクタ６０１は、可動スクリーン６０２上に画像（グラフィック）６０８を投影する。画像６０８は、グラフィックオーバーレイを含むことができる。例えば、画像６０８は、図２に関連して上述したような処理済み画像データ１９０とすることができる。

可動スクリーン６０２は透明板を含み、よって、投影画像の光は可動スクリーン６０２を透過して車両（例えば、車両１２３）のフロントガラス６０７に投影される。フロントガラス６０７に投影された画像は、フロントガラスに投影された物体ではなく、あたかも現実世界の３次元空間に存在する現実物体（６１１ａ、６１１ｂとして示す）であるかのように、運転者６１０に知覚される。

いくつかの実施形態では、３Ｄ−ＨＵＤは、スクリーン６０２上の投影位置を調整することによって、運転者６１０に対する画像の方向（言い換えると、フロントガラスにおける画像位置）を制御することができる。さらに、スクリーン６０２は、位置６０３ａと位置６０３ｂとの間の範囲でスクリーン駆動ユニット６０３によって移動可能である。スクリーン６０２の位置を調整することにより、現実世界における運転者６１０からの投影画像の深さ（距離）を変えることができる。一例では、スクリーン６０２の可動範囲（位置６０３ａと位置６０３ｂとの間の距離）は５ｍｍであり、これは現実世界での５ｍから無限遠に対応する。３Ｄ−ＨＵＤの使用により、運転者６１０は、投影画像が現実世界（３次元空間）に存在していると知覚することができる。例えば、画像が現実物体（歩行者、自動車など）と同じ３次元位置（または少なくとも実質的に同じ深さ）に投影された場合、運転者は投影画像を見るために目の焦点を調節する必要がなく、現実物体を見ながら投影画像を容易に把握することが可能になる。

図６に示す３Ｄ−ＨＵＤは例として提供されている。他の例も可能である。これらの例には、図６に示す３Ｄ−ＨＵＤと、程度の差はあるが同様の複雑さを有するヘッドアップディスプレイが含まれうる。例えば、将来においては、可動スクリーン６０２などの可動部品を必要としないヘッドアップディスプレイが出現することが予想される。例えば、移動しない静止スクリーンが配置される可能性もある。配置されるヘッドアップディスプレイが２次元のヘッドアップ・ディスプレイ・ユニットではない可能性もある。いくつかの実施形態では、運転者支援システム１９９およびグラフィックオーバーレイは、そのような構成要素で動作するように設計される。

（方法）
次に図７を参照すると、いくつかの実施形態による運転者支援システム１９９を使用して車両に新しい車両機能または異なる車両機能を提供するための方法例７００の流れ図が示されている。車両機能は、図１に関連して上述した車両１２３の構成要素によって提供できる。

方法７００について本明細書に記載するステップのうちの１つまたは複数は、１台または複数のコンピュータシステム２００によって実行できる。

次に図７を参照する。ステップ７０５で、車両の現在位置を記述するＧＰＳデータ１８３が取得される。ＧＰＳデータ１８３は、ＤＳＲＣ準拠のＧＰＳユニット１５０から受信され、±３メートルの精度で車線内の車両１２３の位置を記述することができる。

ステップ７１０で、ＧＰＳデータ１８３に基づいて、車道環境に含まれるロードミラーの固定位置を識別するミラーデータ１８８が生成される。例えば、ＧＰＳデータ１８３は、地理的位置におけるロードミラーの位置を記述するマップデータ１８６からミラーデータ１８８を取得するのに使用できる。

ステップ７１５で、ミラーデータ１８８に基づいて、車両１２３と関連付けられた外部センサ１５５が、ロードミラーの画像を記述する撮像データ１８４を取り込むよう命令される。

ステップ７２０で、画像の光学的反転バージョンを記述する処理済み画像データ１９０が生成される。いくつかの実施形態では、画像は、拡大され、ひずみ補正され、光学的に反転できる。

ステップ７２５で、表示装置１９８が処理済み画像データ１９０を表示するよう命令される。例えば、表示装置１９８は、フルカラー電子ディスプレイ、３Ｄ−ＨＵＤ、またはＡＲゴーグルとすることができる。表示装置１９８は、処理済み画像データ１９０によって記述されている画像の光学的反転バージョンを表示することができる。

次に図８を見ると、いくつかの実施形態による、ＡＲゴーグルに、処理済み画像データ１９０によって記述されている画像の光学的反転バージョンを表示するよう命令するための方法例７２５の流れ図が示されている。車両機能は、図１に関連して上述した車両１２３の構成要素によって提供できる。

ステップ８０５で、処理済み画像データ１９０がＡＲゴーグルに提供される。ステップ８１０で、車両１２３の運転者の頭部の位置を記述する頭部位置データ１８９が受信される。例えば、頭部位置データ１８９は、運転者がＡＲゴーグルを使用している間の運転者の頭部の角度を記述する。

ステップ８１５で、頭部位置データ１８９に基づいて処理済み画像データ１９０を描写するグラフィックオーバーレイを表示すると決定したことに応答して、グラフィックオーバーレイが生成される。グラフィックオーバーレイは、例えば、拡大され、ひずみ補正され、光学的に反転されたロードミラーの画像からの物体を含む。ステップ８２０で、ＡＲゴーグルはグラフィックオーバーレイを表示するよう命令される。例えば、グラフィックオーバーレイは、ロードミラーの画像からのオブジェクトが現実世界における物体によって隠されていない場合にあるはずの位置にあるものとして位置決めされている。ステップ８２５で、ＡＲゴーグルは、グラフィックオーバーレイの更新を周期的に表示するよう命令される。

以上の説明では、本発明を十分に理解できるように、多くの詳細について説明した。しかしながら、各実施形態はこれらの具体的な詳細無しでも良いことは当業者にとって明らかであろう。また、説明が不明瞭になることを避けるために、構造や装置をブロック図の形式で表すこともある。たとえば、一実施形態は、ユーザインタフェースおよび特定のハードウェアとともに説明される。しかし、ここでの説明は、データおよびコマンドを受信
する任意のタイプのコンピュータシステムおよび任意の周辺機器について適用できる。

本明細書における「一実施形態」または「ある実施形態」等という用語は、その実施形態と関連づけて説明される特定の特徴・構造・性質が少なくとも本発明の一つの実施形態に含まれることを意味する。「一実施形態における」等という用語は本明細書内で複数用いられるが、これらは必ずしも同一の実施形態を示すものとは限らない。

以上の詳細な説明の一部は、非一時的（non-transitory）なコンピュータ可読記憶媒体に記憶されたデータビットに対する動作のアルゴリズムおよび記号的表現として提供される。これらのアルゴリズム的な説明および表現は、データ処理技術分野の当業者によって、他の当業者に対して自らの成果の本質を最も効果的に説明するために用いられるものである。なお、本明細書において（また一般に）アルゴリズムとは、所望の結果を得るための論理的な手順を意味する。処理のステップは、物理量を物理的に操作するものである。必ずしも必須ではないが、通常は、これらの量は記憶・伝送・結合・比較およびその他の処理が可能な電気的または磁気的信号の形式を取る。通例にしたがって、これらの信号をビット・値・要素・エレメント・シンボル・キャラクタ・項・数値などとして称することが簡便である。

なお、これらの用語および類似する用語はいずれも、適切な物理量と関連付いているものであり、これら物理量に対する簡易的なラベルに過ぎないということに留意する必要がある。以下の説明から明らかなように、特に断らない限りは、本明細書において「処理」「計算」「コンピュータ計算（処理）」「判断」「表示」等の用語を用いた説明は、コンピュータシステムや類似の電子的計算装置の動作および処理であって、コンピュータシステムのレジスタやメモリ内の物理的（電子的）量を、他のメモリやレジスタまたは同様の情報ストレージや通信装置、表示装置内の物理量として表される他のデータへ操作および変形する動作および処理を意味する。

本発明は、本明細書で説明される動作を実行する装置にも関する。この装置は要求される目的のために特別に製造されるものであっても良いし、汎用コンピュータを用いて構成しコンピュータ内に格納されるプログラムによって選択的に実行されたり再構成されたりするものであっても良い。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な、例えばフロッピー（登録商標）ディスク・光ディスク・ＣＤ−ＲＯＭ・磁気ディスクなど任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光学式カード、ＵＳＢキーを含む不揮発性フラッシュメモリ、電子的命令を格納するために適した任意のタイプの媒体などの、非一時的なコンピュータ可読記憶媒体に記憶される。

発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態は、ソフトウェアによって実現される。ここでソフトウェアとは、ファームウェア、常駐ソフトウェア、マイクロコードやその他のソフトウェアを含むものである。

さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。

プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも１つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。

入力／出力（Ｉ／Ｏ）装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはＩ／Ｏコントローラを介して直接あるいは間接的にシステムに接続される。

システムにはネットワークアダプタも接続されており、これにより、私的ネットワークや公共ネットワークを介して他のデータ処理システムやリモートにあるプリンタや記憶装置に接続される。モデム、ケーブルモデム、イーサネット（登録商標）は、現在利用可能なネットワークアダプタのほんの一例である。

最後に、本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがったプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以上の説明において明らかにされる。さらに、本発明は、特定のプログラミング言語と関連づけられるものではない。本明細書で説明される本発明の内容を実装するために種々のプログラミング言語を利用できることは明らかであろう。

実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。さらに、当業者であれば、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できることを理解できるであろう。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、本発明の実装は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。以上のように、上記の本発明の説明は限定的なものではなく例示的なものであり、本発明の範囲は添付の特許請求の範囲にしたがって定められる。

１０５ ネットワーク
１０７ サーバ
１２３ 車両
１２５ プロセッサ
１２７ メモリ
１４５ 通信ユニット
１５０ ＤＳＲＣ準拠ＧＰＳユニット
１５５ 外部センサ
１５９ 内部センサ
１８３ ＧＰＳデータ
１８４ 撮像データ
１８５ 車両データ
１８６ マップデータ
１８７ オブジェクト事前情報データ
１８８ ミラーデータ
１８９ 頭部位置データ
１９０ 処理済み画像データ
１９８ 表示装置
１９９ 運転者支援システム

Claims (10)

1. 車両の現在位置を取得する位置取得ステップと、
   前記車両の現在位置に基づいて、道路に設置されたロードミラーの位置を識別する位置識別ステップと、
   前記車両の運転者の頭部の向きを取得するステップと、
   前記車両に備えられた外部センサを用いて、識別された前記ロードミラーを含む第一の画像を取り込む画像取得ステップと、
   前記第一の画像を光学的に反転させ、拡大した第二の画像データを生成する画像処理ステップと、
   前記頭部の向きに基づいて、前記運転者が前記ロードミラーを視認可能と判定された場合に、前記第二の画像データを描画するグラフィックオーバーレイを生成し、前記グラフィックオーバーレイを、拡張現実（ＡＲ）機能を提供する表示装置に出力する表示ステップと、
   を含み、
   前記表示ステップでは、前記ロードミラーの位置に基づいて、前記車両の運転者が視認する前記ロードミラーと重なる位置に前記第二の画像データが描画された前記グラフィックオーバーレイを生成する、
   方法。
2. 前記表示ステップでは、前記運転者の頭部の向きが、特定のロードミラーの方向にある場合に、当該ロードミラーに対応する前記グラフィックオーバーレイを前記表示装置に出力する、
   請求項１に記載の方法。
3. 前記車両の速度を検出する速度検出ステップをさらに含み、
   前記表示ステップでは、前記車両が停止している場合に、前記表示装置に前記グラフィックオーバーレイを出力する、
   請求項１または２に記載の方法。
4. 前記車両の進行方向を予測する第一の予測ステップと、
   前記予測された進行方向における安全性を予測する第二の予測ステップと、をさらに含
   み、
   前記表示ステップでは、前記予測された安全性についての情報をさらに前記表示装置に表示させる、
   請求項１から３のいずれかに記載の方法。
5. 前記表示装置は、３Ｄヘッドアップディスプレイである、
   請求項１から４のいずれかに記載の方法。
6. 前記第二の画像データは、前記第一の画像を光学的に反転させ、歪みを取り除いた画像である、
   請求項１から５のいずれかに記載の方法。
7. 前記位置識別ステップでは、外部カメラが撮像した画像と、前記ロードミラーに関するオブジェクト情報とを比較した結果にさらに基づいて、前記ロードミラーの位置を識別する、
   請求項１から６のいずれかに記載の方法。
8. 前記位置識別ステップでは、ロードミラーの配置位置が記録されたマップデータを用いて前記ロードミラーの位置を識別する、
   請求項１から７のいずれかに記載の方法。
9. 請求項１から８のいずれかに記載の方法をコンピュータに実行させるためのプログラム。
10. 車両の現在位置を取得する位置取得手段と、
    前記車両の現在位置に基づいて、道路に設置されたロードミラーの位置を識別する位置識別手段と、
    前記車両の運転者の頭部の向きを取得する手段と、
    前記車両に備えられた外部センサを用いて、識別された前記ロードミラーを含む第一の画像を取り込む画像取得手段と、
    前記第一の画像を光学的に反転させ、拡大した第二の画像データを生成する画像処理手段と、
    前記頭部の向きに基づいて、前記運転者が前記ロードミラーを視認可能と判定された場合に、前記第二の画像データを描画するグラフィックオーバーレイを生成し、前記グラフィックオーバーレイを、拡張現実（ＡＲ）機能を提供する表示装置に出力する表示手段と、
    を有し、
    前記表示手段は、前記ロードミラーの位置に基づいて、前記車両の運転者が視認する前記ロードミラーと重なる位置に前記第二の画像データが描画された前記グラフィックオーバーレイを生成する、
    システム。

Images