JP6062041B2 - 道路を基準にした風景のビデオ画像から仮想表示面を生成する方法 - Google Patents

Description

＜関連出願の相互参照＞
本出願は、２０１２年５月７日に出願された同時係属中の米国仮特許出願第６１／６４３７９２号に対して、米国特許法１１９条（ｅ）項に基づき優先権を主張する。上記出願の全体が参照により本明細書に組み込まれる。

本開示は、車両のディスプレイ装置へグラフィック要素を表示して、拡張現実感を実装する技術に関する。

車両の運転者には、様々な感覚器官からの情報が、車両を運転する際に押し寄せている。様々な発生源からの音や振動に加えて、運転者は大量の視覚情報を車両の運転中に受信する。そのような視覚情報源には、道路の両側の人や建物、ダッシュボードの表示の広告及びインフォテインメント・アプリケーションなどの外部からの刺激が含まれる。視覚情報のそのような供給源は、しばしば、運転者の注意を散漫にし、運転者の注意を車両の進行方向から離れたところへ向けさせることがある。

車載の拡張現実感システムが、運転者の注意散漫を軽減し、同時に、車両内での様々な作業を支援するための視覚情報を提供するために開発されている。車載の拡張現実感システムでは、車両のダッシュボード又はコンソールに設置されたフラット・パネル・ディスプレイ装置（例えば、液晶ディスプレイ（ＬＣＤ））、又は車両のフロントガラス上にグラフィック要素を表示するヘッドアップ・ディスプレイ（ＨＵＤ）を使用することができる。該拡張現実感システムは、また、道路の危険についての警告を強めることにより、又は特定の運転状況に対する安全措置を提案して安全性を高めることができる。

しかしながら、拡張現実感システム自体が注意散漫の原因となることがある。情報が運転者に適切な方法で提示されていない場合である。グラフィック要素が頻繁に動き過ぎる場合、又は、アニメーションが不十分な場合、又は重要な瞬間に突然現れる場合、該車載のディスプレイ装置に表示される画像は、安全性を高めるのではなく、運転事故や危険の原因になる。したがって、車両に提示されるグラフィック要素は、運転者に役立つ様々な種類の視覚的な情報を提供しつつ、運転者の注意散漫を低減するように設計されるべきである。

いくつかの実施形態は、仮想モデルを画像から抽出された視覚的特徴を使用して構築することに関する。該画像は、車両に搭載された撮像装置（例えば、カメラ）により撮影される。該視覚的特徴を使用して、道路の車両に対する相対的位置を決定することができる。該仮想モデルには少なくとも一つの面が含まれ、該面を基準にしてディスプレイ装置上のグラフィック要素を構成し位置決めする。該グラフィック要素によって、運転者に情報が伝えられる。

一実施形態において、前記ディスプレイ装置は、ヘッドアップ・ディスプレイであり、車両のフロントガラス上にグラフィック要素を投影する。

一実施形態では、仮想モデルは溝を表し、この溝には左側壁、右側壁、地面、及び地面に平行な空中の面が含まれる。

一実施形態では、前記構成されたグラフィック要素は、前記少なくとも一つの面と共に移動し、該構成されたグラフィック要素が前記少なくとも１つの面に固定されたような外見を生成する。

一実施形態では、前記視覚的特徴の検出は、撮影した画像をトリミングして道路の輪郭を含む該画像の一部を抽出し、トリミングされた画像から道路の縁部を表す線分の特徴を検出することによって行われる。

一実施形態では、逆遠近マッピングがトリミングされた画像に対して実行され、鳥瞰図画像が生成される。分離フィルタが鳥瞰図画像に使用されて、フィルタリングされた画像が生成される。線分の特徴が、該フィルタリングされた画像から検出される。該検出された線分の特徴に曲線近似が行なわれる。

一実施形態では、車両の位置と進行方向が判定される。次に、車両の位置又は進行方向に基づいた情報源から情報が受信される。

一実施形態では、ユーザのプロファイルと、前記車両の位置又は進行方向が、グラフィック要素を生成するために使用される。

一実施形態では、前記車両に対する太陽の相対的位置が現在時刻、該車両の進行方向、及び該車両の位置に基づいて決定される。前記構成されたグラフィック要素うちの少なくとも一つの陰影が生成される。該陰影は、地球表面上の該車両の位置に対する太陽の該相対的位置及び時刻に基づいて生成される。該生成された陰影が前記ディスプレイ装置に表示される。

一実施形態では、車両前方の道路を横断する可能性のある歩行者が検出される。該歩行者が横断する可能性のある道路の一部に横断歩道を表すグラフィック要素が生成される。

本明細書に記載された特徴及び利点は、すべてを含んでいるわけではなく、特に、多くの追加の特徴及び利点が、図面、明細書、及び特許請求の範囲を見て当業者には明らかになるであろう。さらに、本明細書で使用する言語は、主として読みやすさ及び教示目的から選択され、本願発明の主題を記述又は限定するためには選択されていないことに留意して頂きたい。

本開示の教示は、以下の詳細な説明を添付の図面と併せて考察することによって容易に理解することができる。

一実施形態による、拡張現実感システムのブロック図である。

一実施形態による、拡張現実感プロセッサのブロック図である。

一実施形態による、拡張現実感システムの撮像装置により撮影された画像の処理済み版を示す図である。

一実施形態による、撮像装置によって撮影された画像の一部を逆遠近マッピングにより処理した画像を示す図である。

一実施形態による、分離フィルタを用いて処理した、フィルタリングされた画像を示す図である。

一実施形態による、モデル化のために、道路として検出された画像の一部を複数のセグメントにセグメント化する処理を示す図である。

一実施形態による、道路の1つのセグメントの仮想モデルの概念図を示す図である。

一実施形態による、車両のディスプレイ装置に表示されるグラフィック要素を含む、拡張現実感の画像を示す図である。

一実施形態による、車両が交差点で停止している間に表示されるグラフィック要素を含む拡張現実感の画像を示す図である。

一実施形態による、歩行者から第１の距離にある仮想横断歩道を示す拡張現実感の画像を示す図である。

一実施形態による、前記歩行者から第二の距離にある仮想横断歩道を示す拡張現実感の画像を示す図である。

一実施形態による、拡張現実感用のグラフィック要素を生成する方法を示すフローチャートである。

好適な実施形態について図面を参照して説明する。図面において、類似の参照番号は、同一又は機能的に類似の要素を示す。

明細書中の「一実施形態」という呼び方は、該実施形態に関連して記載される特定の特徴、構造、又は特性が少なくとも一実施形態に含まれることを意味する。「一実施形態において」という語句が本明細書の様々な箇所で出現するが、必ずしもすべて同一の実施形態を指しているとは限らない。

以下の詳細な説明のいくつかの部分は、コンピュータ・メモリ内のデータ・ビットに対する操作のアルゴリズム及び記号表現によって説明される。これらのアルゴリズムの記述及び表現は、データ処理分野の当業者が最も効果的に該分野の他の当業者に業務の内容を伝えるために用いる手段である。アルゴリズムは、本明細書で及び一般的に、所望の結果を導く首尾一貫した一続きのステップ（命令）であると考えられている。該ステップは、物理量の物理的操作を必要とする。通常、必ずしも必要ではないけれども、これらの量は、電気的、磁気的、又は光学的信号の形をとり、記憶、転送、結合、比較及びその他の操作を行うことができる。これらの信号をビット、値、要素、シンボル、文字、用語、数字等として参照することは、時には、主に共通使用の理由から便利である。さらに、物理量の物理的な操作を必要とするステップの特定の配列を、モジュール又は符号化装置として、一般性を失うことなく参照することが便利なこともある。

しかしながら、これらの用語及び類似の用語の全てが適切な物理量に対応付けられるべきもので、単にこれらの量に付けられる便利なラベルである。以下の説明から明らかなように別段の記載がない限り、本明細書全体を通じて、「処理」、「計算」、「演算」、「判断」、「表示」、又は「判定」等の用語を用いた説明は、コンピュータ・システム、又は同様の電子計算装置（例えば、特定の計算機）の動作及び処理を指し、該動作及び処理では、物理（電子）量として表されるデータがコンピュータ・システムのメモリ又はレジスタ又は他の情報記憶装置、伝送装置、又はディスプレイ装置の中で操作及び変換される。

いくつかの実施形態の側面には、本明細書で説明した処理ステップ及び命令をアルゴリズムの形で含むものがある。なお、該処理ステップ及び命令は、ソフトウェア、ファームウェア、又はハードウェアで実装され、ソフトウェアで実装するときには、ダウンロードして常駐させ、多様なオペレーティングシステムが用いる様々なプラットフォームから操作することができる。

複数の実施形態は、また、本明細書における動作を実行するための装置に関する。この装置は、必要とされる目的のために、特定の構成にすることができ、又は、汎用コンピュータを有し、該コンピュータに格納されたコンピュータ・プログラムによって選択的に起動又は再構成することができる。このようなコンピュータ・プログラムは、以下のようなコンピュータ読み取り可能な記憶媒体に格納することができるが、これらに限定されない。該コンピュータ読み取り可能な記憶媒体には、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、リード・オンリー・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、特定用途向け集積回路（ＡＳＩＣ）、又は電子命令の格納に適した任意の種類の媒体、及び各々がコンピュータ・システム・バスに結合された媒体を含む任意の種類のディスクがある。さらに、本明細書で言及するコンピュータは単一のプロセッサを含んでもよく、又は計算能力増強のためのマルチプロセッサ設計を用いるアーキテクチャであってもよい。

本明細書に提示されるアルゴリズム及び表示は、本質的にどのような特定のコンピュータ又は他の装置に関連するものでもない。また、様々な汎用システムを、本明細書の教示によるプログラムと共に使用することができる、又は、要求される方法ステップを実行するためにより特化した装置を構成すると便利である。これらの様々なシステムのための構造は以下の説明から明らかになるであろう。また、実施形態には、どの特定のプログラミング言語に関する言及も記載されてはいない。様々なプログラミング言語を本明細書に記載の教示を実装するために使用できることが理解されよう。また、特定の言語に対する以下の言及は、実施可能性及びベスト・モードの開示のために提供される。

また、明細書で使用される言語は、主に、読みやすさや教示目的のために選択されており、本発明の主題事項を記述又は限定するためには選択されていない。したがって、本開示は、実施形態の範囲を例示的に説明することを意図しているが、該範囲を限定するものではない。

実施形態は、撮像装置（例えば、カメラ）を用いて撮像した画像に基づいて車両前方の環境の仮想モデルを生成することに関する。撮像装置上に撮影した画像は、対象（例えば、道路の輪郭）の特徴を抽出するために処理される。抽出された特徴に基づいて、環境の仮想モデルが構築される。仮想モデルは、１つ又は複数の面を含む。該面の各々を、生成されたグラフィック要素を貼り付けて移動させる基準面として用いて、拡張現実感（ＡＲ）を実現することができる。車両が移動すると該グラフィック要素が移動して、あたかも該仮想モデル内の該面の一つに張り付けられているかのようにみえる。グラフィック要素を車両前方の現実のオブジェクトと一緒に移動するように提示することによって、運転者は、該グラフィック要素を実環境の一部であるかのように知覚し、該グラフィック要素に関係した注意散漫や混乱が減少する。

本明細書に記載されたグラフィック要素は、ディスプレイ装置に表示される視覚画像の構成要素を指す。グラフィック要素にはテキスト・メッセージ、矢印、アイコン、アニメーション・オブジェクト、三次元モデル、及び、静的又は動的画像が含まれるが、これらには限定されない。グラフィック要素には、また、静的又は動的な広告も含まれる。
＜拡張現実感システムの概要＞

図１は、一実施形態による、拡張現実感システム１００を表すブロック図である。拡張現実感システム１００は、車両前方の環境及び該環境内の車両の位置を検出し、かつ、仮想オブジェクトを車両のディスプレイ装置内に邪魔にならないように表示する。拡張現実感システム１００に含まれるものには、数ある中でも特に、撮像装置１１０、画像処理モジュール１２２、位置決め装置１１４、クロック１１８、情報源１３０、拡張現実感プロセッサ１４０、及びヘッドアップ・ディスプレイ（ＨＵＤ）システム１５０がある。

撮像装置１１０は、車両前方の環境の画像を撮影するための装置である。撮像装置によって撮影された画像は、フロントガラスを通して運転者の目に入る画像に酷似していることが望ましい。そのような画像を生成するために、撮像装置１１０は、運転者に近い位置に配置してもよい。撮像装置１１０は、ＲＧＢカメラ、グレースケール・カメラ、ステレオ・カメラ、深度カメラ、又は、これらの組み合わせにすることができる。撮像装置１１０は処理済み画像１２４を生成し、該画像は、前処理のために画像処理モジュール１２２に送られる。

画像処理モジュール１２２は、撮影された画像１１２の前処理を実行し、拡張現実感プロセッサ１４０での特徴抽出を支援する。画像処理モジュール１２２で実行される前処理には、特に、縁部検出及びノイズ・フィルタリングを含むことができる。

位置決め装置１１４は、ハードウェア、ソフトウェア、ファームウェア、又は、これらの組み合わせであり、車両の位置及び進行方向を検出する。位置決め装置１１４には、例えば、全地球測位システム（ＧＰＳ）受信機、コンパス、及び慣性センサを含むことができる。位置決め装置１１４は、また、他のセンサ（例えば、走行距離と車両方向センサ）と通信して、ＧＰＳ信号が利用できないときでも車両の位置及び進行方向の監視を継続することができる。位置決め装置１１４は、車両の位置と進行方向を含む位置情報１１６を拡張現実感プロセッサ１４０に対して生成する。

クロック１１８は、拡張現実感プロセッサ１４０に時間情報１４８を提供する。時間情報１４８は、現在時間を示し、グラフィック要素の陰影を生成するために用いることができる。これは、図６を参照して以下で詳細に説明される。

情報源１３０は、ＨＵＤシステム１５０に表示される情報を格納するための装置である。情報源１３０には、ＨＵＤシステム１５０に異なる情報を提供する複数の車両部品が含まれる。情報源１３０には、例えば、オンボード・ナビゲーションシステム、テレマティックス・システム、インターネット接続性を有する無線通信システム、及び車両内エンターテインメント・システムが含まれる。情報源１３０は、データ１３２を拡張現実感プロセッサ１４０にグラフィック要素の処理及び生成のために送信する。

拡張現実感プロセッサ１４０は、各種情報を処理して、ＨＵＤシステム１５０上に表示するためのグラフィック要素を生成する。シームレスかつ非侵入的方式で運転者に情報を提供するため、拡張現実感プロセッサ１４０は前記環境の仮想モデルを生成して、グラフィック要素を仮想モデルの仮想面上に配置する。これは、以降において図５を参照して詳細に説明する。拡張現実感プロセッサ１４０によって生成されたグラフィック要素は、ＨＵＤシステム１５０にグラフィック・データ１４４として送信される。拡張現実感プロセッサ１４０内の構成要素の例及び例示的な機能を、図２を参照して後で詳細に説明する。

ＨＵＤシステム１５０は、グラフィック・データ１４４を拡張現実感プロセッサ１４０から受信し、グラフィック・データ１４４によって示されるグラフィック要素を車両のフロントガラス上に投影する。一実施形態では、ＨＵＤシステム１５０は、立体的ＨＵＤとして実装され、該立体的ＨＵＤは異なる焦点深度でグラフィック要素を表示する。ＨＵＤシステム１５０に具備することができる構成要素にはいろいろな構成要素があるが、特に、レンダリングされた画像を投影するプロジェクタ、及び、運転者に対して投影された画像を反射するためのフロントガラスがある。

実施形態は、本明細書では、主にＨＵＤシステムを参照して説明されているが、ディスプレイ装置としては、例えば液晶ディスプレイ（ＬＣＤ）装置、有機発光ダイオード（ＯＬＥＤ）装置、プラズマ・ディスプレイ装置、又は他の装置等を用いることができる。これらのディスプレイ装置は、車両のダッシュボード又は車両のセンター・コンソール・エリアに設置されて、視覚情報を運転者に提供することができる。また、画像を透明反射面上に投影するディスプレイ装置を、画像を透明な面にレンダリングするために用いることができる。
＜拡張現実感プロセッサの例＞

図２は、一実施形態による、拡張現実感プロセッサ１４０を示すブロック図である。拡張現実感プロセッサ１４０は、情報を処理して、システム１５０に提示するユーザ用グラフィック要素を生成する。拡張現実感プロセッサ１４０に具備することができる構成要素には、いろいろな構成要素があるが、特に、プロセッサ２１２、入力モジュール２１８、出力モジュール２２４、ネットワーク・モジュール２２８、メモリ２３２、及びこれらの構成要素を接続するバス２３０がある。拡張現実感プロセッサ１４０は、図２に示されていない他の構成要素を含んでもよい。例えば、ユーザからユーザ入力を受信するためのユーザ・インタフェース・モジュールがある。拡張現実感プロセッサ１４０は、独立したスタンドアロン・デバイス又はより大きなシステムの一部であってもよい。該大きなシステムは、拡張現実感のためのグラフィック要素生成以外の動作を実行する。

プロセッサ２１２は、ハードウェア構成要素であり、メモリ２３２に格納された命令を実行する。入力モジュール２１８は、ハードウェア構成要素であり、拡張現実感システム１００の他の構成要素（例えば、入力処理モジュール１２２）からの情報又はデータを受信する。該入力モジュール２１８は、通信プロトコルを実装して、拡張現実感システム１００の他の構成要素からのデータを確実に正確に通信することができる。出力モジュール２２４は、グラフィック・データ１４４をＨＵＤシステム１５０に送信するための構成要素である。これらの構成要素は、単一の集積回路（ＩＣ）チップ、又は複数のＩＣチップで実現することができる。

メモリ２３２は、非一時的なコンピュータ読み取り可能な記憶媒体であり、ソフトウェア構成要素を格納する。メモリ２３２に格納されるソフトウェア構成要素には、数ある構成要素の中でも特に、情報処理部２３１、画像特徴検出部２３８、拡張現実感（ＡＲ）モデル生成部２３４、歩行者検出部２４２、環境状態解析部２４８、グラフィック要素生成部２５２、及びグラフィック画像レンダリング部２５６が含まれる。該構成要素は、複数のソフトウェア構成要素にさらに分割することができる。又は、これらの構成要素のうち複数をまとめて一つの大きなソフトウェア・モジュールにしてもよい。

情報処理部２３１は、グラフィック要素の形で運転者に提示する情報やメッセージを決定する。運転者に関連する情報を提供するために、該情報処理部２３１は、運転者のプロファイル、車両のＧＰＳ情報、ソーシャル・ネットワーキング・サービス（例えば、ＦＡＣＥＢＯＯＫ）又は他のオンライン・サービス、及び、情報源１３０からの情報を受信することができる。該運転者のプロファイルに含まれるものには、例えば、年齢、性別、住所、ソーシャル・ネットワーキング・サービスのログ・オン情報、勤務先住所がある。提示される情報又はメッセージに含まれるものには、ターゲット広告、道路の名前、関心のある地点の名前（ＰＯＩ）、気象条件、通話状態、連絡先情報、広告、及び、通信装置を介して受信したＳＭＳメッセージ又は電子メールがある。情報処理部２３１は、該情報又はメッセージを示す提示情報２６２をグラフィック要素生成部２５２に送信する。

一実施形態では、情報処理部２３１は、車両が検出した交通信号又は交通標識に対応する交通規則を判定する。該情報処理部２３１は、グラフィック要素を生成して送信し、運転者に対する警告を表示することができる。該警告は、撮影された画像１１２を処理することによって検出された交通信号又は交通標識に基づいている。

画像特徴検出部２３８は、処理済み画像１２４の中の予め決められた特徴を検出する。検出された特徴に含まれるものには、画素の線分、縁部、隆線、及び不明瞭部分などの視覚的特徴がある。様々なコンピュータ・ビジョン・アルゴリズムを用いて、このような特徴を検出・抽出することができる。そのような目的のためのアルゴリズムの例としては、分離フィルタ・アルゴリズム及びハフ変換アルゴリズムがある。環境画像情報２３６は、抽出された道路に関する視覚的特徴を含み、ＡＲモデル生成部２３４に送信される。歩行者画像２４０は、歩行者に関する視覚的特徴を含み、歩行者検出部２４２に送信される。交通情報２３９は、信号機に関する視覚的特徴を含み、情報処理部２３１に送信される。

一実施形態では、画像特徴検出部２３８は、環境内の様々な障害物に関連する視覚的特徴を検出する。該視覚的特徴には、道路、歩行者、交通標識や信号機が含まれるが、これらに限定されない。道路に関連する視覚的特徴には、例えば、道路の縁部を表す線分、特定の色空間内の連続する画素からできている不明瞭部分、道路標識、又は、道路上の任意の静止した視覚的特徴が含まれる。歩行者に関連する視覚的特徴には、特定の判定基準を満たす画素からできている不明瞭部分が含まれる。交通標識や信号機に関連する視覚的特徴には、撮影された画像の特定の場所に現れる画素の色情報が含まれる。

ＡＲモデル生成部２３４は、環境画像情報２３６を受信して、車両前方の環境を表す仮想モデルを構築する。処理済み画像１２４の線分の特徴を用いて道路の形状を決定することができる。これは、以降で図３〜４Ｃを参照して詳細に説明される。該道路の構成で示すことができるものには、例えば、車両に対する道路の相対的な方向及び位置、道路の幅、道路の深度がある。一実施形態では、ＡＲモデル生成部２３４は、溝の形の仮想モデルを生成することができる。これは、以降で図５を参照して詳細に説明される。ＡＲモデル生成部２３４は、仮想モデルの構成を示すモデル情報２４４をグラフィック画像レンダリング部２５６へ送信する。

歩行者検出部２４２は、歩行者の画像２４０を画像特徴検出部２３８から受け取り、処理済み画像１２４内の歩行者を特定する。該歩行者検出部２４２は、また、特定の基準に一致する歩行者を選択する。該基準は、歩行者や車両に対するリスクを示すことができる。該リスクの例としては、歩行者との衝突の可能性、及び歩行者が道路の横断を開始しそうかどうかに関する手がかり（例えば、歩行者が道路の方を向いている、及び／又は道路に向かって移動している）がある。そのような選択された歩行者に関する位置及びその他の情報は、グラフィック要素生成部２５２に歩行者情報２４６として送信される。

環境状態解析部２４８は、時間情報１４８及び位置情報１１６を受信して、車両に対する太陽の方角を決定する。環境状態解析部２４８は、該時間情報１４８及び車両の進行方向を解析し、車両に対する太陽の位置を判定する。次に、グラフィック要素に含めるべき陰影の方向と長さを、グラフィック要素のより実際的な外観を表示するために決定することができる。環境状態解析部２４８は、この解析の結果として状態情報２５０を生成し、該状態情報２５０をグラフィック要素生成部２５２に送信する。

グラフィック要素生成部２５２は、グラフィック要素２５４を歩行者情報２４６、状態情報２５０、提示情報２６２、及び／又は、拡張現実感システム１００の他の構成要素から受信した他の情報やデータに基づいて生成する。該グラフィック要素に含むことができる要素には、例えば、警告信号、静的又は動的画像、及びテキスト・メッセージを示すアイコンがある。生成されたグラフィック要素には、また、仮想横断歩道があり、以降で図８Ａ及び８Ｂを参照して詳細に説明される。一実施形態では、グラフィック要素には、該時刻及び車両の進行方向に基づくグラフィック要素の陰影を含めることができる。該生成されたグラフィック要素２５４は、グラフィック画像レンダリング部２５６に送付される。

グラフィック画像レンダリング部２５６は、ＨＵＤ装置システム（又は他のディスプレイ装置）に表示されるべき受信したグラフィック要素２５４を、モデル情報２４４に基づいて構成する。グラフィック要素のうちの少なくともいくつかは、仮想モデルの仮想面上に配置するために構成される。具体的には、少なくともいくつかのグラフィック要素が動的に配置され構成されて、これらのグラフィック要素が実環境の一部であるかのように、ディスプレイ装置上に表示される。グラフィック画像レンダリング部２５６は、該グラフィック要素とその構成をグラフィック・データ１４４内に含み、該グラフィック・データ１４４を、ＨＵＤシステム１５０に、バス２３０及び出力モジュール２２４を介して送信する。
＜視覚情報に基づく仮想モデルの構築＞

撮像装置（例えば、ＲＧＢカメラ、ステレオ・カメラ、又は深度カメラ）から撮影された画像から取得可能な視覚情報を用いると、前記環境の仮想モデルの迅速な構築が可能になる。視覚情報は、車両に取り付けた撮像装置から取得可能である。このような視覚情報は、コンピュータ・ビジョン・アルゴリズムを用いて処理され、仮想モデルの構築に関連する特徴を抽出することができる。このような特徴抽出は、地図データに大きく依存する仮想モデルの構築に比べて、大量の計算、時間的遅延、又は、外部ソースからの大量のデータなしで行うことができる。

図３は、一実施形態による、拡張現実感システムの撮像装置により撮影された画像の処理済み版３００である。該画像３００は、車両前方を向いた撮像装置によって撮影される。画像３００には、道路３１８の縁部を示す線分３１４及び３１６、建物３４４、及び車両前方の環境を形成するその他の物体が含まれる。他の処理済み画像には、さらなる処理に使用することもできる車線を含む可能性がある。

画像特徴検出部２３８は、まず、次の処理のための処理済み画像３００の一部３２０を選択して、トリミングする。該次の処理のための画像３００の該一部は、また、関心領域（ＲＯＩ）と呼ばれる。該選択された部分３２０は、地平線近くの垂直方向の位置から一定の距離だけ下方に垂直に延びていることがある。該選択された部分は、該道路に関連する特徴の正確な検出を妨げる可能性がある画像部分を含まないことが好ましい。このような画像部分には車両のボンネット３１０のような部分がある。該部分３２０の垂直位置と距離は、予め設定しておいてもよいし、又は、景観の変化と共に動的に変化してもよい。

図４Ａは、一実施形態による、処理済み画像であり、処理済み画像３００の一部３２０を逆遠近マッピング（ＩＰＭ）によって処理した画像を示す。ＩＰＭ処理を行うことにより、処理済み画像３００の斜視図が、二次元の鳥瞰図に変換される。該変換の説明としては、例えば、Ｍ．ベルトッツィ他著「ゴールド・システム上での車線と障害のリアルタイム検出」と題する「インテリジェント車両シンポジウム」での論文が、１９９６年度ＩＥＥＥ論文誌、頁２１３−２１８、（１９９６）に記載されている。その全体が参照により本明細書に組み込まれる。破線で示される、様々な画像の乱れ４１８、及び、道路３１８の縁部４１４、４１６が図４Ａに含まれている。該ＩＰＭは、遠近の歪みを画像から除去して、道路の縁部と車線を、原画像では収束するように見えるが、変換された画像では平行になるようにする。

図４Ｂは、一実施形態による、フィルタリングされた画像であり、図４Ａの画像に分離フィルタを適用して得られる。該分離フィルタの構成は、垂直方向に配向され水平方向に許容可能な範囲で偏向している線分の特徴を検出するように設定される。該分離フィルタを適用して、図４Ａ内の画像の乱れ、又は仮想モデルの構築には無関係な特徴４１８が除去され、道路１３８の縁部４１４、４１６は残される。該分離フィルタを使用して乱れや無関係な特徴を除去することには利点がある。その理由は、いろいろな理由があるが特に、該処理が、他のアルゴリズムと比べて好都合に実行することができるからである。他の実施形態では、ハフ変換のような分離フィルタ以外の画像処理アルゴリズを使用して、道路の特徴を抽出することができる。

前記道路の縁部４１４、４１６を取り出した後、曲線近似を、道路の縁部を表現するために実行することができる。仮想モデルを成形するために、縁部４１４、４１６を、スプライン曲線に当てはめる。また、他の近似手法を用いてもよい。２つの近似されたスプライン曲線の間の領域は、車両前方にある道路３１８を表す。

図４Ｃは、一実施形態による、道路として検出された画像の一部を切り出して、モデル化用の複数のセグメント４２０、４２２、４２４、４２６に分割する処理を示す図である。セグメント４２０、４２２、４２４、４２６の各々について、別々に、環境の仮想モデルが作成される。各仮想モデルは、異なる構成（例えば、方向及び幅）を持つことができる。一実施形態では、該道路は所定の間隔で分割される。他の実施形態では、該道路をカーブ４１４、４１６の湾曲又は方向の変化、又は他の要因に基づいてセグメント化してもよい。

複数のセグメントに道路を分割して、各セグメントに対して仮想モデルを構築することで、該仮想モデルは、環境のより実際的な版を表すことができる。車両が前へ動くと、セグメント４２０、４２２、４２４、４２６は下方へ動いて、新しいセグメントが画像の上部に現れ、下部に最も近いセグメント（例えば、セグメント４２６）が画像の下方に消えるようにする。該セグメントは、新たに撮影された道路の画像が受信されて処理されると、新しい構成で更新される。各セグメントの構成が決定されると、画像特徴検出部２３８は、環境画像情報２３６内の該構成に関する情報を抽出し、ＡＲモデル生成部２３４に送信する。

図５は、一実施形態による、道路のセグメントに対する仮想モデル５００の概念図である。該仮想モデル５００は、４つの面を有する溝の形をしている。該４つの面は、床５０４、左側壁５１０、右側壁５１４、及び天井５０６である。図４のセグメント４２６を例にとると、仮想モデル５００の幅Ｗｄはセグメント４２６内の曲線４１４、４１６の間の水平距離に対応し、仮想モデル５００の長さＬｄはセグメント４２６の垂直方向の長さに対応する。該車両が前進すると、仮想モデル５００は車両に向かって動き、該仮想モデル５００が最終端に来ると、次のセグメント（例えば、セグメント４２４）に対応する他の仮想モデルに置き替わる。

一実施形態では、カルマン・フィルタが前記仮想モデルのパラメータ（例えば、幅、方向、及び座標）に適用されて、仮想モデルの滑らかな移行や移動を、次の処理済み画像１２４が拡張現実感プロセッサ１４０によって受信され処理されるときに実現することができる。

一実施形態では、次のような仮定がなされて、仮想モデルを確実に撮影された画像１１２に基づいてレンダリングすることができる。該仮定は、（ｉ）車両前方の道路は平らである、（ｉｉ）時計回り又は反時計回りにカメラが回転しない、及び（ｉｉｉ）撮像装置１１０は、地面から一定の高さに固定されている、である。追加の仮定を加えて、仮想モデルの生成を、撮影された画像１１２に基づいて容易化することもできる。

表示用グラフィック要素の提示は、様々な方法で、仮想モデルの面を基準にして行うことができる。前記側面を基準面として用いる例には、次のようなものがある。（ｉ）側壁５１０、５１４の使用。該側壁には、グラフィック要素が貼り付けられる。この様子はボックス５２４、５２８によって示されている。（ｉｉ）看板５２６のぶら下げ。該看板５２６は、側壁５１０、５１４のいずれかから内側（又は外側）に延びている。及び、（ｉｉｉ）バナー５１８の配置。該バナー５１８は、２つの側壁５１０、５１４の間に延びている。天井５０６を基準面として使用して、ラベル５２０を配置し、又は標識５２７をぶらさげることができる。床５０４をグラフィック要素の基準面として使用する例には、床５０４上に床ラベル５２２を配置することがある。看板や仮想キャラクタのような他のグラフィック要素（例えば、図７に示すような、３次元アニメーション・キャラクタ７２４）も、また、配置用の基準面として床５０４を使用することができる。

グラフィック要素は、該グラフィック要素に関係づけられた基準面と同一方向及び同一速度で移動して、該グラフィック要素が実際の環境の一部であるような外見を与える。一実施形態では、グラフィック要素は、車両に最も近い道路の１つのセグメントに対応する仮想モデルに対してのみ表示される。他の実施形態では、グラフィック要素は、道路の２つ以上のセグメントに対応する仮想モデルに対して表示される。

一実施形態では、複数の仮想モデルが、道路の構成に基づいて構築される。直線の道路セグメントに対しては、直線の溝の仮想モデル、図５を参照して前に説明したようなモデル、を使用することができる。交差点を含む道路のセグメントに対しては、二つの交差する溝を表す仮想モデルを使用することができる。複数の仮想モデルを用いて、実際の実環境に類似したより実際的な仮想モデルを作成することができる。
＜グラフィック要素のレンダリング＞

仮想モデルが作成されると、該仮想モデルのパラメータが、グラフィック画像レンダリング部２５６にモデル情報２４４として送信される。グラフィック画像レンダリング部２５６は、グラフィック要素２５４とその構成情報をグラフィック要素生成部２５２から受信する。該仮想モデルに基づいて、グラフィック画像レンダリング部２５６は画像データを生成する。該画像データは、該仮想モデルと整合するように配置され構成されたグラフィック要素を有する。

グラフィック要素がＨＵＤシステム１５０上に表示されるべき実施形態では、グラフィック要素の構成は、運転者と撮像装置１１０との位置や視点の相違を計算して調整する必要がある。撮像装置１１０の位置及び運転者の目の位置は既知なので、座標や視点変更の調整は、例えば、ＯｐｅｎＧＬアプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用して行うことができる。

他の実施形態では、画像は、車両のダッシュボード又はセンター・コンソールに設置されたディスプレイ装置に表示されるか、又は、運転手と撮像装置１１０の位置の相違を無視することができる。このような実施形態では、グラフィック要素を撮像装置１１０により撮像された画像の上に重ねて直接表示することができ、撮像装置１１０及び運転者の位置の差に関する調整をしないでよい。

図６は、拡張現実感の画像であり、グラフィック要素６１０、６１４、６１６、６１８を含み、車両内のディスプレイ装置に表示される。図６の画像は車両のフロントガラスから見ることができ、該フロントガラスには、グラフィック要素６１４、６１０、６１６、６１８が、前記ＨＵＤシステム１５０のプロジェクタから投影される。代わりに、図６の画像は、該車両のダッシュボード又はセンター・コンソールのディスプレイ装置上に提示することもできる。

ボックス６１４、６１８の各々は、前記仮想モデルの左又は右の側壁に貼り付けられて、広告又は他の情報を表示する。該広告は、静止画像又は動画像である。メッセージ６１０及びその陰影６１６は、道路３１８上に表示することができる。メッセージ６１０は、車両前方の環境に対応する仮想モデルの床の上に配置されるように構成される。メッセージ６１０は、例えば、関心のある地点（ＰＯＩ）の名前、及び運転条件に関する警告信号を表示することができる。陰影（例えば、陰影１６１）も又、拡張現実の現実感を強化するために表示される。陰影の構成の決定は、位置情報１１６と時間情報１４８を用いて行われるが、詳細は以降で説明される。

図５を参照して前に説明したように、グラフィック要素６１０、６１４、６１６、６１８は、車両の移動と共に移動し変化する。詳細には、ボックス６１４、６１８は、あたかも該ボックス６１４、６１８が仮想モデルの側壁の決まった位置に固定されているように、移動し大きさが変わる。一方、メッセージ６１０とその陰影６１６は、仮想モデルの床に固定されているかのように移動し大きさが変わる。

図７は、一実施形態による拡張現実感の画像である。該画像にはグラフィック要素７１２、７１６、７２０、７２４が含まれ、該グラフィック要素は、車両が交差点で停止している間、表示される。該交差点では、該交差点に到達する直前に生成された溝の仮想モデルが、グラフィック要素７１２、７１６、７２０、７２４によって置き換えられる。また、交差点を表す新しい仮想モデルを、グラフィック要素７１２、７１６、７２０、７２４の代わりに生成してもよい。

図７の例では、車両が、交通信号７５２を含む撮影された画像を使用するか、又は車両からインフラへの（Ｖ２Ｉ）通信を介して情報を受信することによって、停止信号を検出している。車両による「停止」信号の検出に応答して、停止標識７１６が、車両内のＨＵＤシステム１５０又は他のディスプレイ装置に表示するために生成される。該停止標識７１６はグラフィック要素であり、仮想モデルの天井に貼り付けられているかのように動く。停止標識７１６は、該交通信号７５２が変わると、「進行」標識（図示せず）に変わる。このような変化は、（画像処理が）交通信号の変化を示す撮影された画像、又はＶ２Ｉ通信を介して受信された情報によって起こすことができる。

車両が停止している間、広告７１２のようなグラフィック要素を、運転者に提示するために生成することができる。該広告７１２を構成して、該広告７１２が仮想モデルの床に固定された広告用看板に表示されているかのように動作する。該広告７１２は、いったん、車両が移動を始める、又は交通信号７５２が変化すると、消えてもよい。また、広告用看板の陰影７１４を生成して、該広告７１２に現実感を追加することもできる。広告７１２を、車両が交通信号で停止している間に提示することにより、運転者にエンターテインメント又は情報を提供し続けて、運転者の注意散漫を抑制することができる。

図７は、また、道路上に表示された仮想的３次元グラフィック要素７２４も表示している。グラフィック要素７２４はロボットの形をしているが、他の様々な形のグラフィック要素７２４を使用してもよい。この例では、グラフィック要素７２４は、運転者の目的地までの運転支援のため、交差点で右折するよう指差しをしている。該グラフィック要素７２４は、仮想モデルの床に貼り付けられている。住所標識７２０が表示され、運転者の目的地までの運転を支援する。標識７２０は、仮想モデルの側壁又は天井に貼り付けてもよい。

グラフィック要素の陰影は、車両の地理的位置を検出することによって生成することができる。該位置の検出には、位置情報１１６の一部として受信されるリアルタイムＧＰＳ情報が使用される。ＧＰＳ情報及び時間情報１４８を使用して、車両に対する太陽の位置をリアルタイムで判定することができる。太陽を指向性光源とみなし、仮想モデルの面をグラフィック要素の陰影が投影される面として使用して、陰影を簡単な方法で生成することができる。

図６及び図７のグラフィック要素及びその構成は、単なる例示である。構成の異なる様々な他のグラフィック要素を使用して、様々な種類の視覚的な情報を運転者に提供することができる。
＜仮想横断歩道＞

様々な安全機能を、撮影された画像から生成される仮想モデルを使用して実装することができる。そのような多くの機能の一つが仮想横断歩道であり、歩行者が道路を渡るためにとるかもしれない経路を示すために生成される。歩行者は、信号を無視して道路を横切ることがあり、車両に対して安全上の問題を引き起こす。一実施形態では、信号を無視して街路を横切りそうな歩行者が、撮影された画像に基づいて自動的に検出され、横断歩道に類似したグラフィック要素を運転者に警告するために表示する。

一実施形態において、撮像装置１１０にはステレオ・カメラが含まれる。ステレオ・カメラで撮影された画像を処理して、歩行者の姿勢と該歩行者までの距離を測定することができる。歩行者検出部２４２は、歩行者が道路を横断しそうかどうかの判断を歩行者の動作に基づいて行う。このような動作には、道路の方を向いている、道路に向かって歩いている、手を挙げている、又はこれらの行動の組合せがある。歩行者検知部２４２が、歩行者が道路を渡りそうであると判断すると、該歩行者検知部２４２は、歩行者の位置を示す歩行者情報２４６をグラフィック要素発生器２５２に送る。

歩行者情報２４６に基づいて、グラフィック要素生成部２５２は、歩行者８１８に対する横断歩道８１０を表すグラフィック要素を生成する。これは、図８Ａに示されている。横断歩道８１０は、歩行者８１８に最も近い道路部分から道路８２０を横切って延びる。さらに、グラフィック要素生成部２５２は、警告信号を表すグラフィック要素８１４を生成することもできる。該警告信号は、歩行者８１８が、道路８２０の横断を開始する可能性があることを示す。

歩行者８１８までの距離は、撮像装置１１０で撮影された立体画像を処理することによって決定することができる。車両が歩行者８１８に近づくと、グラフィック要素８１４は、図８Ｂに示すような停止信号８１８に変化して、運転者により注意深い対応を促す。

横断歩道８１０は、仮想モデルの床に貼り付けられたグラフィック要素であるが、一方、グラフィック要素８１４、８１８は、仮想モデルの右側側壁に貼り付けられたグラフィック要素である。これらのグラフィック要素は、景色の変化と共に移動するため、発生する可能性の高い危険要因を運転者に警告しても、運転者の注意散漫を引き起こすことはあまりない。
＜グラフィック要素の表示方法の例＞

図９は、一実施形態による、拡張現実感用のグラフィック要素を生成する方法を示すフローチャートである。まず、車両前方の環境の画像が、撮像装置１１０を用いて撮影される（ステップ９１０）。撮影された画像１１２は、次に、前処理されて、拡張現実感プロセッサ１４０に送られる。

拡張現実感プロセッサ１４０は、道路に関連する特徴を撮影した画像（又は前処理画像）から抽出する（ステップ９２０）。このために、拡張現実感プロセッサ１４０は、画像をトリミングし、該特徴の抽出に適した撮影された画像の一部を保持することができる。さらに、ＩＰＭアルゴリズムをトリミングされた画像に適用して、関連する特徴の抽出を容易化することができる。該特徴の抽出は、例えば、分離フィルタ、ハフ変換、又は他の適用可能なフィルタを使用して行うことができる。一実施形態では、抽出された特徴には、道路の縁部に対応する線分が含まれる。

抽出された特徴に基づいて、車両前方の環境の仮想モデルが構築される（ステップ９３６）。該仮想モデルには一つ以上の面が含まれ、該面は、グラフィック要素の位置及び構成の基準にすることができる。例えば、グラフィック要素を、該面上に配置し、ある面から延長して該面上に配置することができる。

グラフィック要素が生成されて、仮想モデルに従って配置される（ステップ９４０）。該グラフィック要素は、外部ソースからの情報又は車両で生成された情報（例えば、歩行者情報２４６）に基づいて生成されてもよい。グラフィック要素が生成された後、グラフィック要素の構成が、配置のために仮想モデルにおける面を基準にして調整される。グラフィック要素の構成には、傾ける角度、サイズ、及びグラフィック要素の向き等がある。

生成されたグラフィック要素は、ディスプレイ装置（例えば、ＨＵＤシステム１５０）に表示される（ステップ９５０）。そして、次の画像を撮影するステップ９１０に処理が戻り、以降の処理を繰り返す。

図９のステップとそれらの処理順序は、単なる例示である。例えば、車両の位置を検出するステップを追加して、グラフィック要素の陰影を生成するようにすることができる。
＜代替えの又は追加の実施形態＞

一実施形態では、ＧＰＳ情報と車両の進行方向を含む位置情報１１６を使用して、仮想モデルの生成を補助することができる。該ＧＰＳ情報と車両の進行方向は、地図又は衛星画像内で、車両が走行している道路の部分を決定するために使用される。該地図又は衛星画像に基づいて、道路の向き及び幅を鳥瞰図（例えば、図４Ａ又は４Ｂ）と照合することができる。鳥瞰図に対して調整がなされ、次に、環境の仮想モデルを構築することができる。

一実施形態では、撮影された画像内で見える道路の全長に対して仮想モデルを生成する代わりに、車両に近い道路の部分のみを使用して仮想モデルを生成することができる。図４Ｃを例にすると、セグメント４２６だけの仮想モデルが生成される。該セグメント４２６は、時間と車両の進行に伴って連続的に更新することができる。

一実施形態では、道路の色情報が、撮影された画像の線分の特徴を抽出することの代わりに、又はそれに加えて使用される。道路は、通常、灰色がかった色から黒い色である。このような道路の特徴を用いて、所定の色空間内の色値を有する画像及び該画像の隣接する領域の画素を、道路を表すために選択することができる。色情報を用いた道路の検出は、交差点において特に有用である可能性がある。そして、画素の配置を分析して、車両前方の道路の構成を決定することができる。

以上、いくつかの実施形態を説明してきたが、種々の変形を、本開示の範囲内で行うことができる。

Claims (14)

1. 車両内の撮像装置によって画像を撮影するステップと、
   該車両に対する道路の位置を示す該画像内の視覚的特徴を検出するステップと
   該検出された視覚的特徴に基づいて、少なくとも一つの面を含む、該車両前方の環境の仮想モデルを構築するステップと、
   該車両内のディスプレイ装置上で情報を伝達するグラフィック要素を生成するステップと、
   該生成されたグラフィック要素を該仮想モデルの該少なくとも一つの面を基準にして配置するステップと、
   前記車両前方の前記道路を横断する可能性が高い歩行者を検出するステップと、
   該歩行者が該道路を横断する可能性が高い道路の一部に横断歩道を表すグラフィック要素を生成するステップと、
   該ディスプレイ装置上に該配置されたグラフィック要素を表示するステップと、
   を含み、
   前記視覚的特徴を検出するステップが、少なくとも、
   前記撮影した画像をトリミングして前記道路の輪郭を含む部分画像を抽出するステップと、
   該トリミングされた部分画像に逆遠近マッピングを行って鳥瞰図画像を生成するステップと、
   該鳥瞰図画像に分離フィルタを使用してフィルタリングされた画像を生成し、
   該フィルタリングされた画像から前記道路の縁部を表す線分の特徴を検出するステップと、
   該検出された線分の特徴に曲線を当てはめるステップと、を含むこと
   を特徴とする方法。
2. 前記ディスプレイ装置は、前記車両のフロントガラス上に前記グラフィック要素を投影するヘッドアップ・ディスプレイ装置であること、
   を特徴とする請求項１に記載の方法。
3. 前記仮想モデルは、左側壁、右側壁、床、及び天井を含む溝を表すこと、
   を特徴とする請求項１に記載の方法。
4. 前記構成されたグラフィック要素は、前記少なくとも１つの面と共に移動して、該構成されたグラフィック要素が該少なくとも１つの面に固定されているような外見を生成すること、
   を特徴とする請求項１に記載の方法。
5. 前記グラフィック要素を生成するステップは、
   前記車両の位置と進行方向とを判定するステップと、
   該車両の該位置又は進行方向に基づいて、情報源から情報を取得するステップと、
   を含むことを特徴とする請求項１に記載の方法。
6. 前記グラフィック要素を生成するステップは、さらに、
   ユーザのプロファイルと前記車両の前記位置又は進行方向を使用してグラフィック要素を生成するステップを含む、
   ことを特徴とする請求項５に記載の方法。
7. 前記車両の進行方向と位置とを判定するステップと、
   現在時刻を判定するステップと
   該判定された現在時刻と、該判定された進行方向、及び該判定された位置とに基づいて、該車両に対する太陽の位置を判定するステップと、
   前記構成されたグラフィック要素の少なくとも１つの陰影を、該太陽の位置に基づいて生成するステップと、
   前記ディスプレイ装置上に該陰影を表示するステップと、
   を含むことを特徴とする請求項１に記載の方法。
8. 車両前方の道路を含む画像を撮影するための、該車両内に設置された撮像装置と、
   該撮像装置に接続されて、該車両に対する道路の位置を示す該画像内の視覚的特徴を検出するように構成された画像特徴検出装置と、
   該画像特徴検出装置に接続されて、該視覚的特徴に基づいて、少なくとも一つの面を含む、該車両前方の環境の仮想モデルを構築するように構成されたモデル生成装置と、
   情報を伝達するグラフィック要素を生成するように構成されたグラフィック要素生成装置と、
   該仮想モデルの該少なくとも一つの面を基準にして該生成されたグラフィック要素の配置を設定するように構成されたグラフィック要素レンダリング装置と、
   前記車両前方の前記道路を横断する可能性が高い歩行者を検出するように構成された歩行者検出装置と、
   該グラフィック要素レンダリング装置に接続されて、該設定された配置に基づいて該生成されたグラフィック要素を表示するディスプレイ装置と、
   を含み、
   前記グラフィック要素生成装置は、さらに、該歩行者が横断する可能性が高い該道路の一部に横断歩道を表すグラフィック要素を生成するように構成され、
   前記画像特徴検出装置が、少なくとも、
   前記撮影した画像をトリミングして道路の輪郭を含む部分画像を抽出し、
   該トリミングされた部分画像に逆遠近マッピングを行って鳥瞰図画像を生成し、
   該鳥瞰図画像に分離フィルタを使用してフィルタリングされた画像を生成し、
   該フィルタリングされた画像から前記道路の縁部を表す線分の特徴を検出し、そして、
   該検出された線分の特徴に曲線を当てはめること
   によって前記視覚的特徴を検出すること
   を特徴とする拡張現実感システム。
9. 前記ディスプレイ装置は、前記車両のフロントガラス上に前記グラフィック要素を投影するヘッドアップ・ディスプレイ装置であること、
   を特徴とする請求項８に記載のシステム。
10. 前記仮想モデルは、左側壁、右側壁、床、及び天井を含む溝を表すこと、
    を特徴とする請求項８に記載のシステム。
11. 前記グラフィック要素の構成は、前記少なくとも１つの面と共にグラフィック要素を移動させて、該グラフィック要素が該少なくとも１つの面に固定されている外見を生成すること、
    を特徴とする請求項８に記載のシステム。
12. 前記グラフィック要素生成装置は、
    現在時刻を判定し
    前記車両の位置と進行方向とを判定し、
    そして、
    該車両の該位置又は該進行方向に基づいて、情報源から情報を取得する、
    ように構成されていることを特徴とする請求項８に記載のシステム。
13. 前記グラフィック要素生成装置は、さらに、
    前記判定された現在時刻と、前記判定された進行方向、及び前記判定された位置とに基づいて、太陽の位置を判定し、そして、
    少なくとも１つの該構成されたグラフィック要素の陰影を、該太陽の位置に基づいて生成して前記ディスプレイ装置上に表示する、
    ように構成されていることを特徴とする請求項１２に記載のシステム。
14. 車両に対する道路の位置を示す、該車両内の撮像装置によって撮影された画像内の視覚的特徴を検出するステップと、
    該視覚的特徴に基づいて、少なくとも一つの面を含む、該車両前方の環境の仮想モデルを構築するステップと、
    該車両内のディスプレイ装置上で情報を伝達するグラフィック要素を生成するステップと、
    該仮想モデルの該少なくとも一つの面を基準にして該生成されたグラフィック要素を配置するステップと、
    前記車両前方の前記道路を横断する可能性が高い歩行者を検出するステップと、
    該歩行者が該道路を横断する可能性が高い道路の一部分に横断歩道を表すグラフィック要素を生成するステップと、
    該ディスプレイ装置上に該配置されたグラフィック要素を表示するステップと、
    を含む方法をプロセッサに実行させるプログラムであって、
    前記視覚的特徴を検出するステップは、少なくとも、
    前記撮影した画像をトリミングして道路の輪郭を含む部分画像を抽出するステップと、
    該トリミングされた部分画像に逆遠近マッピングを行って鳥瞰図画像を生成するステップと、
    該鳥瞰図画像に分離フィルタを使用してフィルタリングされた画像を生成するステップと、
    該フィルタリングされた画像から前記道路の縁部を表す線分の特徴を検出するステップと、
    該検出された線分の特徴に曲線を当てはめるステップと、を含むプログラム
    を格納したコンピュータ読み取り可能記憶媒体。

Images