JPWO2015037117A1 - 情報表示システム及び情報表示装置 - Google Patents

Abstract

運転者が確実に障害物を認識可能で、安全性の高い運転支援のための情報表示システムを提供する。障害物の自車に対する危険度に応じて、障害物の輪郭あるいは枠線を示す虚像の態様を変化させ、かつ運転者の視点位置に応じて虚像の表示位置を調整することにより、実際の障害物と虚像の表示のずれを抑制する。また障害物の予測動線を虚像として表示することにより、運転者が直感的に障害物を認識可能となり、運転を妨げることのない情報表示システムを提供することができる。

Description

本発明は、自動車等の運転支援のための情報表示システム及び情報表示装置に関するものである。

自動車等の運転者に、運転に関わる補助情報を伝える運転支援の方法として、インストパネル（ダッシュボード）中央近傍に設置された数インチサイズのディスプレイに、経路情報等を表示するカーナビゲーションシステムを用いるのが一般的である。さらに、運転者の視線移動による安全性低下を回避するために、フロントウィンドウシールドガラス（以降フロントシールドと呼ぶ）あるいはフロントシールドに設置したハーフミラーの反射板（コンバイナと呼ぶ）をスクリーンとして、経路情報に加えてその他の運転補助、危険回避のための情報として所定のイメージ（虚像）を投影するヘッド・アップ・ディスプレイ（以降ＨＵＤと呼ぶ）を用いる方法が知られている。

上記運転補助あるいは危険回避のための情報を取得し、それらをＨＵＤを用いて運転者に通知する従来技術として、例えば特許文献１に記載のものがある。当該公報では、自車外（主に前方）の障害物の距離と方向に関する情報をレーザーレーダー、ミリ波レーダー、ステレオカメラ等を用いて検出し、画像認識により障害物を判断する方法が記載されており、また「危険度設定手段により設定された危険度が、所定の範囲内である場合、前記ドライバーから見て、前記虚像が前記障害物を囲む軌道上を移動するように、前記虚像を表示するとともに、前記危険度に応じて前記虚像の表示方法を変化させる虚像制御手段と、」を備えることを特徴とする表示装置についての記載がある（請求項１等参照）。

また、特許文献２には、「虚像の表示距離を可変とすることで、運転者が焦点移動を行う時間を短縮でき、事故に対する高い予防安全性を有する車両用ヘッドアップディスプレイ装置を提供する。」ことを課題として、「光源と、光源からの光を２次元に走査する走査手段と、走査光を結像するスクリーンと、スクリーン上の映像を投影する投影手段とを含む車両用ヘッドアップディスプレイ装置であって、該スクリーンの位置を可変とする可動機構を備える。」との記載がある（要約参照）。

特開２００９−１９６６３０号公報 特開２００９−１５０９４７号公報

ＨＵＤを用いた運転補助あるいは危険回避のための情報の表示方法について、上記従来技術では虚像が障害物を囲む軌道上を移動するように表示を行うことにより、運転者への警告を行っていた。しかしながら前記方法では、虚像が障害物そのものの形状を示すものではないため、運転者が瞬時に障害物を認識するのが困難な場合がある。また前記方法では、複数の障害物への対応や、障害物を個別の移動体として認識し、どのように表示するかについては特に考慮されていなかった。

またＨＵＤを用いる場合には、フロントシールドあるいはフロントシールドに沿う形で設置されたコンバイナに虚像を表示する構成上、視認性に関して明るさなどの外的要因の影響を受け易いという問題がある。障害物の認識し易さを確保しつつ、前記外的要因の影響をどのように低減するかという点についても、従来特に考慮されていなかった。

さらにフロントシールド越しの視野範囲外に存在し、自車の走行に影響がありそうな障害物に関して、ＨＵＤを用いてどのように運転者に通知できるかについても、特に考慮されていなかった。

本発明はこれらの課題に鑑みてなされたものであって、自動車等の運転支援において、運転を妨げることがなく運転者が認知し易い安全な情報表示システムを提供することを目的とする。

上記課題は、例えば特許請求の範囲に記載の発明により改善される。

本発明によれば、例えば自動車等の車両運転支援において、支援情報等が運転の妨げとなることを抑制できるため、運転者の安全性を向上させることができる。

情報表示システムの実施形態を表す模式図。 第１の実施形態における障害物の虚像表示の例。 第１の実施形態において障害物の危険度が異なる場合の虚像表示の例。 第１の実施形態における動作フロー。 第２の実施形態における障害物の虚像表示の例。 第２の実施形態において障害物の危険度が異なる場合の虚像表示の例。 複数の障害物の虚像表示の一例。 第３の実施形態における障害物の虚像表示の例。 第３の実施形態において障害物の進行方向が異なる場合の虚像表示の例。 第３の実施形態における動作フロー。 第４の実施形態における動作フロー。 第４の実施形態における障害物の虚像表示の例。 第５の実施形態における動作フロー。 第５の実施形態における警告マーク表示と警告音出力の例。 第６の実施形態におけるアクション指示マークの虚像表示の例。

以下、図面を用いて本発明の実施形態について説明する。

図１は、本発明による情報表示装置（あるいは情報表示システム。以下、便宜的に情報表示システムと称する。）の第１の実施形態を表す模式図である。１０１は自車両、１０２は運転者、１０３は投影手段、１０４はミラー、１０５はコンバイナ、１０６は虚像面、１０７は前方を撮影する前方カメラ、１０８は運転者を撮影する運転者カメラ、１０９はスピーカ、１１０はレーザーレーダーや車速センサ等の車載各センサ、１１１は障害物判定部、１１２は危険度判定部、１１３は視点位置判定部、１１４は表示位置調整部、１１５は画像処理部、１１６は音声処理部である。なお以降の実施形態ではコンバイナ１０５をスクリーンとして用いる構成について説明するが、フロントシールドをスクリーンとして虚像を投影する構成も可能である。

運転に関わる補助情報は、虚像として投影手段１０３から投影され、ミラー１０４にて反射され、コンバイナ１０５に投影される。投影された虚像は、運転者１０２からは虚像面１０６として、フロントシールド越しの外界視野と重畳されたものとして認識される。投影手段１０３では走査手段としてＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラーなどを用いた方法や、またミラー１０４として非球面凹面鏡などを用いた方法があるが、ここでは、虚像を投影するための幾つかの適当な手法について詳細な説明は省略する（例えば特許文献２等参照）。

ここで図１における情報表示システムの情報表示の処理について、図４の動作フローを用いて説明する。まず自車両１０１のエンジン始動、あるいは運転者１０２の起動指示操作により処理を開始する（４０１）。運転者の起動指示操作は、前述のインストパネル中央近傍に設置されたディスプレイにおけるタッチパネル等を介して行われても良いし、専用の起動スイッチを設けても良い。前方カメラ１０７において自車両１０１前方の画像が撮影され、またその他レーザーレーダーや車速センサなどの各車載センサ１１０で複数の情報が取得される（４０２）。障害物判定部１１１は前記取得された画像や情報に基づき、障害物を人、自転車、バイク、自動車、その他などとして判定する（４０３）。さらに危険度判定部１１２は、前記障害物の判定結果と、前記車速センサ１１０などから取得された情報を基に、障害物の危険度を判定する（４０４）。

前記障害物の判定は画像認識技術等を用いた手法として、公知技術を用いることが可能である。また前記危険度の判定は、例えば前記特許文献１に記載のように障害物までの距離と自車両１０２の速度情報から判定することが可能であり、さらに障害物の進行方向の予測を加味することにより、複数の危険度を設定して障害物がどの危険度であるかを判定することができる。ここでは危険度を０（危険度最低）から１００（危険度最高）までで表すものとして、障害物の危険度Ｄを判定する。例えば、Ａ、Ｂを閾値（Ａ＞Ｂ）として、危険度Ｄが次のどの範囲に入るかを知ることができる。（１）Ｄ＞Ａ：現状の車速だと接触する、あるいは障害物が自車の動線上に存在する。（２）Ａ≧Ｄ＞Ｂ：現状の車速だと接触しないが、障害物の近距離（例えば２ｍ以内）を通過することになる。（３）Ｂ≧Ｄ＞０：現状の車速だと障害物が最近傍となるのは近距離外。（４）Ｄ＝０：障害物の危険度無し。

これに基づき、まず前記危険度がＤ＞Ｂであるかを判定する（４０５）。Ｄ＞Ｂである場合、画像処理部１１５が障害物の全体輪郭を虚像の画像データとして生成する（４０６）。次に危険度がＤ＞Ａであるかを判定する（４０７）。Ｄ＞Ａである場合は前記虚像の点滅設定を行い（４０８）、Ｄ＞Ａではない場合は前記虚像の点滅設定は行わない。一方ステップ４０５において危険度がＤ＞Ｂではなかった場合、続いて危険度がＤ≠０であるかを判定する（４１０）。Ｄ≠０である場合は画像処理部１１５が障害物の部分輪郭（例えば下方半分のみ）を虚像の画像データとして生成し、Ｄ≠０ではない（Ｄ＝０）場合は何もせずにステップ４０２に戻る。前記虚像の画像データが生成された場合は、画像処理部１１５は、当該画像データを投影部１０３に出力する（４１２）。またステップ４０７でＤ＞Ａである場合は、合わせて音声処理部１１６からスピーカ１０９に警告音出力を行う（４０９）。なお前記虚像は、画像処理部１１５から出力されるコンバイナ１０５に表示可能なフルサイズの画像データ（画像プレーンと呼ぶ）内で任意の位置に生成して、実際の障害物に重畳表示させることが可能である。特にステップ４０４の危険度判定で、障害物と自車の予測動線との関係も反映されるが、この自車予測動線（車幅に相当）も、破線などの虚像として障害物の虚像と合わせて画像プレーン上に生成して表示することが可能である。

一方前記ステップ４０１で処理開始後、運転者カメラ１０８は運転者の顔周辺の画像を撮影し、運転者の視点位置判定に必要な情報を取得する（４１３）。視点位置判定部１１３は取得した情報を用いて、運転者の視点位置を判定し（４１４）、虚像表示のための位置調整が必要かどうかを判断する（４１５）。具体的には、例えば前記視点位置と投影手段１０３及びミラー１０４の最適な位置関係を記憶し、視点位置のずれに応じて投影手段１０３あるいはミラー１０４、またはその両方の位置調整が必要かどうかを判断する。位置調整が必要な場合は、前記の通り表示位置調整部１１４の指示に基づき投影手段１０３の位置やミラー１０４の回転角など表示デバイスの位置調整を行う（４１６）。また画像プレーン内での、虚像の表示位置の微調整のみで済む場合、あるいは前記表示デバイスの位置調整に伴う虚像の表示位置の調整が必要な場合などは、表示位置調整部１１４が前記生成された虚像の画像データ出力に、前記位置調整のための情報が反映されるような処理を行う（４１７）。

次に、前記処理によりコンバイナ１０５に投影され、運転者１０２に視認される前方風景について、図２及び図３を用いて説明する。

図２は、前記危険度が（３）Ｂ≧Ｄ＞０の範囲であるとして、障害物の虚像が生成されて表示された場合の一例である。図１で使用のものには同一符号を付しており、１０５がコンバイナで、その枠内に示されるのが運転者１０２に視認される前方風景である（以降同様）。２０１はステアリング、２０２はインストパネル、２０３は障害物（この場合は歩行者）、２０４は自車予測動線の虚像、２０５は生成された障害物の虚像であり、１０９Ｌは左スピーカ、１０９Ｒは右スピーカである。

この場合、虚像２０５は障害物２０３の下方半分のみの部分輪郭として生成され表示されている。運転者１０２は少なくとも歩行者の足元下半身を輪郭として認識可能で安全性を確保でき、また危険度が高くない状態で不要な虚像表示が行われないため、表示される情報が運転の妨げとなることはない。

図３は、前記危険度が（２）Ａ≧Ｄ＞Ｂ、あるいは（１）Ｄ＞Ａの範囲の場合の、障害物の虚像の表示例を説明するための図である。図２で使用のものには同一符号を付して説明を省略する。３０１が生成された虚像である。

まず前記危険度が（２）Ａ≧Ｄ＞Ｂと判定された場合の虚像表示について説明する。虚像３０１は障害物２０３の全体輪郭として表示される。ある程度危険度が高い状態で、運転者１０２は歩行者を明確に認識可能であり、とっさの判断でも見逃すことがなくなる。

また前記危険度が（１）Ｄ＞Ａと判定された場合の虚像表示について説明する。（２）Ａ≧Ｄ＞Ｂの場合と同じ図で説明可能なのは、障害物２０３の自車予測動線２０４への相対位置が同じでも、自車速度、歩行者の進行方向、距離、その他の条件によって危険度判定の結果が変わる場合があるためである。図３において、虚像３０１は前記と同様に障害物２０３の全体輪郭として表示される。さらにこの場合は、危険度は最高レベルとして、虚像３０５の点滅が行われ、さらに左スピーカ１０９Ｌ、右スピーカ１０９Ｒより警告音を出力する。危険度が最も高い状態で、虚像とその点滅、さらに音声により運転者１０２は障害物を明確に認識可能であり、障害物２０３との衝突回避行動への移行が可能となる。

以上のように本発明の第１の実施形態によれば、障害物の危険度に応じてその輪郭表示の割合を変更させることにより、運転者が明確に障害物を認識可能で運転を妨げることのない、運転支援のための安全な情報表示システムを提供することができる。運転者の視点に応じて虚像の表示位置は調整されるため、障害物と虚像の表示位置にずれが生じることはない。

次に本発明による情報表示システムの第２の実施形態を、虚像表示の別の例として、図５及び図６を用いて説明する。図４のフローに基づく各処理は、前述の図２及び図３の場合と同様なので、詳細な説明は省略する。

図５は、前記危険度が（３）Ｂ≧Ｄ＞０の範囲であるとして、障害物２０３の虚像が生成されて表示された場合の別の一例である。図２で使用のものには同一符号を付しており、詳細な説明を省略している。５０１が生成された虚像となっている。

図２と異なるのは虚像５０１の形状であり、この場合虚像５０１は障害物２０３の下方半分を示すが、部分輪郭ではなく枠線として生成され表示されている。運転者１０２は、図２の場合と同様に少なくとも歩行者の下半身を認識可能で安全性を確保でき、また危険度が高くない状態で不要な虚像表示が行われないため、表示される情報が運転の妨げとなることはない。また複数の障害物が重なっていたり、諸条件により前方カメラ１０７により障害物２０３の輪郭が明確に捉えられない場合でも、障害物２０３の位置を虚像５０１として大枠認識することが可能となる。

図６は、前記危険度が（２）Ａ≧Ｄ＞Ｂ、あるいは（１）Ｄ＞Ａの範囲の場合の、障害物の虚像表示の別の例を説明するための図である。図３で使用のものには同一符号を付して説明を省略する。６０１が生成された虚像である。

まず前記危険度が（２）Ａ≧Ｄ＞Ｂと判定された場合の虚像表示について説明する。虚像６０１は障害物２０３の全体を囲う枠線として表示される。図３の場合と同様に、ある程度危険度が高い状態で、運転者１０２は歩行者を明確に認識可能であり、とっさの判断でも障害物を見逃すことがなくなる。

また前記危険度が（１）Ｄ＞Ａと判定された場合の虚像表示について説明する。（２）Ａ≧Ｄ＞Ｂの場合と同じ図で説明可能なのは、図３の場合と同様の理由である。図６において、虚像６０１は前記と同様に障害物２０３の全体を囲う枠線として表示される。さらにこの場合は、危険度は最高レベルとして、虚像６０１の点滅が行われ、さらに左スピーカ１０９Ｌあるいは右スピーカ１０９Ｒより警告音を出力する。図３の場合と同様に、危険度が最も高い状態で、虚像とその点滅、さらに音声により運転者１０２は障害物を明確に認識可能であり、障害物との衝突回避行動への移行が可能となる。また前記同様に、複数の障害物が重なっていたり、諸条件により前方カメラ１０７により障害物２０３の輪郭が明確に捉えられない場合でも、障害物２０３の位置を虚像６０１として大枠認識することが可能となる。

ここで図２及び図３における虚像表示の方法を、障害物が複数、離れた位置に存在する状態で適用した場合の虚像表示の一例を、図７を用いて説明する。なお図２で使用のものには同一符号を付して説明を省略する。７０１は障害物２０３とは異なる障害物（歩行者）であり、７０２は障害物７０１に対して生成された虚像である。

図７において、障害物２０３は前述の説明の通り、危険度が（３）Ｂ≧Ｄ＞０の範囲であるので、虚像２０５は障害物２０３の下方半分のみの部分輪郭として生成され表示されている。これに対し障害物７０１は危険度が（２）Ａ≧Ｄ＞Ｂとして判定された場合であり、虚像７０２は障害物７０１の全体輪郭として生成され表示されている。運転者１０２は複数の障害物がある場合でも、輪郭の付き方で危険度を直感的に認識できるため、運転における安全性を確保でき、また不要な虚像表示が行われないため、表示される情報が運転の妨げとなることはない。

以上のように本発明の第２の実施形態によれば、障害物の危険度に応じてその枠線の表示割合を変更させることにより、複数の障害物が存在したり、障害物の輪郭が明確でない場合でも、運転者が明確に障害物を認識可能で運転を妨げることのない、運転支援のための情報表示システムを提供することができる。

以上の実施形態において、危険度が（１）〜（３）に変化するのに応じて、虚像の色調、線の太さ等を変化させるのも別の実施形態となる。例えば図７で説明した実施形態で、危険度の上昇に伴い虚像２０５、７０２の色調を青色系から赤色系に変化させるなどの対応により、運転者１０２の障害物の認識を、より直感的に行わせることが可能となる。

次に本発明による情報表示システムの第３の実施形態について、図８から図１０を用いて説明する。なお情報表示システムとしての構成は図１に示す場合と同様なので、図１の各構成要素に付した番号を用いて説明する。

図１０は本実施形態の動作フローを示す図である。まず自車両１０１のエンジン始動、あるいは運転者１０２の起動指示操作により処理を開始する（１００１）。前述の実施形態と同様に、運転者の起動指示操作は、インストパネル中央近傍に設置されたディスプレイにおけるタッチパネル等を介して行われても良いし、専用の起動スイッチを設けても良い。前方カメラ１０７において自車両１０１前方の画像が撮影され、またその他レーザーレーダーや車速センサなどの各車載センサ１１０で複数の情報が取得される（１００２）。障害物判定部１１１は前記取得された画像や情報に基づき、障害物を人、自転車、バイク、自動車、その他などとして判定する（１００３）。前述の実施形態でも、障害物の判定から危険度の判定において、障害物の進行方向の予測を加味することについて言及していたが、本実施形態では障害物の判定（１００３）において明示的に障害物の進行方向、速度等を判断する。危険度判定部１１２は、前記障害物の形状、進行方向、速度等を含めた判定結果と、前記車速センサなどから取得された情報を基に、障害物の危険度を判定する（１００４）。

前記障害物の形状判定は、前述の画像認識技術等を用いた手法により実行し、これに加えて前方カメラ１０７で撮影された動画像データを数秒分ずつ保持することにより、障害物の進行方向、速度等を予測判断する。前記危険度判定は、障害物までの距離、自車両１０２の速度情報、障害物の形状、進行方向、速度の予測等を含めて、統合的に判定する。ここでは前述の実施形態と同様に、危険度ＤがＡ、Ｂの閾値により（１）〜（４）のどの範囲に入るかで処理が変わる場合について説明するが、前述の実施形態と異なるのは、危険度に加えて障害物の進行方向、速度予測の情報が、生成される虚像に反映される点である。

まず前記危険度がＤ＞Ｂであるかを判定する（１００５）。Ｄ＞Ｂである場合、画像処理部１１５が障害物の全体輪郭を虚像の画像データとして生成する（１００６）。次に危険度がＤ＞Ａであるかを判定する（１００７）。Ｄ＞Ａである場合は前記虚像の点滅設定を行い（１００８）、Ｄ＞Ａではない場合は前記虚像の点滅設定は行わない。一方ステップ１００５において危険度がＤ＞Ｂではなかった場合、続いて危険度がＤ≠０であるかを判定する（１０１０）。Ｄ≠０である場合は、画像処理部１１５が障害物の部分輪郭を、障害物の進行方向を反映して虚像の画像データとして生成する。例えば障害物が自車予測動線方向に向かっている場合は部分輪郭として下方半分のみ、自車予測動線と逆方向に向かっている場合は部分輪郭として下方１／５のみなどとする。Ｄ≠０ではない（Ｄ＝０）場合は何もせずにステップ１００２に戻る。

次に画像処理部１１５は前記障害物の全体輪郭、あるいは部分輪郭に加えて、障害物の進行方向、速度予測情報を基に、障害物の予測動線を虚像として生成する（１０１８）。前記生成された障害物の輪郭及び予測動線の虚像の画像データは、画像処理部１１５より、投影部１０３に出力される（１０１２）。またステップ１００７でＤ＞Ａである場合は、合わせて音声処理部１１６からスピーカ１０９に警告音出力を行う（１００９）。なお前記虚像は、前述の実施形態と同様に画像プレーン内で任意の位置に生成して、実際の障害物に重畳表示させることが可能であり、自車予測動線の虚像も合わせて表示させることが可能である。

一方前記ステップ１００１で処理開始後、運転者カメラ１０８からの入力に基づき運転者の視点位置を判定して虚像の位置調整を行うが、ステップ１０１３からステップ１０１７の動作については、図４におけるステップ４１３からステップ４１７の動作と同様のため、詳細な説明は省略する。

次に、前記処理によりコンバイナ１０５に投影され、運転者１０２に視認される前方風景について、図８及び図９を用いて説明する。

図８は、前記危険度が（３）Ｂ≧Ｄ＞０の範囲で、かつ障害物が自車予測動線方向に進行している場合の、障害物の虚像表示の一例である。図２で使用のものには同一符号を付して説明は省略している。８０１は生成された障害物の虚像であり、８０２は障害物の予測動線を示す虚像である。

この場合、虚像８０１は障害物２０３が自車予測動線２０４の方向に進行しているということで、第１の実施形態の場合と同様に、障害物２０３の下方半分のみの部分輪郭として生成され表示されている。また虚像８０２は障害物２０３の予測動線として、その進行方向を明示する位置に複数のマークとして表示されている。虚像８０２として表示されるマークの数は、障害物２０３が自車予測動線２０４の方向に進行しているかどうかで所定の数に決めることもできるし、障害物２０３の予測速度に応じて増減させることも可能である。運転者１０２は歩行者のあしもと下半身を輪郭として認識可能であり、これに加えて予測動線を視覚的に捉えることができるため、より安全性を確保でき、また危険度に応じて不要な虚像表示が行われないため、表示される情報が運転の妨げとなることはない。

図９は、前記図８の場合と同様の危険度（３）だが、障害物が自車予測動線から遠ざかる方向に進行している場合の、障害物の虚像表示の一例である。図２で使用のものには同一符号を付して説明は省略している。９０１は生成された障害物の虚像であり、９０２は障害物の予測動線を示す虚像である。

この場合、虚像９０１は障害物２０３が自車予測動線２０４から遠ざかる方向に進行しているということで、障害物２０３の下方１／５のみの部分輪郭として生成され表示されている。また虚像９０２は障害物２０３の予測動線として、その進行方向を明示する位置に単一のマークとして表示されている。虚像９０２として表示されるマークの数は、図８の場合と同様に障害物２０３の予測速度に応じて増減させることもできるが、障害物２０３は自車予測動線２０４から遠ざかる方向に進行しているということで、単一のマークとして進行方向のみの明示とした方が、運転者１０２を煩わせることがない。運転者１０２は歩行者の足元を輪郭として認識可能であり、これに加えて予測動線を視覚的に捉えることができるため、的確に障害物とその状況を認識することができ、また危険度に応じて不要な虚像表示が行われないため、表示される情報が運転の妨げとなることはない。

なお本実施形態においては、図８、図９によりいずれも危険度が（３）Ｂ≧Ｄ＞０の場合について説明したが、危険度が（２）Ａ≧Ｄ＞Ｂ、（１）Ｄ＞Ａの場合にも第１の実施形態と同様に適用可能である。ただし危険度が高い場合は、障害物の進行方向が自車予測動線に向かう方向なのか遠ざかる方向なのかによらず、いずれも障害物の全輪郭を虚像として表示し、運転者が確実に認識できるようにする。また障害物の輪郭を虚像として表示するのに変えて、第２の実施形態で説明したような、障害物の枠線のサイズに変化を加えて、障害物の予測動線の虚像表示と組み合わせることも可能である。なお図８、図９では同じ危険度（３）Ｂ≧Ｄ＞０で、障害物の進行方向が異なる場合に虚像表示を変化させる例を説明したが、危険度判定部１１２の動作として、当初より障害物の進行方向が異なる場合は別の危険度とすることも当然可能である。また本実施形態では、障害物の予測動線を障害物の進行方向を示す複数のマークで表示する場合について述べたが、予測動線としては単純に幅を持った直線や矢印を用いて、その長さを障害物の進行方向や速度に応じて変化させる形で表示するなど、予測動線を明示するものであればその形状は特に限定されるものではない。

以上のように本発明の第３の実施形態によれば、障害物の虚像を表示するのに合わせて、障害物の予測動線を表示させることにより、運転者が直感的に障害物を認識可能で運転を妨げることのない、運転支援のための情報表示システムを提供することができる。

次に本発明による情報表示システムの第４の実施形態について、図１１と図１２を用いて説明する。本実施形態は、外的要因（例えば逆光）により運転者の前方視認性が低下した場合の、障害物の虚像表示の例を示すものである。なお情報表示システムとしての構成は図１に示す場合と同様なので、図１の各構成要素に付した番号を用いて説明する。

図１１は本実施形態の動作フローを示す図である。動作フローとしては、図４あるいは図１０にステップを追加する形になるため、特に説明を示さないステップについては、前述の各ステップの動作と同様のものとする。また簡単のため図１１は図４にステップを追加した形になっているが、図１０に同様のステップを追加することも可能である。

まず自車両１０１のエンジン始動、あるいは運転者１０２の起動指示操作により処理を開始する（１１０１）。前述の実施形態と同様に、運転者の起動指示操作は、インストパネル中央近傍に設置されたディスプレイにおけるタッチパネル等を介して行われても良いし、専用の起動スイッチを設けても良い。前方カメラ１０７、またその他レーザーレーダーなどの各車載センサ１１０により取得された情報は、外的要因がないか判定される（１１０２）。外的要因の判定は、危険度判定部１１２の動作として危険度判定の一つとして含めても良いし、単独の処理部としても良い。外的要因として、例えば逆光が認識されると、画像処理部１１５において虚像の明度を調整する処理が行われる（１１０３）。ステップ４０６やステップ４１１で生成された障害物の虚像（全体輪郭、部分輪郭）、及び自車予測動線の虚像は、画像処理部１１５で前記調整が反映されて投影手段１０３に出力される（１１０４）。なお逆光自体は可視光カメラで判断可能であり、その場合でも前記各車載センサ１１０としてレーザーレーダーや赤外線カメラを用いて複合的に判断することにより、障害物の判定は可能となる。

図１２は、前記処理によりコンバイナ１０５に投影され、運転者１０２に視認される前方風景の一例である。図２で使用のものには同一符号を付しており、詳細な説明を省略している。１２０１は障害物２０３の虚像、１２０２は自車予測動線の虚像である。また障害物の危険度は（３）Ｂ≧Ｄ＞０の場合を示している。

逆光により、フロントシールド方向、つまりコンバイナ１０５全体の輝度が極端に高くなり、障害物２０３を含む外界の視認性が低下する。これに対して虚像１２０１及び虚像１２０２は一時的に明度を下げた状態（より黒色に近い状態）で表示される。また前述の実施形態では、危険度が（３）の場合は障害物の虚像は輪郭の下半分で表示するというように説明したが、外的要因の影響を受けている場合には、危険度によらず障害物の輪郭は全輪郭で示すようにする。運転者１０２は、逆光の中でも少なくとも障害物２０３と自車予測動線１２０２を認識できるため、外的要因の影響下でも安全性を確保できる。

また本実施形態の変形例として、前記ステップ１１０３において虚像の明度を調整するのではなく、画像プレーンにおける虚像以外の部分の明度の調整を行うことも可能である。虚像以外の部分全体、あるいは逆光の光源を認識して、その部分に一時的に明度を下げるような虚像を生成、表示する。この場合虚像の画素間隔を粗くするなどして、視界遮断にならないような虚像として、安全性を確保することが可能である。

本実施形態において、障害物の危険度が（３）Ｂ≧Ｄ＞０の場合について説明したが、危険度はこれに限定されるものではなく、これまでの実施形態で説明したいずれの場合でも、外的要因に対する処理を実施することが可能である。また外的要因として逆光の場合について示したが、雨や雪や霧といった環境要因や、夕暮れから夜間移行による前方視認性の低下時にも、本実施形態は適用可能である。例えば前方カメラ１０７で取得される画像データの輝度が低い場合は、障害物や自車予測動線の虚像も合わせて輝度を調整して表示するようにする。

以上のように本発明の第４の実施形態によれば、障害物の虚像表示において外的要因により視認性の低下がある場合でも、虚像の表示調整を行うことにより、運転者に障害物を認識させることが可能な、安全性の高い情報表示システムを提供することができる。

次に本発明による情報表示システムの第５の実施形態について、図１３と図１４を用いて説明する。本実施形態は、フロントシールド越しの前方視野外に存在する障害物について、運転者に警告を通知する虚像表示の例を示すものである。なお情報表示システムとしての構成は図１に示す場合と同様なので、図１の各構成要素に付した番号を用いて説明する。

図１３は本実施形態の動作フローを示す図である。動作フローとしては、図４、図１０あるいは図１１のいずれにも付加可能なものであるが、ここでは説明のため単独の動作フローとして説明する。

まず自車両１０１のエンジン始動、あるいは運転者１０２の起動指示操作により処理を開始する（１３０１）。前述の実施形態と同様に、運転者の起動指示操作は、インストパネル中央近傍に設置されたディスプレイにおけるタッチパネル等を介して行われても良いし、専用の起動スイッチを設けても良い。前方カメラ１０７、またその他レーザーレーダーなどの各車載センサ１１０により、自車両前方を基準とする情報が取得される（１３０２）。例えば前記レーザーレーダーは、フロントシールド越しの前方視野よりも広範囲の情報を取得することが可能であり、また前記車載センサの一つとして、自車両の側面カメラ等を含めることにより、前方視野外に存在する障害物の存在を捉えることができる。障害物判定部１１１は、前述の実施形態と同様に前記前方視野外に存在する障害物について、その形状、進行方向、速度等を判定する（１３０３）。また同様に危険度判定部１１２は、車速センサなどから取得された情報を基に、前記判定結果を用いて前方視野外に存在する障害物の危険度を判定する（１３０４）。危険度は０かどうかが判断され（１３０５）、危険度が０であればステップ１３０２に戻る。危険度が０ではない場合、画像処理部１１５は運転者への警告用のマークを虚像として生成し、投影部１０３に出力する（１３０６）。この際前記マークの表示位置は、画像プレーン内で前記障害物の近傍位置となるようにする。危険度が０ではない場合は、前記虚像と同時に音声処理部１１６からスピーカ１０９に警告音を出力する（１３０７）。この際、前記障害物が前方視野外左側に居る場合は左スピーカから、前方視野外右側に居る場合は右スピーカから警告音を出力するように、音像を定位させる。

図１４は、前記処理によりコンバイナ１０５に投影され、運転者１０２に視認される前方風景、及び前方視野外に障害物（自動車）を示した一例である。図２で使用のものには同一符号を付しており、詳細な説明を省略している。１４０１は前方視野外の障害物、１４０２は前記障害物の警告のために生成されたマークの虚像である。

障害物１４０１は、その進行方向と速度、及び自車両の速度から危険度が０ではないと判定されている。そのためマーク１４０２が左から右に向かう矢印として、障害物１４０１の近傍となる位置に点滅表示される。また左スピーカ１０９Ｌからは警告音が出力される。運転者１０２は、前方視野外の障害物を方向を含めてマークと警告音で認識できるため、予め危険回避行動に移るなど、運転時における安全性を高めることができる。

なお本実施形態において、前方視野外の障害物の危険度が、０でなければ常に警告用のマーク表示と警告音の出力をするような構成について説明したが、危険度に段階を付けて、所定の危険度以上の場合に警告用のマーク表示と警告音の出力をするようにしたり、危険度に応じてマークの大きさ・形状、警告音の音量レベルを変化させたりすることも可能である。また警告用のマーク表示を行う危険度の段階と、警告音の出力をする危険度を異ならせて、マーク表示は予め行い、警告音はかなり危険度が高い場合のみ出力するようにすることもできる。また警告用のマーク表示を矢印で表示する場合について述べたが、運転者が認識可能なものであれば、その形状は特に限定されるものではない。さらに本実施形態には、自車両が直進する場合の安全性向上という効果だけではなく、側面カメラ等からの情報を利用することにより、右左折時の障害物巻き込みを回避できるという効果もある。

以上のように本発明の第５の実施形態によれば、前方視野外の障害物を音像を定位させてマーク表示と警告音出力を行うことにより、運転者が視野外の障害物を事前に認知可能な、安全性の高い情報表示システムを提供することができる。

次に本発明による情報表示システムの第６の実施形態について、図１５を用いて説明する。本実施形態は、前述のいずれの実施形態にも組み合わせることが可能であるが、ここでは説明のため、第１の実施形態に組み合わせた場合について述べる。なお情報表示システムとしての構成、動作フローについて特に説明を記さない箇所については、第１の実施形態の場合と同様とする。

図１５は、本実施形態による処理に基づき、コンバイナ１０５に投影され、運転者１０２に視認される前方風景である。図３で使用のものには同一符号を付しており、詳細な説明を省略している。１５０１は運転者１０２へのアクション指示を示すマークの虚像である。障害物２０３の危険度が（２）Ａ≧Ｄ＞Ｂ、あるいは（１）Ｄ＞Ａである場合に、虚像３０１を表示するとともに、画像処理部１１５は運転者１０２へのアクション指示を示すマークを虚像として生成し、投影手段１０３よりコンバイナ１０５に表示する。ここでは障害物２０３の自車予測動線２０４に対する位置に応じて、虚像１５０１として左方向にステアリングを切るというアクション指示を、マークとして表示している。障害物の危険度が高い場合に、運転者１０２は障害物を認識するとともに、アクション指示をマークとして直感的に認識できるので、運転時における安全性を高めることができる。

なお本実施形態における虚像１５０１の形状は特に限定されるものではなく、運転者が直感的に認識できるものであれば良い。またアクション指示内容はステアリングを切ることに限定されるものではなく、例えば制動（ブレーキ）をかける、クラクションを鳴らす、など複数設定することが可能であり、それぞれの内容に応じて虚像１５０１として表示するマーク形状を変える構成とすることができる。また虚像１５０１の表示位置は特に限定されるものではなく、運転者が認識し易い位置として、また障害物２０３の位置に応じてそれを妨げないように、状況に応じて変化させることもできる。さらに障害物２０３の危険度に応じて、虚像１５０１を点滅表示とすることも可能である。

以上のように本発明の第６の実施形態によれば、障害物の危険度が高い場合に、運転者へのアクション指示を示すマークを虚像として表示することにより、安全性の高い情報表示システムを提供することができる。

以上説明してきた本発明の全ての実施形態において、危険度が所定の閾値で処理が分岐するようなものとして説明している場合があるが、危険度に基づく処理分岐の段階は特に所定の値に限定されるものではない。また障害物の危険度が所定の値の場合に、障害物の輪郭、枠線などを下半分として表示する場合について述べたが、このサイズは特に限定されるものではなく、運転者が煩わしくない範囲で認識可能なサイズであれば良い。また障害物の危険度が高い場合に、虚像と警告音により運転者に通知する方法について述べたが、危険度が高い場合は前記通知と共に自車両の制動制御を行うような構成にすることも可能である。さらに前方風景の表示例において、自車予測動線を常に表示するような場合について述べたが、自車予測動線の表示は必須ではなく、運転者の指示操作により表示／非表示を切り替える構成にすることもできる。さらに以上の実施形態では、対向車線の車両等の表示については特に触れなかったが、対向車と認識したものについても、自車予測動線にかかる場合などは、その他の障害物と同様に警告表示、警告音の出力を行うような構成にすることが可能である。

また本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。さらに上記の各機能、処理部等は、それらの一部又は全部を、所定のハードウェアで実現しても良いし、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）内でそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１０１… 自車両
１０２… 運転者
１０３… 投影手段
１０４… ミラー
１０５… コンバイナ
１０６… 虚像面
１０７… 前方カメラ
１０８… 運転者カメラ
１０９、１０９Ｌ、１０９Ｒ… スピーカ
１１０… 車載各センサ
１１１… 障害物判定部
１１２… 危険度判定部
１１３… 視点位置判定部
１１４… 表示位置調整部
１１５… 画像処理部
１１６… 音声処理部
２０１… ステアリング
２０２… インストパネル
２０３、７０１… 障害物（歩行者）
２０４、１２０２… 自車予測動線を示す虚像
２０５、３０１、５０１、６０１、７０２、８０１、９０１、１２０１… 障害物の虚像
８０２、９０２… 障害物の予測動線を示す虚像
１４０１…前方視野外の障害物（自動車）
１４０２…警告マークを示す虚像
１５０１…アクション指示を示す虚像

また前記危険度が（１）Ｄ＞Ａと判定された場合の虚像表示について説明する。（２）Ａ≧Ｄ＞Ｂの場合と同じ図で説明可能なのは、障害物２０３の自車予測動線２０４への相対位置が同じでも、自車速度、歩行者の進行方向、距離、その他の条件によって危険度判定の結果が変わる場合があるためである。図３において、虚像３０１は前記と同様に障害物２０３の全体輪郭として表示される。さらにこの場合は、危険度は最高レベルとして、虚像３０１の点滅が行われ、さらに左スピーカ１０９Ｌ、右スピーカ１０９Ｒより警告音を出力する。危険度が最も高い状態で、虚像とその点滅、さらに音声により運転者１０２は障害物を明確に認識可能であり、障害物２０３との衝突回避行動への移行が可能となる。

Claims (17)

1. 虚像を自車前方スクリーンに表示することにより、運転支援情報を運転者に通知する情報表示システムであって、
   前記虚像を生成する画像処理部と、生成された虚像を表示する表示部と、
   運転者の視点位置を取得する視点位置取得部と、取得した視点位置に応じて前記虚像の前記スクリーン上の表示位置を調整する調整部と、
   自車前方周辺の情報を取得する車外情報取得部と、前記取得した情報により障害物を判定する障害物判定部と、
   前記障害物の判定情報と自車状況に基づき前記障害物の危険度を判定する危険度判定部と、を備え、
   前記画像処理部は、前記障害物に関する虚像を前記危険度に応じて切り替えて生成し、前記表示部は、前記生成された虚像を前記障害物と重畳するように、前記スクリーンに表示することを特徴とする情報表示システム。
2. 請求項１に記載の情報表示システムであって、
   前記画像処理部は、前記障害物に関する虚像を、前記危険度に応じて前記障害物全体を明示する状態と前記障害物の部分を明示する状態とに切り替えて生成し、前記表示部は、前記生成された虚像を前記障害物と重畳するように、前記スクリーンに表示することを特徴とする情報表示システム。
3. 請求項２に記載の情報表示システムであって、
   前記障害物に関する虚像は、前記障害物の輪郭であることを特徴とする情報表示システム。
4. 請求項２に記載の情報表示システムであって、
   前記障害物に関する虚像は、前記障害物を囲む枠線であることを特徴とする情報表示システム。
5. 請求項２に記載の情報表示システムであって、
   前記情報表示システムはさらに、音声情報を生成する音声処理部と、生成された音声情報を出力する音声出力部と、を備え、
   前記危険度が所定の値より高い場合に、前記表示部により表示する前記障害物に関する虚像を点滅表示するとともに、前記音声処理部は警告用の音声情報を生成し、前記音声出力部は前記音声情報を出力することを特徴とする情報表示システム。
6. 虚像を自車前方スクリーンに表示することにより、運転支援情報を運転者に通知する情報表示システムであって、
   前記虚像を生成する画像処理部と、生成された虚像を表示する表示部と、
   運転者の視点位置を取得する視点位置取得部と、取得した視点位置に応じて前記虚像の前記スクリーン上の表示位置を調整する調整部と、
   自車前方周辺の情報を取得する車外情報取得部と、前記取得した情報により障害物を判定する障害物判定部と、を備え、
   前記画像処理部は、前記障害物の判定情報に基づき、前記障害物の予測動線を虚像として生成し、前記表示部は、前記生成された虚像を前記障害物の予測動線位置に重畳するように、前記スクリーンに表示することを特徴とする情報表示システム。
7. 請求項６に記載の情報表示システムであって、
   前記障害物の判定情報は、前記障害物の進行方向情報を含み、
   前記障害物の予測動線の虚像は、前記進行方向情報に応じて動線長が変化することを特徴とする情報表示ステム。
8. 請求項６に記載の情報表示システムであって、
   前記障害物の予測動線の虚像は、一つ以上のマークであることを特徴とする情報表示システム。
9. 請求項６に記載の情報表示システムであって、
   前記情報表示システムはさらに、前記障害物の判定情報と自車状況により、前記障害物の危険度を判定する危険度判定部を備え、
   前記画像処理部は、前記障害物の予測動線の虚像とともに、前記障害物に関する虚像を、前記危険度に応じて前記障害物全体を明示する状態と前記障害物の部分を明示する状態とに切り替えて生成し、前記表示部は、前記障害物の予測動線の虚像を表示するとともに、前記障害物に関する虚像を前記障害物と重畳するように、前記スクリーンに表示することを特徴とする情報表示システム。
10. 請求項２に記載の情報表示システムであって、
    前記画像処理部はさらに、自車状況により自車予測動線を虚像として生成し、前記表示部は、前記自車予測動線の虚像を前記スクリーンに表示することを特徴とする情報表示システム。
11. 請求項２に記載の情報表示システムであって、
    前記車外情報取得部により取得した情報に基づき、自車前方の視界不良要因を検知した場合には、前記画像処理部において生成される虚像の輝度を変化させ、あるいは前記虚像以外の部分を前記視界不良要因を低減する虚像として生成し、前記表示部より前記スクリーンに表示することを特徴とする情報表示システム。
12. 虚像を自車前方スクリーンに表示することにより、運転支援情報を運転者に通知する情報表示システムであって、
    前記虚像を生成する画像処理部と、生成された虚像を表示する表示部と、
    自車前方周辺の情報を取得する車外情報取得部と、前記取得した情報により障害物を判定する障害物判定部と、
    前記障害物の判定情報と自車状況に基づき前記障害物の危険度を判定する危険度判定部と、を備え、
    前記障害物が自車前方視野外に存在する場合には、前記画像処理部は、前記危険度に応じて前記障害物に存在することを示す虚像をマークとして生成し、前記表示部は、前記生成された虚像を前記障害物が存在する方向の近傍になるように、前記スクリーンに表示することを特徴とする情報表示システム。
13. 請求項１２に記載の情報表示システムであって、
    前記情報表示システムはさらに、音声情報を生成する音声処理部と、生成された音声情報を出力する自車内左側に設置された第１の音声出力部と、自車内右側に設置された第２の音声出力部と、を備え、
    前記表示部が前記マークとしての虚像を表示する際に、前記音声処理部は警告のための音声情報を生成し、前記障害物が自車前方視野外左方向に存在する場合は前記第１の音声出力部により、前記障害物が自車前方視野外右方向に存在する場合は前記第２の音声出力部により、前記音声情報を出力することを特徴とする情報表示システム。
14. 請求項１２に記載の情報表示システムであって、
    前記危険度が所定の値より高い場合に、前記表示部により表示する前記マークとしての虚像を点滅表示することを特徴とする情報表示システム。
15. 虚像を自車前方スクリーンに表示することにより、運転支援情報を運転者に通知する情報表示システムであって、
    前記虚像を生成する画像処理部と、生成された虚像を表示する表示部と、
    運転者の視点位置を取得する視点位置取得部と、取得した視点位置に応じて前記虚像の前記スクリーン上の表示位置を調整する調整部と、
    自車前方周辺の情報を取得する車外情報取得部と、前記取得した情報により障害物を判定する障害物判定部と、
    前記障害物の判定情報と自車状況に基づき前記障害物の危険度を判定する危険度判定部と、を備え、
    前記画像処理部は、前記障害物に関する虚像を前記危険度に応じて切り替えて生成するとともに、前記危険度に応じた前記運転者に対する操作指示を示すマークを虚像として生成し、前記表示部は、前記障害物に関する虚像を前記障害物と重畳するように表示するとともに、前記マークの虚像を前記スクリーンに表示することを特徴とする情報表示システム。
16. 虚像を自車前方スクリーンに表示することにより、運転支援情報を運転者に通知する情報表示装置であって、
    前記虚像を生成する画像処理部と、生成された虚像を表示する表示部と、
    運転者の視点位置を取得する視点位置取得部と、取得した視点位置に応じて前記虚像の前記スクリーン上の表示位置を調整する調整部と、
    自車前方周辺の情報を取得する車外情報取得部と、前記取得した情報により障害物を判定する障害物判定部と、
    前記障害物の判定情報と自車状況に基づき前記障害物の危険度を判定する危険度判定部と、を備え、
    前記画像処理部は、前記障害物に関する虚像を前記危険度に応じて切り替えて生成し、前記表示部は、前記生成された虚像を前記障害物と重畳するように、前記スクリーンに表示することを特徴とする情報表示装置。
17. 請求項１６に記載の情報表示装置であって、
    前記画像処理部は、前記障害物に関する虚像を、前記危険度に応じて前記障害物全体を明示する状態と前記障害物の部分を明示する状態とに切り替えて生成し、前記表示部は、前記生成された虚像を前記障害物と重畳するように、前記スクリーンに表示することを特徴とする情報表示装置。

Images