JP4784659B2 - 車両用周辺監視装置 - Google Patents

Description

本発明は、車両周辺の映像を取得し、取得した映像等に基づいて運転者に注意喚起を行うための注意喚起信号を出力する車両用周辺監視装置に関する。

従来から、車両にカメラ等の映像取得部を搭載し、カメラ等の映像取得部により取得された車両周辺の映像を、車両内部の運転者が視認可能な位置に備えられたディスプレイに表示して、運転者の視界を補助するための車両用周辺監視装置が提案されている。

このような車両用周辺監視装置として、例えば、車両周辺の映像を取得し、取得した映像に基づいて歩行者等の障害物の有無を認識し、ディスプレイを通じて障害物の存在を運転者に注意喚起するもの等が提案されている。ディスプレイを通じて障害物の存在を運転者に注意喚起すると、運転者の視線をディスプレイに誘導することになる。

特開２００７−０８７２０３号公報 特開２００８−０２７３０９号公報 特開２００８−１３５８５６号公報

しかしながら、歩行者等の障害物が存在する場合に、常に注意喚起して運転者の視線をディスプレイに誘導すると、車両の前方に対する運転者の注意力を奪ってしまう虞があるという問題があった。

すなわち、例えば、車両と障害物との距離が十分に離れている場合のように、車両と障害物との衝突の危険度が低い場合には、注意喚起を行うことにより運転者の視線をディスプレイに誘導せずに、車両の前方を直接視認させる方が好ましいと考えられる。車両の前方に対する運転者の注意力を維持させるためである。

又、歩行者等の障害物の検出信頼度（検出の確からしさ）にはバラツキがあるため、検出信頼度が低い場合には、注意喚起を行うことにより運転者の視線をディスプレイに誘導せずに、車両の前方を直接視認させる方が好ましいと考えられる。車両の前方に対する運転者の注意力を維持させるためである。

一方、車両と障害物との衝突の危険度が高く、かつ、障害物の検出信頼度も高い場合は、間違いなく危険が迫っていると考えられるため、運転者に確実に注意喚起を行い、危険回避行動を起こさせる必要がある。

ところが、従来の車両用周辺監視装置は、上記のような様々なケースが適切に区別されておらず、注意喚起の必要性が低い場合にもディスプレイを通じて障害物の存在を運転者に注意喚起し、運転者の視線をディスプレイに誘導していたため、運転者は車両の前方に対する注意力を維持することができない虞があった。

上記の点に鑑みて、車両と障害物との衝突の危険度や障害物の検出信頼度を考慮して、必要な場合に運転者に注意喚起を行うことが可能な車両用周辺監視装置を提供することを課題とする。

本車両用周辺監視装置は、車両周辺の映像を取得する映像取得部と、前記映像取得部の取得した映像を処理する信号処理部と、を有する車両用周辺監視装置であって、前記信号処理部は、前記映像取得部が取得した前記映像から障害物を認識して障害物の位置を算出するとともに、前記障害物の認識の確からしさを示す検出信頼度を算出する障害物認識手段と、前記障害物と前記車両とが衝突をする危険性の度合いを示す危険度を算出する危険度算出手段と、前記検出信頼度を、前記危険度に応じて補正して検出信頼度補正値を算出する検出信頼度補正値算出手段と、前記検出信頼度補正値が閾値よりも高い場合のみ、運転者に注意喚起を行うための注意喚起信号を出力する注意喚起手段と、前記障害物の位置における輝度を算出する輝度算出手段と、前記障害物と前記車両とが衝突する推定危険度を算出する推定危険度算出手段と、を有し、前記危険度算出手段は、前記輝度及び前記推定危険度に基づいて２次元で前記危険度を算出することを要件とする。

開示の技術によれば、車両と障害物との衝突の危険度や障害物の検出信頼度を考慮して、必要な場合に運転者に注意喚起を行うことが可能な車両用周辺監視装置を提供することができる。

本実施の形態に係る車両用周辺監視装置の概略の構成を例示する図である。 推定危険度算出手段について説明するための図（その１）である。 推定危険度算出手段について説明するための図（その２）である。 危険度算出手段について説明するための図である。 検出信頼度補正値算出手段について説明するための図である。 表示部で表示された映像の例を示す図である。 本実施の形態に係る車両用周辺監視装置で行われる動作のフローチャートの例である。

以下、図面を参照して、実施の形態の説明を行う。

図１は本実施の形態に係る車両用周辺監視装置の概略の構成を例示する図である。図１を参照するに、車両用周辺監視装置１０は、映像取得部２０と、信号処理部３０と、センサ部５０とを有する。６０は、車両用周辺監視装置１０から出力される映像信号を表示する表示部である。

映像取得部２０は、レンズ２１と、第１のプリズム２２と、第２のプリズム２３と、第１の撮像素子２４と、第２の撮像素子２５とを有する。信号処理部３０は、基準信号生成手段３１と、第１の入力信号処理手段３２と、第２の入力信号処理手段３３と、映像合成手段３５と、障害物認識手段４１と、輝度算出手段４２と、推定危険度算出手段４３と、危険度算出手段４４と、検出信頼度補正値算出手段４５と、注意喚起手段４６と、図示しないＣＰＵ（中央算出装置）や記憶手段（メモリ）等を有する。センサ部５０は、コンライトセンサ５１と、車速センサ５２と、操舵角センサ５３と、距離センサ５４とを有する。

映像取得部２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ等であり、車両周辺の映像を取得する機能を有する。レンズ２１は、例えば、魚眼レンズ等であり、被写体から放射される光を結像する機能を有する。

第１のプリズム２２及び第２のプリズム２３は、例えば、ガラスや水晶等から構成されており、レンズ２１から入射する光のうち第１の波長領域の光を直進させ、第１の撮像素子２４に選択的に入射する機能を有する。又、第１のプリズム２２及び第２のプリズム２３は、レンズ２１から入射する光のうち第１の波長領域の光よりも長波長の第２の波長領域の光を、第１のプリズム２２と第２のプリズム２３との境界面で反射し、第２の撮像素子２５に選択的に入射する機能を有する。

ここで、第１の波長領域は可視光線領域を含む波長領域であり、第２の波長領域は近赤外線領域を含む波長領域である。すなわち、第１の波長領域は、例えば、可視光線領域のみでもよいし、可視光線領域に近赤外線領域等を加えた波長領域でも構わない。又、第２の波長領域は、例えば、近赤外線領域のみでもよいし、近赤外線領域に赤外線領域等を加えた波長領域でも構わない。

第１の撮像素子２４及び第２の撮像素子２５は、例えば、ＣＣＤやＣＭＯＳ等の半導体から構成されており、入射する被写体の光学像を電気信号に変換する機能を有する。第１の撮像素子２４及び第２の撮像素子２５は、同じ波長領域の光に感度を持つものでも構わないが、第１の撮像素子２４は、第１の波長領域の光に感度を持ち、第２の撮像素子２５は、第２の波長領域の光に感度を持つことが好ましい。第１の撮像素子２４及び第２の撮像素子２５で変換された電気信号は、信号処理部３０の第１の入力信号処理手段３２及び第２の入力信号処理手段３３に入力される。

信号処理部３０は、映像取得部２０から入力された信号に所定の信号処理を施し、表示部６０に出力する機能を有する。信号処理部３０は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ ）内に設けられている。基準信号生成手段３１は、基準信号を生成する発振器を含む回路である。基準信号生成手段３１で生成された基準信号は、第１の入力信号処理手段３２及び第２の入力信号処理手段３３に入力される。

第１の入力信号処理手段３２及び第２の入力信号処理手段３３は、基準信号生成手段３１で生成された基準信号に基づいて駆動信号を生成し、第１の撮像素子２４及び第２の撮像素子２５を駆動する。又、第１の入力信号処理手段３２及び第２の入力信号処理手段３３は、第１の撮像素子２４及び第２の撮像素子２５から入力された電気信号に所定の信号処理を施し、映像合成手段３５、障害物認識手段４１、及び輝度算出手段４２に入力する。

所定の信号処理とは、例えば、信号のノイズを低減するＣＤＳ（相関２重サンプリング）、信号を正規化するＡＧＣ（オートゲインコントロール）、アナログ−ディジタル変換、ディジタル信号処理（色空間変換、輪郭強調補正、ガンマ補正処理等）等を指し、所定の信号処理を施された電気信号は、コンポジットビデオやＹＵＶ等の映像信号となる。

以降、第１の入力信号処理手段３２で所定の処理を施され、第１の入力信号処理手段３２から出力される信号を第１の映像信号と、第２の入力信号処理手段３３で所定の処理を施され、第２の入力信号処理手段３３から出力される信号を第２の映像信号という。又、第１の映像信号により表示されるべき映像を第１の映像と、第２の映像信号により表示されるべき映像を第２の映像という。すなわち、第１の映像信号は、可視光線領域を含む光による映像信号であり、第２の映像信号は、近赤外線領域を含む光による映像信号である。又、第１の映像は、可視光線領域を含む光により表示されるべき映像であり、第２の映像は、近赤外線領域を含む光により表示されるべき映像である。

映像合成手段３５は、第１の入力信号処理手段３２及び第２の入力信号処理手段３３から入力される第１の映像信号及び第２の映像信号に所定の重みＡを付けた後に、それらを合成した映像信号を生成し、表示部６０に出力する。すなわち、表示部６０に出力される映像信号は、「第１の映像信号×（１−Ａ）＋第２の映像信号×Ａ」となる。所定の重みＡは、予め定められた固定値でも構わないし、障害物認識手段４１、輝度算出手段４２等の算出結果のうちの一部又は全てに基づいて適宜決定（状況に応じてＡを可変にする）しても構わない。

例えば、映像輝度が高い場合には、第２の映像信号（近赤外線領域を含む光による映像信号）の重みＡを小さくし、第１の映像信号（可視光線領域を含む光による映像信号）の重みを大きくする。これにより、ピントの合った映像を得ることができる。又、第１の映像信号（可視光線領域を含む光による映像信号）の重みを大きくすることにより、カラー映像表示が可能となる。

障害物認識手段４１は、第１の映像信号及び／又は第２の映像信号に基づいて、映像取得部２０が取得した映像の中の障害物の有無を認識し、障害物を認識した場合には障害物の位置を算出する。更に、障害物認識手段４１は、障害物の認識の確からしさを示す検出信頼度を算出する。ここで、障害物とは、例えば、歩行者や他の車両等である。以下、障害物が歩行者である場合を例に説明を行う。

障害物である歩行者の認識、障害物である歩行者の位置の算出、及び検出信頼度の算出は、例えば、パターンマッチング方式を用いて実現できる。一例を挙げると、歩行者の画像パターンを予め認識して記憶手段（メモリ）に記憶しておき、第１の映像信号及び／又は第２の映像信号と予め記憶していた歩行者の画像パターンとを比較し、両者が一致したら歩行者有りと認識し、歩行者の位置を算出するが如くである。この際、例えば画像パターンとのマッチング度に応じて、歩行者有との認識の確からしさを示す検出信頼度（例えば０〜１）を算出することができる。

検出信頼度は、ＣＰＵ（中央算出装置）の処理能力や記憶手段（メモリ）に記憶されている画像パターンの容量等により決まるため、全ての状況において高い検出信頼度を保証することは困難である。すなわち、状況によっては、歩行者らしきものが認識されたが、画像パターンとのマッチング度が低いため、低い検出信頼度が算出される場合がある。低い検出信頼度は、検出されたものが歩行者ではない虞があることを意味する。逆に、画像パターンとのマッチング度が高いため、高い検出信頼度が算出される場合がある。高い検出信頼度は、検出されたものが歩行者である可能性が高いことを意味する。

障害物認識手段４１が検出信頼度を算出する目的は、後述するように、検出信頼度を注意喚起表示の必要性を判定する際の情報の一つとして利用するためである。障害物認識手段４１による認識結果（歩行者の有無、歩行者の位置、検出信頼度）は、映像合成手段３５、輝度算出手段４２及び推定危険度算出手段４３に入力される。

輝度算出手段４２は、障害物認識手段４１による認識結果に基づいて、第１の映像信号及び／又は第２の映像信号から、歩行者の位置における映像の輝度（歩行者の輝度）を算出する。歩行者の輝度は、例えば歩行者の位置に対応する画素の輝度の平均値を算出することにより求めてもよいし、歩行者の位置に対応する画素の中から代表点を選択して、選択した画素の輝度を歩行者の輝度としてもよい。輝度算出手段４２による輝度の算出結果は、映像合成手段３５、推定危険度算出手段４３及び危険度算出手段４４に入力される。

推定危険度算出手段４３は、障害物認識手段４１による認識結果、輝度算出手段４２による算出結果、及び後述するセンサ部５０による検出結果に基づいて、障害物と車両とが衝突をする危険性の度合いを推定した値である推定危険度を算出する。例えば、障害物である歩行者と車両との距離が十分に離れていれば、歩行者と車両との距離が接近している場合に比べて、算出される推定危険度は小さな値になる。推定危険度算出手段４３による推定危険度の算出結果は、危険度算出手段４４に入力される。

図２及び図３を用いて推定危険度算出手段４３による算出の具体例について説明する。図２は、推定危険度算出手段について説明するための図（その１）である。図３は、推定危険度算出手段について説明するための図（その２）である。図２において、１０１は車両を、１０２は車両の有するヘッドライトを示している。又、１０３ａ〜１０３ｄは、車両１０１のヘッドライト１０２が出射する光の各ポイントにおける等輝度曲線を示している。１０３ａ〜１０３ｄの括弧内の１００、５０、３０、１０の各数字は、各等輝度曲線１０３ａ〜１０３ｄの輝度値の例（単位：ルックス）である。図３において、１０４は障害物を示している。又、１０５は操舵角、ホイールベース、及び車速等から算出される円旋回半径Ｒの軌跡を示している。推定危険度は、例えば、等輝度曲線１０３ａ〜１０３ｄ、障害物１０４までの距離ｄ、相対速度、円旋回半径Ｒの軌跡、及び車速等から算出することができる。

図１に戻り、危険度算出手段４４は、輝度算出手段４２による算出結果、及び推定危険度算出手段４３による算出結果に基づいて、障害物と車両とが衝突をする危険性の度合いを示す危険度を算出する。危険度算出手段４４による危険度の算出結果は、検出信頼度補正値算出手段４５に入力される。

図４を用いて危険度算出手段４４による算出の具体例について説明する。図４は、危険度算出手段について説明するための図である。図４において、縦軸の１／（対象の輝度比）は、輝度算出手段４２が算出した歩行者の位置における映像の輝度から求めたものである。０に近い部分が白に対応し、１．０に近づくにつれて黄、赤／青、黒に対応する。横軸は、推定危険度算出手段４３が算出した推定危険度である。「４，６，８，１０」の数値は、危険度算出手段４４が、輝度算出手段４２による算出結果、及び推定危険度算出手段４３による算出結果に基づいて、危険度を算出した結果である。図４の例では、縦軸の１／（対象の輝度比）及び横軸の推定危険度から所定の領域を決定し、所定の領域毎に危険度を「４，６，８，１０」としている。

例えば、推定危険度が高くても、障害物が白であれば運転者は障害物を認識しやすいため、危険度は低く危険度４である。又、障害物が黒であれば運転者は障害物を認識し難いが、推定危険度が低い場合には、危険度は低く危険度４である。一方、推定危険度が高くて、障害物が黒であれば、危険度は高く危険度１０である。このように、危険度算出手段４４は、輝度算出手段４２が算出した歩行者の輝度、及び推定危険度算出手段４３が算出した推定危険度に基づいて、２次元で危険度を算出することができる。

図１に戻り、検出信頼度補正値算出手段４５は、歩行者認識手段４１が算出した検出信頼度を、危険度算出手段４４が算出した危険度に応じて補正して検出信頼度補正値を算出する。検出信頼度補正値算出手段４５により算出された検出信頼度補正値は、注意喚起手段４６に入力される。

図５を用いて検出信頼度補正値算出手段４５による算出の具体例について説明する。図５は、検出信頼度補正値算出手段について説明するための図である。図５において、縦軸は補正値Ｋであり、横軸は危険度である。横軸の危険度は、危険度算出手段４４が算出した値であり、例えば図４に示した危険度「４，６，８，１０」に対応する。補正値Ｋは、予め決定された値であり、記憶手段（メモリ）に記憶されている。補正値Ｋのカーブは任意に決定してよいが、危険度が高いほど（１０に近いほど）１に近い数値になるように決定される。検出信頼度補正値算出手段４５は、図５に示す補正値Ｋを用いて歩行者認識手段４１が算出した検出信頼度を補正して検出信頼度補正値を算出する。すなわち、「検出信頼度補正値＝歩行者認識手段４１が算出した検出信頼度×補正値Ｋ」を求める。

図１に戻り、注意喚起手段４６は、検出信頼度補正値算出手段４５が算出した検出信頼度補正値が所定の表示判定閾値よりも大きければ、表示部６０に注意喚起信号を出力する。このように、注意喚起手段４６は、検出信頼度補正値が所定の表示判定閾値よりも大きければ、表示部６０に注意喚起信号を出力するが、これは次のような意義を有する。

すなわち、原則として、危険度が高い場合には検出信頼度補正値が高くなければならない。これは、表示部６０に注意喚起信号を出力し、運転者に歩行者に対する注意喚起を促す必要があるからである。従って、図５に例示したように危険度が高い場合には、補正値Ｋは１に近い値になる。

一方、危険度が低い場合には必ずしも検出信頼度補正値が高い必要はなく、むしろ検出信頼度補正値を低くした方が好ましいと考えられる。例えば、図４の例では障害物が白であれば運転者は障害物を認識しやすいため、危険度は低く危険度４である。このような場合に、運転者に表示部６０を通じて注意喚起すると、運転者の視線を表示部６０に誘導することになるが、危険が迫っているわけではないから、むしろ運転者が表示部６０ではなく障害物を直接視認する方が好ましいと考えられる。そこで、危険度が低い場合には、補正値Ｋを１よりも小さくする。その結果、検出信頼度補正値が所定の表示判定閾値以下であれば、表示部６０に注意喚起信号は出力されない。

ただし、そもそも障害物認識手段４１が算出した検出信頼度が低い場合には、本当に歩行者が存在するか否かが怪しい。このような場合にも、注意喚起をして運転者の視線を表示部６０に誘導するよりは、むしろ運転者が歩行者を直接視認する方が好ましいと考えられる。この場合には、そもそも障害物認識手段４１が算出した検出信頼度が低いので危険度が高くても（補正値Ｋが１に近くても）検出信頼度補正値は小さな値になり、検出信頼度補正値が所定の表示判定閾値以下であれば、表示部６０に注意喚起信号は出力されない。

このように、障害物認識手段４１が算出した検出信頼度が高く、かつ、危険度が高いほど（間違いなく危険が迫っている場合ほど）、表示部６０に注意喚起信号が出力されることになる。すなわち、必ず注意喚起をしなければならない場合（歩行者が間違いなく検知され、かつ、危険度が高い場合）には、確実に注意喚起を行うことができる。一方、そうでない場合には、注意喚起を行わず運転者の視線を表示部６０に誘導しないため、運転者の車両の前方に対する注意力を維持させることができる。

図１に戻り、センサ部５０は、車両や車両周辺の情報を取得する機能を有する。コンライトセンサ５１は、例えば、車体外部に取り付けられており、車両周辺の輝度（明るさ）を検出し、検出結果に応じた信号を推定危険度算出手段４３に出力する。車速センサ４２は、例えば、車両の車輪等に取り付けられており、車輪の回転速度を検出し、検出結果に応じた信号を推定危険度算出手段４３に出力する。

操舵角センサ４３は、例えば、車両のステアリングシャフトに取り付けられており、ステアリングの回転角を検出し、検出結果に応じた信号を推定危険度算出手段４３に出力する。距離センサ５４は、例えばミリ波レーダ等の車両と障害物との距離を検出するセンサであり、検出結果に応じた信号を推定危険度算出手段４３に出力する。

表示部６０は、例えば、液晶ディスプレイ等であり、映像合成手段３５で合成された映像信号のみを、又は、映像合成手段３５で合成された映像信号に注意喚起手段４６で出力された注意喚起信号を重畳した映像信号を、映像として表示する機能を有する。表示部６０は、車両内部の運転者が視認可能な位置に備えられている。

図６は、表示部で表示された映像の例を示す図である。図６（１）は、表示部６０が、映像合成手段３５で合成された映像信号のみを表示した例を示している。図６（２）及び図６（３）は、表示部６０が、映像合成手段３５で合成された映像信号に注意喚起手段４６で出力された注意喚起信号を重畳した映像信号を表示した例を示している。図６（２）では、表示部６０で表示された映像の歩行者が認識された領域に、注意喚起信号として注意喚起枠１１０を重畳させて表示している。図６（３）では、運転者に歩行者の認識を容易にするために、図６（２）に更に歩行者の位置を示す注意喚起枠１１１を重畳させて表示している。なお、注意喚起枠１１０や１１１は、枠の色を変化させたり、枠を点滅させたりすることで、更に運転者に対する注意喚起の効果を向上することが期待できる。

続いて、図７を参照しながら、車両用周辺監視装置１０で行われる処理について詳しく説明する。図７は、本実施の形態に係る車両用周辺監視装置で行われる動作のフローチャートの例である。

ステップ１００において、映像取得部２０は、車両周辺の映像を取得し、第１の撮像素子２４に第１の波長領域の光学像を結像する。又、第２の撮像素子２５に第２の波長領域の光学像を結像する（Ｓ１００）。ここで、第１の波長領域は可視光線領域を含む波長領域であり、第２の波長領域は近赤外線領域を含む波長領域である。すなわち、第１の波長領域は、例えば、可視光線領域のみでもよいし、可視光線領域に近赤外線領域等を加えた波長領域でも構わない。又、第２の波長領域は、例えば、近赤外線領域のみでもよいし、近赤外線領域に赤外線領域等を加えた波長領域でも構わない。

ステップ１０１において、第１の撮像素子２４は、第１の波長領域の光学像を電気信号に変換し、第１の入力信号処理手段３２に入力する。又、第２の撮像素子２５は、第２の波長領域の光学像を電気信号に変換し、第２の入力信号処理手段３３に入力する（Ｓ１０１）。

ステップ１０２において、第１の入力信号処理手段３２及び第２の入力信号処理手段３３は、入力された電気信号に所定の信号処理を施した第１の映像信号及び第２の映像信号を、映像合成手段３５、障害物認識手段４１、及び輝度算出手段４２に入力する（Ｓ１０２）。

ステップ１０３において、障害物認識手段４１は、第１の映像信号及び／又は第２の映像信号に基づいて、映像取得部２０が取得した映像の中の歩行者の有無を認識し、歩行者を認識した場合には歩行者の位置を算出する。更に、障害物認識手段４１は、障害物の認識の確からしさを示す検出信頼度を算出する（Ｓ１０３）。歩行者の認識、歩行者の位置の算出、及び検出信頼度の算出は、例えば、前述のようにパターンマッチング方式を用いて実現できる。障害物認識手段４１による認識結果（歩行者の有無、歩行者の位置、検出信頼度）は、映像合成手段３５、輝度算出手段４２及び推定危険度算出手段４３に入力される。

ステップ１０４において、輝度算出手段４２は、障害物認識手段４１による認識結果に基づいて、第１の映像信号及び／又は第２の映像信号から、歩行者の位置における映像の輝度を算出する（Ｓ１０４）。輝度算出手段４２による輝度の算出結果は、映像合成手段３５及び危険度算出手段４４に入力される。

ステップ１０５において、推定危険度算出手段４３は、障害物認識手段４１による認識結果、輝度算出手段４２による算出結果、及び後述するセンサ部５０による検出結果に基づいて、推定危険度を算出する（Ｓ１０５）。推定危険度算出手段４３による推定危険度の算出結果は、危険度算出手段４４に入力される。

ステップ１０６において、危険度算出手段４４は、輝度算出手段４２による輝度の算出結果、及び推定危険度算出手段４３による推定危険度の算出結果に基づいて、危険度を算出する（Ｓ１０６）。危険度算出手段４４による危険度の算出結果は、検出信頼度補正値算出手段４５に入力される。危険度の算出の例は、前述の図４に示すが如くである。

ステップ１０７において、検出信頼度補正値算出手段４５は、歩行者認識手段４１が算出した検出信頼度を、危険度算出手段４４が算出した危険度に応じて補正して検出信頼度補正値を算出する（Ｓ１０７）。検出信頼度補正値算出手段４５により算出された検出信頼度補正値は、注意喚起手段４６に入力される。検出信頼度補正値の算出の例は、前述の通りである。

ステップ１０８において、注意喚起手段４６は、検出信頼度補正値算出手段４５が算出した検出信頼度補正値に基づいて、注意喚起表示の必要性を判定する（Ｓ１０８）。注意喚起表示の必要性は、検出信頼度補正値算出手段４５が算出した検出信頼度補正値が予め定められた表示判定閾値より大きいか否かによって判定される。ステップ１０８で、検出信頼度補正値が予め定められた表示判定閾値より大きい場合には、注意喚起手段４６は、注意喚起が必要であると判定し（図７のＹＥＳ）、ステップ１０９に移行する。ステップ１０９において、注意喚起手段４６は、注意喚起信号を表示部６０に出力する（Ｓ１０９）。注意喚起手段４６から出力された注意喚起信号は、例えば前述の図６（２）及び図６（３）に示したように、映像合成手段３５で合成された映像信号に重畳されて表示部６０で表示される。注意喚起手段４６は、障害物がなくなると、表示部６０への注意喚起信号の出力を停止する。その結果、例えば前述の図６（２）及び図６（３）に示した注意喚起信号である注意喚起枠１１０や１１１は、消灯する。

ステップ１０８で、検出信頼度補正値が予め定められた表示判定閾値以下である場合には、注意喚起手段４６は、注意喚起が必要でないと判定し（図７のＮＯ）、ステップ１１０に移行する。ステップ１１０において、注意喚起手段４６は、注意喚起信号を表示部６０に出力しない（Ｓ１１０）。その結果、例えば前述の図６（１）に示したように、映像合成手段３５で合成された映像信号のみが表示部６０で表示される。

本実施の形態によれば、映像取得部が取得した映像から歩行者等の障害物を認識して障害物の位置及び検出信頼度を算出し、更に、算出した障害物の位置における輝度を算出する。又、走行中の車両の車速、操舵角等から障害物と車両とが衝突をする危険性の度合いを推定した値である推定危険度を算出する。そして、算出した輝度と推定危険度から、障害物と車両とが衝突をする危険性の度合いを示す危険度を２次元で算出する。更に、算出した危険度に応じた検出信頼度補正値を算出する。そして、算出した検出信頼度補正値が所定の表示判定閾値よりも大きければ注意喚起信号を出力し、映像取得部が取得した映像に重畳して表示部に表示する（注意喚起を行う）。算出した検出信頼度補正値が所定の表示判定閾値以下であれば注意喚起信号を出力せず、映像取得部が取得した映像のみを表示部に表示する（注意喚起を行わない）。

すなわち、検出信頼度を、危険度に応じて補正して検出信頼度補正値を算出し、算出した検出信頼度補正値を表示判定閾値と比較することにより、表示部６０に注意喚起信号を出力するか否かを判定する。その結果、検出信頼度が高く、かつ、危険度が高いほど（間違いなく危険が迫っている場合ほど）表示部６０に注意喚起信号が出力され、確実に注意喚起を行うことができる。一方、そうでない場合には、注意喚起を行わず運転者の視線を表示部６０に誘導せずに、運転者の車両の前方に対する注意力を維持させることができる。このように、車両と障害物との衝突の危険度や障害物の検出信頼度を考慮して、必要な場合に運転者に注意喚起を行うことが可能となる。

以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。

例えば、本実施の形態では、センサ部５０として、コンライトセンサ５１、車速センサ５２、操舵角センサ５３、及び距離センサ５４を用いる例を示したが、これらのセンサに代えて、又は、これらのセンサに加えて、他のセンサを用いても構わない。他のセンサの例としては、例えば、傾斜センサやＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を挙げることができる。傾斜センサやＧＰＳを用いることにより、車両の走行状況（現在車両が走行している所が、市街地であるか郊外であるか等）を判断することができる。

１０ 車両用周辺監視装置
２０ 映像取得部
２１ レンズ
２２ 第１のプリズム
２３ 第２のプリズム
２４ 第１の撮像素子
２５ 第２の撮像素子
３０ 信号処理部
３１ 基準信号生成手段
３２ 第１の入力信号処理手段
３３ 第２の入力信号処理手段
３５ 映像合成手段
４１ 障害物認識手段
４２ 輝度算出手段
４３ 推定危険度算出手段
４４ 危険度算出手段
４５ 検出信頼度補正値算出手段
４６ 注意喚起手段
５０ センサ部
５１ コンライトセンサ
５２ 車速センサ
５３ 操舵角センサ
５４ 距離センサ
６０ 表示部
１０１ 車両
１０２ ヘッドライト
１０３ａ〜１０３ｄ ヘッドライトの等輝度曲線
１０４ 障害物
１０５ 円旋回半径Ｒの軌跡
１１０，１１１ 注意喚起枠
ｄ 距離

Claims (5)

1. 車両周辺の映像を取得する映像取得部と、前記映像取得部の取得した映像を処理する信号処理部と、を有する車両用周辺監視装置であって、
   前記信号処理部は、前記映像取得部が取得した前記映像から障害物を認識して障害物の位置を算出するとともに、前記障害物の認識の確からしさを示す検出信頼度を算出する障害物認識手段と、
   前記障害物と前記車両とが衝突をする危険性の度合いを示す危険度を算出する危険度算出手段と、
   前記検出信頼度を、前記危険度に応じて補正して検出信頼度補正値を算出する検出信頼度補正値算出手段と、
   前記検出信頼度補正値が閾値よりも高い場合のみ、運転者に注意喚起を行うための注意喚起信号を出力する注意喚起手段と、
   前記障害物の位置における輝度を算出する輝度算出手段と、
   前記障害物と前記車両とが衝突する推定危険度を算出する推定危険度算出手段と、を有し、
   前記危険度算出手段は、前記輝度及び前記推定危険度に基づいて２次元で前記危険度を算出することを特徴とする車両用周辺監視装置。
2. 前記推定危険度算出手段は、前記車両の車速、操舵角、及び前記車両と前記障害物との距離を含む情報に基づいて、前記推定危険度を算出することを特徴とする請求項１記載の車両用周辺監視装置。
3. 前記注意喚起信号は、前記映像取得部が取得した前記映像の前記障害物が認識された領域を囲む枠に対応する信号であることを特徴とする請求項１又は２記載の車両用周辺監視装置。
4. 前記注意喚起信号は、前記映像取得部が取得した前記映像の前記障害物を囲む枠に対応する信号であることを特徴とする請求項１乃至３の何れか一項記載の車両用周辺監視装置。
5. 前記障害物は、歩行者であることを特徴とする請求項１乃至４の何れか一項記載の車両用周辺監視装置。