JP5503728B2 - 車両の周辺監視装置 - Google Patents

Description

この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の対象物を検出して表示する装置に関する。

下記の特許文献１には、ヘッドアップディスプレイ（ＨＵＤ）を設け、赤外線カメラを用いて車両の周辺の対象物を検出し、車両の進行方向に設定される接近判定領域内に存在する対象物については、ヘッドアップディスプレイの表示画面の中央領域に強調表示し、接近判定領域の外側に設定される侵入判定領域内に存在する対象物については、該表示画面の右および左領域にアイコン表示するシステムが提案されている。

特許第４３３４６８６号公報

上記の文献に記載のような、いわゆるヘッドアップディスプレイは、運転者の前方に設けられており、運転者が表示画面を視認するのに視線移動の量が比較的小さいという利点がある。しかしながら、このようなヘッドアップディスプレイを搭載していない車両は、依然として多い。それに対し、ダッシュボードに取り付けられた表示装置の普及は進んでいる。特に、ナビゲーション装置の普及が進むにつれて、ナビゲーション機能によって提供される地図情報等の様々な情報を表示するために装置の普及が進んでいる。

このような一般的な表示装置は、運転者の前方ではなく、左または右側に存在しているため、ヘッドアップディスプレイに比べて、運転者が表示画面を視認するのに必要な視線移動の量が多くなる。そのため、表示装置上に表示される映像は、より短時間で運転者に理解されるものであることが要求される。

したがって、上記のような一般的な表示装置を用いた場合を考慮して、運転者が、より短時間で対象物の存在を認識することができるような形態で表示する手法が所望されている。

この発明の一つの側面によると、車両の周辺監視装置は、車両に搭載されたカメラを用いて車両の周辺を撮像する撮像手段と、前記撮像手段による撮像を介して、前記対象物の温度に応じた輝度値を有するグレースケール画像を取得する手段と、前記グレースケール画像から、前記車両の周辺に存在する所定の対象物を検出する対象物検出手段と、前記グレースケール画像に基づいて、前記車両に搭載された表示装置上に表示されるべき表示画像を生成する表示画像生成手段と、前記生成された表示画像を、前記表示装置上に表示する手段と、を備える。表示画像生成手段は、前記グレースケール画像中の、前記検出された対象物以外の領域の輝度を低下させることによって前記表示画像を生成する。

この発明によれば、グレースケール画像中の対象物以外の領域の輝度を低下させることによって表示画像を生成し、これが表示装置上に表示される。したがって、表示装置上には、対象物のみにスポットライトをあてたような、コントラストの高い画像が表示されることとなる。そのため、該表示画像を視認した運転者は、瞬時に、該対象物の存在を認識することができる。

この発明の一実施形態によると、表示装置は、前記車両の運転者が視認可能な位置であって、前記車両のハンドルの回転の中心を通ると共に該車両の前後方向に伸長する線に対して所定距離だけ車幅方向に離れた位置に設けられている。

このような表示装置は、前述したような視線移動量の少ないＨＵＤではなく、たとえばハンドルの左または右側に取り付けられた一般的な表示装置であり、画面を視認するには視線移動量が比較的大きくなる。本発明によれば、上記のような高いコントラストの表示画像により、運転者の対象物認識に要する時間を短くすることができるので、このような一般的な表示装置を用いても、対象物を瞬時に運転者に認識させることができる。

この発明の一実施形態によると、前記対象物検出手段は、前記車両が前記対象物と衝突する可能性が高いか否かを判定し、前記表示画像生成手段は、前記車両が前記対象物と衝突する可能性が高いと判定された場合に、前記検出された対象物以外の領域の輝度を低下させた前記表示画像を生成する。

この発明によれば、対象物と衝突する可能性が高いと判定された場合に、対象物にスポットライトをあてたような高いコントラストの表示画像を生成するので、該衝突の可能性のある対象物の存在を、運転者に瞬時で認識させることができる。

この発明の一実施形態によると、前記表示画像生成手段は、さらに、前記グレースケール画像中の前記対象物が存在する位置に、該対象物を擬似化した画像を重畳し、前記表示手段は、該重畳した前記表示画像を前記表示装置上に表示する。

この発明によれば、車両周辺を撮像したグレースケール画像中の対象物の位置に、擬似画像が重畳して表示されるので、運転者の注意を、該擬似画像が重畳された位置に向けさせることができる。また、擬似画像によって対象物画像が隠されることになるため、前方を注視するよう運転者を促すことができる。

この発明の一実施形態によると、前記表示装置は、ナビゲーション装置の表示装置である。この発明によると、車両周辺に存在する対象物の存在を運転者に通知するのに、ナビゲーション装置の表示装置を有効に利用することができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、表示装置およびカメラの取り付け位置を示す図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、実空間の座標系および画像の座標系を示す図。 この発明の一実施例に従う、相対移動ベクトルの算出手法を示す図。 この発明の一実施例に従う、警報判定プロセスを示すフローチャート。 この発明の一実施例に従う、車両前方の撮像範囲と各領域の区分を示す図。 この発明の一実施例に従う、侵入判定処理を説明するための図。 この発明の一実施例に従う、表示画像の生成を説明するための図。 この発明の一実施例に従う、表示画像の一例を示す図。 この発明の他の実施例に従う、警報判定プロセスを示すフローチャート。 この発明の他の実施例に従う、表示画像の生成を説明するための図。

次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、ナビゲーション装置の表示装置を利用した、車両の周辺監視装置の構成を示すブロック図であり、図２は、表示装置とカメラの車両への取り付けを示す図である。

車両には、ナビゲーション装置が搭載されており、該ナビゲーション装置は、ナビゲーションユニット５と、表示装置４とを備えている。表示装置４は、図２の（ａ）に示すように、車両のハンドル（ステアリング・ホイール）２１の中心を通り、かつ車両の前後方向に伸長する線Ｌ１（図には、わかりやすいよう図の垂直方向に伸長するよう示されている）に対して所定距離だけ離れた位置に、運転者が視認可能なように取り付けられている。この実施例では、表示装置４は、車両のダッシュボード２３にはめこまれている。

ナビゲーションユニット５は、中央処理装置（ＣＰＵ）およびメモリを備えたコンピュータで実現される。ナビゲーションユニット５は、たとえば人工衛星を利用して車両１０の位置を測定するためのＧＰＳ信号を、該ナビゲーションユニット５に備えられた通信装置（図示せず）を介して受信し、該ＧＰＳ信号に基づいて、車両１０の現在位置を検出する。ナビゲーションユニット５は、車両の周辺の地図情報（これは、ナビゲーション装置の記憶装置に記憶されることもできるし、該通信装置を介して所定のサーバから受信することもできる）に、該現在位置を示す画像を重畳させて、表示装置４の表示画面２５に表示する。また、表示装置４の表示画面２５はタッチパネルを構成しており、該タッチパネルを介して、またはキーやボタン等の他の入力装置２７を介して、乗員はナビゲーションユニット５に目的地を入力することができる。ナビゲーションユニット５は、該目的地までの車両の最適経路を算出し、該最適経路を示す画像を地図情報に重畳させて、表示装置４の表示画面２５に表示することができる。

なお、最近のナビゲーション装置には、交通情報の提供や車両近傍の施設案内等、他にも様々な機能が搭載されており、この実施形態では、任意の適切なナビゲーション装置を利用することができる。

また、車両の周辺監視装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって撮像された画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音または音声で警報を発生するスピーカ３と、を備えている。表示装置４は、カメラ１Ｒまたは１Ｌの撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物の存在を認識させるための表示を行うのに利用される。さらに、該周辺監視装置は、車両のヨーレートを検出するヨーレートセンサ６と、車両の走行速度（車速）を検出する車速センサ７とを備え、これらのセンサの検出結果は、画像処理ユニット２に送られる。

この実施例では、図２の（ｂ）に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号および表示装置４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。

このように、この実施例では、ナビゲーション装置の表示装置４を、カメラ１Ｒおよび１Ｌによる撮像を介して得られた画像の表示、および該画像から検出された所定の対象物の存在を運転者に通知（警報）するための表示に利用する。前述したように、フロントウィンドウ上の、運転者の前方位置に画面が表示されるように設けられたヘッドアップディスプレイ（ＨＵＤ）と異なり、表示装置４は、ハンドル２１から、車幅方向に所定距離だけ離れた位置に設けられているので、ＨＵＤに比べて、運転者が表示装置４の画面を視認するために視線移動量は大きく、よって視認に要する時間も長くなる。したがって、表示装置４を介して対象物の存在を運転者に認識させるためには、ＨＵＤに比べて、よりわかりやすい表示、すなわちより短時間で認識することができる形態での表示が望まれる。この発明は、このような形態の表示を可能としたものであり、端的にいえば、画像中の対象物にスポットライトをあてたような形態で表示する。この具体的な手法を、以下に述べる。

図３は、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。なお、ステップＳ１１〜Ｓ２３の処理は、特開２００１−６０９６号公報にその詳細が示されているので、ここでは簡単に述べる。

ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。

ステップＳ１４において、カメラ１Ｒで撮像された右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、たとえば生体のような所定の温度より高い対象物が、白領域として抽出される。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。

ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。

ステップＳ１６およびＳ１７において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出される。

ステップＳ１８において、該抽出された対象物の重心Ｇ、面積Ｓ、および、該対象物に外接する四角形すなわち外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出される。重心Ｇの座標は、面積Ｓをｘ方向に二等分する線のｘ座標およびｙ方向に二等分する線のｙ座標として算出される。縦横比ＡＳＰＥＣＴは、外接四角形のｙ方向の長さＤｙとｘ方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出される。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。

ステップＳ１９において、対象物の時刻間追跡（トラッキング）、すなわち、所定のサンプリング周期毎に同一対象物の認識を行う。サンプリング周期は、図３のプロセスが実行される周期と同じでもよい。具体的には、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、時刻ｋで対象物Ａを抽出した場合を考えると、該対象物Ａと、次のサンプリング周期である時刻（ｋ＋１）で抽出した対象物Ｂとの間の同一性判定を行う。同一性判定は、所定の条件に従って行うことができる。たとえば、１）対象物ＡとＢの画像上の重心Ｇの位置のｘおよびｙ座標の差が所定の許容値より小さく、２）対象物Ｂの画像上の面積の、対象物Ａの画像上の面積に対する比が所定の許容値より小さく、３）対象物Ｂの外接四角形の縦横比の、対象物Ａの外接四角形の縦横比に対する比が所定の許容値より小さければ、対象物ＡおよびＢを同一と判定することができる。

こうして、各サンプリング周期において、抽出された対象物に関し、該対象物の位置（この実施例では、重心Ｇの位置座標）は、付与されたラベルと共に、時系列データとしてメモリに格納される。

なお、以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（この実施例では、右画像）について実行される。

ステップＳ２０において、車速センサ７により検出される車速ＶＣＡＲおよびヨーレートセンサ６により検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、車両１０が回頭した角度すなわち回頭角θｒを算出する。

一方、ステップＳ３１〜Ｓ３３では、ステップＳ１９およびＳ２０の処理と平行して、車両１０から対象物までの距離ｚを算出する処理を行う。この演算は、ステップＳ１９およびＳ２０よりも長い時間を要するため、ステップＳ１９およびＳ２０より長い周期（たとえば、ステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行されるようにしてもよい。

ステップＳ３１では、基準画像（この実施例では、右画像）の２値化画像によって追跡される対象物のうちの１つを選択し、これを、探索画像Ｒ１（ここでは、外接四角形で囲まれる画像領域を探索画像とする）とする。ステップＳ３２では、左画像において、該探索画像Ｒ１と同じ対象物の画像（以下、対応画像と呼ぶ）を探索する。具体的には、探索画像Ｒ１と該左画像の間で相関演算を実行することにより行われることができる。相関演算は、下記式（１）に従って行われる。この相関演算は、２値画像ではなく、グレースケール画像を用いて行う。

ここで、探索画像Ｒ１は、Ｍ×Ｎ個の画素数を持ち、ＩＲ（ｍ，ｎ）は、探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、左画像内の所定の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。

代替的に、左画像において、探索すべき領域を予め設定し、探索画像Ｒ１と該領域との間で相関演算を実行してもよい。

ステップＳ３３において、探索画像Ｒ１の重心位置と、撮像画像の画像中心線（撮像画像をｘ方向に二分する線）ＬＣＴＲとの距離ｄＲ（画素数）および対応画像の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、式（２）に適用して、車両１０の対象物までの距離ｚを算出する。

ここで、Ｂは、基線長、すなわちカメラ１Ｒの撮像素子の中心位置と、カメラ１Ｌの撮像素子の中心位置とのｘ方向（水平方向）の距離（すなわち、両カメラの光軸の間隔）を示し、Ｆは、カメラ１Ｒおよび１Ｌに設けられたレンズの焦点距離を示し、ｐは、カメラ１Ｒおよび１Ｌの撮像素子の画素間隔を示す。Δｄ（＝ｄＲ＋ｄＬ）は、視差の大きさを示す。

ステップＳ２１において、対象物の位置（前述したように、この実施例では重心Ｇの位置）の画像内の座標（ｘ、ｙ）および式（２）により算出した距離ｚを、式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図４（ａ）に示すように、カメラ１Ｒおよび１Ｌの取り付け位置の中点の位置（車両に固定された位置）を原点Ｏとして、図のように、車両１０の車幅方向にＸ軸、車両１０の車高方向にＹ軸、車両１０の進行方向にＺ軸を定めた座標系で表される。画像上の座標は、図４（ｂ）に示すように、画像の中心を原点として水平方向をｘ軸および垂直方向をｙ軸とした座標系で表される。

ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と実空間座標系の原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。また、ｆは、焦点距離Ｆと画素間隔ｐとの比である。

ステップＳ２２において、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。時刻ｋから（ｋ＋１）までの期間中に、車両１０がたとえば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、Δｘだけｘ方向（正の方向）にずれる。したがって、これを補正する。

具体的には、式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物ごとに対応づけて時系列にメモリに格納される。なお、以下の説明では、該補正後の座標を、（Ｘ，Ｙ，Ｚ）と示す。

ステップＳ２３において、同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（たとえば、Ｎ＝１０程度）、すなわち時系列データから、対象物の車両１０に対する相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、式（５）で表される直線を求める。

ここで、ｕは、任意の値を取る媒介変数である。Ｘａｖ、ＹａｖおよびＺａｖは、それぞれ、実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値、およびＺ座標の平均値である。媒介変数ｕを消去することにより、式（５）は、以下の式（５ａ）のように表される。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ
（５ａ）

図５は、近似直線ＬＭＶを説明するための図である。Ｐ（０）、Ｐ（１）、Ｐ（２）、・・・、Ｐ（Ｎ−２）、Ｐ（Ｎ−１）が、回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の二乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値は、その値が増加するほど過去のデータであることを示す。たとえば、Ｐ（０）は最新の位置座標、Ｐ（１）は、１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＸ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。なお、近似直線ＬＭＶを演算するより詳細な手法は、特開２００１−６０９６号公報に記載されている。

次に、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）前（すなわち、時間ΔＴ前）の位置座標Ｐ（Ｎ−１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を、近似直線ＬＭＶ上の位置に補正する。具体的には、式（５ａ）にＺ座標Ｚ（０）およびＺ（ｎ−１）を適用することにより得た式（６）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））およびＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。

式（６）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルが、相対移動ベクトルとして算出される。

このように、モニタ期間ΔＴ内の複数（Ｎ個）のデータから、対象物の車両１０に対する相対移動軌跡を近似する近似直線ＬＭＶを算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して、対象物との衝突の可能性をより正確に予測することができる。

ステップＳ２４において、警報判定プロセスを実行する。図６は、該警報判定プロセスを示し、該プロセスを、図７を参照しつつ説明する。図７には、カメラ１Ｒ、１Ｌによって撮像可能な領域である撮像範囲ＡＲ０が示されている。撮像範囲ＡＲ０に対応する撮像画像に対して、図３のステップＳ１１からＳ２３の処理は実行される。

領域ＡＲ１は、車両１０の車幅αの両側に余裕β（たとえば、５０〜１００ｃｍ程度とすることができる）を加えた範囲に対応する領域、換言すれば車両１０の車幅方向の中心軸の両側に（α／２＋β）の幅を有する領域であり、対象物がそのまま存在し続ければ衝突の可能性が高い接近判定領域である。領域ＡＲ２およびＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域にある対象物は接近判定領域へと侵入するおそれがある侵入判定領域である。これらの領域ＡＲ１〜ＡＲ３は、Ｙ方向には所定高さＨを有し、Ｚ方向には所定距離Ｚ１を有する。

図６に戻り、ステップＳ４１では、各対象物について、車両との衝突の可能性を判定する。具体的には、領域ＡＲ１〜ＡＲ３に存在する対象物を抽出する。そのため、式（７）により、各対象物について、該対象物の車両に対するＺ方向の相対速度Ｖｓを算出する。その後、式（８）および式（９）を満たす対象物が抽出される。
Ｖｓ＝（Ｚｖ（Ｎ−１）―Ｚｖ（０））／ΔＴ （７）
Ｚｖ（０）／Ｖｓ≦Ｔ （８）
｜Ｙｖ（０）｜≦Ｈ （９）

ここで、Ｚｖ（０）は、最新の距離検出値（ｖは、近似直線ＬＭＶによる補正後のデータであることを示すために付しているが、Ｚ座標は補正前と同一の値である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。また、Ｔは、余裕時間であり、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図している。Ｔは、例えば２〜５秒程度に設定される。Ｖｓ×Ｔが、前述した領域ＡＲ１〜ＡＲ３の所定距離Ｚ１に対応する。Ｈは、Ｙ方向すなわち高さ方向の範囲を規定し、例えば自車両１０の車高の２倍程度に設定される。これが、前述した領域ＡＲ１〜ＡＲ３の所定高さＨを示す。こうして、垂直方向では所定高さＨに制限され、距離方向では所定距離Ｚ１に制限された領域ＡＲ１〜ＡＲ３内の対象物が、衝突の可能性があると判断されて抽出される。

次に、ステップＳ４２において、こうして抽出された対象物のそれぞれについて、接近判定領域ＡＲ１内にあるか否かを判断する接近判定処理が行われる。具体的には、各対象物の位置Ｐｖ（０）のＸ座標Ｘｖ（０）が、領域ＡＲ１内に存在するかどうかを判断する。この判断がＹｅｓである対象物については、衝突の可能性が高いと判断し、直ちにステップＳ４４の処理が行われる。この判断がＮｏである対象物については、領域ＡＲ２またはＡＲ３に存在することを示し、ステップＳ４３の侵入判定処理が行われる。

侵入判定処理では、対象物の画像上での最新のｘ座標ｘｃ（０）（ｃは前述したように画像の中心位置を実空間原点Ｏに一致させる補正を行った座標であることを示すために付している）と、時間ΔＴ前のｘ座標ｘｃ（Ｎ−１）との差が、式（１０）を満たすか否かを調べる。式（１０）を満たす対象物が存在すれば、該対象物が移動によって接近判定領域ＡＲ１に侵入することにより車両１０との衝突の可能性が高いと判断し（Ｓ４３がＹｅｓ）、ステップＳ４４に進む。式（１０）を満たす対象物が存在しなければ、今回衝突の可能性のある対象物は領域ＡＲ１〜ＡＲ３内に存在しないと判断し（Ｓ４３がＮｏ）、ステップＳ４８に進む。ステップＳ４８では、ステップＳ１３で取得されたグレースケール画像を、表示画像として表示装置４上に出力する通常表示を行う。

ここで、式（１０）の根拠を簡単に説明する。図８を参照すると、対象物２０の最新の位置座標と、時間ΔＴ前の位置座標とを通る直線、すなわち近似直線ＬＭＶと、ＸＹ平面（Ｘ軸とＹ軸を含む平面、すなわち車両１０の先端部に対応する線（Ｘ軸）を含み、車両１０の進行方向に垂直な面）との交点のＸ座標をＸＣＬとすると、車幅αを考慮した衝突発生の条件は、式（１１）で与えられる。
−α／２≦ＸＣＬ≦α／２ （１１）

他方、近似直線ＬＭＶをＸＺ平面に投影した直線は式（１２）で与えられる。

この式にＺ＝０、Ｘ＝ＸＣＬを代入してＸＣＬを求めると、式（１３）のようになる。

また、実空間座標Ｘと、画像上の座標ｘｃとの間には、式（３）のような関係があるので、以下の式が成立する。
Ｘｖ（０）＝ｘｃ（０）×Ｚｖ（０）／ｆ （１４）
Ｘｖ（Ｎ−１）＝ｘｃ（Ｎ−１）×Ｚｖ（Ｎ−１）／ｆ （１５）

これらを式（１３）に適用すると、交点Ｘ座標ＸＣＬは、式（１６）で与えられる。これを式（１１）に代入して整理すると、上記式（１０）が得られる。なお、より詳細な侵入判定処理については、特開２００１−６０９６号公報に記載されている。

図６に戻り、ステップＳ４４では、上記の接近判定処理および侵入判定処理において衝突の可能性が高いと判断された対象物について、運転者に対し、警報を実際に出力するかどうかを判定する警報出力判定処理を行う。

この実施例では、警報出力判定処理は、ブレーキの操作に応じて警報を実際に出力するかどうかを判断する。具体的には、ブレーキセンサ（図示せず）の出力から、車両１０の運転者がブレーキ操作を行っているか否かを判別し、ブレーキ操作を行っていなければ、警報を出力すべきと判定し（Ｓ４４がＹｅｓ）、ステップＳ４５に進む。

ブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出する。各対象物について閾値ＧＴＨを式（１７）のように計算し、加速度Ｇｓが閾値ＧＴＨ以下（Ｇｓ≦ＧＴＨ）を満たす対象物が存在するときには、警報を出力すべきと判定し（Ｓ４４がＹｅｓ）、ステップＳ４５に進む。

Ｇｓ≦ＧＴＨを満たす対象物が存在しないときには、ブレーキ操作により衝突が回避されると判定して（Ｓ４４がＮｏ）、ステップＳ４８に進み、前述したように、警報を出力することなく、グレースケール画像を表示装置４上に出力する通常表示を行う。ここで、式（１７）は、ブレーキ加速度Ｇｓがそのまま維持された場合に、距離Ｚｖ（０）以下の走行距離で車両１０が停止する条件に対応する値である。

警報出力判定処理を行うことにより、適切なブレーキ操作が行われているときは警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。しかしながら、代替的に、警報出力判定処理を行うことなく、ステップＳ４１〜Ｓ４３で衝突の可能性が高いと判定された対象物が存在することに応じてステップＳ４５に進んでもよい。

ステップＳ４５において、ステップＳ１３で取得されたグレースケール画像中の、上記のステップＳ４１〜Ｓ４３の処理で衝突の可能性が高いと判定された対象物に対応する領域以外の領域の輝度値を低くする。

ここで図９を参照すると、（ａ）には、赤外線カメラ１Ｒ，１Ｌを介してステップＳ１３で取得されたグレースケール画像が模式的に示されている。対象物（この例では、歩行者）１０１が、上記のように衝突の可能性が高いと判定された対象物であると仮定する。わかりやすくするため、この例では、対象物１０１の輝度値はＩ１であり、該対象物以外の領域の輝度値はＩ２とする。

ステップＳ４５では、（ｂ）に示すように、該対象物を含む所定の領域Ｂ１（たとえば、図３のステップＳ１８で設定される、対象物に外接する四角形の領域でもよい）以外のすべての領域Ｂ２の輝度を低くした表示画像を生成する。この例では、対象物を含む所定の領域Ｂ１に含まれるすべての画素の輝度値をそのまま保持し（したがって、対象物１０１の画素の輝度値は、Ｉ１に保持される）、それ以外の領域Ｂ２に含まれるすべての画素の輝度値を、Ｉ２から所定値だけ下げたＩ３にしている。ステップＳ４７では、こうして生成された表示画像を、表示装置４上に表示する。

（ｂ）に示すように、対象物領域Ｂ１以外の領域Ｂ２の輝度が低くされたため、対象物領域Ｂ１中の歩行者１０１は、スポットライトが当てられたような状況となる。したがって、（ａ）と比較しても明らかなように、歩行者のみが浮き上がったような、高いコントラストの表示画像を生成することができる。

図１０には、一例として、（ａ）実際に取得されたグレースケール画像と、（ｂ）上記のステップＳ４５の処理によって生成された表示画像と、が示されている。グレースケール画像には、歩行者１０３が撮像されている。該歩行者１０３が、上記のように衝突の可能性が高いと判定された対象物であると仮定する。

（ｂ）の画像では、歩行者１０３を囲む所定領域以外の領域の輝度が低くされている。したがって、（ａ）に比べて、瞬時に歩行者１０３の存在を認識することができる。比較のため、（ｃ）に、グレースケール画像中の対象物を枠１１１で強調表示する従来の警報形態を示すが、（ｃ）では、グレースケール画像中に歩行者１０３以外の様々なものが撮像されているため、強調表示を行っても、運転者は、どこに注意すべきかを瞬時に理解しかねるおそれがある。

特に、ハンドルから車幅方向に所定距離だけ離れた場所に設置された表示装置４を利用している場合には、（ｃ）のような画像では、対象物の認識に遅れが生じるおそれがある。この発明によれば、（ｂ）に示すように、歩行者１０３以外のものは暗くされ、歩行者１０３にのみスポットライトがあてられたような形態で表示されるので、（ｃ）に比べて、歩行者１０３の認識に要する時間を短くすることができる。

図の例では、対象物を囲む所定領域以外の領域の輝度を低くしたが、該対象物を囲む領域を設定することなく、対象物１０１以外の領域の輝度を低くしてもよい。また、上記では、対象物（もしくは、対象物を囲む所定領域）以外の領域の輝度を低くするのに、画素の輝度値を所定値だけ低くするようにしたが、代替的に、対象物（もしくは、対象物を囲む所定領域）以外の領域のすべての画素の輝度値を、予め決めた低い値（たとえば、黒値、もしくは黒値に近い輝度値）に変更するようにしてもよい。

なお、図示していないが、ステップＳ４７の表示画像の表示装置４への出力と共に、警報音をスピーカ３を介して出力してもよい。警報音は、任意のものでよく、単なるブザーのような音でもよいし、何らかの音声メッセージでもよい。

また、この実施例では、ステップＳ４１〜Ｓ４３の処理で衝突可能性が高いと判定された対象物について輝度値が保持されるように表示画像が生成されるが、代替的に、ステップＳ４４の警報出力判定処理でブレーキ操作を行っていると判断された場合には、該衝突可能性が高いと判定され、かつ、ステップＳ４４の警報出力判定処理でＧｓ≦ＧＴＨを満たす対象物について輝度値が保持されるように表示画像を生成してもよい。これにより、特に注意すべき対象物のみを運転者に認識させることができる。

図１１は、この発明の他の実施形態に従う、図３のステップＳ２４で実行される警報判定プロセスのフローチャートである。図６と異なるのは、ステップＳ４６が追加されている点であり、この点について、図１２を参照して説明する。

この実施例では、図１２の（ａ）に示すように、対象物の擬似画像が、画像処理ユニット２の記憶装置に予め記憶されている。擬似画像とは、対象物を擬似化したアイコンの画像である。この例では、対象物が歩行者であると仮定して、歩行者を擬似化したアイコン１０５が記憶されている。

ステップＳ４６では、該擬似画像を記憶装置から読み出し、ステップＳ４５の処理の結果得られた画像中の対象物（前述したように、輝度の低下が行われなかった対象物）の位置に該擬似画像を重畳して、表示画像を生成する。図１２では、ステップＳ４５により得られた（ｂ）の画像（これは、図１０の（ｂ）と同じである）の対象物１０３の位置に、（ａ）の擬似画像１０５が重畳された画像が、（ｃ）に示されている。ステップＳ４７では、こうして擬似画像が重畳された画像を、表示装置４上に出力する。

擬似画像は、表示される画像において、対象物を、それ以外の領域から視覚的に強く区別されるために重畳される画像である。したがって、疑似画像は、高い輝度値を持ち、かつ運転者の注意を強く喚起できるような色（たとえば、赤や黄色）で生成されるのが好ましい。ここで、擬似画像の輝度値は、高いコントラストの表示画像となるように、対象物以外の領域の輝度値、すなわちステップＳ４５の処理で低下した輝度値よりも所定値以上高い輝度値に設定されるのが好ましい。

なお、擬似画像の輝度値は、予め決めておいてもよいし、可変としてもよい、後者の場合、たとえば、ステップＳ４５で低下させられた該対象物以外の領域についての輝度値（該領域の画素の輝度値の平均でもよい）を取得し、これに、所定値を加算して擬似画像用の輝度値を算出することができる。該算出された輝度値の擬似画像を重畳して、表示画像を生成する。

擬似画像の重畳に加えて、図１２の（ｄ）に示すように、該疑似画像を枠１０７で囲むことによって強調表示するようにしてもよい。枠１０７も、擬似画像と同様に、運転者の注意を喚起しやすい色であり、かつ比較的高い輝度値で表示されるのが好ましい。

こうして表示装置４上には、対象物の位置を示す擬似画像にのみスポットライトがあたったような、高いコントラストの形態の画像が表示される。また、擬似画像は、撮像される種々のもの（すなわち、実写物）とは異なり、アニメ的なものである。したがって、運転者に、該擬似画像が出力されたことを瞬時に認識させることができ、よって、注意すべき対象物の存在を瞬時に認識させることができる。また、擬似画像によって、実際の対象物の撮像画像は隠されてしまうため、運転者に、前方を注視するよう促すことができる。

なお、生体には人以外にも動物が存在しており、対象物として、動物が検出されることもありうる。したがって、歩行者を擬似化した画像と動物を擬似化した画像を予め生成して記憶しておいてもよい。この場合、対象物が歩行者か動物かを判定する処理を、たとえばステップ４３５の前に設ける。これらの判定処理は、任意の適切なものを用いることができる。該判定処理において、対象物が歩行者と判定されたならば、ステップＳ４６では、歩行者に対応する擬似画像を読み出して重畳し、動物と判定されたならば動物に対応する擬似画像を読み出して重畳する。こうして、運転者に、注意すべき対象物が歩行者なのか動物なのかを瞬時に認識させることができる。

なお、上記の実施形態では、衝突可能性の判定に、接近判定領域および侵入判定領域を用いているが、該判定手法は、この形態に限定されるものではなく、他の任意の適切な衝突可能性の判定手法を用いることができる。

また、上で述べた実施形態では、表示装置４は、ナビゲーション装置の表示装置を利用している。本願発明では、運転者が短時間で認識できるような表示形態を採用するので、運転者の左または右側に配置された表示装置を利用することができる。しかしながら、他の表示装置を使用してもよく、従来の如くヘッドアップディスプレイに、本願発明の表示形態を適用してもよい。

さらに、上記の実施形態では、遠赤外線カメラを用いているが、本願発明は、他のカメラ（たとえば、可視カメラ）にも適用可能である。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ 表示装置

Claims (5)

1. 車両に搭載されたカメラを用いて車両の周辺を撮像する撮像手段と、
   前記撮像手段による撮像を介して、前記車両の周辺に存在する対象物の温度に応じた輝度値を有するグレースケール画像を取得する手段と、
   前記グレースケール画像から、所定の前記対象物を検出する対象物検出手段と、
   前記グレースケール画像に基づいて、前記車両に搭載された表示装置上に表示されるべき表示画像を生成する表示画像生成手段と、
   前記生成された表示画像を、前記表示装置上に表示する手段と、を備える車両の周辺監視装置であって、
   前記対象物検出手段は、前記各対象物が前記車両と衝突する可能性が高いか否かを判定し、前記車両と衝突する可能性の高い前記対象物を、前記所定の対象物として検出し、かつ、
   前記対象物検出手段は、運転者によるブレーキ操作を行っているか否かを判断し、ブレーキ操作を行っているときは、前記車両の減速度を算出し、
   前記表示画像生成手段は、前記検出した各対象物について、当該対象物の前記車両に対する相対速度及び前記車両からの距離から定まる閾値をそれぞれ算出し、前記算出した減速度を前記算出した前記各閾値と比較して、前記算出した減速度が、少なくとも一つの前記算出した閾値以下であるときに、前記グレースケール画像中の、前記所定の対象物以外の領域の輝度を低下させることによって前記表示画像を生成する、
   周辺監視装置。
2. 前記表示装置は、前記車両の運転者が視認可能な位置であって、前記車両のハンドルの回転の中心を通ると共に該車両の前後方向に伸長する線に対して所定距離だけ車幅方向に離れた位置に設けられている、
   請求項１に記載の周辺監視装置。
3. 前記表示画像生成手段は、更に、前記算出した減速度よりも大きい前記閾値に対応する前記検出した対象物以外の前記対象物の領域の輝度を低下させて前記表示画像を生成する、
   請求項１または２に記載の周辺監視装置。
4. 前記表示画像生成手段は、さらに、前記グレースケール画像中の前記対象物が存在する位置に、該対象物を擬似化した画像を重畳し、前記表示手段は、該重畳した前記表示画像を前記表示装置上に表示する、
   請求項１から３のいずれかに記載の周辺監視装置。
5. 前記表示装置は、ナビゲーション装置の表示装置である、
   請求項１から４のいずれかに記載の周辺監視装置。