JPWO2013077096A1 - 車両周辺監視装置 - Google Patents

Abstract

撮像装置（１６）により検知した動物が、自車両（１２）と接触する可能性のある危険度の高い動物であるか否かを適切に判定する。例えば、首部が上を向いた姿勢形状をしている動物（２２４）は、首部が下を向いた姿勢形状をしている動物（２２２）に比較して、急に飛び出す可能性が高いので危険度の高い動物（２２４）であると判定し、首部が上を向いた右側の動物（２２４）を赤色太枠（２１４）で囲って強調表示して警報するとともに、スピーカ（２４）等から警報を発する。

Description

この発明は、車両に搭載された赤外線カメラ（グレースケール画像）等により撮像した画像を用いて前記車両の周辺を監視する車両周辺監視装置に関し、特に夜間や暗所等での走行時に適用して好適な車両周辺監視装置に関する。

従来から、特開２００３−２８４０５７号公報（以下、ＪＰ２００３−２８４０５７Ａという。）に示すように、車両周辺監視装置では、赤外線カメラにより捉えられた自車両周辺の画像（グレースケール画像とその２値化画像）から、自車両との接触の可能性がある歩行者等の対象物を検知し、検知した対象物を自車両の運転者に提供する。

より具体的には、ＪＰ２００３−２８４０５７Ａに係る車両周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）が撮像した自車両周辺の画像において温度が高い部分を前記対象物として検知するとともに、左右画像中の対象物の視差を求めることにより当該対象物までの距離を算出し、当該対象物の移動方向や当該対象物の位置から、自車両の走行に影響を与えそうな（接触の可能性のある）歩行者等の対象物を検出して警報を出力する（ＪＰ２００３−２８４０５７Ａの［００１４］、［００１８］参照）。

特許第４２６７６５７号公報（以下、ＪＰ４２６７６５７Ｂという。）に係る車両周辺監視装置では、車両に搭載された単一の赤外線カメラを用いて、所定時間間隔で車両周辺の対象物を少なくとも２回（２フレーム）撮像する。前回の画像の大きさ（サイズ）に比較して今回の撮像画像における対象物の画像の大きさ（サイズ）の変化は、対象物と車両との相対速度が高いほど大きくなる。そして、車両の前方に存在する対象物は、当該対象物と車両との相対速度が高いほど、車両への到達時間が短くなる。このように、単一の赤外線カメラであっても所定時間間隔での同一の対象物の画像部分の大きさの変化率から、車両への到達時間を推定することで車両の周辺を監視することができる（ＪＰ４２６７６５７Ｂの［０００６］、［０００７］、［００６１］参照）。

特許第４１７３９０１号公報（以下、ＪＰ４１７３９０１Ｂという。）に係る車両周辺監視装置は、車両周辺に存在し、車両と接触する可能性のある対象物は歩行者に限られるものではなく、例えば、鹿等の大型動物が道路上に存在していて車両と接触する場合も考えられるので、対象物の中から人以外の動物を検知する技術が開示されている（ＪＰ４１７３９０１Ｂの［０００６］）。

ところで、ステレオカメラにより対象物を検出して警報を出力するＪＰ２００３−２８４０５７Ａに係る車両周辺監視装置は、赤外線カメラを２台搭載するために、高コストであるという課題がある。

低コスト化のために、単一の赤外線カメラを用いるＪＰ４２６７６５７Ｂに係る車両周辺監視装置は、距離精度が低いことから、移動ベクトルに沿った一定の動作をする歩行者用としては利用に供し得るが、移動ベクトルに沿わない不規則な動作をする動物用としては満足な性能であるとはいえない。

なお、ＪＰ４１７３９０１Ｂに係る車両周辺監視装置では、基本的には、４足歩行の動物の胴体部の水平方向の幅と垂直方向の幅の比率が、２足歩行の人の胴体部の水平方向の幅と垂直方向の幅の比率とは識別できるとの知見に基づき、胴体部の形状から動物を検知するようにしている（ＪＰ４１７３９０１Ｂの［０００５］、［００６４］を参照。）。

この発明は、このような技術に関連してなされたものであって、検知した動物が、自車両の走行に影響を与える可能性のある危険度の高い動物であるか否かを的確且つ低コストに判定することを可能とする車両周辺監視装置を提供することを目的とする。

この発明に係る車両周辺監視装置は、自車両に搭載された撮像装置により撮像した画像を用いて前記自車両の周辺を監視する車両周辺監視装置において、監視対象物としての動物を前記画像から検知する動物検知処理部と、前記画像から検知された前記動物の姿勢形状に応じて、前記動物が前記自車両の走行に影響を与える可能性のある危険度の高い動物であるか否かを判定する動物危険度判定部と、を備えることを特徴とする。

この発明によれば、単に、動物の位置により前記動物が前記自車両の走行に影響を与える可能性のある危険度の高い動物であるか否かを判定するのではなく、前記動物の姿勢形状に応じて、前記動物が前記自車両の走行に影響を与える可能性のある危険度の高い動物であるか否かを判定しているので、危険度が高い動物を的確に判定することができ、従って、危険度が高い動物に対する運転者への注意喚起を適切に行うことができる。この場合、距離情報を用いないで判定できるため、演算負荷が小さく、す早く判定することができる。結果として、低速のＣＰＵの使用が可能となり、低コスト化が図れる。後述するように、単一の撮像装置であっても、この発明を実施できる。

ここで、前記動物危険度判定部は、前記動物の姿勢形状中に脚部が検知された場合、前記危険度の高い動物であると判定してもよい。道路上に位置する動物は、脚部が検知されるが、道路外に位置する動物は、草むら等に位置することが多いので脚部が検知されない。よって、動物が道路上に位置するか、道路外に位置するかの判定は、脚部の存在の有無により的確に判定することができる。

また、前記動物危険度判定部は前記動物の姿勢形状中、首部（首）の角度が胴体部に対して上向きである場合、前記危険度の高い動物であると判定してもよい。首部の角度が胴体部に対して下向きである動物は、急に飛び出したりすることがないため、首部の角度が上向きである動物の方が危険であると判定することができる。

さらに、前記動物危険度判定部は、前記動物の姿勢形状中、前記動物の位置から前記動物の顔向き方向の道路端までの距離が所定距離より長い場合、前記危険度の高い動物であると判定してもよい。動物の位置から前記動物の顔向き方向の道路端までの距離が所定距離より長い場合、道路上に存在する時間が長いと考えられ、前記危険度の高い動物であると判定することができる。

さらにまた、前記動物危険度判定部は、前記画像から前記危険度の高い動物の候補を複数検知した場合、検知した各前記危険度の高い動物の候補中、路面交点位置が前記自車両に最も近い前記危険度の高い動物の候補を、前記危険度の高い動物であると判定してもよい。

さらにまた、前記動物危険度判定部は、前記画像から前記危険度の高い動物の候補を複数検知した場合、検知した各前記危険度の高い動物の候補中、前記自車両の進行方向上、最も近い位置に存在する前記危険度の高い動物の候補を前記危険度の高い動物であると判定してもよい。

なお、前記撮像装置を単一の撮像装置としてもよい。この発明に係る車両周辺監視装置では、ステレオカメラのように、２つの画像の視差を使っての瞬時の距離精度が出せない単一の撮像装置を利用する場合であっても、動物の姿勢形状から危険度の高い動物であるか否かを判定するようにしているので、１つの画像から瞬時に危険度の高い動物であるか否かを的確に低コストで判定することができる。

この発明によれば、単に、動物の位置により前記動物が前記自車両の走行に影響を与える可能性のある危険度の高い動物であるか否かを判定するのではなく、前記動物の姿勢形状に応じて、前記動物が前記自車両の走行に影響を与える可能性のある危険度の高い動物であるか否かを判定しているので、検知した動物が、自車両の走行に影響を与える可能性のある危険度の高い動物であるか否かを的確に判定することできる。

この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。 図１に示す車両周辺監視装置が搭載された車両の模式図である。 車両周辺監視装置の画像処理ユニットによる動作を説明するフローチャートである。 動物検知処理に供される動物の画像の模式図である。 動物検知処理に供される動物の画像の他の模式図である。 危険度の高い動物を強調表示したグレースケール画像を示す説明図である。 危険度の高い動物を強調表示した他のグレースケール画像を示す説明図である。 危険度の高い動物を強調表示したさらに他のグレースケール画像を示す説明図である。 危険度の高い動物を強調表示したさらに他のグレースケール画像を示す説明図である。 危険度の高い動物を強調表示したさらに他のグレースケール画像を示す説明図である。 ２匹の危険度の高い動物を強調表示したグレースケール画像を示す説明図である。 変形例に係る車両周辺監視装置が搭載された車両の模式図である。 汎用ディスプレイに危険動物を強調表示したグレースケール画像を、ＭＩＤ（Ｍｕｌｔｉ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）に前方に動物が存在することを観念させる動物アイコンとして表示した画像を示す運転手から見た模式的内観図である。

以下、この発明の実施形態について図面を参照して説明する。

図１は、この発明の一実施形態に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両（自車両ともいう。）１２の模式図である。

図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４と、この画像処理ユニット１４に接続される単一（単眼）の赤外線カメラ１６（撮像装置）と、自車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、自車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６により撮影された画像を表示し、自車両１２の走行に影響を与える可能性のある危険度の高い動物を車両の運転者に認識させるためのＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）２６ａ等を含む画像表示装置２６と、を備える。

前記の画像表示装置２６としては、ＨＵＤ（ヘッドアップディスプレイ）２６ａに限らず、自車両１２に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ（ＭＩＤ：マルチインフォメーションディスプレイ）を利用することができる。

なお、この発明では、自車両１２に対する接触の危険性の高低の判定、いわゆる危険度の判定対象を動物としているので、理解の便宜・煩雑さの回避のため、歩行者等の人に対する公知の危険度の判定処理（ＪＰ２００３−２８４０５７Ａ及びＪＰ４２６７６５７Ｂ参照）についての説明は省略する。

画像処理ユニット１４は、自車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の動物を検知し、検知した前記動物が自車両１２の走行に影響を与える可能性のある危険度の高い動物であると判断したときにスピーカ２４から警報（例えば、ピッ、ピッ、…となる音）を発するとともに、ＨＵＤ２６ａ上にグレースケール表示される撮像画像の中の危険度の高い動物を、赤色等の目立つ色枠で囲って協調表示して警報する。警報により運転者の注意を喚起する。

画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路等の入力回路と、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）と、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃと、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップ及びテンプレート｛動物形状テンプレート：鹿や犬等の動物の右向き、左向き、正面（背面）向き等｝等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部１４ｍと、クロック（時計部）及びタイマ（計時部）と、スピーカ２４の駆動信号と画像表示装置２６の表示信号等を出力する出力回路等を備えており、赤外線カメラ１６、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。

画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込み、テーブル、マップ、及びテンプレート等を参照しながらプログラムを実行することで、各種機能手段（機能部ともいう。）として機能し、スピーカ２４及び画像表示装置２６に駆動信号（音声信号や表示信号）を送出する。これらの機能は、ハードウエアにより実現することもできる。

この実施形態において、画像処理ユニット１４は、動物検知処理部１０４、及び動物危険度判定部１０５を有し、前記動物危険度判定部１０５は、姿勢形状検知部１０６と、注意喚起処理部１０８と、を備える。

なお、画像処理ユニット１４は、基本的には、赤外線カメラ１６により取得した画像と、記憶部１４ｍに記憶されている動物形状、人体形状、車両形状、及び人工構造物形状等の模式的なテンプレートと比較して物体を認識する物体認識処理（物体検知処理）プログラムを実行する。

図２に示すように、赤外線カメラ１６は、自車両１２の前部バンパー部に、自車両１２の車幅方向中心部に配置されており、撮像対象（物体）の温度が高いほど、その出力信号（撮像信号）レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ２６ａは、自車両１２のフロントウインドシールド上、運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

ここで、画像処理ユニット１４は、赤外線カメラ１６から出力されるアナログの映像信号を、数十ｍｓ、例えば、１秒／３０フレーム［ｍｓ］のフレームクロック間隔・周期毎にデジタルデータに変換して記憶部１４ｍ（画像メモリ）に取り込み、記憶部１４ｍに取り込んだ車両前方の画像に対して各種演算処理を行う上述した機能を有する。

動物検知処理部１０４は、記憶部１４ｍに取り込んだ車両前方の前記画像（映像）から動物候補の画像部分を抽出し、抽出した画像部分を動物候補として検知する。

動物危険度判定部１０５を構成する姿勢形状検知部１０６は、動物検知処理部１０４により検知された動物候補の姿勢形状を検知する。動物の姿勢形状の例としては、脚部全体が存在するか、首部の胴体部に対する向きが上向きであるか下向きであるか、顔向きが右向きであるか左向きであるか、及び動物の路面交点位置の部位が脚部であるか胴体部であるか等を挙げることができる。

動物危険度判定部１０５は、姿勢形状検知部１０６により検知された動物候補の姿勢形状に応じて、前記動物候補が自車両１２の走行に影響を与える可能性のある危険度の高い動物であるか否かを判定し、危険度の高い動物であると判定したとき、注意喚起処理部１０８を通じて、危険度の高い動物であることを運転者に知らせる（警報する）注意喚起処理を行う。

ここで、単一の赤外線カメラ１６により、自車両１２が対象物に接触するまでの時間及び距離の算出について説明する。前記フレームクロック間隔・周期（所定時間間隔）をもって撮像された画像間における同一の監視対象物（ここでは、動物）の画像部分の大きさの変化率Ｒａｔｅを算出し、さらに前記変化率Ｒａｔｅを用いて監視対象物（動物）が自車両１２に到達するまでの時間（接触余裕時間ともいう。）ＴＴＣ（ＴＴＣ：Ｔｉｍｅ Ｔｏ Ｃｏｎｔａｃｔ ｏｒ Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）を算出するとともに、監視対象物（動物）の実空間における位置、ここでは自車両１２からの距離Ｚを算出する。

自車両１２が監視対象物（動物）に接触するまでの接触余裕時間ＴＴＣは、前記変化率Ｒａｔｅ（画像から求める。）と、所定時間間隔である撮像間隔（フレームクロック間隔・周期）ｄＴ（既知）とから、公知の要領にて、例えば、ＪＰ４２６７６５７Ｂに示されるように、次の（１）式により求めることができる。
ＴＴＣ＝ｄＴ×Ｒａｔｅ／（１−Ｒａｔｅ） …（１）

なお、変化率Ｒａｔｅは、監視対象物（動物）の前回の撮像時の画像中の監視対象物（動物）の幅又は長さＷ０（それぞれ画素数で記憶しておけばよい。）と、今回の撮像時の画像中の同一監視対象物（動物）の幅又は長さＷ１（画素数）との比（Ｒａｔｅ＝Ｗ０／Ｗ１）で求めることができる。

また、監視対象物（動物）までの距離Ｚは、ＪＰ４２６７６５７Ｂに示されるように、次の（２）式により求めることができる。なお、（２）式において、Ｖｓは、より正確には、監視対象物（動物）と自車両１２間の相対速度とされる。監視対象物（動物）が静止している場合には、相対速度は、車速Ｖｓに等しい。
Ｚ＝Ｒａｔｅ×Ｖｓ×ｄＴ／（１−Ｒａｔｅ） …（２）

基本的には以上のように構成され、且つ動作するこの実施形態に係る車両周辺監視装置１０の詳細な動作について、図３のフローチャートを参照しながら説明する。

まず、ステップＳ１において、画像処理ユニット１４は、車速センサ１８により検出される車速Ｖｓ等から自車両１２の走行状態（走行中か停車中）を判定し、停車中（ステップＳ１：ＮＯ）である場合には、処理を停止する。

走行中（ステップＳ１：ＹＥＳ）である場合、ステップＳ２において、画像処理ユニット１４は、赤外線カメラ１６によりフレーム毎に撮像された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、グレースケール画像を画像メモリ（記憶部１４ｍ）に格納するとともに、格納したグレースケール画像の２値化処理、すなわち、輝度閾値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする２値化画像への変換処理を行い、変換した２値化画像も前記フレームに対応させてフレーム毎に記憶部１４ｍに格納する。この２値化処理では、人体では、頭部、肩、胴体、及び２本の脚等からなる塊（人体対象物候補）が、「１」の塊（集合体）として検出される。また、犬（小型動物）、鹿（大型動物）等の動物（この実施形態では四足歩行動物）でも同様に、頭部、胴体、尾、及び４本の脚等の塊（動物対象物候補）が、「１」の塊（集合体）として検出される。

次いで、ステップＳ３にて、画像処理ユニット１４は、フレーム（画像）毎の２値化画像の「１」（白）をｘ方向（水平方向）の走査ライン毎にランレングスデータに変換し、ｙ方向（垂直方向）に重なる部分のあるラインを１つの対象物とみなし、当該対象物の外接四角形にそれぞれラベルを付け、例えば、図４及び図５に破線で示す外接四角形で囲った動物候補領域１５２ａ、１５２ｂとするラベリング処理を行う。

次いで、ラベリング処理された動物候補領域１５２ａ、１５２ｂが存在する画像について、ステップＳ４において、動物検知処理部１０４は、フレームの画像中、ラベルが付けられた動物候補領域１５２ａ、１５２ｂより若干大きいマスク領域１５３ａ（図４中、一点鎖線で囲んだ領域）、１５３ｂ（図５中、一点鎖線で囲んだ領域）に対して、それぞれマスク領域１５３ａ、１５３ｂ内の画素の上側から下側に且つ左側から右側に対して画素値を走査しながら探索していき、暗い領域の「０」画素が連続して続いた場合、その走査部分が画像中の動物候補１６２ａ、１６２ｂ（それぞれ、頭部１５５と、首部１５７と、胴体部１６０と、脚部１５９とから構成される。以下、動物候補１６２ともいう。）と、路面５１との境界であると判定し、対象物の下端（路面交点位置ともいう。）ＯＢｂａ、ＯＢｂｂとする。

また、動物検知処理部１０４は、それぞれの動物候補１６２ａ、１６２ｂの下端ＯＢｂａ、ＯＢｂｂから逆に上側にマスク領域１５３ａ、１５３ｂ内の画像に対して左側から右側に画素毎に走査しながら探索していき、垂直方向で輝度の変化区間（２値化画像では、「１」と「０」の対が概ね連続する区間）を検出した場合、その変化区間の走査部分が動物候補１６２ａ、１６２ｂと背景との境界であると判定し、対象物の上端ＯＢｔａ、ＯＢｔｂとする。

なお、動物候補１６２（１６２ａ：図４、１６２ｂ：図５）であると判定するか否かは、種々の判定の仕方があるが、例えば、水平方向の幅Ｗ２と垂直方向の幅Ｈ２との比率Ｗ２／Ｈ２が値「１」を上回る｛（Ｗ２／Ｈ２）＞１｝所定範囲となる横長の領域（胴体部１６０に対応する。）を有し、且つ前記横長の領域の下方に存在する二つ以上の領域（最大で４領域の脚部１５９）の左右端幅Ｗ３と、垂直方向の幅Ｈ３との比率Ｗ３／Ｈ３が値「１」を上回る｛（Ｗ３／Ｈ３）＞１｝場合に動物候補１６２であると判定することができる。
また、例えば、胴体部１６０の下に３本以上の脚部１５９、好ましくは４本の脚部１５９を検出した場合には、動物候補１６２であると判定することができる。

さらに、胴体部１６０の上端部の水平エッジ線（図４、図５とも高さＨ１の上端に接する水平線）と頭部１５５の位置が交差しているか（図４の場合）、頭部１５５の位置が胴体部１６０の上端部の前記水平エッジ線より下側にある（図５の場合）には、動物候補１６２であると判定することができる。

ステップＳ４の動物検知処理の結果をステップＳ５で判定する。ステップＳ５において、少なくとも一つ（一匹）の動物候補１６２を検出した場合（ステップＳ５：ＹＥＳ）、ステップＳ６の動物危険度判定処理にて、動物候補１６２が自車両１２の走行に影響を与える可能性（自車両１２と接触する可能性）のある危険度の高い動物であるか否かを判定する。動物候補１６２が検出されなかった場合（ステップＳ５：ＮＯ）、ステップＳ１の処理から繰り返す。

ステップＳ６の動物危険度判定処理の結果を参照して、ステップＳ７において、危険度の高い動物が検知された場合（ステップＳ７：ＹＥＳ）には、ステップＳ８にて、検知された危険度の高い動物に対する注意喚起処理を行う。ステップＳ７において、危険度の高い動物が検知されなかった場合（ステップＳ７：ＮＯ）には、ステップＳ１の処理から繰り返す。

ここで、ステップＳ６の動物危険度判定処理を実施する動物危険度判定部１０５による処理及びステップＳ８の注意喚起処理を実施する注意喚起処理部１０８による処理について詳述する。

動物危険度判定部１０５は、姿勢形状検知部１０６により動物候補１６２の姿勢形状を検知し、検知した姿勢形状に応じて、動物候補１６２が自車両１２の走行に影響を与える危険度の高い動物であるか否かを判定する。なお、画像中に、動物候補１６２が複数検知されている場合には、最も危険度の高い動物候補１６２を、危険度の高い動物であると判定する。

具体的に、姿勢形状検知部１０６を利用した動物危険度判定部１０５での第１の判定の仕方として、動物候補１６２の姿勢形状中に脚部１５９を検知した場合、脚部１５９が検知された動物候補１６２は、危険度の高い動物であると判定する。
そして、危険度の高い動物であると判定した動物候補１６２が、注意喚起処理部１０８を通じて画像（画面）中で強調表示される。
図６は、ＨＵＤ２６ａに表示されたグレースケール画像（映像）２００を示している。

図６のグレースケール画像２００の左右方向の中心位置が自車両１２の赤外線カメラ１６の正面方向を示している。画面中央下の道路２０２の右側道路端（道路右端）２０４及び左側道路端（道路左端）２０６がエッジ検出処理等により抽出される。

図６の中央左側の領域は、実際には、草むら２０８であるが、動物が存在する場所は、道路２０２外の草むら２０８等であることが多い。そのため、道路２０２上に存在するか、道路２０２外に存在するかは脚部１５９（図４、図５参照）の有無で判定することができる。

図６のグレースケール画像２００中に、動物検知処理部１０４で検知された動物候補１６２（図４又は図５）に対応する２匹の動物２１０、２１２（ここでは、鹿）が映し出されているが、左側の動物２１０は、脚部が存在せず、中央の動物２１２は、脚部１５９（図４、図５参照）が検知されている。

よって、第１の判定の仕方によれば、動物危険度判定部１０５は、脚部１５９が検知された動物候補１６２を、危険度の高い動物であると判定する。このため、中央の動物２１２を赤色太枠２１４で囲って強調表示して警報する。左側の動物２１０は、黄色細枠２１６で囲って表示して警報する。中央の動物２１２を赤色太枠２１４で囲って強調表示するとき、併せてスピーカ２４により警報を発生する。

第２の判定の仕方として、動物危険度判定部１０５は、姿勢形状検知部１０６が、動物候補１６２の姿勢形状中、首部１５７の胴体部１６０に対する角度θが上向き（θ＞０）であることを検知した場合、上向きの首部１５７を有する動物候補１６２、この場合、図４例の動物候補１６２ａは、危険度の高い動物であると判定する。
図７は、ＨＵＤ２６ａのディスプレイ（表示部）に表示されたグレースケール画像（映像）２２０を示している。

図７のグレースケール画像２２０中に、動物検知処理部１０４で検知された動物候補１６２に対応する２匹の動物２２２、２２４（ここでは、鹿）が映し出されているが、左側の動物２２２は、首部１５７が下を向いている（図５参照）。右側の動物２２４は、首部１５７が上を向いている（図４参照）。首部（首）１５７を下に向けている動物２２２は、急に飛び出したりすることがないため、首部（首）１５７を上に向けている動物２２４の方が危険である。

よって、第２の判定の仕方によれば、動物危険度判定部１０５は、首部１５７が上向きの動物候補１６２ｂを、危険度の高い動物であると判定するので、右側の動物２２４を赤色太枠２１４で囲って強調表示して警報する。左側の動物２２２は、黄色細枠２１６で囲って表示して警報する。右側の動物２２４を赤色太枠２１４で囲って強調表示するとき、併せてスピーカ２４により警報を発生する。

第３の判定の仕方として、動物危険度判定部１０５は、姿勢形状検知部１０６が、動物候補１６２の姿勢形状中、動物候補１６２の位置から前記動物候補１６２の顔向き方向の道路端までの距離が所定距離、例えば、画像の左右方向の中心位置（概ね道路２０２の幅の中心位置）より外側にいる動物が危険度の高い動物であると判定する。

具体的には、例えば、図８のグレースケール画像２３０中に、動物検知処理部１０４で検知された動物候補１６２に対応する顔向き方向が右側道路端２０４を向いている２匹の動物２３２、２３４（ここでは、鹿）が映し出されているが、左側の動物２３２から右側道路端２０４までの距離ａが、所定距離より長く、右側の動物２３４から右側道路端２０４までの距離ｂは、所定距離より短い（ａ＞ｂ）。

顔向き方向（ここでは、進行方向と考える。）の道路端までの距離ａの長い動物２３２は、距離ｂの短い動物２３４に比較して道路２０２上に、より長い時間存在するものとみなして動物２３２が危険度の高い動物であると判定する。

よって、第３の判定の仕方によれば、動物危険度判定部１０５は、左側の動物２３２を、危険度の高い動物であると判定するので、赤色太枠２１４で囲って強調表示して警報する。右側の動物２３４は、黄色細枠２１６で囲って表示して警報する。左側の動物２３２を赤色太枠２１４で囲って強調表示するとき、併せてスピーカ２４により警報を発生する。

第４の判定の仕方としては、動物危険度判定部１０５は、上述した第１乃至第３の判定の仕方のいずれかにおいて、画像から危険度が同程度に高い動物の候補を複数検知した場合、例えば、図９に示すグレースケール画像２４０中の動物２４２、２４４について、第３の判定の仕方により、顔向き方向が道路２０２の右側を向いている図９中、左側の動物２４２からの右側道路端２０４までの距離ａと、顔向き方向が道路２０２の左側を向いている図９中、右側の動物２４４から左側道路端２０６までの距離ｂとは概ね同距離ａ≒ｂと判定された場合、道路２０２と動物２４２、２４４の下端の路面交点位置ＯＢｂ１、ＯＢｂ２が、自車両１２に近い動物２４４が危険度の高い動物であると判定する。

よって、第４の判定の仕方によれば、動物危険度判定部１０５は、自車両１２に近い右側の動物２４４を、危険度の高い動物であると判定するので、赤色太枠２１４で囲って強調表示して警報する。左側の動物２４２は、黄色細枠２１６で囲って表示して警報する。右側の動物２４４を赤色太枠２１４で囲って強調表示するとき、併せてスピーカ２４により警報を発生する。

第５の判定の仕方としては、動物危険度判定部１０５は、上述した第１乃至第３の判定の仕方のいずれかにおいて、画像から危険度が同程度に高い動物の候補を複数検知した場合、例えば、図１０のグレースケール画像２５０中に示す動物２５２、２５４について、第１の判定の仕方により、動物２５２、２５４ともに、脚部が見えていることが検知された場合、画像中心２５６（自車両１２の進行方向）に近い動物２５２の方が、画像中心２５６から離れている動物２５４より危険度が高い動物であると判定する。

よって、第５の判定の仕方によれば、動物危険度判定部１０５は、自車両１２の進行方向により近い位置に存在する左側の動物２５２を、危険度の高い動物であると判定するので、赤色太枠２１４で囲って強調表示して警報する。右側の動物２５４は、黄色細枠２１６で囲って表示して警報する。左側の画像中心の動物２５２を赤色太枠２１４で囲って強調表示するとき、併せてスピーカ２４により警報を発生する。

上述した第１乃至第５の判定の仕方によって、危険度の優劣をつけることができなかった場合、例えば、図１１のグレースケール画像２６０に示すような位置に、動物２６２、２６４が存在していた場合、第６の判定の仕方として、動物危険度判定部１０５は、両方の動物２６２、２６４を危険度の高い動物であるとみなし、それぞれを赤色太枠２１４で囲って強調表示して警報するとともに、スピーカ２４を通じて警報する。
［実施形態の概要］

以上説明したように、上述した実施形態に係る車両周辺監視装置１０は、自車両１２に搭載された単一の赤外線カメラ１６により撮像した画像から危険度の高い動物を検知して警報する。

この場合、車両周辺監視装置１０は、監視対象物としての動物を前記画像から検知する動物検知処理部１０４と、前記画像から検知された前記動物の姿勢形状に応じて、前記動物が自車両１２の走行に影響を与える可能性のある危険度の高い動物であるか否かを判定する動物危険度判定部１０５と、を備える。

この実施形態によれば、単に、動物の位置により前記動物が自車両１２の走行に影響を与える可能性のある危険度の高い動物であるか否かを判定するのではなく、前記動物の姿勢形状に応じて、前記動物が自車両１２の走行に影響を与える可能性のある危険度の高い動物であるか否かを判定しているので、危険度が高い動物を的確に判定することができる。従って、危険度が高い動物に対する運転者への注意喚起を適切に行うことができる。この場合、動物の姿勢形状に応じて危険度を判定しているので、距離情報や移動ベクトルを用いないでも判定でき、演算負荷が小さくなり、判定時間を短くすることができる。よって、低速のＣＰＵの使用も可能であり、低コスト化が図れる。

例えば、動物危険度判定部１０５は、具体的な第１の判定の仕方として、前記動物の姿勢形状中に脚部１５９（図４、図５参照）を検知した場合、前記危険度の高い動物であると判定してもよい。この場合、図６に示したように、道路２０２上に位置する動物２１２は、脚部が検知されるが、道路２０２外に位置する動物２１０は、草むら２０８等に位置することが多いので脚部１５９が検知されない。よって、動物が道路２０２上にいるか、道路２０２外にいるかの判定は、脚部１５９の存在の有無により的確に判定することができる。

また、動物危険度判定部１０５は、第２の判定の仕方として、図７に示したように、動物２２２、２２４の姿勢形状中、首部１５７の角度θが胴体部１６０に対して上向きである場合（図４参照）、前記危険度の高い動物であると判定してもよい。首部１５７の角度θが胴体部１６０に対して下向きである動物２２２は、急に飛び出したりすることがないため、首部１５７の角度が上向きである動物２２４の方が下向きである動物２２２よりも危険であると判定することができる（図７参照）。

さらに、動物危険度判定部１０５は、第３の判定の仕方として、図８に示したように、動物２３２、２３４の姿勢形状中、動物２３２の位置から動物２３２の顔向き方向の右側道路端２０４までの距離ａが所定距離、道路２０２の幅の１／２より長い場合、前記危険度の高い動物であると判定してもよい。動物２３２の位置から動物２３２の顔向き方向の右側道路端２０４までの距離ａが所定距離より長い場合、道路２０２上に存在する時間が長いと考えられ、危険度の高い動物であると判定することができる。

さらにまた、動物危険度判定部１０５は、第４の判定の仕方として、図９に示したように、グレースケール画像２４０から前記危険度の高い動物の候補を複数検知した場合、検知した各前記危険度の高い動物２４２、２４４の候補中、路面交点位置ＯＢｂ２が自車両１２に最も近い前記危険度の高い動物２４４の候補を、前記危険度の高い動物２４４であると判定してもよい。

さらにまた、動物危険度判定部１０５は、第５の判定の仕方として、図１０に示したように、グレースケール画像２５０から前記危険度の高い動物の候補を複数検知した場合、検知した各前記危険度の高い動物２５２、２５４の候補中、自車両１２の進行方向（画像中心２５６）上、最も近い位置に存在する前記危険度の高い動物２５２の候補を前記危険度の高い動物２５２であると判定してもよい。

なお、上述した実施形態では、ステレオカメラのように２つの画像の視差を使って瞬時に距離精度が出せない単一の赤外線カメラ１６を利用しているのにも拘わらず、動物の姿勢形状から危険度の高い動物であるか否かを判定するようにしているので、１つの画像から瞬時に危険度の高い動物であるか否かを的確に判定することができる。低コスト化が図れる。
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

例えば、図１２に示すように、自車両１２Ａに搭載された左右一組の赤外線カメラ１６Ｒ、１６Ｌを備える車両周辺監視装置を用いてもよい。いわゆるステレオカメラとしての赤外線カメラ１６Ｒ、１６Ｌは、自車両１２Ａの前部バンパー部に、自車両１２Ａの車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、且つ両者の路面からの高さが等しくなるように固定されている。この左右一組の赤外線カメラ１６Ｒ、１６Ｌを備える車両周辺監視装置では、公知のように、左右一組の赤外線カメラ１６Ｒ、１６Ｌにより撮像した自車両周辺の画像において温度が高い部分を対象物にするとともに、左右画像中の同一対象物の視差等を用いて三角測量の原理により前記対象物までの距離を算出し、前記対象物の位置から、車両（自車両）１２Ａの走行に影響を与えそうな対象物（接触の可能性のある動物）を検出して危険度の高い動物であるか否かを瞬時に判定し、危険度の高い動物であると判定した場合には、注意喚起出力を出力する。

また、赤外線カメラを用いることなく、通常の可視領域を撮像する一般的なデジタルビデオカメラ（撮像装置）を実施形態と同様に単一のカメラあるいはステレオカメラとして用いるようにすることもできる。

さらに、図１３の上部の運転者位置から見た夜間走行中の模式的内観図に示すように、画像表示装置２６として、ダッシュボード２９０の中央に配置されるナビゲーション装置やオーディオ装置用の表示部２６ｂ（汎用ディスプレイ）に、図１３の右下の拡大画像に示す赤外線カメラ１６（１６Ｌ）等によるグレースケール画像（映像）２８０を映像表示するとともに、映像表示したグレースケール画像２８０中に、赤色太枠２１４で、フロントウインドウの前遠方に実際に存在する危険動物２８２ｒに対応する危険動物２８２の映像を表示して警報するとともにスピーカ２４を通じて警報する。

その一方、汎用ディスプレイである表示部２６ｂに赤色太枠２１４で囲った危険動物２８２を表示するときに、併せて、運転者の正面近傍のメータユニット２９２の中央に配置された、比較的に低解像度の表示部であるＭＩＤ（マルチインフォメーションディスプレイ）２６ｃ上に、図１３の左下の拡大画像に示すような動物アイコン２９６（ここでは、鹿のアイコン）を表示するようにして警報してもよい。この実施形態では、表示部２６ｂに赤色太枠２１４で囲った危険動物２８２が表示されない限り、動物アイコン２９６は、表示されない。動物アイコン２９６は、黄色等の目立つ色や点滅表示して運転者の注意を喚起できるようにすることが望ましい。なお、動物アイコン２９６の下部に表示している３本の線は、当該車両周辺監視装置１０が起動されたときに、例えば常時表示される道路の左右端及び中央線を運転者に観念（想起）させる道路アイコンを示している。

Claims (7)

1. 自車両（１２）に搭載された撮像装置（１６）により撮像した画像を用いて前記自車両（１２）の周辺を監視する車両周辺監視装置（１０）において、
   監視対象物としての動物を前記画像から検知する動物検知処理部（１０４）と、
   前記画像から検知された前記動物の姿勢形状に応じて、前記動物が前記自車両（１２）の走行に影響を与える可能性のある危険度の高い動物であるか否かを判定する動物危険度判定部（１０５）と、
   を備えることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記動物危険度判定部（１０５）は、
   前記動物（２１２、１６２）の姿勢形状中に脚部（１５９）が検知された場合、前記危険度の高い動物（２１２）であると判定する
   ことを特徴とする車両周辺監視装置。
3. 請求項１記載の車両周辺監視装置において、
   前記動物危険度判定部（１０５）は、
   前記動物（２２４、１６２）の姿勢形状中、首部（１５７）の角度（θ）が胴体部（１６０）に対して上向きである場合、前記危険度の高い動物（２２４）であると判定する
   ことを特徴とする車両周辺監視装置。
4. 請求項１記載の車両周辺監視装置において、
   前記動物危険度判定部（１０５）は、
   前記動物（２３２）の姿勢形状中、前記動物（２３２）の位置から前記動物（２３２）の顔向き方向の道路端（２０４）までの距離（ａ）が所定距離より長い場合、前記危険度の高い動物（２３２）であると判定する
   ことを特徴とする車両周辺監視装置。
5. 請求項２〜４のいずれか１項に記載の車両周辺監視装置において、
   前記動物危険度判定部（１０５）は、
   前記画像から前記危険度の高い動物（２４２、２４４）の候補を複数検知した場合、検知した各前記危険度の高い動物（２４２、２４４）の候補中、路面交点位置（ＯＢｂ２）が前記自車両（１２）に最も近い前記危険度の高い動物（２４４）の候補を、前記危険度の高い動物（２４４）であると判定する
   ことを特徴とする車両周辺監視装置。
6. 請求項２〜４のいずれか１項に記載の車両周辺監視装置において、
   前記動物危険度判定部（１０５）は、
   前記画像から前記危険度の高い動物（２５２、２５４）の候補を複数検知した場合、検知した各前記危険度の高い動物（２５２、２５４）の候補中、前記自車両（１２）の進行方向上、最も近い位置に存在する前記危険度の高い動物（２５２）の候補を前記危険度の高い動物（２５２）であると判定する
   ことを特徴とする車両周辺監視装置。
7. 請求項１〜６のいずれか１項に記載の車両周辺監視装置において、
   前記撮像装置（１６）が単一の撮像装置（１６）である
   ことを特徴とする車両周辺監視装置。

Images