JPWO2013058128A1 - 車両周辺監視装置 - Google Patents

Abstract

車両（１２）に搭載された撮像装置（１６）により撮像した画像から検知された歩行者候補（６２）と動物候補（１６２）とが前記画像上で所定関係（近傍に存在する等）にあるとき、動物候補（１６２）が歩行者候補（６２）と関係しているもの、すなわちペア対象物（Ｐｏｂｊ）とみなす。ペア対象物（Ｐｏｂｊ）を構成する動物候補（１６２）に対しては注意喚起出力を生成しない。よって、人が散歩をさせている動物（例えば、犬等の小型動物）に対する注意喚起の頻度を低減される車両周辺監視装置（１０）が提供される。

Description

この発明は、車両に搭載された赤外線カメラ（グレースケール画像）等により撮像した画像を用いて、前記車両の周辺を監視する車両周辺監視装置に関する。

特開２００３−２８４０５７号公報（以下、ＪＰ２００３−２８４０５７Ａという。）に示すように、従来から、車両周辺監視装置では、赤外線カメラにより捉えられた自車両周辺の画像（グレースケール画像とその２値化画像）から、自車両との接触の可能性がある歩行者等の対象物を検知し、検知した対象物を自車両の運転者に提供する。

ＪＰ２００３−２８４０５７Ａに係る車両周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）が撮像した自車両周辺の画像において温度が高い部分を前記対象物として検知するとともに、左右画像中の対象物の視差を求めることにより当該対象物までの距離を算出し、当該対象物の移動方向や当該対象物の位置から、自車両の走行に影響を与えそうな（接触の可能性のある）歩行者等の対象物を検出して警報を出力する（ＪＰ２００３−２８４０５７Ａの［００１４］、［００１８］）。

特許第４２６７６５７号公報（以下、ＪＰ４２６７６５７Ｂという。）に係る車両周辺監視装置では、車両に搭載された単一の赤外線カメラを用いて、所定時間間隔で車両周辺の対象物を少なくとも２回（２フレーム）撮像する。前回の画像の大きさ（サイズ）に比較して今回の撮像画像における対象物の画像の大きさ（サイズ）の変化は、対象物と車両周辺監視装置搭載車両との相対速度が高いほど大きくなる。そして、車両の前方に存在する対象物は、当該対象物と車両との相対速度が高いほど、車両への到達時間が短くなる。このように、単一の赤外線カメラであっても所定時間間隔での同一の対象物の画像部分の大きさの変化率から、車両への到達時間を推定することで車両の周辺を監視することができる（ＪＰ４２６７６５７Ｂの［０００６］、［０００７］、［００６１］）。

特許第４１７３９０１号公報（以下、ＪＰ４１７３９０１Ｂという。）に係る車両周辺監視装置は、車両周辺に存在し、車両と接触する可能性のある対象物は歩行者に限られるものではなく、例えば、鹿等の大型動物が道路上に存在していて車両と接触する場合も考えられるので、対象物の中から人以外の動物を検知する技術が開示されている（ＪＰ４１７３９０１Ｂの［０００６］）。

車両と接触する可能性のある対象物として、ＪＰ４１７３９０１Ｂでは、鹿等の大型動物を例として挙げ、この大型動物を検知する技術を開示しているが、車両と接触する可能性のある動物として犬等の小型動物も存在する。

ＪＰ４１７３９０１Ｂに係る技術では、犬等の小型動物が、例えば、歩道等に存在する場合においても、当該犬等の小型動物が車道に飛び出し車両と接触する可能性があると判定し、警報対象として警報することができる。

ところで、歩行者（人）が小型動物にリードを付けて歩道上等を散歩させている状態では、通常、前記車両が接近してきた場合、前記小型動物を散歩させている前記歩行者が、前記リードを引く等して、前記小型動物と前記車両との接触を未然に回避させる。

このように、接触の可能性が存在しないのにも係わらず、上記ＪＰ４１７３９０１Ｂ等に係る技術では、行動パターンの読みにくい犬等の小型動物が、例えば、歩道等に存在する場合においても、当該犬等の移動ベクトルを求める（ＪＰ４１７３９０１Ｂの［００４６］、［００４７］）ようにしているので、たとえ歩行者（人）に散歩されている動物（散歩動物ともいう。）であっても当該犬等の小型動物が飛び出してきて車両と接触する可能性があると判定し、警報対象と認識して警報するようになっていることから、高頻度に警報報知等がなされ、運転者等にとって煩わしいという課題があり、改善の余地がある。

特に、特異な行動パターンにより不規則に移動する動物の警報対象範囲を、車両を思惟的に回避することができる歩行者（人）の警報対象範囲より広く採っている車両周辺監視装置では、前記散歩動物であっても、当該散歩動物に対する警報報知がきわめて高頻度になる可能性が高い。

この発明は、このような課題を考慮してなされたものであって、人が散歩をさせている動物（例えば、犬等の小型動物）に対する注意喚起の頻度を低減するようにした車両周辺監視装置を提供することを目的とする。

この発明に係る車両周辺監視装置は、車両に搭載された撮像装置により撮像した画像を用いて前記車両の周辺を監視する車両周辺監視装置において、監視しようとする対象物としての歩行者を前記画像から検知する歩行者検知処理部と、監視しようとする対象物としての動物を前記画像から検知する動物検知処理部と、前記画像から検知された前記歩行者と前記動物とが前記画像上で所定関係にあるとき、対対象物であると判定する対対象物判定処理部と、前記車両の運転者に注意喚起するための注意喚起出力を生成するか否かを判定する注意喚起出力生成判定部と、を備え、前記注意喚起出力生成判定部は、前記対対象物判定処理部により前記歩行者と前記動物とが前記対対象物であると判定されたとき、前記対対象物を構成する前記動物に対しては前記注意喚起出力を生成しないことを特徴とする。

この発明によれば、車両に搭載された撮像装置により撮像した画像から検知された歩行者と動物とが前記画像上で所定関係にあるとき、前記動物が前記歩行者と関係しているもの、すなわち対対象物とみなし、前記対対象物を構成する前記動物は、前記歩行者の監督下（制御下）にあり注意喚起が不要な前記動物とみなして当該動物に対しては注意喚起出力を生成しないようにしたので、警報等の頻度が低減され、運転者等の煩わしさを軽減することができる。

つまり、歩行者が動物を散歩させている状態では前記動物を注意喚起対象としない。

この場合、前記対対象物判定処理部は、検知された前記歩行者と前記動物とが所定範囲内に存在する場合に、前記対対象物であると判定することを特徴とする。検知された前記歩行者と前記動物とが所定範囲内に存在する場合には、対対象物である可能性が高いので、対対象物であるか否かを簡易な構成で判定できる。

なお、前記対対象物判定処理部は、検知された前記歩行者より前記動物の背丈が低い場合に、前記対対象物であると判定してもよい。検知された前記歩行者より前記動物の背丈が低い場合には、対対象物である可能性が高いので、対対象物であるか否かをより高精度に判定できる。

さらに、前記対対象物判定処理部は、検知された前記歩行者と前記動物との間に紐が検知されている場合に、前記対対象物であると判定することを特徴とする。検知された前記歩行者と前記動物との間に紐（リード）が検知されている場合には、例えば、犬と、この犬に繋がれた紐を引く歩行者と、からなる対対象物である可能性が高いので、対対象物であるか否かをより高精度に判定できる。

さらにまた、前記注意喚起出力に応じた表示を行う表示部をさらに備え、前記注意喚起出力は、前記表示部上で、前記対対象物を一つの枠で囲んで注意喚起を行う出力であることを特徴とする。表示部上で、前記対対象物を一つの枠で囲んで注意喚起を促すようにしたので、運転者は、歩行者と、当該歩行者と所定関係にある動物とを一目で認識することができる。

この発明によれば、車両に搭載された撮像装置により撮像した画像から検知された歩行者と動物とが前記画像上で所定関係にあるとき、前記動物が前記歩行者と関係しているもの、すなわち対対象物とみなし、前記対対象物を構成する前記動物は、前記歩行者の監督下（制御下）にあり注意喚起が不要な前記動物とみなして当該動物に対しては注意喚起出力を生成しないようにしたので、運転者の煩わしさを軽減することができる。

この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。 図１に示す車両周辺監視装置が搭載された車両の模式図である。 車両周辺監視装置の画像処理ユニットによる動作を説明するフローチャートである。 歩行者検知処理に供される歩行者の画像の模式図である。 動物検知処理に供される動物の画像の模式図である。 ペア対象物の抽出条件の説明図である。 ペア対象物の他の抽出条件の説明図である。 ペア対象物のさらに他の抽出条件の説明図である。 ペア対象物のさらに他の抽出条件の説明図である。 この実施形態に係る画像表示の説明図である。 比較例に係る画像表示の説明図である。 変形例に係る車両周辺監視装置が搭載された車両の模式図である。

以下、この発明の実施形態について図面を参照して説明する。

図１は、この発明の一実施形態に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両（自車両ともいう。）１２の模式図である。

図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４と、この画像処理ユニット１４に接続される単一（単眼）の赤外線カメラ１６（撮像装置）と、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６により撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物）を車両の運転者に認識させるためのＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）２６ａ等を含む画像表示装置２６と、を備える。

画像表示装置２６としては、ＨＵＤ（ヘッドアップディスプレイ）２６ａに限らず、車両１２に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ（マルチインフォメーションディスプレイ）を利用することができる。

画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者や動物等の監視対象物を検出し、当該監視対象物との接触の可能性が高いと判断したときにスピーカ２４から警報（例えば、ピッ、ピッ、…となる音）を発するとともに、ＨＵＤ２６ａ上にグレースケール表示される撮像画像の中の監視対象物を、黄色や赤色等の目立つ色枠で囲って表示する。このようにして、運転者の注意を喚起する。

ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路等の入力回路と、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）と、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃと、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップ及びテンプレート｛歩行者（人体）形状テンプレート：右向き、左向き、正面（背面）向き、動物形状テンプレート：鹿や犬等の右向き、左向き、正面（背面）向き等｝等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部１４ｍと、クロック及びタイマと、スピーカ２４の駆動信号と画像表示装置２６の表示信号等を出力する出力回路等を備えており、赤外線カメラ１６、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。

画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込み、テーブル、マップ、及びテンプレート等を参照しながらプログラムを実行することで、各種機能手段（機能部ともいう。）として機能し、スピーカ２４及び画像表示装置２６に駆動信号（音声信号や表示信号）を送出する。これらの機能は、ハードウエアにより実現することもできる。

この実施形態において、画像処理ユニット１４は、それぞれ詳細を後述する歩行者検知処理部１０２、動物検知処理部１０４、対対象物（ペア対象物という。）判定処理部１０６、接触可能性判定部１０７、及び注意喚起出力生成判定部１０８等の前記機能部を有する。

なお、画像処理ユニット１４は、基本的には、赤外線カメラ１６により取得した画像と、記憶部１４ｍに記憶されている人体形状、動物形状、車両形状、及び人工構造物形状等の模式的なテンプレートと比較して物体を認識する物体認識処理（物体検知処理）プログラムを実行する。

図１に示すように、赤外線カメラ１６は、車両１２の前部バンパー部に、車両１２の車幅方向中心部に配置されており、撮像対象（物体）の温度が高いほど、その出力信号（撮像信号）レベルが高くなる（輝度が増加する）特性を有している。

また、ＨＵＤ２６ａは、車両１２のフロントウインドシールド上、運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

ここで、画像処理ユニット１４は、赤外線カメラ１６から出力されるアナログの映像信号を、数十ｍｓ、例えば、１秒／３０フレーム［ｍｓ］のフレームクロック間隔・周期毎にデジタルデータに変換して記憶部１４ｍ（画像メモリ）に取り込み、記憶部１４ｍに取り込んだ車両前方の画像に対して各種演算処理を行う上述した機能を有する。

歩行者検知処理部１０２及び動物検知処理部１０４は、記憶部１４ｍに取り込んだ車両前方の前記画像から監視対象物の画像部分を抽出する。注意喚起出力生成判定部１０８は、接触可能性判定部１０７を通じて、前記フレームクロック間隔・周期（所定時間間隔）をもって撮像された画像間における同一の監視対象物の画像部分の大きさの変化率Ｒａｔｅを算出し、さらに前記変化率Ｒａｔｅを用いて監視対象物が車両１２に到達するまでの時間を推定するとともに、監視対象物の実空間における位置を算出し、監視対象物の実空間における移動ベクトルを算出する。

監視対象物が車両１２に到達するまでの時間（接触余裕時間ともいう。）ＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｎｔａｃｔ ｏｒ Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）、換言すれば、車両１２が監視対象物に接触するまでの時間ＴＴＣは、前記変化率Ｒａｔｅ（画像から求める。）と、所定時間間隔である撮像間隔（フレームクロック周期）ｄＴ（既知）とから、公知の要領にて、例えば、ＪＰ４２６７６５７Ｂに示されるように、次の（１）式により求めることができる。

ＴＴＣ＝ｄＴ×Ｒａｔｅ／（１−Ｒａｔｅ） …（１）
なお、変化率Ｒａｔｅは、監視対象物の前回の撮像時の画像中の監視対象物の幅又は長さＷ０（それぞれ画素数で記憶しておけばよい。）と、今回の撮像時の画像中の同一監視対象物の幅又は長さＷ１（画素数）との比（Ｒａｔｅ＝Ｗ０／Ｗ１）で求めることができる。

さらに、注意喚起出力生成判定部１０８は、接触可能性判定部１０７を通じて、前記接触余裕時間ＴＴＣと、所定時間間隔をもって撮像された前記画像間における同一の監視対象物の画像部分の位置変化量Δｘ（水平方向），Δｙ（垂直方向）を算出し、算出した位置変化量（移動ベクトル）Δｘ，Δｙと、に基づいて監視対象物と車両１２との接触可能性を判定する。

ペア対象物判定処理部１０６は、記憶部１４ｍに取り込んだ車両前方の前記画像から抽出された監視対象物の画像部分において、前記歩行者と前記動物との対応関係（係わり具合）が予め定めた所定関係（後述する。）にあるペア対象物であるか否かを判別することで、前記動物が前記歩行者の監督下（制御下）にあり注意喚起が不要な動物、すなわち散歩動物であるか否かを決定する。

基本的には以上にように構成され、且つ動作するこの実施形態に係る車両周辺監視装置１０の詳細な動作について、図３のフローチャートを参照しながら説明する。

まず、ステップＳ１において、画像処理ユニット１４は、車速センサ１８により検出される車速Ｖｓ等から車両１２の走行状態（走行中か停車中）を判定し、停車中（ステップＳ１：ＮＯ）である場合には、処理を停止する。

走行中（ステップＳ１：ＹＥＳ）である場合、ステップＳ２において、画像処理ユニット１４は、赤外線カメラ１６によりフレーム毎に撮像された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、グレースケール画像を画像メモリ（記憶部１４ｍ）に格納するとともに、格納したグレースケール画像の２値化処理、すなわち、輝度閾値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする２値化画像への変換処理を行い、変換した２値化画像も前記フレームに対応させてフレーム毎に記憶部１４ｍに格納する。この２値化処理では、人体では、頭部、肩、胴体、及び２本の脚等からなる塊（人体対象物候補）が、「１」の塊（集合体）として検出される。また、犬（小型動物）、鹿（大型動物）等の動物（この実施形態では四つ足動物）でも同様に、頭部、胴体、尾、及び４本の脚等の塊（動物対象物候補）が、「１」の塊（集合体）として検出される。

次いで、ステップＳ３にて、画像処理ユニット１４は、フレーム（画像）毎の２値化画像の「１」（白）をｘ方向（水平方向）の走査ライン毎にランレングスデータに変換し、ｙ方向（垂直方向）に重なる部分のあるラインを１つの対象物とみなし、当該対象物の外接四角形にそれぞれラベルを付け、例えば、図４に外接四角形で囲った対象物候補領域５２、及び図５に外接四角形で囲った対象物候補領域１５２とするラベリング処理を行う。

次いで、ステップＳ４にて、歩行者検知処理部１０２は、対象物としての歩行者検知処理を実行するとともに、ステップＳ５にて、動物検知処理部１０４は、対象物としての動物検知処理を実行する。

まず、ステップＳ４にて、歩行者検知処理部１０２は、フレームの画像中、ラベルが付けられた図４に示す対象物候補領域５２より若干大きいマスク領域５３(図４中、一点鎖線で囲んだ領域)に対してマスク領域５３内の画素の上側から下側に且つ左側から右側に対して画素値を走査しながら探索していき、暗い領域の「０」画素が連続して続いた場合、その走査部分が画像中の歩行者候補６２（頭部５４と胴体部６０と脚部５９とから構成される。）と路面５１との境界と判定し、対象物の下端ＯＢｂｍとする。

また、ステップＳ４にて、歩行者検知処理部１０２は、対象物の下端ＯＢｂｍから逆に上側にマスク領域５３内の画像に対して左側から右側に画素毎に走査しながら探索していき、垂直方向で輝度の水平エッジ（頭部５４の頂部）の変化区間（２値化画像では、上下方向で「１」と「０」の対が概ね連続する区間）を検出した場合、その変化区間の走査部分が歩行者候補６２と背景との境界のエッジである対象物の上端ＯＢｔｍとする。

同様に、ステップＳ５にて、動物検知処理部１０４は、フレームの画像中、図５に示すラベルが付けられた対象物候補領域１５２より若干大きいマスク領域１５３（図５中、一点鎖線で囲んだ領域）に対してマスク領域１５３内の画素の上側から下側に且つ左側から右側に対して画素値を走査しながら探索していき、暗い領域の「０」画素が連続して続いた場合、その走査部分が画像中の動物候補１６２（頭部１５４と胴体部１６０と脚部１５９とから構成される）と路面５１との境界と判定し、対象物の下端ＯＢｂａとする。

また、同様に、ステップＳ５にて、動物検知処理部１０４は、対象物の下端ＯＢｂａから逆に上側にマスク領域１５３内の画像に対して左側から右側に画素毎に走査しながら探索していき、垂直方向で輝度の水平エッジ（頭部１５４の頂部）の変化区間（２値化画像では、上下方向で「１」と「０」の対が概ね連続する区間）を検出した場合、その変化区間の走査部分が動物候補１６２と背景との境界のエッジである対象物の上端ＯＢｔａとする。

なお、歩行者候補６２（図４）とするか動物候補１６２（図５）とするかは、種々の判定の仕方があるが、例えば、背丈について、歩行者の背丈Ｈｍ（Ｈｍ＝ＯＢｔｍ−ＯＢｂｍ：単位は、例えば、画素数）が動物（特に、犬の場合）の背丈Ｈａ（Ｈａ＝ＯＢｔａ−ＯＢｂａ：単位は、同様に、画素数）より高い場合には、歩行者候補６２と判定する。また、胴体高さｂｈｍ、ｂｈａと頭部高さｈｈｍ、ｈｈａの比により各閾値と比較して判定することができる。通常、歩行者（人体）の比ｈｈｍ／ｂｈｍ（＝頭部高さ／胴体高さ）が、犬等の動物の比ｈｈａ／ｂｈａ（＝頭部高さ／胴体高さ）より小さい。また、４本の足（脚部１５９）を検知したときには動物候補１６２とし、２本の足（脚部５９）を検知したときには歩行者候補６２とすることができる。横向きが確定できれば頭幅ｈｗｍ、ｈｗａと全幅Ｗｍ、Ｗａの比（ｈｗｍ／Ｗｍ＝頭幅／胴体幅又はｈｗａ／Ｗａ＝頭幅／全体幅）で判定することもできる。

次に、ステップＳ６にて、ペア対象物判定処理部１０６により、同一の画像からステップＳ４で検知された歩行者候補６２とステップＳ５で検知された動物候補１６２とが、以下に説明する対対象物（ペア対象物）Ｐｏｂｊであるか否かを判定する。

ペア対象物判定処理部１０６は、同一の前記画像から検知された前記歩行者候補６２と前記動物候補１６２とが前記画像上で所定関係にあるときペア対象物Ｐｏｂｊであると判定する。

前記所定関係について具体的に説明する。以下の第１〜第５の判定条件のうち、少なくとも１つの判定条件が成立した場合、ペア対象物Ｐｏｂｊであると判定する。

第１の判定条件では、車両１２から歩行者候補６２までの距離Ｄｍと、車両１２から動物候補１６２までの距離Ｄａの差分｜Ｄｍ−Ｄａ｜及び、歩行者候補６２の位置（重心位置）Ｐｍと動物候補１６２の重心位置Ｐａとの間の横位置の距離の差分｜Ｐｍ−Ｐａ｜が、それぞれ各閾値距離Ｄｔｈ、Ｐｔｈ以内（｜Ｄｍ−Ｄａ｜≦Ｄｔｈ、｜Ｐｍ−Ｐａ｜≦Ｐｔｈ）に存在する場合に、ペア対象物Ｐｏｂｊであると判定する。なお、横位置の距離の差分｜Ｐｍ−Ｐａ｜の閾値距離Ｐｔｈは、動物の種類によって分けてもよい。つまり、第１の判定条件は、歩行者候補６２と動物候補１６２とが概ね同距離で且つ近傍に存在する（ペア対象物Ｐｏｂｊである。）か否か（ペア対象物Ｐｏｂｊではない。）に対応してペア対象物Ｐｏｂｊであるか否か判定する。

さらに、実際の撮像画像を参照して第２〜第５の判定条件について説明する。

第２の判定条件では、図６に示すように、画像（グレースケール画像又は２値化画像）中、動物候補１６２の重心位置Ｐａが歩行者候補６２の外接四角形である対象物候補領域５２の幅Ｗｍの左右領域内に存在する場合に、ペア対象物Ｐｏｂｊであると判定する。つまり、第２の判定条件は、歩行者候補６２と動物候補１６２とが同位置近傍に存在するか否かに対応してペア対象物Ｐｏｂｊであるか否かを判定する。

第３の判定条件では、図７に示すように、画像（グレースケール画像又は２値化画像）中、歩行者候補６２の路面５１との境界（交点）である下端ＯＢｂｍと動物候補１６２の路面５１との境界（交点）である下端ＯＢｂａとの差分｜ＯＢｂｍ−ＯＢｂａ｜が、閾値ＯＢｔｈ以内である（｜ＯＢｂｍ−ＯＢｂａ｜≦ＯＢｔｈ）場合に、ペア対象物Ｐｏｂｊであると判定する。つまり、第３の判定条件は、歩行者候補６２と動物候補１６２との車両１２からの距離が同距離近傍に存在するか否かに対応してペア対象物Ｐｏｂｊであるか否かを判定する。

第４の判定条件では、図８に示すように、歩行者候補６２の上端ＯＢｔｍと動物候補１６２の上端ＯＢｔａとの高さの差｜ＯＢｔｍ−ＯＢｔａ｜が、閾値Ｈｔｈ（閾値Ｈｔｈは、例えば、歩行者候補６２の背丈Ｈｍの１／２）より大きい（｜ＯＢｔｍ−ＯＢｔａ｜≧Ｈｔｈ）場合に、ペア対象物Ｐｏｂｊであると判定する。つまり、第４の判定条件では、動物、ここでは、歩行者により散歩されている犬等の動物（散歩動物ともいう。）の背丈（散歩動物の背丈）Ｈａが、人の背丈Ｈｍよりも低いことを前提としている。

第５の判定条件では、図９に示すように、歩行者候補６２と動物候補１６２との間であって動物候補１６２の上部領域６７にプロファイル、図９例では、リード（紐）６９が存在する場合、又は歩行者候補６２と動物候補１６２との間に１対のエッジ６２ｅ（図９では、歩行者候補６２の手の先端）、１６２ｅ（図９では、動物候補１６２の尾の端）が存在する場合には、ペア対象物Ｐｏｂｊであると判定する。

以上のようにして、ステップＳ６にて、ペア対象物判定処理部１０６により、同一の画像からステップＳ４で検知された歩行者候補６２とステップＳ５で検知された動物候補１６２とが、ペア対象物Ｐｏｂｊであるか否かを判定する。

ステップＳ６の判定において、画像中に、ペア対象物Ｐｏｂｊが存在している（ステップＳ６：ＹＥＳ）場合、ペア対象物Ｐｏｂｊを構成する動物候補１６２は、歩行者の管理下にある動物であるとみなし、ステップＳ７にて、注意喚起出力生成判定部１０８は、注意喚起する対象物から除外する。すなわち、ペア対象物Ｐｏｂｊを構成する動物候補１６２に対しては、後述するステップＳ９での車両１２と動物との接触可能性についての処理を行わない。結果として、ペア対象物Ｐｏｂｊを構成する動物候補１６２に対しては、警報等の注意喚起出力が生成されないことになる。

次いで、注意喚起出力生成判定部１０８は、接触可能性判定部１０７により、ステップＳ８にて、ペア対象物Ｐｏｂｊを構成する歩行者候補６２（ステップＳ６：ＹＥＳ）との接触可能性、及び動物候補１６２と所定関係にない（上述した第１〜第５の判定条件に当てはまらない）歩行者候補６２（ステップＳ６：ＮＯ）との接触可能性について判定するとともに、ステップＳ９にて、ペア対象物Ｐｏｂｊを構成しない動物候補１６２との接触可能性について判定する。

すなわち、上述したように、接触可能性は、歩行者候補６２及び動物候補１６２に対する、上述した（１）式の各接触余裕時間ＴＴＣと歩行者候補６２及び動物候補１６２の各移動ベクトルとを考慮し、さらに、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒとに基づき、車両１２が歩行者候補６２及び動物候補１６２に接触の可能性があるかどうかを判定し、接触の可能性があると判定した場合（ステップＳ８：ＹＥＳ、ステップＳ９：ＹＥＳ）には、ステップＳ１０、ステップＳ１１において、注意喚起出力生成判定部１０８は、注意喚起出力を生成し、運転者の注意を喚起する（運転者に情報を提供する）。具体的には、歩行者及び・又は動物のグレースケール画像をＨＵＤ２６ａに表示するとともに、スピーカ２４を通じて警報を発生し、車両１２の運転者に接触の回避操作を促す。

この場合、上述した実施形態では、注意喚起出力生成判定部１０８は、図１０のグレースケール画像８０に示すように、ＨＵＤ２６ａの表示上で、歩行者候補６２と動物候補１６２とからなるペア対象物Ｐｏｂｊを、赤、黄色等の目立つ色の一つの枠７０（概ね外接四角形）で囲んで注意喚起を促す出力を生成する。

［実施形態の概要］
以上説明したように、上述した実施形態に係る車両周辺監視装置１０は、車両１２に搭載された単一の赤外線カメラ１６により撮像した画像から注意喚起出力が必要な対象物を検知する。

この場合、車両周辺監視装置１０は、監視しようとする対象物としての歩行者候補６２（歩行者）を前記画像から検知する歩行者検知処理部１０２と、監視しようとする対象物としての動物候補１６２（動物）を前記画像から検知する動物検知処理部１０４と、前記画像から検知された歩行者候補６２と動物候補１６２とが前記画像上で所定関係にあるとき、ペア対象物（対対象物）Ｐｏｂｊであると判定するペア（対）対象物判定処理部１０６と、車両１２の運転者に注意喚起するための注意喚起出力を生成するか否かを判定する注意喚起出力生成判定部１０８と、を備える。

注意喚起出力生成判定部１０８は、ペア対象物判定処理部１０６により歩行者候補６２と動物候補１６２とがペア対象物Ｐｏｂｊであると判定されたとき、ペア対象物Ｐｏｂｊを構成する動物候補１６２に対しては前記注意喚起出力を生成しないように構成されている。

この構成によれば、赤外線カメラ１６により撮像した画像から検知された歩行者候補６２と動物候補１６２とが前記画像上で所定関係にあるとき、動物候補１６２が歩行者候補６２と関係しているもの、すなわちペア対象物Ｐｏｂｊとみなし、ペア対象物Ｐｏｂｊを構成する動物候補１６２は、前記歩行者の監督下（制御下）にあり注意喚起が不要な動物候補１６２とみなして当該動物候補１６２に対しては注意喚起出力を生成しないようにしたので、運転者等の煩わしさを軽減することができる。

つまり、動物検知と歩行者（人）検知を備えた車両周辺監視装置１０は、歩行者が犬等の動物を散歩させている状態では、前記動物を注意喚起対象（警報対象を含む。）としないので、不要な注意喚起が行われず、運転者の煩わしさが低減される。

なお、この実施形態に係る図１０に示すグレースケール画像８０と同一のグレースケール画像を示す比較例に係る図１１のグレースケール画像１８０では、ペア対象物Ｐｏｂｊであるか否かの判定を行っていないので、歩行者候補６２及び動物候補１６２の両方ともが枠７２、７４で囲われるとともに、実際には警報等の注意喚起が不要なペア対象物Ｐｏｂｊを構成する動物候補１６２に対しても警報等がなされ、運転者にとって煩わしいと感じられる場合が多々あった。

この場合、この実施形態に係るペア対象物判定処理部１０６は、検知された歩行者候補６２と動物候補１６２とが所定範囲内に存在する場合にはペア対象物Ｐｏｂｊである可能性が高く、ペア対象物Ｐｏｂｊであるとみなすことができることから、ペア対象物Ｐｏｂｊであるか否かを簡易な構成で判定できる。

なお、ペア対象物判定処理部１０６は、検知された歩行者候補６２の背丈Ｈｍより動物候補１６２の背丈Ｈａが低い（Ｈａ＜Ｈｍ）場合に、ペア対象物Ｐｏｂｊである可能性が高いので、ペア対象物Ｐｏｂｊであると高精度に判定できる。

さらに、ペア対象物判定処理部１０６は、検知された歩行者候補６２と動物候補１６２との間にリード（紐）６９が検知されている場合には、例えば、犬と、この犬に繋がれた紐を引く歩行者とからなるペア対象物Ｐｏｂｊである可能性が高いので、ペア対象物Ｐｏｂｊであるか否かをより高精度に判定できる。

さらにまた、前記注意喚起出力に応じた表示を行うＨＵＤ２６ａ等の画像表示装置２６を備えるので、前記注意喚起出力は、前記ＨＵＤ２６ａ上で、ペア対象物Ｐｏｂｊを一つの枠（検知枠）７０（図１０参照）で囲んで注意喚起を促すようにすることで、運転者は、歩行者と、当該歩行者と所定関係にある動物とを一目で認識することができる。

なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

例えば、図１２に示すように、車両１２Ａに搭載された左右一組の赤外線カメラ１６Ｒ、１６Ｌを備える車両周辺監視装置を用いてもよい。いわゆるステレオカメラとしての赤外線カメラ１６Ｒ、１６Ｌは、車両１２Ａの前部バンパー部に、車両１２Ａの車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、且つ両者の路面からの高さが等しくなるように固定されている。この左右一組の赤外線カメラ１６Ｒ、１６Ｌを備える車両周辺監視装置では、公知のように、左右一組の赤外線カメラ１６Ｒ、１６Ｌにより撮像した自車両周辺の画像において温度が高い部分を対象物にするとともに、左右画像中の同一対象物の視差等を用いて三角測量の原理により前記対象物までの距離を算出し、前記対象物の移動方向（移動ベクトル）や前記対象物の位置から、車両（自車両）１２Ａの走行に影響を与えそうな対象物（接触の可能性のある対象物）を検知して注意喚起出力を出力する。

また、赤外線カメラを用いることなく、通常の可視領域を撮像する一般的なデジタルビデオカメラ（撮像装置）を実施形態と同様に単一のカメラあるいはステレオカメラとして用いるようにすることもできる。

Claims (5)

1. 車両（１２）に搭載された撮像装置（１６）により撮像した画像を用いて前記車両（１２）の周辺を監視する車両周辺監視装置（１０）において、
   監視しようとする対象物としての歩行者（６２）を前記画像から検知する歩行者検知処理部（１０２）と、
   監視しようとする対象物としての動物（１６２）を前記画像から検知する動物検知処理部（１０４）と、
   前記画像から検知された前記歩行者（６２）と前記動物（１６２）とが前記画像上で所定関係にあるとき、対対象物（Ｐｏｂｊ）であると判定する対対象物判定処理部（１０６）と、
   前記車両（１２）の運転者に注意喚起するための注意喚起出力を生成するか否かを判定する注意喚起出力生成判定部（１０８）と、を備え、
   前記注意喚起出力生成判定部（１０８）は、前記対対象物判定処理部（１０６）により前記歩行者（６２）と前記動物（１６２）とが前記対対象物（Ｐｏｂｊ）であると判定されたとき、前記対対象物（Ｐｏｂｊ）を構成する前記動物（１６２）に対しては前記注意喚起出力を生成しない
   ことを特徴とする車両周辺監視装置（１０）。
2. 請求項１記載の車両周辺監視装置（１０）において、
   前記対対象物判定処理部（１０６）は、検知された前記歩行者（６２）と前記動物（１６２）とが所定範囲内に存在する場合に、前記対対象物（Ｐｏｂｊ）であると判定する
   ことを特徴とする車両周辺監視装置（１０）。
3. 請求項１又は２記載の車両周辺監視装置（１０）において、
   前記対対象物判定処理部（１０６）は、検知された前記歩行者（６２）より前記動物（１６２）の背丈が低い場合に、前記対対象物（Ｐｏｂｊ）であると判定する
   ことを特徴とする車両周辺監視装置（１０）。
4. 請求項１〜３のいずれか１項に記載の車両周辺監視装置（１０）において、
   前記対対象物判定処理部（１０６）は、検知された前記歩行者（６２）と前記動物（１６２）との間に紐（６９）が検知されている場合に、前記対対象物（Ｐｏｂｊ）であると判定する
   ことを特徴とする車両周辺監視装置（１０）。
5. 請求項１〜４のいずれか１項に記載の車両周辺監視装置（１０）において、
   さらに、前記注意喚起出力に応じた表示を行う表示部（２６）を備え、
   前記注意喚起出力は、前記表示部（２６）上で、前記対対象物（Ｐｏｂｊ）を一つの枠（７０）で囲んで注意喚起を行う出力である
   ことを特徴とする車両周辺監視装置（１０）。

Images