JP5004919B2

JP5004919B2 - 車両周辺監視装置

Info

Publication number: JP5004919B2
Application number: JP2008264432A
Authority: JP
Inventors: 正人渡辺; 誠相村; 雅和坂; 幸大松田
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-10-10
Filing date: 2008-10-10
Publication date: 2012-08-22
Anticipated expiration: 2028-10-10
Also published as: JP2010092429A

Description

本発明は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。

撮像装置により撮像された赤外線画像から対象物である歩行者の頭部に相当する領域を抽出し、当該頭部領域に基づいて歩行者の胴体に相当する領域を抽出することにより対象物が歩行者であることを認識し、この歩行者の存在を車両の運転者に知らせる技術が知られている（特許文献１参照）。
特開平１１−３２８３６４号公報

しかし、車両の周辺には歩行者（人間）のみならず、鹿等の四足動物も存在する場合がある。この場合、対象物が人間であるか否かを判定する手法が採用されても、対象物が四足動物であるか否かを判定することは困難である。このため、車両の運転者に四足動物の存在を知らせること、さらには、運転者が対象物との接触を回避するように車両を運転することが困難となる。

そこで、本発明は、対象物が四足動物であるか否かを高精度で認識することができる車両周辺監視装置を提供することを目的とする。

第１発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から、輝度が第１閾値以上の第１高輝度画素群により表される対象物が存在する領域を対象物領域として抽出する対象物領域抽出手段と、前記対象物領域抽出手段により抽出された前記対象物領域から、前記第１閾値より大きい第２閾値以上の輝度の第２高輝度画素群により構成される最大の領域を抽出し、前記最大の領域の縦幅に対する横幅の比率が１以上であることと、前記対象物領域の下部から、低輝度画素群を囲む前記第１高輝度画素群から構成されている閉要素と、前記閉要素の下部が開裂した形状の開要素とが異なる時刻に抽出されることとを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを備えることを特徴とする。

第１発明の車両周辺監視装置によれば、撮像画像（撮像手段により撮像された原画像のほか、当該原画像に加工処理が施されることにより得られた画像も含まれる。）から抽出された対象物が存在する領域としての対象物領域から、閉要素および開要素が異なる時刻において抽出されたことを要件として、当該対象物が四足動物に該当すると判定される。なお、「四足動物」はすべての四足動物を意味するのではなく、本発明の手法により分類されうる特定の四足動物を意味している。歩行または走行している四足動物が横から観察された場合、前脚および後脚の交差部位または接地部位の近接と離反とが繰り替えされることが確認される可能性が高い。また、交差部位または接地部位は脚の付け根よりも下側に位置している。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。

第２発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から、輝度が第１閾値以上の第１高輝度画素群により表される対象物が存在する領域を対象物領域として抽出する対象物領域抽出手段と、前記対象物領域抽出手段により抽出された前記対象物領域から、前記第１閾値より大きい第２閾値以上の輝度の第２高輝度画素群により構成される最大の領域を抽出し、前記最大の領域の縦幅に対する横幅の比率が１以上であることと、前記対象物領域の下部から、低輝度画素群を囲む前記第１高輝度画素群から構成されている閉要素が断続的に抽出されることとを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを備えることを特徴とする

第２発明の車両周辺監視装置によれば、撮像画像から抽出された対象物が存在する領域としての対象物領域から、閉要素が断続的に抽出されたことを要件として、当該対象物が四足動物に該当すると判定される。閉要素は、横向きの四足動物の胴体の少なくとも一部と、横から見て交差しているまたは接地部位が近接している前脚および後脚とに該当する蓋然性が高い。歩行または走行している四足動物が横から観察された場合、交差しているまたは接地部位が近接する前脚および後脚の組が断続的に確認される可能性が高い。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。

本発明の車両周辺監視装置の実施形態について説明する。まず、本実施形態の車両周辺監視装置の構成について説明する。車両周辺監視装置は図１および図２に示されている画像処理ユニット１を備えている。画像処理ユニット１には、車両１０の前方の画像を撮像する撮像手段としての２つの赤外線カメラ２Ｒ，２Ｌが接続されるとともに、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３、車両１０の走行速度（車速）を検出する車速センサ４、および車両１０のブレーキ操作の有無を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ６、および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するための表示装置７が接続されている。なお、赤外線カメラ２Ｒ，２Ｌが本発明における撮像手段に相当する。対象物との距離がレーダーにより測定される場合、１台の赤外線カメラのみが車両１０に搭載されてもよい。

画像処理ユニット１は、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ等のメモリ、Ｉ／Ｏ回路およびこれらを接続するバスなどにより構成されているＥＣＵ（電子制御ユニット）により構成されている。赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化され、ＣＰＵによりデジタル化されたデータに基づき、人間（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の通報要件を満す場合にスピーカ６や表示装置７により運転者に通報を発する処理を実行する。なお、画像処理ユニット１は対象物抽出手段および対象物分類手段としての機能を備えている。

図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために、車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。

また、本実施形態では、表示装置７として、車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７として、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａとともに、車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイが用いられてもよい。

次に、前記構成の車両周辺監視装置の基本的な機能について図３のフローチャートを用いて説明する。図３のフローチャートの基本的な処理内容は、たとえば本出願人による特開２００１−６０９６号公報の図３および特開２００７−３１０７０５号公報の図３に記載されている処理内容と同様である。

具体的には、まず赤外線カメラ２Ｒ、２Ｌの赤外線画像信号が画像処理ユニット１に入力され（図３／ＳＴＥＰ１１）、その上で画像処理ユニット１により続く一連の処理が実行される。すなわち、赤外線カメラ２Ｒ、２Ｌの出力信号がＡ／Ｄ変換され（図３／ＳＴＥＰ１２）、Ａ／Ｄ変換された赤外線画像からグレースケール画像が生成され（図３／ＳＴＥＰ１３）、基準となるグレースケール画像（右画像）が２値化される（図３／ＳＴＥＰ１４）。また、２値化画像から対象物が存在する領域が対象物領域Ａとして抽出される。具体的には、２値化画像の高輝度領域を構成する画素群がランレングスデータに変換され（図３／ＳＴＥＰ１５）、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）が付され（図３／ＳＴＥＰ１６）、ライン群のそれぞれが対象物として抽出される（図３／ＳＴＥＰ１７）。これにより、図６（ａ）に斜線で示されているようなひとまとまりの高輝度画素（輝度が第１閾値以上の第１高輝度画素，画素値＝１の画素）により構成される高輝度領域が対象物として抽出される。さらに、図６（ａ）に斜線で示されている対象物の全部を囲う線によって画定された領域が対象物領域Ａとして設定される。

続いて、各対象物の重心の位置（基準画像上での位置）、面積および外接四角形の縦横比が算定される（図３／ＳＴＥＰ１８）。また、対象物の時刻間追跡が実行され、画像処理ユニット１の演算処理周期毎の対象物の同一性が判定される（図３／ＳＴＥＰ１９）。さらに、車速センサ４およびヨーレートセンサ５の出力（車速の検出値及びヨーレートの検出値）が読み込まれる（図３／ＳＴＥＰ２０）。

また、外接四角形の縦横比算出および対象物の時刻間追跡と並行して、基準画像のうち、各対象物に対応する領域（たとえば該対象物の外接四角形の領域）が探索画像として抽出される（図３／ＳＴＥＰ３１）。さらに、相関演算が実行されることにより左画像中から探索画像に対応する画像（対応画像）が探索かつ抽出される（図３／ＳＴＥＰ３２）。また、車両１０から対象物までの実空間距離（車両１０の前後方向における距離）が算定される（図３／ＳＴＥＰ３３）。

また、各対象物の実空間位置（車両１０に対する相対位置）が算定される（図３／ＳＴＥＰ２１）。さらに、対象物の実空間位置（Ｘ，Ｙ，Ｚ）（図２参照）のうちのＸ成分が回頭角の時系列データ（ＳＴＥＰ２０参照）に応じて補正される（図３／ＳＴＥＰ２２）。また、車両１０に対する対象物の相対移動ベクトルが推定され（図３／ＳＴＥＰ２３）、この相対移動ベクトルに基づき、車両１０と対象物との接触可能性があると判定された場合に運転者の注意を喚起するための通報を発する通報判定処理が実行される（図３／ＳＴＥＰ２４）。対象物が通報判定要件を満たすと判定された場合（図３／ＳＴＥＰ２４‥ＹＥＳ）、当該対象物に関する通報要否を判定する通報出力判定処理が実行される（図３／ＳＴＥＰ２５）。そして、通報が必要であると判定された場合（図３／ＳＴＥＰ２５‥ＹＥＳ）、運転者に対して車両１０との接触可能性が高い状況である旨が通報される（図３／ＳＴＥＰ２６）。具体的には、スピーカ６を介して音声が出力されることにより、あるいは、ＨＵＤ７ａにおいて対象物が色彩やフレーム等により強調表示されることによって当該状況が通報される。以上が本実施形態の車両周辺監視装置の全体的作動である。なお、画像処理ユニット１によりＳＴＥＰ１１〜１８の処理を実行する構成が、本発明の対象物領域抽出手段に相当する。

次に、図３のフローチャートのＳＴＥＰ２４における通報判定処理について図４のフローチャートを用いて説明する。図４のフローチャートの基本的な処理内容は、たとえば本出願人による特開２００１−６０９６号の図４および特開２００７−３１０７０５号の図４に記載されている処理内容と同様である。

具体的には、まず接触判定処理が実行される（図４／ＳＴＥＰ４１）。接触判定処理は、車両１０と対象物との距離が、相対速度Ｖｓと余裕時間Ｔとを乗じた値以下の場合、接触可能性があると判定される。また、余裕時間Ｔ以内に車両１０と対象物とが接触する可能性があると判定された場合（図４／ＳＴＥＰ４１‥ＹＥＳ）、対象物が接近判定領域内に存在するか否かが判定される（図４／ＳＴＥＰ４２）。そして、対象物が接近判定領域に存在しないと判定された場合（図４／ＳＴＥＰ４２‥ＮＯ）、対象物が接近判定領域に進入して車両１０と接触する可能性があるか否かが判定される（図４／ＳＴＥＰ４３）。具体的には、対象物が接近判定領域の外側にある進入判定領域に存在し、かつ、ＳＴＥＰ２３で算定された対象物の移動ベクトルが接近判定領域に向かっているときに、接触する可能性があると判定される。

一方、対象物が接近判定領域に存在していると判定された場合（図４／ＳＴＥＰ４２‥ＹＥＳ）、または、車両１０と対象物との接触可能性があると判定された場合（図４／ＳＴＥＰ４３‥ＹＥＳ）、対象物が人工構造物であるか否かを判定する人工構造物判定処理が実行される（図４／ＳＴＥＰ４４）。これにより、たとえば対象物から歩行者にはあり得ない外形上の特徴が検出された場合、この対象物が人工構造物に該当すると判定される。対象物が人工構造物に該当しないと判定された場合（図４／ＳＴＥＰ４４‥ＮＯ）、対象物が歩行者に該当するか否かが判定される（図４／ＳＴＥＰ４５）。具体的には、グレースケール画像上で対象物の画像領域の形状や大きさ、輝度分散等の特徴から、対象物が歩行者に該当するか否かが判定される。そして、対象物が歩行者に該当すると判定された場合（図４／ＳＴＥＰ４５‥ＹＥＳ）、検出した対象物を通報または注意喚起の対象として決定する（図４／ＳＴＥＰ４６）。

また、対象物が歩行者ではないと判定された場合（図４／ＳＴＥＰ４５‥ＮＯ）、この対象物が四足動物に該当するか否かが判定される（図４／ＳＴＥＰ４７）。対象物が四足動物に該当すると判定された場合（図４／ＳＴＥＰ４７‥ＹＥＳ）、画像処理ユニット１は、対象物が通報対象として決定される（図４／ＳＴＥＰ４６）。車両１０と対象物との接触可能性がないと判定された場合（図４／ＳＴＥＰ４３‥ＮＯ）、対象物が人工構造物であると判定された場合（図４／ＳＴＥＰ４４‥ＹＥＳ）、または、対象物が四足動物に該当しないと判定された場合（図４／ＳＴＥＰ４７‥ＮＯ）、この対象物は通報対象から除外される（図４／ＳＴＥＰ４８）。

次に、本発明の車両周辺監視装置の主要な機能である動物判定処理について図５のフローチャートを用いて説明する。

まず、対象物領域Ａのうち、最も高い輝度範囲に輝度が含まれる高輝度画素（第１閾値より大きい第２閾値以上の輝度の第２高輝度画素）群により構成される最大の領域Ｂが抽出され、この領域Ｂの縦幅（高さ）Ｈに対する横幅Ｗの比が対象物縦横比（＝Ｗ／Ｈ）として算出される（図５／ＳＴＥＰ１０２）。これにより、たとえば図６（ａ）に斜線で示されている対象物（高輝度画像領域）の一部を囲む破線により画定された領域が領域Ｂとして抽出され、その縦横比Ｗ／Ｈが算定される。その上で、縦横比Ｗ／Ｈが基準値（たとえば１）以上であるか否かが判定される（図５／ＳＴＥＰ１０４）。なお、縦横比Ｗ／Ｈの算定および基準値との対比処理は省略されてもよい。

そして、縦横比Ｗ／Ｈが基準値未満であると判定された場合（図５／ＳＴＥＰ１０４‥ＮＯ）、当該対象物は四足動物に該当しないと判定される（図５／ＳＴＥＰ１２８）。この判定は、対象物が四足動物である場合、横に長く、他の身体部分と比較して温度が高い胴部に該当する高輝度領域が抽出される蓋然性が高いという思想に基づいている。

一方、縦横比Ｗ／Ｈが基準値以上であると判定された場合（図５／ＳＴＥＰ１０４‥ＹＥＳ）、対象物領域Ａにおいて、ひとまとまりの低輝度領域を囲む高輝度領域により構成されている指定形状の閉要素の有無が判定される（図５／ＳＴＥＰ１０６）。具体的には、対象物領域Ａの下端から上端に向かって順番に対象物領域Ａが右方向に走査されることにより、画素値が「１（対象物が存在する画素を表わす。）」から「０（対象物が存在しない画素を表わす。）」に変化した後、再び「１」になるような横並びの画素により構成される横線分が探索される。これにより、たとえば図７（ａ）に斜線で示されている対象物について、画像右方向について画素値が「１」から「０」に変化する負エッジ点（図中●）から、一の低輝度画素または複数の連続した低輝度画素群を経て、画素値が「０」から「１」に変化する正エッジ点（図中○）までのびる線分が横線分として探索される。なお、長さが閾値未満の横線分はノイズとして除去されうる。

また、局所的に最も下に位置する横線分の第１判定フラグｆ１が設定され、かつ、局所的に最も上に位置する横線分の第２判定フラグｆ２が設定される（図７（ａ）参照）。局所的に最も下に位置する横線分とは、下方に１画素分だけずらされたときに重なる横線分が存在しない横線分を意味する。局所的に最も上に位置する横線分とは、上方に１画素分だけずらされたときに重なる横線分が存在しない横線分を意味する。具体的には、局所的に最も下に位置する横線分が画像下方に１画素分だけずらされたときに、当該横線分を構成するすべてまたは１〜２画素を除くすべての画素が高輝度画素に重なる場合、当該横線分の第１判定フラグｆ１は「１」に設定される。また、局所的に最も上に位置する横線分が画像上方に１画素分だけずらされたときに、当該横線分を構成するすべてまたは１〜２画素を除くすべての画素が高輝度画素に重なる場合、当該横線分の第２判定フラグｆ２は「２」に設定される。その他の場合、局所的に最も下または上に位置する横線分の判定フラグｆは「０」に設定される。

続いて、各横線分に第１判定フラグｆ１および第２判定フラグｆ２の両方が付される（図７（ｂ）参照）。具体的には、第１判定フラグｆ１が１である横線分のすぐ上（１画素分だけ上）にあり、かつ、画像縦方向について当該横線分に重なる横線分の第１判定フラグｆ１が「１」に設定される。また、第２判定フラグｆ２が２である横線分のすぐ下（１画素分だけ下）にあり、かつ、画像縦方向について当該横線分に重なる横線分の第２判定フラグｆ２が「２」に設定される。一方、第１判定フラグｆ１が０である横線分のすぐ上にあり、かつ、画像縦方向について当該横線分に重なる横線分の第１判定フラグｆ１は「０」に設定される。また、第２判定フラグｆ２が０である横線分のすぐ下にあり、かつ、画像縦方向について当該横線分に重なる横線分の第２判定フラグｆ２は「０」に設定される。これにより、横線分のすべての第１判定フラグｆ１および第２判定フラグｆ２が設定される。

前記手法によれば、対象物を表わす高輝度領域のうち上下がともに開いている部分（切れ目部分）に架橋された各横線分の合計判定フラグΣｆ＝ｆ１＋ｆ２は「０」になる。対象物を表わす高輝度領域のうち下が開いている一方、上が閉じている部分に架橋された各横線分の合計判定フラグΣｆは「１」になる（図７（ｂ）参照）。これとは逆に対象物を表わす高輝度領域のうち上が開いている一方、下が閉じている部分に架橋された各横線分の合計判定フラグΣｆは「２」になる。対象物を表わす高輝度領域のうち上下がともに閉じている部分に架橋された各横線分の合計判定フラグΣｆは「３」になる。合計判定フラグΣｆが３であり、かつ、縦方向に連続して重なっている複数の横線分が存在する場合、「閉要素」が存在すると判定される。

なお、画像処理の負荷軽減および高速化のため、対象物領域Ａではなくその一部である局所領域Ｓにおける閉要素の有無が判定されてもよい。たとえば図６（ｂ）に示されているように対象物領域Ａの下部にある高輝度領域を囲む太線により画定されている領域が局所領域Ｓとして設定されうる。局所領域Ｓの横幅ＷＳは対象物領域Ａの横幅ＷＡを基準としてｃ１・ＷＡ（０＜ｃ１＜１）に設定され、局所領域Ｓの縦幅ＨＳは対象物領域Ａの縦幅ＨＡを基準としてｃ２・ＨＡ（０＜ｃ２＜１）に設定されうる。係数ｃ１およびｃ２は任意に設定されうる。局所領域Ｓの下端は対象物領域Ａの下端に一致していてもずれていてもよく、局所領域Ｓの横端は対象物領域Ａの横端に一致していてもずれていてもよい。

さらに、閉要素が指定形状であるか否かを判定するため、この閉要素により囲まれている低輝度領域の縦幅ＬＨおよび横幅ＬＷが決定される（図７（ｃ）参照）。具体的には、合計判定フラグΣｆが３であり、かつ、画像縦方向に連続して重なっている複数の横線分のうち、最長、すなわち、当該横線分を構成する画素数が最多の横線分の長さが、閉要素に囲まれた低輝度領域の横幅ＬＷとして決定される。また、当該最長の横線分の中点（中心画素）およびその左右両側に隣接する点（画素）を通り、画像上方向について画素値が「１」から「０」に変化する負エッジ点から、一の低輝度画素または複数の連続した低輝度画素群を経て、画素値が「０」から「１」に変化する正エッジ点までのびる線分が縦線分として探索される。その上で、当該縦線分のうち最長の縦線分の長さが、閉要素に囲まれた低輝度領域の縦幅ＬＨとして決定される。

そして、低輝度領域の横幅ＬＷに対する縦幅ＬＨの比率ＬＨ／ＬＷが指定比率範囲［ｒ１，ｒ２］（たとえばｒ１＝０．５，ｒ２＝１．５等、「１」を包含する範囲）に含まれているか否かに応じて、閉要素の形状が指定形状であるか否かが判定される。なお、閉要素の形状判定は省略されてもよい。

そして、指定形状の閉要素があると判定された場合（図５／ＳＴＥＰ１０６‥ＹＥＳ）、当該対象物のフラグＦの初期値が「１」に設定され（図５／ＳＴＥＰ１０８）、その上で画像処理ユニット１が有するタイマ（図示略）によるＴ＝０からの計時が開始される（図５／ＳＴＥＰ１１２）。その一方、指定形状の閉要素がないと判定された場合（図５／ＳＴＥＰ１０６‥ＮＯ）、フラグＦの初期値が「０」に設定され（図５／ＳＴＥＰ１１０）、その上でタイマによるＴ＝０からの計時が開始される（図５／ＳＴＥＰ１１２）。

続いて、前記手法にしたがって対象物領域Ａにおける指定形状の閉要素の有無が判定される（図５／ＳＴＥＰ１１４）。そして、指定形状の閉要素があると判定された場合（図５／ＳＴＥＰ１１４‥ＹＥＳ）、当該対象物のフラグＦが「１」に維持または変更される（図５／ＳＴＥＰ１１６）。その一方、指定形状の閉要素がないと判定された場合（図５／ＳＴＥＰ１１４‥ＮＯ）、当該対象物のフラグＦが「０」に変更または維持される（図５／ＳＴＥＰ１１８）。なお、対象物領域Ａにおいて合計判定フラグΣｆが「３」の横線分群が存在していた領域に、合計判定フラグΣｆが「１」の横線分群、すなわち、対象物を表わす高輝度領域のうち下が開いている一方、上が閉じている部分（開要素）に架橋された横線分群が現われたことを要件としてフラグＦが「１」から「０」に変更されてもよい。

次にタイマの計測時間Ｔが指定時間Ｔ０未満であるか否かが判定される（図５／ＳＴＥＰ１２０）。そして、計測時間Ｔが指定時間Ｔ０未満であると判定された場合（図５／ＳＴＥＰ１２０‥ＹＥＳ）、フラグＦの変化回数が所定回数（たとえば２）以上であるか否かがさらに判定される（図５／ＳＴＥＰ１２２）。指定時間Ｔ０は四足動物の標準的な歩行または走行周期に基づいて設定されている。フラグＦの初期値が「０」である場合、フラグＦの初期値が「１」である場合よりも指定時間Ｔ０が長く設定されてもよい。フラグＦの初期値が「０」である場合と、フラグＦの初期値が「１」である場合とにおいて、所定回数が同一でも異なっていてもよい。計測時間Ｔが指定時間Ｔ０に達するまでにフラグＦの変化回数が所定回数以上であると判定された場合（図５／ＳＴＥＰ１２２‥ＹＥＳ）、タイマによる計時が停止され（図５／ＳＴＥＰ１２４）、当該対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１２６）。たとえば、図８（ａ）に示されているようにタイマによる計時時間Ｔが指定時間Ｔ０に至るまでの間に、閉要素が存在するフラグＦ＝１の状態、閉要素がない代わりに開要素が存在するフラグＦ＝０の状態およびフラグＦ＝１の状態が順に現出することにより、フラグＦの変化回数が所定回数としての「２」に達した場合、当該対象物が四足動物に該当すると判定されうる。また、図８（ｂ）に示されているようにタイマによる計時時間Ｔが指定時間Ｔ０に至るまでの間にフラグＦ＝０の状態、フラグＦ＝１の状態およびフラグＦ＝０の状態が順に現出することにより、フラグＦの変化回数が所定回数としての「２」に達した場合、当該対象物が四足動物に該当すると判定されうる。

そして、前記のようにこの対象物について車両１０の運転者の注意を喚起するような通報が実行されうる（図３／ＳＴＥＰ２６，図４／ＳＴＥＰ４６参照）。一方、フラグＦの変化回数が所定回数にいたらないままタイマの計測時間Ｔが指定時間Ｔ０にいたった場合（図５／ＳＴＥＰ１２０‥ＮＯ）、当該対象物が四足動物に該当しないと判定される（図５／ＳＴＥＰ１２８）。

前記機能を発揮する車両周辺監視装置によれば、撮像画像から抽出された対象物が存在する領域としての対象物領域Ａから、閉要素および開要素が異なる時刻において抽出されたことを要件として、当該対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１２２，ＳＴＥＰ１２６、図８（ａ）（ｂ）参照）。歩行または走行している四足動物が横から観察された場合、前脚および後脚の交差部位または接地部位の近接と離反とが繰り替えされることが確認される可能性が高い。また、交差部位または接地部位は脚の付け根よりも下側に位置している。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。

また、対象物領域Ａから、閉要素が断続的に抽出されたことを要件として、当該対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１２２，ＳＴＥＰ１２６、図８（ａ）参照）。閉要素は、横向きの四足動物の胴体の少なくとも一部と、横から見て交差しているまたは接地部位が近接している前脚および後脚とに該当する蓋然性が高い。歩行または走行している四足動物が横から観察された場合、交差しているまたは接地部位が近接する前脚および後脚の組が断続的に確認される可能性が高い。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。

さらに、閉要素により囲まれた低輝度画素群または低輝度領域の形状が指定形状に該当することを要件として、当該閉要素が抽出された対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１０６，ＳＴＥＰ１１４，ＳＴＥＰ１２２，図７（ｃ）参照）。これにより、前脚および後脚が交差しているまたは前脚および後脚のそれぞれの接地部位が近接した状態における横向きの四足動物が観察された場合における、その胴体の少なくとも一部と、当該前脚および後脚とにより囲まれた領域の標準的な形状に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かがさらに高精度で認識されうる。

なお、前記実施形態では対象物領域Ａが画像横方向に走査されることにより横線分が探索され、当該横線分の合計判定フラグΣｆの評価結果に基づいて閉要素の有無が判定されたが、対象物領域Ａが画像縦方向に走査されることにより縦線分（負エッジ点から、一の低輝度画素または縦に連続した複数の低輝度画素群を経て正エッジ点までのびる画素線分）が探索され、当該縦線分の合計判定フラグの評価結果に基づいて閉要素の有無が判定されてもよい。また、閉要素の有無が対象物領域Ａにおける高輝度領域の一部と、メモリにあらかじめ保存または格納されているテンプレートとの相関値が基準値を超えているか否かに応じて、対象物領域Ａの閉要素の有無が判定されてもよい。各種テンプレートとして、基準要素の形状、サイズおよび配置（間隔など）のうち一部または全部が異なる複数パターンのテンプレートが準備されていてもよい。テンプレートは赤外線カメラ２Ｒ、２Ｌにより撮像された、横向きの犬、鹿、馬等の特定種類の四足動物の画像に基づいて作成されてもよい。対象物領域Ａから抽出された高輝度領域が細線化処理された上で得られた細線化画像の形状に基づき、閉要素の有無が判定されてもよい。

前記実施形態では閉要素により囲まれた低輝度領域または低輝度画素群の形状が指定形状に該当するか否かが、その縦幅ＬＨおよび横幅ＬＷに基づいて判定されたが、画像縦方向について横線分の長さの変化パターンに基づき、当該低輝度画素群の形状が判別されてもよい。たとえば、低輝度領域が下端部から上に向かうにつれて連続的または断続的に幅広となった後、上端部に向かうにつれて連続的または断続的に幅狭となるような指定形状であることが判定されてもよい。

本発明の車両周辺監視装置の構成説明図車両周辺監視装置が搭載されている車両に関する説明図車両周辺監視装置を構成する画像処理ユニットの機能を示すフローチャート車両周辺監視装置を構成する画像処理ユニットの機能を示すフローチャート対象物分類処理を示すフローチャート対象物領域に関する説明図閉要素の有無判定方法に関する説明図対象物の形状変化態様に関する説明図

符号の説明

１‥画像処理ユニット（対象物領域抽出手段、対象物分類手段）、２Ｒ，２Ｌ‥赤外線カメラ（撮像手段）

Claims

車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
前記撮像画像から、輝度が第１閾値以上の第１高輝度画素群により表される対象物が存在する領域を対象物領域として抽出する対象物領域抽出手段と、
前記対象物領域抽出手段により抽出された前記対象物領域から、前記第１閾値より大きい第２閾値以上の輝度の第２高輝度画素群により構成される最大の領域を抽出し、前記最大の領域の縦幅に対する横幅の比率が１以上であることと、前記対象物領域の下部から、低輝度画素群を囲む前記第１高輝度画素群から構成されている閉要素と、前記閉要素の下部が開裂した形状の開要素とが異なる時刻に抽出されることとを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを備えることを特徴とする車両周辺監視装置。
車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
前記撮像画像から、輝度が第１閾値以上の第１高輝度画素群により表される対象物が存在する領域を対象物領域として抽出する対象物領域抽出手段と、
前記対象物領域抽出手段により抽出された前記対象物領域から、前記第１閾値より大きい第２閾値以上の輝度の第２高輝度画素群により構成される最大の領域を抽出し、前記最大の領域の縦幅に対する横幅の比率が１以上であることと、前記対象物領域の下部から、低輝度画素群を囲む前記第１高輝度画素群から構成されている閉要素が断続的に抽出されることとを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを備えることを特徴とする車両周辺監視装置。
請求項１又は２記載の周辺監視装置であって、
前記対象物分類手段は、前記対象物領域中で低輝度画素の連続した横並びの画素により構成される横線分において、局所的に最も下に位置する横線分と、局所的に最も上に位置する横線分とに挟まれ、縦方向に連続して重なる複数の横線分が存在するとき、閉要素が存在すると判定することを特徴とする車両周辺監視装置。
請求項１又は２記載の周辺監視装置であって、
前記対象物分類手段は、さらに、抽出された前記閉要素により囲まれている低輝度領域の横幅に対する縦幅の比率が指定比率範囲に含まれ、前記閉要素の形状が指定形状に該当すると判定されたことを要件として、前記閉要素が抽出された対象物が四足動物に該当すると判定することを特徴とする車両周辺監視装置。