JP5004919B2 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP5004919B2
JP5004919B2 JP2008264432A JP2008264432A JP5004919B2 JP 5004919 B2 JP5004919 B2 JP 5004919B2 JP 2008264432 A JP2008264432 A JP 2008264432A JP 2008264432 A JP2008264432 A JP 2008264432A JP 5004919 B2 JP5004919 B2 JP 5004919B2
Authority
JP
Japan
Prior art keywords
area
vehicle
luminance
extracted
monitoring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008264432A
Other languages
English (en)
Other versions
JP2010092429A (ja
JP2010092429A5 (ja
Inventor
正人 渡辺
誠 相村
雅和 坂
幸大 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2008264432A priority Critical patent/JP5004919B2/ja
Publication of JP2010092429A publication Critical patent/JP2010092429A/ja
Publication of JP2010092429A5 publication Critical patent/JP2010092429A5/ja
Application granted granted Critical
Publication of JP5004919B2 publication Critical patent/JP5004919B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
撮像装置により撮像された赤外線画像から対象物である歩行者の頭部に相当する領域を抽出し、当該頭部領域に基づいて歩行者の胴体に相当する領域を抽出することにより対象物が歩行者であることを認識し、この歩行者の存在を車両の運転者に知らせる技術が知られている(特許文献1参照)。
特開平11−328364号公報
しかし、車両の周辺には歩行者(人間)のみならず、鹿等の四足動物も存在する場合がある。この場合、対象物が人間であるか否かを判定する手法が採用されても、対象物が四足動物であるか否かを判定することは困難である。このため、車両の運転者に四足動物の存在を知らせること、さらには、運転者が対象物との接触を回避するように車両を運転することが困難となる。
そこで、本発明は、対象物が四足動物であるか否かを高精度で認識することができる車両周辺監視装置を提供することを目的とする。
第1発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から、輝度が第1閾値以上の第1高輝度画素群により表される対象物が存在する領域を対象物領域として抽出する対象物領域抽出手段と、前記対象物領域抽出手段により抽出された前記対象物領域から、前記第1閾値より大きい第2閾値以上の輝度の第2高輝度画素群により構成される最大の領域を抽出し、前記最大の領域の縦幅に対する横幅の比率が1以上であることと、前記対象物領域の下部から、低輝度画素群を囲む前記第1高輝度画素群から構成されている閉要素と、前記閉要素の下部が開裂した形状の開要素とが異なる時刻に抽出されることを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを備えることを特徴とする。
第1発明の車両周辺監視装置によれば、撮像画像(撮像手段により撮像された原画像のほか、当該原画像に加工処理が施されることにより得られた画像も含まれる。)から抽出された対象物が存在する領域としての対象物領域から、閉要素および開要素が異なる時刻において抽出されたことを要件として、当該対象物が四足動物に該当すると判定される。なお、「四足動物」はすべての四足動物を意味するのではなく、本発明の手法により分類されうる特定の四足動物を意味している。歩行または走行している四足動物が横から観察された場合、前脚および後脚の交差部位または接地部位の近接と離反とが繰り替えされることが確認される可能性が高い。また、交差部位または接地部位は脚の付け根よりも下側に位置している。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。
第2発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から、輝度が第1閾値以上の第1高輝度画素群により表される対象物が存在する領域を対象物領域として抽出する対象物領域抽出手段と、前記対象物領域抽出手段により抽出された前記対象物領域から、前記第1閾値より大きい第2閾値以上の輝度の第2高輝度画素群により構成される最大の領域を抽出し、前記最大の領域の縦幅に対する横幅の比率が1以上であることと、前記対象物領域の下部から、低輝度画素群を囲む前記第1高輝度画素群から構成されている閉要素が断続的に抽出されることを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを備えることを特徴とする
第2発明の車両周辺監視装置によれば、撮像画像から抽出された対象物が存在する領域としての対象物領域から、閉要素が断続的に抽出されたことを要件として、当該対象物が四足動物に該当すると判定される。閉要素は、横向きの四足動物の胴体の少なくとも一部と、横から見て交差しているまたは接地部位が近接している前脚および後脚とに該当する蓋然性が高い。歩行または走行している四足動物が横から観察された場合、交差しているまたは接地部位が近接する前脚および後脚の組が断続的に確認される可能性が高い。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。
本発明の車両周辺監視装置の実施形態について説明する。まず、本実施形態の車両周辺監視装置の構成について説明する。車両周辺監視装置は図1および図2に示されている画像処理ユニット1を備えている。画像処理ユニット1には、車両10の前方の画像を撮像する撮像手段としての2つの赤外線カメラ2R,2Lが接続されるとともに、車両10の走行状態を検出するセンサとして、車両10のヨーレートを検出するヨーレートセンサ3、車両10の走行速度(車速)を検出する車速センサ4、および車両10のブレーキ操作の有無を検出するブレーキセンサ5とが接続されている。さらに、画像処理ユニット1には、音声などによる聴覚的な通報情報を出力するためのスピーカ6、および赤外線カメラ2R,2Lにより撮像された撮像画像や視覚的な通報情報を表示するための表示装置7が接続されている。なお、赤外線カメラ2R,2Lが本発明における撮像手段に相当する。対象物との距離がレーダーにより測定される場合、1台の赤外線カメラのみが車両10に搭載されてもよい。
画像処理ユニット1は、A/D変換回路、CPU、RAM、ROM等のメモリ、I/O回路およびこれらを接続するバスなどにより構成されているECU(電子制御ユニット)により構成されている。赤外線カメラ2R,2L、ヨーレートセンサ3、車速センサ4およびブレーキセンサ5から出力されるアナログ信号が、A/D変換回路によりデジタルデータ化され、CPUによりデジタル化されたデータに基づき、人間(歩行者、自転車に乗っている者)などの対象物を検出し、検出した対象物が所定の通報要件を満す場合にスピーカ6や表示装置7により運転者に通報を発する処理を実行する。なお、画像処理ユニット1は対象物抽出手段および対象物分類手段としての機能を備えている。
図2に示されているように、赤外線カメラ2R,2Lは、車両10の前方を撮像するために、車両10の前部(図ではフロントグリルの部分)に取り付けられている。この場合、赤外線カメラ2R,2Lは、それぞれ、車両10の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、車両10の車幅方向の中心に対して左右対称である。赤外線カメラ2R,2Lは、それらの光軸が互いに平行に車両10の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ2R,2Lは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる(映像信号の輝度が高くなる)特性を有している。
また、本実施形態では、表示装置7として、車両10のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ7a(以下、HUD7aという)を備えている。なお、表示装置7として、HUD7aの代わりに、もしくは、HUD7aとともに、車両10の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイが用いられてもよい。
次に、前記構成の車両周辺監視装置の基本的な機能について図3のフローチャートを用いて説明する。図3のフローチャートの基本的な処理内容は、たとえば本出願人による特開2001−6096号公報の図3および特開2007−310705号公報の図3に記載されている処理内容と同様である。
具体的には、まず赤外線カメラ2R、2Lの赤外線画像信号が画像処理ユニット1に入力され(図3/STEP11)、その上で画像処理ユニット1により続く一連の処理が実行される。すなわち、赤外線カメラ2R、2Lの出力信号がA/D変換され(図3/STEP12)、A/D変換された赤外線画像からグレースケール画像が生成され(図3/STEP13)、基準となるグレースケール画像(右画像)が2値化される(図3/STEP14)。また、2値化画像から対象物が存在する領域が対象物領域Aとして抽出される。具体的には、2値化画像の高輝度領域を構成する画素群がランレングスデータに変換され(図3/STEP15)、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル(識別子)が付され(図3/STEP16)、ライン群のそれぞれが対象物として抽出される(図3/STEP17)。これにより、図6(a)に斜線で示されているようなひとまとまりの高輝度画素(輝度が第1閾値以上の第1高輝度画素,画素値=1の画素)により構成される高輝度領域が対象物として抽出される。さらに、図6(a)に斜線で示されている対象物の全部を囲う線によって画定された領域が対象物領域Aとして設定される。
続いて、各対象物の重心の位置(基準画像上での位置)、面積および外接四角形の縦横比が算定される(図3/STEP18)。また、対象物の時刻間追跡が実行され、画像処理ユニット1の演算処理周期毎の対象物の同一性が判定される(図3/STEP19)。さらに、車速センサ4およびヨーレートセンサ5の出力(車速の検出値及びヨーレートの検出値)が読み込まれる(図3/STEP20)。
また、外接四角形の縦横比算出および対象物の時刻間追跡と並行して、基準画像のうち、各対象物に対応する領域(たとえば該対象物の外接四角形の領域)が探索画像として抽出される(図3/STEP31)。さらに、相関演算が実行されることにより左画像中から探索画像に対応する画像(対応画像)が探索かつ抽出される(図3/STEP32)。また、車両10から対象物までの実空間距離(車両10の前後方向における距離)が算定される(図3/STEP33)。
また、各対象物の実空間位置(車両10に対する相対位置)が算定される(図3/STEP21)。さらに、対象物の実空間位置(X,Y,Z)(図2参照)のうちのX成分が回頭角の時系列データ(STEP20参照)に応じて補正される(図3/STEP22)。また、車両10に対する対象物の相対移動ベクトルが推定され(図3/STEP23)、この相対移動ベクトルに基づき、車両10と対象物との接触可能性があると判定された場合に運転者の注意を喚起するための通報を発する通報判定処理が実行される(図3/STEP24)。対象物が通報判定要件を満たすと判定された場合(図3/STEP24‥YES)、当該対象物に関する通報要否を判定する通報出力判定処理が実行される(図3/STEP25)。そして、通報が必要であると判定された場合(図3/STEP25‥YES)、運転者に対して車両10との接触可能性が高い状況である旨が通報される(図3/STEP26)。具体的には、スピーカ6を介して音声が出力されることにより、あるいは、HUD7aにおいて対象物が色彩やフレーム等により強調表示されることによって当該状況が通報される。以上が本実施形態の車両周辺監視装置の全体的作動である。なお、画像処理ユニット1によりSTEP11〜18の処理を実行する構成が、本発明の対象物領域抽出手段に相当する。
次に、図3のフローチャートのSTEP24における通報判定処理について図4のフローチャートを用いて説明する。図4のフローチャートの基本的な処理内容は、たとえば本出願人による特開2001−6096号の図4および特開2007−310705号の図4に記載されている処理内容と同様である。
具体的には、まず接触判定処理が実行される(図4/STEP41)。接触判定処理は、車両10と対象物との距離が、相対速度Vsと余裕時間Tとを乗じた値以下の場合、接触可能性があると判定される。また、余裕時間T以内に車両10と対象物とが接触する可能性があると判定された場合(図4/STEP41‥YES)、対象物が接近判定領域内に存在するか否かが判定される(図4/STEP42)。そして、対象物が接近判定領域に存在しないと判定された場合(図4/STEP42‥NO)、対象物が接近判定領域に進入して車両10と接触する可能性があるか否かが判定される(図4/STEP43)。具体的には、対象物が接近判定領域の外側にある進入判定領域に存在し、かつ、STEP23で算定された対象物の移動ベクトルが接近判定領域に向かっているときに、接触する可能性があると判定される。
一方、対象物が接近判定領域に存在していると判定された場合(図4/STEP42‥YES)、または、車両10と対象物との接触可能性があると判定された場合(図4/STEP43‥YES)、対象物が人工構造物であるか否かを判定する人工構造物判定処理が実行される(図4/STEP44)。これにより、たとえば対象物から歩行者にはあり得ない外形上の特徴が検出された場合、この対象物が人工構造物に該当すると判定される。対象物が人工構造物に該当しないと判定された場合(図4/STEP44‥NO)、対象物が歩行者に該当するか否かが判定される(図4/STEP45)。具体的には、グレースケール画像上で対象物の画像領域の形状や大きさ、輝度分散等の特徴から、対象物が歩行者に該当するか否かが判定される。そして、対象物が歩行者に該当すると判定された場合(図4/STEP45‥YES)、検出した対象物を通報または注意喚起の対象として決定する(図4/STEP46)。
また、対象物が歩行者ではないと判定された場合(図4/STEP45‥NO)、この対象物が四足動物に該当するか否かが判定される(図4/STEP47)。対象物が四足動物に該当すると判定された場合(図4/STEP47‥YES)、画像処理ユニット1は、対象物が通報対象として決定される(図4/STEP46)。車両10と対象物との接触可能性がないと判定された場合(図4/STEP43‥NO)、対象物が人工構造物であると判定された場合(図4/STEP44‥YES)、または、対象物が四足動物に該当しないと判定された場合(図4/STEP47‥NO)、この対象物は通報対象から除外される(図4/STEP48)。
次に、本発明の車両周辺監視装置の主要な機能である動物判定処理について図5のフローチャートを用いて説明する。
まず、対象物領域Aのうち、最も高い輝度範囲に輝度が含まれる高輝度画素(第1閾値より大きい第2閾値以上の輝度の第2高輝度画素)群により構成される最大の領域Bが抽出され、この領域Bの縦幅(高さ)Hに対する横幅Wの比が対象物縦横比(=W/H)として算出される(図5/STEP102)。これにより、たとえば図6(a)に斜線で示されている対象物(高輝度画像領域)の一部を囲む破線により画定された領域が領域Bとして抽出され、その縦横比W/Hが算定される。その上で、縦横比W/Hが基準値(たとえば1)以上であるか否かが判定される(図5/STEP104)。なお、縦横比W/Hの算定および基準値との対比処理は省略されてもよい。
そして、縦横比W/Hが基準値未満であると判定された場合(図5/STEP104‥NO)、当該対象物は四足動物に該当しないと判定される(図5/STEP128)。この判定は、対象物が四足動物である場合、横に長く、他の身体部分と比較して温度が高い胴部に該当する高輝度領域が抽出される蓋然性が高いという思想に基づいている。
一方、縦横比W/Hが基準値以上であると判定された場合(図5/STEP104‥YES)、対象物領域Aにおいて、ひとまとまりの低輝度領域を囲む高輝度領域により構成されている指定形状の閉要素の有無が判定される(図5/STEP106)。具体的には、対象物領域Aの下端から上端に向かって順番に対象物領域Aが右方向に走査されることにより、画素値が「1(対象物が存在する画素を表わす。)」から「0(対象物が存在しない画素を表わす。)」に変化した後、再び「1」になるような横並びの画素により構成される横線分が探索される。これにより、たとえば図7(a)に斜線で示されている対象物について、画像右方向について画素値が「1」から「0」に変化する負エッジ点(図中●)から、一の低輝度画素または複数の連続した低輝度画素群を経て、画素値が「0」から「1」に変化する正エッジ点(図中○)までのびる線分が横線分として探索される。なお、長さが閾値未満の横線分はノイズとして除去されうる。
また、局所的に最も下に位置する横線分の第1判定フラグf1が設定され、かつ、局所的に最も上に位置する横線分の第2判定フラグf2が設定される(図7(a)参照)。局所的に最も下に位置する横線分とは、下方に1画素分だけずらされたときに重なる横線分が存在しない横線分を意味する。局所的に最も上に位置する横線分とは、上方に1画素分だけずらされたときに重なる横線分が存在しない横線分を意味する。具体的には、局所的に最も下に位置する横線分が画像下方に1画素分だけずらされたときに、当該横線分を構成するすべてまたは1〜2画素を除くすべての画素が高輝度画素に重なる場合、当該横線分の第1判定フラグf1は「1」に設定される。また、局所的に最も上に位置する横線分が画像上方に1画素分だけずらされたときに、当該横線分を構成するすべてまたは1〜2画素を除くすべての画素が高輝度画素に重なる場合、当該横線分の第2判定フラグf2は「2」に設定される。その他の場合、局所的に最も下または上に位置する横線分の判定フラグfは「0」に設定される。
続いて、各横線分に第1判定フラグf1および第2判定フラグf2の両方が付される(図7(b)参照)。具体的には、第1判定フラグf1が1である横線分のすぐ上(1画素分だけ上)にあり、かつ、画像縦方向について当該横線分に重なる横線分の第1判定フラグf1が「1」に設定される。また、第2判定フラグf2が2である横線分のすぐ下(1画素分だけ下)にあり、かつ、画像縦方向について当該横線分に重なる横線分の第2判定フラグf2が「2」に設定される。一方、第1判定フラグf1が0である横線分のすぐ上にあり、かつ、画像縦方向について当該横線分に重なる横線分の第1判定フラグf1は「0」に設定される。また、第2判定フラグf2が0である横線分のすぐ下にあり、かつ、画像縦方向について当該横線分に重なる横線分の第2判定フラグf2は「0」に設定される。これにより、横線分のすべての第1判定フラグf1および第2判定フラグf2が設定される。
前記手法によれば、対象物を表わす高輝度領域のうち上下がともに開いている部分(切れ目部分)に架橋された各横線分の合計判定フラグΣf=f1+f2は「0」になる。対象物を表わす高輝度領域のうち下が開いている一方、上が閉じている部分に架橋された各横線分の合計判定フラグΣfは「1」になる(図7(b)参照)。これとは逆に対象物を表わす高輝度領域のうち上が開いている一方、下が閉じている部分に架橋された各横線分の合計判定フラグΣfは「2」になる。対象物を表わす高輝度領域のうち上下がともに閉じている部分に架橋された各横線分の合計判定フラグΣfは「3」になる。合計判定フラグΣfが3であり、かつ、縦方向に連続して重なっている複数の横線分が存在する場合、「閉要素」が存在すると判定される。
なお、画像処理の負荷軽減および高速化のため、対象物領域Aではなくその一部である局所領域Sにおける閉要素の有無が判定されてもよい。たとえば図6(b)に示されているように対象物領域Aの下部にある高輝度領域を囲む太線により画定されている領域が局所領域Sとして設定されうる。局所領域Sの横幅WSは対象物領域Aの横幅WAを基準としてc1・WA(0<c1<1)に設定され、局所領域Sの縦幅HSは対象物領域Aの縦幅HAを基準としてc2・HA(0<c2<1)に設定されうる。係数c1およびc2は任意に設定されうる。局所領域Sの下端は対象物領域Aの下端に一致していてもずれていてもよく、局所領域Sの横端は対象物領域Aの横端に一致していてもずれていてもよい。
さらに、閉要素が指定形状であるか否かを判定するため、この閉要素により囲まれている低輝度領域の縦幅LHおよび横幅LWが決定される(図7(c)参照)。具体的には、合計判定フラグΣfが3であり、かつ、画像縦方向に連続して重なっている複数の横線分のうち、最長、すなわち、当該横線分を構成する画素数が最多の横線分の長さが、閉要素に囲まれた低輝度領域の横幅LWとして決定される。また、当該最長の横線分の中点(中心画素)およびその左右両側に隣接する点(画素)を通り、画像上方向について画素値が「1」から「0」に変化する負エッジ点から、一の低輝度画素または複数の連続した低輝度画素群を経て、画素値が「0」から「1」に変化する正エッジ点までのびる線分が縦線分として探索される。その上で、当該縦線分のうち最長の縦線分の長さが、閉要素に囲まれた低輝度領域の縦幅LHとして決定される。
そして、低輝度領域の横幅LWに対する縦幅LHの比率LH/LWが指定比率範囲[r1,r2](たとえばr1=0.5,r2=1.5等、「1」を包含する範囲)に含まれているか否かに応じて、閉要素の形状が指定形状であるか否かが判定される。なお、閉要素の形状判定は省略されてもよい。
そして、指定形状の閉要素があると判定された場合(図5/STEP106‥YES)、当該対象物のフラグFの初期値が「1」に設定され(図5/STEP108)、その上で画像処理ユニット1が有するタイマ(図示略)によるT=0からの計時が開始される(図5/STEP112)。その一方、指定形状の閉要素がないと判定された場合(図5/STEP106‥NO)、フラグFの初期値が「0」に設定され(図5/STEP110)、その上でタイマによるT=0からの計時が開始される(図5/STEP112)。
続いて、前記手法にしたがって対象物領域Aにおける指定形状の閉要素の有無が判定される(図5/STEP114)。そして、指定形状の閉要素があると判定された場合(図5/STEP114‥YES)、当該対象物のフラグFが「1」に維持または変更される(図5/STEP116)。その一方、指定形状の閉要素がないと判定された場合(図5/STEP114‥NO)、当該対象物のフラグFが「0」に変更または維持される(図5/STEP118)。なお、対象物領域Aにおいて合計判定フラグΣfが「3」の横線分群が存在していた領域に、合計判定フラグΣfが「1」の横線分群、すなわち、対象物を表わす高輝度領域のうち下が開いている一方、上が閉じている部分(開要素)に架橋された横線分群が現われたことを要件としてフラグFが「1」から「0」に変更されてもよい。
次にタイマの計測時間Tが指定時間T0未満であるか否かが判定される(図5/STEP120)。そして、計測時間Tが指定時間T0未満であると判定された場合(図5/STEP120‥YES)、フラグFの変化回数が所定回数(たとえば2)以上であるか否かがさらに判定される(図5/STEP122)。指定時間T0は四足動物の標準的な歩行または走行周期に基づいて設定されている。フラグFの初期値が「0」である場合、フラグFの初期値が「1」である場合よりも指定時間T0が長く設定されてもよい。フラグFの初期値が「0」である場合と、フラグFの初期値が「1」である場合とにおいて、所定回数が同一でも異なっていてもよい。計測時間Tが指定時間T0に達するまでにフラグFの変化回数が所定回数以上であると判定された場合(図5/STEP122‥YES)、タイマによる計時が停止され(図5/STEP124)、当該対象物が四足動物に該当すると判定される(図5/STEP126)。たとえば、図8(a)に示されているようにタイマによる計時時間Tが指定時間T0に至るまでの間に、閉要素が存在するフラグF=1の状態、閉要素がない代わりに開要素が存在するフラグF=0の状態およびフラグF=1の状態が順に現出することにより、フラグFの変化回数が所定回数としての「2」に達した場合、当該対象物が四足動物に該当すると判定されうる。また、図8(b)に示されているようにタイマによる計時時間Tが指定時間T0に至るまでの間にフラグF=0の状態、フラグF=1の状態およびフラグF=0の状態が順に現出することにより、フラグFの変化回数が所定回数としての「2」に達した場合、当該対象物が四足動物に該当すると判定されうる。
そして、前記のようにこの対象物について車両10の運転者の注意を喚起するような通報が実行されうる(図3/STEP26,図4/STEP46参照)。一方、フラグFの変化回数が所定回数にいたらないままタイマの計測時間Tが指定時間T0にいたった場合(図5/STEP120‥NO)、当該対象物が四足動物に該当しないと判定される(図5/STEP128)。
前記機能を発揮する車両周辺監視装置によれば、撮像画像から抽出された対象物が存在する領域としての対象物領域Aから、閉要素および開要素が異なる時刻において抽出されたことを要件として、当該対象物が四足動物に該当すると判定される(図5/STEP122,STEP126、図8(a)(b)参照)。歩行または走行している四足動物が横から観察された場合、前脚および後脚の交差部位または接地部位の近接と離反とが繰り替えされることが確認される可能性が高い。また、交差部位または接地部位は脚の付け根よりも下側に位置している。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。
また、対象物領域Aから、閉要素が断続的に抽出されたことを要件として、当該対象物が四足動物に該当すると判定される(図5/STEP122,STEP126、図8(a)参照)。閉要素は、横向きの四足動物の胴体の少なくとも一部と、横から見て交差しているまたは接地部位が近接している前脚および後脚とに該当する蓋然性が高い。歩行または走行している四足動物が横から観察された場合、交差しているまたは接地部位が近接する前脚および後脚の組が断続的に確認される可能性が高い。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。
さらに、閉要素により囲まれた低輝度画素群または低輝度領域の形状が指定形状に該当することを要件として、当該閉要素が抽出された対象物が四足動物に該当すると判定される(図5/STEP106,STEP114,STEP122,図7(c)参照)。これにより、前脚および後脚が交差しているまたは前脚および後脚のそれぞれの接地部位が近接した状態における横向きの四足動物が観察された場合における、その胴体の少なくとも一部と、当該前脚および後脚とにより囲まれた領域の標準的な形状に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かがさらに高精度で認識されうる。
なお、前記実施形態では対象物領域Aが画像横方向に走査されることにより横線分が探索され、当該横線分の合計判定フラグΣfの評価結果に基づいて閉要素の有無が判定されたが、対象物領域Aが画像縦方向に走査されることにより縦線分(負エッジ点から、一の低輝度画素または縦に連続した複数の低輝度画素群を経て正エッジ点までのびる画素線分)が探索され、当該縦線分の合計判定フラグの評価結果に基づいて閉要素の有無が判定されてもよい。また、閉要素の有無が対象物領域Aにおける高輝度領域の一部と、メモリにあらかじめ保存または格納されているテンプレートとの相関値が基準値を超えているか否かに応じて、対象物領域Aの閉要素の有無が判定されてもよい。各種テンプレートとして、基準要素の形状、サイズおよび配置(間隔など)のうち一部または全部が異なる複数パターンのテンプレートが準備されていてもよい。テンプレートは赤外線カメラ2R、2Lにより撮像された、横向きの犬、鹿、馬等の特定種類の四足動物の画像に基づいて作成されてもよい。対象物領域Aから抽出された高輝度領域が細線化処理された上で得られた細線化画像の形状に基づき、閉要素の有無が判定されてもよい。
前記実施形態では閉要素により囲まれた低輝度領域または低輝度画素群の形状が指定形状に該当するか否かが、その縦幅LHおよび横幅LWに基づいて判定されたが、画像縦方向について横線分の長さの変化パターンに基づき、当該低輝度画素群の形状が判別されてもよい。たとえば、低輝度領域が下端部から上に向かうにつれて連続的または断続的に幅広となった後、上端部に向かうにつれて連続的または断続的に幅狭となるような指定形状であることが判定されてもよい。
本発明の車両周辺監視装置の構成説明図 車両周辺監視装置が搭載されている車両に関する説明図 車両周辺監視装置を構成する画像処理ユニットの機能を示すフローチャート 車両周辺監視装置を構成する画像処理ユニットの機能を示すフローチャート 対象物分類処理を示すフローチャート 対象物領域に関する説明図 閉要素の有無判定方法に関する説明図 対象物の形状変化態様に関する説明図
符号の説明
1‥画像処理ユニット(対象物領域抽出手段、対象物分類手段)、2R,2L‥赤外線カメラ(撮像手段)

Claims (4)

  1. 車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
    前記撮像画像から、輝度が第1閾値以上の第1高輝度画素群により表される対象物が存在する領域を対象物領域として抽出する対象物領域抽出手段と、
    前記対象物領域抽出手段により抽出された前記対象物領域から、前記第1閾値より大きい第2閾値以上の輝度の第2高輝度画素群により構成される最大の領域を抽出し、前記最大の領域の縦幅に対する横幅の比率が1以上であることと、前記対象物領域の下部から、低輝度画素群を囲む前記第1高輝度画素群から構成されている閉要素と、前記閉要素の下部が開裂した形状の開要素とが異なる時刻に抽出されることを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを備えることを特徴とする車両周辺監視装置。
  2. 車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
    前記撮像画像から、輝度が第1閾値以上の第1高輝度画素群により表される対象物が存在する領域を対象物領域として抽出する対象物領域抽出手段と、
    前記対象物領域抽出手段により抽出された前記対象物領域から、前記第1閾値より大きい第2閾値以上の輝度の第2高輝度画素群により構成される最大の領域を抽出し、前記最大の領域の縦幅に対する横幅の比率が1以上であることと、前記対象物領域の下部から、低輝度画素群を囲む前記第1高輝度画素群から構成されている閉要素が断続的に抽出されることを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを備えることを特徴とする車両周辺監視装置。
  3. 請求項1又は2記載の周辺監視装置であって、
    前記対象物分類手段は、前記対象物領域中で低輝度画素の連続した横並びの画素により構成される横線分において、局所的に最も下に位置する横線分と、局所的に最も上に位置する横線分とに挟まれ、縦方向に連続して重なる複数の横線分が存在するとき、閉要素が存在すると判定することを特徴とする車両周辺監視装置。
  4. 請求項1又は2記載の周辺監視装置であって、
    前記対象物分類手段は、さらに、抽出された前記閉要素により囲まれている低輝度領域の横幅に対する縦幅の比率が指定比率範囲に含まれ、前記閉要素の形状が指定形状に該当すると判定されたことを要件として、前記閉要素が抽出された対象物が四足動物に該当すると判定することを特徴とする車両周辺監視装置。
JP2008264432A 2008-10-10 2008-10-10 車両周辺監視装置 Expired - Fee Related JP5004919B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008264432A JP5004919B2 (ja) 2008-10-10 2008-10-10 車両周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008264432A JP5004919B2 (ja) 2008-10-10 2008-10-10 車両周辺監視装置

Publications (3)

Publication Number Publication Date
JP2010092429A JP2010092429A (ja) 2010-04-22
JP2010092429A5 JP2010092429A5 (ja) 2010-08-19
JP5004919B2 true JP5004919B2 (ja) 2012-08-22

Family

ID=42255049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008264432A Expired - Fee Related JP5004919B2 (ja) 2008-10-10 2008-10-10 車両周辺監視装置

Country Status (1)

Country Link
JP (1) JP5004919B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5559121B2 (ja) * 2011-09-27 2014-07-23 本田技研工業株式会社 対象物種別判定装置
JP5502149B2 (ja) * 2012-06-29 2014-05-28 本田技研工業株式会社 車両周辺監視装置
JP6337834B2 (ja) * 2015-05-19 2018-06-06 株式会社デンソー 保護制御装置
JP6481520B2 (ja) 2015-06-05 2019-03-13 トヨタ自動車株式会社 車両の衝突回避支援装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295798A (ja) * 2003-03-28 2004-10-21 Japan Best Rescue System Kk 警備システム
JP4173901B2 (ja) * 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置

Also Published As

Publication number Publication date
JP2010092429A (ja) 2010-04-22

Similar Documents

Publication Publication Date Title
JP5198346B2 (ja) 車両周辺監視装置
JP4173901B2 (ja) 車両周辺監視装置
JP5639282B2 (ja) 車両周辺監視装置
JP5577398B2 (ja) 車両の周辺監視装置
WO2010050090A1 (ja) 車両周辺監視装置
US9235990B2 (en) Vehicle periphery monitoring device
JP4173902B2 (ja) 車両周辺監視装置
JP4171501B2 (ja) 車両の周辺監視装置
JP4377439B1 (ja) 車両周辺監視装置
JP4528283B2 (ja) 車両周辺監視装置
JP4644273B2 (ja) 車両周辺監視装置
JP5004919B2 (ja) 車両周辺監視装置
JP5004903B2 (ja) 車両周辺監視装置
JP5502149B2 (ja) 車両周辺監視装置
JP4615061B2 (ja) 車両周辺監視装置
JP4943403B2 (ja) 車両の周辺監視装置
JP5026398B2 (ja) 車両周辺監視装置
JP5383246B2 (ja) 車両の周辺監視装置
JP4972073B2 (ja) 環境認識装置
JP5907849B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120522

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees