JP4060159B2 - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP4060159B2 JP4060159B2 JP2002297219A JP2002297219A JP4060159B2 JP 4060159 B2 JP4060159 B2 JP 4060159B2 JP 2002297219 A JP2002297219 A JP 2002297219A JP 2002297219 A JP2002297219 A JP 2002297219A JP 4060159 B2 JP4060159 B2 JP 4060159B2
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- image
- area
- mask area
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
この発明は、赤外線カメラにより撮影された画像の2値化処理により、対象物抽出を行う車両周辺監視装置に関する。
【0002】
【従来の技術】
従来、赤外線カメラにより捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を車両の運転者に提供する車両周辺監視装置が提案されている。このシステムでは、歩行者等の対象物における車両との衝突の可能性は、車両と対象物との相対距離や相対速度に基づいて判定される。
【0003】
また、例えばこのように赤外線カメラにより捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出する車両周辺監視装置には、以下に示すようなものがある。具体的に説明すると、この装置は赤外線画像を2値化処理して明部が集中している領域を探し、この領域の縦横比や充足率、更には実面積と画面上の重心位置を用いて距離を算出することで、この領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域を決定することができたら、決定した頭部領域のカメラからの距離と成人の平均身長とから、画像上の歩行者の身長を計算して歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。これにより、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができる(例えば、特許文献1参照。)。
【0004】
【特許文献1】
特開平11−328364号公報
【0005】
【発明が解決しようとする課題】
しかし、赤外線画像上での歩行者は、着帽、着衣の影響や、歩行者自身の存在環境によって、2値化処理により頭部のみ、頭部の一部のみ、上半身のみ、下半身のみ、更には身体全体が抽出されるなど、その2値化形状は不定形である。また、一般的に車両走行時には、前方路面の形状の変化や、車両のピッチングの影響があり、歩行者も子供から大人(成人)まで本来とは異なる身長で検出される。
従って、対象物の画面での重心座標が距離に対して固定化できないため、上述の従来の装置のように、形状判定のみで歩行者の抽出を行った場合、歩行者のみを安定して抽出できない可能性があった。
【0006】
本発明は、上記課題に鑑みてなされたもので、カメラにより撮影された画像から抽出される不定形な2値化対象物を的確に判定し、安定した歩行者の抽出を行う車両周辺監視装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記課題を解決するために、請求項1の発明に係わる車両周辺監視装置は、2つの赤外線カメラにより捉えられた画像を利用して、歩行者を認識する車両周辺監視装置であって、前記画像のグレースケール画像を2値化処理することにより、前記グレースケール画像から2値化対象物を抽出する2値化対象物抽出手段(例えば実施の形態のステップS1〜ステップS13)と、前記グレースケール画像の輝度変化により、前記グレースケール画像から前記2値化対象物を包含する範囲のグレースケール対象物を抽出するグレースケール対象物抽出手段(例えば実施の形態のステップS41〜ステップS42)と、前記グレースケール対象物の領域(例えば実施の形態の領域AREA0)にマスク領域として第1マスク領域(例えば実施の形態のマスク領域AREA3)を設定し、該第1マスク領域の横方向の大きさを2値化対象物画像の横幅とし、前記第1マスク領域の縦方向の大きさをグレースケール対象物画像の高さとして設定するマスク領域設定手段と、前記マスク領域設定手段によって設定された前記第1マスク領域の輝度分散が所定値よりも大きいか否かを判定した判定結果、および、前記第1マスク領域の横幅および高さが歩行者として適当か否かを判定した判定結果に基づいて前記グレースケール画像中の歩行者を認識する歩行者判別手段(例えば実施の形態のステップS43〜ステップS80)とを備えたことを特徴とする。
【0008】
以上の構成を備えた車両周辺監視装置は、まず2値化対象物抽出手段により2値化対象物の位置をグレースケール画像上に認識する。そして、グレースケール対象物抽出手段により、2値化対象物を含む範囲のグレースケール対象物を設定し、歩行者判別手段によりグレースケール対象物上に設定した探索領域毎の輝度分散を計算することで、探索領域の輝度分散の特徴から2値化対象物が歩行者か否かを判断することができる。
【0009】
また、輝度分散を求めるグレースケール画像上のマスク領域の横幅を2値化対象物の横幅とすることで、マスク領域の横幅を歩行者を認識するのに適当な横幅に設定して2値化対象物が歩行者か否かを判断することができる。
【0010】
請求項2の発明に係わる車両周辺監視装置は、請求項1に記載の車両周辺監視装置において、前記マスク領域設定手段が、前記マスク領域として、前記グレースケール対象物の上端を基準に、歩行者の頭部に相当する大きさの頭部領域を第2マスク領域として設定し、前記歩行者判別手段は、さらに、該第2マスク領域の輝度平均が所定値より大きいか否かを判定した判定結果に基づいて歩行者を認識することを特徴とする。
以上の構成を備えた車両周辺監視装置は、輝度分散を求めるグレースケール画像上のマスク領域を歩行者の頭部を認識するのに適当な大きさに設定して2値化対象物が歩行者か否かを判断することができる。
【0011】
請求項4の発明に係わる車両周辺監視装置は、請求項1に記載の車両周辺監視装置において、前記マスク領域設定手段が、前記マスク領域として、前記グレースケール対象物の上端を基準に、歩行者の頭部に相当する大きさの頭部領域を第2マスク領域として設定し、該第2マスク領域の下方に、歩行者の胴部に相当する前記頭部領域より大きい胴部領域を第3マスク領域として設定し、前記歩行者判別手段は、さらに、前記第2マスク領域の輝度平均が所定値より大きいか否かを判定するとともに、前記第3マスク領域の輝度分散が所定値より大きいか否かを判定し、各判定結果に基づいて歩行者を認識することを特徴とする。
以上の構成を備えた車両周辺監視装置は、輝度分散を求めるグレースケール画像上に、歩行者の頭部を認識するのに適当な大きさのマスク領域と、歩行者の胴部を認識するのに適当な大きさのマスク領域とを設定して2値化対象物が歩行者か否かを判断することができる。
【0014】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明の一実施の形態の車両周辺監視装置の構成を示すブロック図である。
図1において、符号1は、本実施の形態の車両周辺監視装置を制御するCPU(中央演算装置)を備えた画像処理ユニットであって、遠赤外線を検出可能な2つの赤外線カメラ2R、2Lと当該車両のヨーレートを検出するヨーレートセンサ3、更に、当該車両の走行速度(車速)を検出する車速センサ4とブレーキの操作を検出するためのブレーキセンサ5が接続される。これにより、画像処理ユニット1は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等を検出し、衝突の可能性が高いと判断したときに警報を発する。
【0015】
また、画像処理ユニット1には、音声で警報を発するためのスピーカ6と、赤外線カメラ2R、2Lにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Displayや自車両のコンソールに設置されるNAVIDisplay、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するHUD(Head Up Display )7a等を含む画像表示装置7が接続されている。
【0016】
また、画像処理ユニット1は、入力アナログ信号をディジタル信号に変換するA/D変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うCPU(中央演算装置)、CPUが演算途中のデータを記憶するために使用するRAM(Random Access Memory)、CPUが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memory)、スピーカ6の駆動信号、HUD7a等の表示信号などを出力する出力回路を備えており、赤外線カメラ2R、2L及びヨーレートセンサ3、車速センサ4、ブレーキセンサ5の各出力信号は、ディジタル信号に変換されてCPUに入力されるように構成されている。
【0017】
また、図2に示すように、赤外線カメラ2R、2Lは、自車両10の前部に、自車両10の車幅方向中心部に対してほぼ対象な位置に配置されており、2つの赤外線カメラ2R、2Lの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ2R、2Lは、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。
また、HUD7aは、自車両10のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【0018】
次に、本実施の形態の動作について図面を参照して説明する。
図3は、本実施の形態の車両周辺監視装置の画像処理ユニット1における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット1は、赤外線カメラ2R、2Lの出力信号である赤外線画像を取得して(ステップS1)、A/D変換し(ステップS2)、グレースケール画像を画像メモリに格納する(ステップS3)。なお、ここでは赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。
【0019】
ステップS3においてグレースケール画像が得られたら、次に、赤外線カメラ2Rにより得られた右画像を基準画像とし、その画像信号の2値化処理、すなわち、輝度閾値ITHより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行う(ステップS4)。
図4(a)は、赤外線カメラ2Rにより得られたグレースケール画像を示し、これに2値化処理を行うことにより、図4(b)に示すような画像を得る。なお、図4(b)において、例えばP1からP4の枠で囲った物体を、表示画面上に白色として表示される対象物(以下「高輝度領域」という)とする。
赤外線画像から2値化された画像データを取得したら、2値化した画像データをランレングスデータに変換する処理を行う(ステップS5)。ランレングスデータにより表されるラインは、2値化により白となった領域を画素レベルで示したもので、いずれもy方向には1画素の幅を有しており、またx方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【0020】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする(ステップS6)ことにより、対象物を抽出する処理を行う(ステップS7)。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを1つの対象物とみなすことにより、例えば図4(b)に示す高輝度領域P1からP4が、それぞれ対象物(2値化対象物)として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心G、面積S及び外接四角形の縦横比ASPECTを算出する(ステップS8)。
【0021】
ここで、面積Sは、ラベルAの対象物のランレングスデータを(x[i]、y[i]、run[i]、A)(i=0,1,2,・・・N−1)とすると、ランレングスデータの長さ(run[i]−1)を同一対象物(N個のランレングスデータ)について積算することにより算出する。また、対象物Aの重心Gの座標(xc、yc)は、各ランレングスデータの長さ(run[i]−1)と各ランレングスデータの座標x[i]、またはy[i]とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Sで割ることにより算出する。
更に、縦横比ASPECTは、対象物の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。
なお、ランレングスデータは画素数(座標数)(=run[i])で示されているので、実際の長さは「−1」する(1を減算する)必要がある(=run[i]−1)。また、重心Gの位置は、外接四角形の重心位置で代用してもよい。
【0022】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う(ステップS9)。時刻間追跡は、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、例えば時刻kで対象物A、Bを抽出したら、時刻(k+1)で抽出した対象物C、Dと対象物A、Bとの同一性判定を行う。そして、対象物A、Bと対象物C、Dとが同一であると判定されたら、対象物C、Dをそれぞれ対象物A、Bというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の(重心の)位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【0023】
なお、以上説明したステップS4〜S9の処理は、2値化した基準画像(本実施の形態では、右画像)について実行する。
次に、車速センサ4により検出される車速VCAR及びヨーレートセンサ3より検出されるヨーレートYRを読み込み、ヨーレートYRを時間積分することより、自車両10の回頭角θrを算出する(ステップS10)。
【0024】
一方、ステップS9とステップS10の処理に平行して、ステップS11〜S13では、対象物と自車両10との距離zを算出する処理を行う。この演算はステップS9、及びステップS10より長い時間を要するため、ステップS9、S11より長い周期(例えばステップS1〜S10の実行周期の3倍程度の周期)で実行される。
まず、基準画像(右画像)の2値化画像によって追跡される対象物の中の1つを選択することにより、右画像から探索画像R1(ここでは、外接四角形で囲まれる領域全体を探索画像とする)を抽出する(ステップS11)。
【0025】
次に、左画像中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(ステップS12)。具体的には、探索画像R1の各頂点座標に応じて、左画像中に探索領域R2を設定し、探索領域R2内で探索画像R1との相関の高さを示す輝度差分総和値C(a,b)を算出し、この総和値C(a,b)が最小となる領域を対応画像として抽出する。なお、この相関演算は、2値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域R2より狭い領域R2aを探索領域として設定する。
【0026】
ステップS12の処理により、基準画像(右画像)中に探索画像R1と、左画像中にこの対象物に対応する対応画像R4とが抽出されるので、次に、探索画像R1の重心位置と対応画像R4の重心位置と視差量Δd(画素数)を求め、これから自車両10と対象物との距離zを算出する(ステップS13)。
次に、ステップS10における回頭角θrの算出と、ステップS13における対象物との距離算出が完了したら、画像内の座標(x,y)及び距離zを実空間座標(X,Y,Z)に変換する(ステップS14)。
ここで、実空間座標(X,Y,Z)は、図2に示すように、赤外線カメラ2R、2Lの取り付け位置の中点の位置(自車両10に固定された位置)を原点Oとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をx、垂直方向をyと定めている。
【0027】
また、実空間座標が求められたら、自車両10が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う(ステップS15)。回頭角補正は、時刻kから(k+1)までの期間中に自車両10が例えば左方向に回頭角θrだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔxだけx方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を(X,Y,Z)と表示する。
【0028】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔTのモニタ期間内に得られた、回頭角補正後のN個(例えばN=10程度)の実空間位置データ、すなわち時系列データから、対象物と自車両10との相対移動ベクトルに対応する近似直線LMVを求める。
次いで、最新の位置座標P(0)=(X(0),Y(0),Z(0))と、(N−1)サンプル前(時間ΔT前)の位置座標P(Nー1)=(X(N−1),Y(N−1),Z(N−1))を近似直線LMV上の位置に補正し、補正後の位置座標Pv(0)=(Xv(0),Yv(0),Zv(0))及びPv(N−1)=(Xv(N−1),Yv(N−1),Zv(N−1))を求める。
【0029】
これにより、位置座標Pv(N−1)からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる(ステップS16)。
このようにモニタ期間ΔT内の複数(N個)のデータから対象物の自車両10に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【0030】
また、ステップS16において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う(ステップS17)。なお、警報判定処理については、詳細を後述する。
ステップS17において、自車両10と検出した対象物との衝突の可能性がないと判定された場合(ステップS17のNO)、ステップS1へ戻り、上述の処理を繰り返す。
また、ステップS17において、自車両10と検出した対象物との衝突の可能性があると判定された場合(ステップS17のYES)、ステップS18の警報出力判定処理へ進む。
【0031】
ステップS18では、ブレーキセンサ5の出力BRから自車両10の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う(ステップS18)。
もし、自車両10の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Gs(減速方向を正とする)を算出し、この加速度Gsが所定閾値GTHより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し(ステップS18のNO)、ステップS1へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【0032】
また、加速度Gsが所定閾値GTH以下であるとき、または自車両10の運転者がブレーキ操作を行っていなければ、直ちにステップS19の処理へ進み(ステップS18のYES)、対象物と接触する可能性が高いので、スピーカ6を介して音声による警報を発する(ステップS19)とともに、画像表示装置7に対して、例えば赤外線カメラ2Rにより得られる画像を出力し、接近してくる対象物を自車両10の運転者に対する強調映像として表示する(ステップS20)。
なお、所定閾値GTHは、ブレーキ操作中の加速度Gsがそのまま維持された場合に、対象物と自車両10との距離Zv(0)以下の走行距離で自車両10が停止する条件に対応する値である。
【0033】
以上が、本実施の形態の車両周辺監視装置の画像処理ユニット1における対象物検出・警報動作であるが、次に、図5に示すフローチャートを参照して、図3に示したフローチャートのステップS17における警報判定処理について更に詳しく説明する。
図5は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両10と検出した対象物との衝突の可能性を判定する処理である。以下、図6に示すように、自車両10の進行方向に対してほぼ90°の方向から、速度Vpで進行してくる対象物20がいる場合を例に取って説明する。
【0034】
図5において、まず、画像処理ユニット1は衝突判定処理を行う(ステップS31)。衝突判定処理は、図6において、対象物20が時間ΔTの間に距離Zv(N−1)から距離Zv(0)に接近した場合に、自車両10とのZ方向の相対速度Vsを求め、両者が高さH以内で相対速度Vsを維持して移動すると仮定して、余裕時間T以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Tは、衝突の可能性を予測衝突時刻より時間Tだけ前に判定することを意図したものである。従って、余裕時間Tは例えば2〜5秒程度に設定される。またHは、高さ方向の範囲を規定する所定高さであり、例えば自車両10の車高の2倍程度に設定される。
【0035】
次に、ステップS31において、余裕時間T以内に自車両10と対象物とが衝突する可能性がある場合(ステップS31のYES)、更に判定の信頼性を上げるために、画像処理ユニット1は対象物が接近判定領域内に存在するか否かの判定処理を行う(ステップS32)。接近判定領域内か否かの判定処理は、図7に示すように、赤外線カメラ2R、2Lで監視可能な領域を太い実線で示す外側の三角形の領域AR0とすると、領域AR0内の、Z1=Vs×Tより自車両10に近い領域であって、対象物が自車両10の車幅αの両側に余裕β(例えば50〜100cm程度とする)を加えた範囲に対応する領域AR1、すなわち対象物がそのまま存在し続ければ自車両10との衝突の可能性がきわめて高い接近判定領域AR1内に存在するか否かを判定する処理である。なお、接近判定領域AR1も所定高さHを有する。
【0036】
更に、ステップS32において、対象物が接近判定領域内に存在しない場合(ステップS32のNO)、画像処理ユニット1は対象物が接近判定領域内へ進入して自車両10と衝突する可能性があるか否かを判定する進入衝突判定処理を行う(ステップS33)。進入衝突判定処理は、上述の接近判定領域AR1よりX座標の絶対値が大きい(接近判定領域の横方向外側の)領域AR2、AR3を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域AR1に進入すると共に自車両10と衝突するか否かを判定する処理である。なお、進入判定領域AR2、AR3も所定高さHを有する。
【0037】
一方、ステップS32において、対象物が接近判定領域内に存在している場合(ステップS32のYES)、画像処理ユニット1は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う(ステップS34)。なお、歩行者判定処理については、詳細を後述する。
また、ステップS34において、対象物は歩行者の可能性があると判定された場合(ステップS34のYES)、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う(ステップS35)。人工構造物判定処理は、対象物画像に、例えば以下に示すような歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。
(1)対象物の画像に直線エッジを示す部分が含まれる場合。
(2)対象物の画像の角が直角である場合。
(3)対象物の画像に同じ形状のものが複数含まれている場合。
(4)対象物の画像が予め登録された人口構造物の形状と一致する場合。
【0038】
従って、上述のステップS33において、対象物が接近判定領域内へ進入して自車両10と衝突する可能性がある場合(ステップS33のYES)、及びステップS35において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合(ステップS35のNO)、画像処理ユニット1は、自車両10と検出した対象物との衝突の可能性がある(警報の対象である)と判定し(ステップS36)、図3に示すステップS17のYESとしてステップS18へ進み、警報出力判定処理(ステップS18)を行う。
【0039】
一方、上述のステップS31において、余裕時間T以内に自車両10と対象物とが衝突する可能性がない場合(ステップS31のNO)、あるいはステップS33において、対象物が接近判定領域内へ進入して自車両10と衝突する可能性がない場合(ステップS33のNO)、あるいはステップS34において、対象物は歩行者の可能性がないと判定された場合(ステップS34のNO)、更にはステップS35において、歩行者の可能性があると判定された対象物が人工構造物であった場合(ステップS35のYES)のいずれかであった場合は、画像処理ユニット1は、自車両10と検出した対象物との衝突の可能性がない(警報の対象ではない)と判定し(ステップS37)、図3に示すステップS17のNOとしてステップS1へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【0040】
次に、図8から図13に示すフローチャートを参照して、図5に示したフローチャートのステップS34における歩行者判定処理について更に詳しく説明する。図8から図13は、本実施の形態の歩行者判定処理動作を示すフローチャートである。
図8において、まず、画像処理ユニット1は、図3に示したフローチャートのステップS8において算出された2値化対象物の重心G(xc、yc)(図14に示す2値化対象物の重心G100)、面積S(図14に示す2値化対象物面積S101)、更に対象物の外接四角形の縦横比ASPECT、及びステップS13において算出された自車両10と対象物との距離zに加えて、図14に示す2値化対象物の外接四角形の高さhbと幅wb、及び外接四角形重心座標(xb、yb)(図14に示す外接四角形重心102)の値を利用して、実空間での2値化対象物の形状の特徴を示す2値化対象物形状特徴量を算出する(ステップS41)。なお、求める2値化対象物形状特徴量は、カメラの基線長D[m]、カメラ焦点距離f[m]、画素ピッチp[m/pixel]、及び左右映像の相関演算によって算出される視差量Δd[pixel]を用いて算出する。
【0041】
具体的には、外接四角形と対象物面積の比率Rateは、
Rate=S/(hb×wb) ・・・(1)
外接四角形の縦横比ASPECTを表すAspは、
Asp=hb/wb ・・・(2)
自車両10と対象物との距離zは、
z=(f×D)/(Δd×p) ・・・(3)
と表されるので、
実空間における2値化対象物の幅ΔWbや高さΔHbは、
ΔWb=wb×z×p/f
ΔHb=hb×z×p/f ・・・(4)
【0042】
2値化対象物の重心座標(Xc,Yc,Zc)は、
Xc=xc×z×p/f
Yc=yc×z×p/f
Zc=z ・・・(5)
対象物外接四角形重心座標(Xb,Yb,Zb)は、
Xb=xb×z×p/f
Yb=yb×z×p/f
Zb=z ・・・(6)
2値化対象物の上端位置座標(Xt,Yt,Zt)は、
Xt=xb×z×p/f
Yt=yb×z×p/f−ΔHb/2
Zt=z ・・・(7)
で算出することができる。
【0043】
次に、図3に示したフローチャートのステップS3において取得されたグレースケール画像を用いて、ステップS7において抽出された2値化対象物を含むグレースケール画像上の対象物の高さを求める(ステップS42)。グレースケール画像上の対象物の高さの求め方は、所定の大きさのマスク領域を、2値化対象物外接四角形の上端から複数個並べてグレースケール画像上に設定し、マスク領域内の輝度変化が大きく(対象物と背景画像とが含まれている)、かつ左右の画像間のマスク領域の相関度が高い(マスク領域内に2つ以上の対象物が存在しない)と共に、更に2値化対象物と同距離(同視差)であるマスク領域を包含する領域をグレースケール対象物の領域として抽出する。
そして、画像上でのグレースケール対象物の領域の高さHeight(pixel)を算出し、(8)式によりグレースケール対象物の高さΔHgを算出する。
ΔHg=z×Height×p/f ・・・(8)
【0044】
また、図15に示すように、画像上でのグレースケール対象物の領域をAREA0とし、その中にマスク領域AREA1、AREA2、AREA3を設定し、各マスクの輝度平均値と、輝度変化(分散)を算出する(ステップS43)。ここで、AREA1の輝度平均値をAve_A1、AREA2の輝度分散をVar_A2、AREA3の輝度分散をVar_A3とする。なお、以下の処理において、AREA1は対象物の頭の存在判定に、AREA2は対象物の胴体の存在判定に、更にAREA3は頭部から下半身にかけての形状変化の存在判定にそれぞれ使用する。また、AREA3は、例えば壁のような自らは発熱せずに外部より与えられた熱のみを蓄熱する蓄熱体であって、単調な輝度変化を示す対象物の一部が2値化処理により抽出された場合、これを歩行者と識別するためにも用いる。なお、図15はカメラで捉えられた歩行者を模式的に表したもので、斜線の領域が2値化で捉えられた対象物の部位であり、点線で囲まれた領域が2値化では捉えられていないが、グレースケール画像で背景に対して物体の存在が確認できる対象物の部位を表す。また、図15に示した各部の寸法は、実空間での各部の寸法の一例である。
【0045】
以下、図8から図13に示すフローチャートに沿って、更に具体的に2値化対象物の形状による歩行者判定及びグレースケール画像の各マスク領域の輝度分散を利用した歩行者判定について説明する。
まず、画像処理ユニット1は、2値化対象物の高さ、幅、存在高さ、輝度平均値、輝度分散について、歩行者として適当な範囲内の値か否かを判定する。
具体的には、歩行者を対象とするため、2値化対象物の幅ΔWbが閾値TH1以上TH2以下(歩行者の幅として適当な値)か否かを判定する(ステップS44)。
ステップS44において、2値化対象物の幅ΔWbが閾値TH1以上TH2以下であった場合(ステップS44のYES)、2値化対象物の高さΔHbが閾値TH3(歩行者の高さとして適当な値)未満で、かつグレースケール対象物の高さΔHgが閾値TH4(歩行者の高さとして適当な値)未満か否かを判定する(ステップS45)。
【0046】
ステップS45において、2値化対象物の高さΔHbが閾値TH3未満で、かつグレースケール対象物の高さΔHgが閾値TH4未満であった場合(ステップS45のYES)、路面からの対象物の上端高さ位置Ytが閾値TH5(歩行者の高さとして適当な値)未満か否かを判定する(ステップS46)。
また、ステップS46において、路面からの対象物の上端高さ位置Ytが閾値TH5未満であった場合(ステップS46のYES)、マスク領域AREA3の輝度分散Var_A3が閾値TH6より大きいか否かを判定する(ステップS47)。この処理を、図16の対象物が歩行者の一部あるいは全体である場合や壁の場合のマスク領域AREA3の輝度分散を示した図を用いて説明する。
【0047】
具体的には、マスク領域AREA3の領域幅を2値化対象物幅とすることで、図16(a)に示すように、歩行者の頭部のみが2値化処理により抽出された場合は、下半身部位との輝度差が生じる。また、図16(b)に示すように、少なくとも歩行者の上半身、または全身が2値化処理により抽出された場合には、背景領域(画像)との輝度差が生じる。一方、図16(c)に示すように、壁のように対象物全体の温度差が少ない対象物の場合、2値化抽出部位とそうでない部位の輝度差は少なく、また、対象物はAREA3のように直線部位で構成されている。このため、AREA3の輝度分散Var_A3は、歩行者の場合には高い値、壁のような対象物の場合には低い値を示す。
従って、ステップS47では、マスク領域AREA3の輝度分散Var_A3が閾値TH6より大きいか否かを判定することで、対象物が歩行者であるか否かを判定する。
【0048】
更に、ステップS47において、マスク領域AREA3の輝度分散Var_A3が閾値TH6より大きかった場合(ステップS47のYES)、対象物形状の時間変化による歩行者判定を行う。
具体的には、歩行者の2値化対象物を対象とするため、2値化対象物形状が時間的に大きく変化することはないと考えられる。このため、規定時間内の外接四角形の面積と2値化対象物の面積比率であるRateの最大値Max_Rateと最小値Min_Rateの差分が閾値TH7未満であるか否かを判定する(ステップS48)。
【0049】
一方、ステップS44において、2値化対象物の幅ΔWbが閾値TH1未満か、またはTH2より大きかった場合(ステップS44のNO)、あるいはステップS45において、2値化対象物の高さΔHbが閾値TH3以上か、またはグレースケール対象物の高さΔHgが閾値TH4以上であった場合(ステップS45のNO)、あるいはステップS46において、路面からの対象物の上端高さ位置Ytが閾値TH5以上であった場合(ステップS46のNO)、あるいはステップS47において、マスク領域AREA3の輝度分散が閾値TH6以下であった場合(ステップS47のNO)、更にはステップS48において、規定時間内の外接四角形の面積と2値化対象物の面積比率であるRateの最大値Max_Rateと最小値Min_Rateの差分(Max_Rate−Min_Rate)が閾値TH7以上であった場合(ステップS48のNO)のいずれかであった場合は、領域AREA0に捉えられた対象物は歩行者ではないと判定して(ステップS49)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0050】
また、ステップS48において、規定時間内の外接四角形の面積と2値化対象物の面積比率であるRateの最大値Max_Rateと最小値Min_Rateの差分が閾値TH7未満であった場合(ステップS48のYES)、次に、画像処理ユニット1は、更に詳細に抽出された対象物の形状毎の歩行者判定を行う。
具体的には、まず、路面からの対象物の上端高さ位置Ytが閾値TH8(歩行者の上半身と下半身を区別できる高さとして適当な値)より大きいか否かを判定する(ステップS50)。
ステップS50において、路面からの対象物の上端高さ位置Ytが閾値TH8以下であった場合(ステップS50のNO)、図9のステップS51へ進み、歩行者の下半身であるか、座った歩行者として、2値化対象物の幅ΔWbが閾値TH9(歩行者の胴体幅として適当な値)以下か否かを判定する(ステップS51)。
【0051】
図9は、2値化処理によって下半身が抽出されたか、座っている歩行者を識別するための処理手順が示されており、ステップS51において、2値化対象物の幅ΔWbが閾値TH9以下であった場合(ステップS51のYES)、対象物が座った歩行者であるか否かを判定するために、グレースケール対象物の高さΔHgが閾値TH10(歩行者の高さとして適当な値)未満か否かを判定する(ステップS52)。
【0052】
ステップS52において、グレースケール対象物の高さΔHgが閾値TH10以上であった場合(ステップS52のNO)、この対象物が歩行者の胴体または、下半身に相当すると仮定し、上部に頭部が存在するか否かの判定のため、図15に示す上部のマスク領域AREA1の輝度平均値Ave_A1が閾値TH11より大きいか否かを判定する(ステップS53)。
ステップS53において、マスク領域AREA1の輝度平均値Ave_A1が閾値TH11より大きかった場合(ステップS53のYES)、更に胴体部位は衣服の影響により熱を発散しにくい場合が有るため、グレースケール画像上で輝度パタンがある対象物として、マスク領域AREA2の輝度分散Var_A2が閾値TH18より大きいか否かを判定する(ステップS53−1)。
そして、ステップS53−1において、マスク領域AREA2の輝度分散Var_A2が閾値TH18より大きかった場合(ステップS53−1のYES)、領域AREA0に捉えられた対象物は歩行者であると判定して(ステップS54)歩行者判定処理を終了し、図5に示すステップS34のYESとして図5のステップS35へ進み、人工構造物判定を行う。
【0053】
一方、ステップS51において、2値化対象物の幅ΔWbが閾値TH9より大きかった場合(ステップS51のNO)、またはステップS53において、マスク領域AREA1の輝度平均値Ave_A1が閾値TH11以下であった場合(ステップS53のNO)、更にはステップS53−1において、マスク領域AREA2の輝度分散Var_A2が閾値TH18以下であった場合(ステップS53−1のNO)のいずれかであった場合、領域AREA0に捉えられた対象物は歩行者ではないと判定して(ステップS55)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0054】
また、ステップS52において、グレースケール対象物の高さΔHgが閾値TH10未満であった場合(ステップS52のYES)、この対象物は座った歩行者であるとみなし、2値化対象物の路面からの対象物の上端高さ位置Ytが閾値TH12(座った歩行者と立っている歩行者を区別できる高さとして適当な値)より大きいか否かを判定する(ステップS56)。
ステップS56において、2値化対象物の路面からの対象物の上端高さ位置Ytが閾値TH12よりも大きかった場合(ステップS56のYES)、2値化対象物の外接四角形の縦横比ASPECTを表すAspが、閾値TH13以上TH14以下(歩行者として適当な値)か否かを判定する(ステップS57)。
【0055】
ステップS57において、2値化対象物の外接四角形の縦横比ASPECTを表すAspが閾値TH13以上TH14以下であった場合(ステップS57のYES)、(9)式で表される外接四角形重心102と2値化対象物の重心G100との実空間での距離Dis_cが閾値TH15(歩行者として適当な値)未満か否かを判定する(ステップS58)。
Dis_c=SQRT((Xb−Xc)2+(Yb−Yc)2) ・・・(9)
ステップS58において、距離Dis_cが閾値TH15未満であった場合(ステップS58のYES)、例えばΔWbが1.0m以下で、ΔHgが1.0m未満の対象物には歩行者以外の対象物、具体的には車輌の前部などが含まれるため、2値化対象物の上部マスク領域AREA1において、予め登録した頭部パタンと相関度が高い部位が存在するか否かを判定する(ステップS59)。
【0056】
ステップS59において、2値化対象物の上部マスク領域AREA1に予め登録した頭部パタンと相関度が高い部位が存在する場合(ステップS59のYES)、領域AREA0に捉えられた対象物は歩行者であると判定して(ステップS54)歩行者判定処理を終了し、図5に示すステップS34のYESとして図5のステップS35へ進み、人工構造物判定を行う。
【0057】
一方、ステップS56において、2値化対象物の路面からの対象物の上端高さ位置Ytが閾値TH12以下であった場合(ステップS56のNO)、あるいはステップS57において、2値化対象物の外接四角形の縦横比ASPECTを表すAspが閾値TH13未満、あるいはTH14より大きかった場合(ステップS57のNO)、あるいはステップS58において、距離Dis_cが閾値TH15以上であった場合(ステップS58のNO)、更にはステップS59において、2値化対象物の上部マスク領域AREA1に予め登録した頭部パタンと相関度が高い部位が存在しない場合(ステップS59のNO)のいずれかであった場合は、領域AREA0に捉えられた対象物は歩行者ではないと判定して(ステップS55)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0058】
また、図8のステップS50において、路面からの対象物の上端高さ位置Ytが閾値TH8(歩行者の上半身と下半身を区別できる高さとして適当な値)より大きかった場合(ステップS50のYES)、図10のステップS60へ進み、対象物が空中に浮いている物体(例えば、カーブミラーのような対象物)か否かを判定するために、グレースケール対象物の高さΔHgが閾値TH16(上述の閾値TH8と同じ値)より大きいか否かを判定する(ステップS60)。
【0059】
図10は、2値化処理によって頭部や上半身が抽出された歩行者を識別するための処理手順が示されており、ステップS60において、グレースケール対象物の高さΔHgが閾値TH16より大きかった場合(ステップS60のYES)、対象物は空中に浮いている物体ではないので、次に、対象物領域(AREA0)の上端部位に頭部が存在するか、あるいは胴体部位が存在するかを判定する。具体的には、まず頭部は露出しているため、マスク領域AREA1の輝度平均値Ave_A1が閾値TH17より大きいか否かを判定する(ステップS61)。
【0060】
ステップS61において、マスク領域AREA1の輝度平均値Ave_A1が閾値TH17より大きかった場合(ステップS61のYES)、胴体部位は衣服の影響により熱を発散しにくい場合が有るため、グレースケール画像上で輝度パタンがある対象物として、マスク領域AREA2の輝度分散Var_A2が閾値TH18より大きいか否かを判定する(ステップS62)。
また、ステップS62において、マスク領域AREA2の輝度分散Var_A2が閾値TH18より大きかった場合(ステップS62のYES)、まず頭部、あるいは上半身が2値化処理により抽出された歩行者を判定するために、2値化対象物の幅ΔWbが閾値TH19(歩行者の頭部、あるいは上半身を区別できる幅として適当な値)以下か否かを判定する(ステップS63)。
【0061】
次に、ステップS63において、2値化対象物の幅ΔWbが閾値TH19より大きかった場合(ステップS63のNO)、少なくとも歩行者の上半身、または全身が2値化処理により抽出された歩行者を判定するために、2値化対象物の幅ΔWbが閾値TH9(歩行者の胴体幅として適当な値)以下か否かを判定する(ステップS64)。
更に、ステップS64において、2値化対象物の幅ΔWbが閾値TH9より大きかった場合(ステップS64のNO)、複数の歩行者が並列歩行を行っているか否かを判定するために、2値化対象物の幅ΔWbが閾値TH2(歩行者の胴体幅として適当な値)以下か否かを判定する(ステップS65)。
【0062】
また、以上の判定では、ステップS60において、グレースケール対象物の高さΔHgが閾値TH16以下であった場合(ステップS60のNO)、あるいはステップS61において、マスク領域AREA1の輝度平均値Ave_A1が閾値TH17以下であった場合(ステップS61のNO)、あるいはステップS62において、マスク領域AREA2の輝度分散Var_A2が閾値TH18以下であった場合(ステップS62のNO)、更にはステップS65において、2値化対象物の幅ΔWbが閾値TH2より大きかった場合(ステップS65のNO)のいずれかであった場合は、領域AREA0に捉えられた対象物は歩行者ではないと判定して(ステップS66)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0063】
一方、ステップS63において、2値化対象物の幅ΔWbが閾値TH19以下であった場合(ステップS63のYES)、対象物は、頭部あるいは上半身が2値化処理により抽出された歩行者であるとして、図11のステップS67へ進み、2値化対象物の外接四角形の縦横比ASPECTを表すAspが、閾値TH20以上TH21以下(歩行者の頭部や上半身として適当な値)か否かを判定する(ステップS67)。
【0064】
図11は、2値化処理によって頭部や上半身が抽出された歩行者を識別するための処理手順が示されており、ステップS67において、2値化対象物の外接四角形の縦横比ASPECTを表すAspが閾値TH20以上TH21以下であった場合(ステップS67のYES)、前述の外接四角形重心102と2値化対象物の重心G100との実空間での距離Dis_cが閾値TH15未満か否かを判定する(ステップS68)。
ステップS68において、距離Dis_cが閾値TH15未満であった場合(ステップS68のYES)、領域AREA0に捉えられた対象物は歩行者であると判定して(ステップS69)歩行者判定処理を終了し、図5に示すステップS34のYESとして図5のステップS35へ進み、人工構造物判定を行う。
【0065】
一方、ステップS67において、2値化対象物の外接四角形の縦横比ASPECTを表すAspが閾値TH20未満か、またはTH21より大きかった場合(ステップS67のNO)、あるいはステップS68において、距離Dis_cが閾値TH15以上であった場合(ステップS68のNO)、領域AREA0に捉えられた対象物は歩行者ではないと判定して(ステップS70)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0066】
また、図10のステップS64において、2値化対象物の幅ΔWbが閾値TH9以下であった場合(ステップS64のYES)、対象物は少なくとも歩行者の上半身、または全身が2値化処理により抽出された歩行者であるとして、図12のステップS71へ進み、2値化対象物の外接四角形の縦横比ASPECTを表すAspが、閾値TH13以上TH21以下(歩行者の上半身や全身として適当な値)か否かを判定する(ステップS71)。
【0067】
図12は、2値化処理によって上半身や全身が抽出された歩行者を識別するための処理手順が示されており、ステップS71において、2値化対象物の外接四角形の縦横比ASPECTを表すAspが閾値TH13以上TH21以下であった場合(ステップS71のYES)、前述の外接四角形重心102と2値化対象物の重心G100との実空間での距離Dis_cが閾値TH15未満か否かを判定する(ステップS72)。
【0068】
ステップS72において、距離Dis_cが閾値TH15未満であった場合(ステップS72のYES)、対象物には、歩行者以外の対象物、例えば、車輌の前部などが含まれるため、2値化対象物の上部マスク領域AREA1において、予め登録した頭部パタンと相関度が高い部位が存在するか否かを判定する(ステップS73)。
ステップS73において、2値化対象物の上部マスク領域AREA1に予め登録した頭部パタンと相関度が高い部位が存在する場合(ステップS73のYES)、領域AREA0に捉えられた対象物は歩行者であると判定して(ステップS74)歩行者判定処理を終了し、図5に示すステップS34のYESとして図5のステップS35へ進み、人工構造物判定を行う。
【0069】
一方、ステップS71において、2値化対象物の外接四角形の縦横比ASPECTを表すAspが閾値TH13未満か、または以上TH21より大きかった場合(ステップS71のNO)、あるいはステップS72において、距離Dis_cが閾値TH15以上であった場合(ステップS72のNO)、更にはステップS73において、2値化対象物の上部マスク領域AREA1に予め登録した頭部パタンと相関度が高い部位が存在しない場合(ステップS73のNO)のいずれかであった場合は、領域AREA0に捉えられた対象物は歩行者ではないと判定して(ステップS75)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0070】
また、図10のステップS65において、2値化対象物の幅ΔWbが閾値TH2以下であった場合(ステップS65のYES)、対象物は複数の歩行者が並列歩行を行っているので、対象物の外接四角形内には背景領域が多く含まれていると判断し、図13のステップS76へ進み、規定時間内の外接四角形の面積と2値化対象物の面積比率であるRateが閾値TH22未満か否かを判定する(ステップS76)。
【0071】
図13は、対象物が複数の歩行者が並列歩行を行っている場合の処理手順が示されており、ステップS76において、規定時間内の外接四角形の面積と2値化対象物の面積比率であるRateが閾値TH22未満であった場合(ステップS76のYES)、2値化対象物の外接四角形の縦横比ASPECTを表すAspが、閾値TH23以上TH14以下(歩行者の並列歩行を判断するのに適当な値)か否かを判定する(ステップS77)。
【0072】
ステップS77において、2値化対象物の外接四角形の縦横比ASPECTを表すAspが閾値TH23以上TH14以下であった場合(ステップS77のYES)、前述の外接四角形重心102と2値化対象物の重心G100との実空間での距離Dis_cが閾値TH15未満か否かを判定する(ステップS78)。
ステップS78において、距離Dis_cが閾値TH15未満であった場合(ステップS78のYES)、領域AREA0に捉えられた対象物は歩行者であると判定して(ステップS79)歩行者判定処理を終了し、図5に示すステップS34のYESとして図5のステップS35へ進み、人工構造物判定を行う。
【0073】
一方、ステップS76において、規定時間内の外接四角形の面積と2値化対象物の面積比率であるRateが閾値TH22以上であった場合(ステップS76のNO)、あるいはステップS77において、2値化対象物の外接四角形の縦横比ASPECTを表すAspが閾値TH23未満か、またはTH14より大きかった場合(ステップS77のNO)、更にはステップS78において、距離Dis_cが閾値TH15以上であった場合(ステップS78のNO)のいずれかであった場合は、領域AREA0に捉えられた対象物は歩行者ではないと判定して(ステップS80)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0074】
なお、本実施の形態では、画像処理ユニット1が、2値化対象物抽出手段と、グレースケール対象物抽出手段と、歩行者判別手段とを含んでいる。より具体的には、図3のS1〜S13が2値化対象物抽出手段に相当し、図8のS41〜S42がグレースケール対象物抽出手段に相当する。また、図8のS43〜S50、図9のS51〜S59、図10のS60〜S66、図11のS67〜S70、図12のS71〜S75、図13のS76〜S80が歩行者判別手段に相当する。
【0075】
更に、本実施の形態では、画像処理ユニット1が、対象物抽出手段と、蓄熱体抽出手段と、歩行者認識手段とを含んでいる。より具体的には、図3のS1〜S13が対象物抽出手段に相当し、図8のS45、S46、S47、図9のS52、S53、S53−1、図10のS60、S61、S62が蓄熱体抽出手段に相当する。また、図8のS48〜S50、図9のS54〜S59、図10のS63〜S66、図11のS67〜S70、図12のS71〜S75、図13のS76〜S80が歩行者認識手段に相当する。
【0076】
以上説明したように、本実施の形態の車両周辺監視装置は、赤外線カメラにより撮影された画像のグレースケール画像から歩行者等の対象物を2値化処理によって抽出した後、グレースケール画像の輝度変化により、グレースケール画像から2値化対象物を包含する範囲のグレースケール対象物を抽出し、更にグレースケール対象物の領域に複数の探索領域を設定して、探索領域の形状や探索領域の輝度分散に基づいて該探索領域中の歩行者を認識する。
これにより、例えば対象物の画像の幅が歩行者として不自然な場合や、対象物の画像の高さが歩行者として不自然な場合、これらの物体を対象物の画像から除去すると共に、これらを満たす歩行者の特徴として、輝度分散が高く頭部に相当する部分があるか、あるいは輝度分散が高く胴部に相当する部分があるか、更には壁等の輝度分散の低いものではないか等の判定を行い、対象物の画像から輝度分散が歩行者を撮影した画像と異なる物体の画像を除去し、歩行者の検出精度を向上させることができるという効果が得られる。
【0077】
【発明の効果】
以上の如く、請求項1に記載の車両周辺監視装置によれば、2値化対象物抽出手段により2値化対象物の位置をグレースケール画像上に認識した後、グレースケール対象物抽出手段により2値化対象物を含む範囲のグレースケール対象物を設定し、マスク領域設定手段によりグレースケール対象物上に設定したマスク領域毎の輝度分散を計算することで、マスク領域の輝度分散の特徴から2値化対象物が歩行者か否かを判断する。
従って、対象物の画像から輝度分散が歩行者を撮影した画像と異なる物体の画像を除去し、歩行者の検出精度を向上させることができるという効果が得られる。
【0078】
請求項2に記載の車両周辺監視装置によれば、輝度分散を求めるグレースケール画像上のマスク領域の横幅を、歩行者を認識するのに適当な2値化対象物の横幅に設定して2値化対象物が歩行者か否かを判断することができる。
従って、例えば壁のように、歩行者を撮影した画像と同様の輝度分散の特徴を持つ物体を対象物の画像から除去し、歩行者の検出精度を向上させることができるという効果が得られる。
【0079】
請求項3に記載の車両周辺監視装置によれば、輝度分散を求めるグレースケール画像上のマスク領域を歩行者の頭部を認識するのに適当な大きさに設定して2値化対象物が歩行者か否かを判断することができる。
従って、歩行者を撮影した画像の輝度分散に特徴的な人間の頭部の大きさと異なる大きさの物体を対象物の画像から除去し、歩行者の検出精度を向上させることができるという効果が得られる。
【0080】
請求項4に記載の車両周辺監視装置によれば、輝度分散を求めるグレースケール画像上に、歩行者の頭部を認識するのに適当な大きさのマスク領域と、歩行者の胴部を認識するのに適当な大きさのマスク領域とを設定して2値化対象物が歩行者か否かを判断することができる。
従って、例えばカーブミラーのように、歩行者を撮影した画像と同様の輝度分散の特徴を持つ物体を対象物の画像から除去し、歩行者の検出精度を向上させることができるという効果が得られる。
【図面の簡単な説明】
【図1】 本発明の一実施の形態の車両周辺監視装置の構成を示すブロック図である。
【図2】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図3】 同実施の形態の車両周辺監視装置の対象物検出・警報動作を示すフローチャートである。
【図4】 赤外線カメラにより得られるグレースケール画像とその2値化画像を示す図である。
【図5】 同実施の形態の警報判定処理動作を示すフローチャートである。
【図6】 衝突が発生しやすい場合を示す図である。
【図7】 車両前方の領域区分を示す図である。
【図8】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図9】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図10】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図11】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図12】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図13】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図14】 同実施の形態の2値化対象物形状特徴量について示す図である。
【図15】 同実施の形態のマスク領域設定について示す図である。
【図16】 対象物が歩行者の一部あるいは全体である場合や、壁の場合のマスク領域AREA3の輝度分散を示した図である。
【符号の説明】
1 画像処理ユニット
2R、2L 赤外線カメラ
3 ヨーレートセンサ
4 車速センサ
5 ブレーキセンサ
6 スピーカ
7 画像表示装置
10 自車両
S1〜S13 2値化対象物抽出手段
S41〜S42 グレースケール対象物抽出手段
S43〜S80 歩行者判別手段
S1〜S13 対象物抽出手段
S45、S46、S47、S52、S53、S53−1、S60、S61、S62 蓄熱体抽出手段
S48〜S50、S54〜S59、S63〜S80 歩行者認識手段
Claims (3)
- 2つの赤外線カメラにより捉えられた画像を利用して、歩行者を認識する車両周辺監視装置であって、
前記画像のグレースケール画像を2値化処理することにより、前記グレースケール画像から2値化対象物を抽出する2値化対象物抽出手段と、
前記グレースケール画像の輝度変化により、前記グレースケール画像から前記2値化対象物を包含する範囲のグレースケール対象物を抽出するグレースケール対象物抽出手段と、
前記グレースケール対象物の領域にマスク領域として第1マスク領域を設定し、該第1マスク領域の横方向の大きさを2値化対象物画像の横幅とし、前記第1マスク領域の縦方向の大きさをグレースケール対象物画像の高さとして設定するマスク領域設定手段と、
前記マスク領域設定手段によって設定された前記第1マスク領域の輝度分散が所定値よりも大きいか否かを判定した判定結果、および、前記第1マスク領域の横幅および高さが歩行者として適当か否かを判定した判定結果に基づいて前記グレースケール画像中の歩行者を認識する歩行者判別手段と
を備えたことを特徴とする車両周辺監視装置。 - 前記マスク領域設定手段が、前記マスク領域として、前記グレースケール対象物の上端を基準に、歩行者の頭部に相当する大きさの頭部領域を第2マスク領域として設定し、前記歩行者判別手段は、さらに、該第2マスク領域の輝度平均が所定値より大きいか否かを判定した判定結果に基づいて歩行者を認識することを特徴とする請求項1に記載の車両周辺監視装置。
- 前記マスク領域設定手段が、前記マスク領域として、前記グレースケール対象物の上端を基準に、歩行者の頭部に相当する大きさの頭部領域を第2マスク領域として設定し、該第2マスク領域の下方に、歩行者の胴部に相当する前記頭部領域より大きい胴部領域を第3マスク領域として設定し、前記歩行者判別手段は、さらに、前記第2マスク領域の輝度平均が所定値より大きいか否かを判定するとともに、前記第3マスク領域の輝度分散が所定値より大きいか否かを判定し、各判定結果に基づいて歩行者を認識することを特徴とする請求項1に記載の車両周辺監視装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002297219A JP4060159B2 (ja) | 2002-01-18 | 2002-10-10 | 車両周辺監視装置 |
DE10301468A DE10301468B4 (de) | 2002-01-18 | 2003-01-16 | Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs |
US10/346,517 US7130448B2 (en) | 2002-01-18 | 2003-01-17 | Device for monitoring around a vehicle |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002010576 | 2002-01-18 | ||
JP2002-10576 | 2002-01-18 | ||
JP2002297219A JP4060159B2 (ja) | 2002-01-18 | 2002-10-10 | 車両周辺監視装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007275704A Division JP4647648B2 (ja) | 2002-01-18 | 2007-10-23 | 車両周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003284057A JP2003284057A (ja) | 2003-10-03 |
JP4060159B2 true JP4060159B2 (ja) | 2008-03-12 |
Family
ID=29253015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002297219A Expired - Fee Related JP4060159B2 (ja) | 2002-01-18 | 2002-10-10 | 車両周辺監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4060159B2 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3939626B2 (ja) * | 2002-10-10 | 2007-07-04 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4013900B2 (ja) * | 2004-01-13 | 2007-11-28 | 株式会社デンソー | 歩行者検出装置 |
EP1779295A4 (en) | 2004-07-26 | 2012-07-04 | Automotive Systems Lab | SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION |
JP4734884B2 (ja) * | 2004-09-30 | 2011-07-27 | 日産自動車株式会社 | 人物検出装置及び方法 |
JP4708124B2 (ja) | 2005-08-30 | 2011-06-22 | 富士重工業株式会社 | 画像処理装置 |
US7671725B2 (en) | 2006-03-24 | 2010-03-02 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program |
JP4171501B2 (ja) * | 2006-04-25 | 2008-10-22 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP4882487B2 (ja) * | 2006-04-28 | 2012-02-22 | 株式会社豊田中央研究所 | 歩行者保護装置 |
JP4777196B2 (ja) * | 2006-09-11 | 2011-09-21 | 川崎重工業株式会社 | 運転支援装置 |
JP4777195B2 (ja) * | 2006-09-11 | 2011-09-21 | 川崎重工業株式会社 | 運転支援装置、車両及び運転支援方法 |
JP4629638B2 (ja) * | 2006-09-28 | 2011-02-09 | 本田技研工業株式会社 | 車両の周辺監視装置 |
WO2008065717A1 (fr) * | 2006-11-29 | 2008-06-05 | Fujitsu Limited | Système et procédé de détection de piéton |
JP4829966B2 (ja) * | 2006-11-29 | 2011-12-07 | 富士通株式会社 | 物体検出システム及び物体検出方法 |
JP4627305B2 (ja) * | 2007-03-16 | 2011-02-09 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム |
JP2009077022A (ja) * | 2007-09-19 | 2009-04-09 | Sanyo Electric Co Ltd | 運転支援システム及び車両 |
JP2009184450A (ja) * | 2008-02-05 | 2009-08-20 | Toyota Central R&D Labs Inc | 光照射装置 |
JP4765113B2 (ja) * | 2008-02-12 | 2011-09-07 | 本田技研工業株式会社 | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 |
JP5026398B2 (ja) * | 2008-11-27 | 2012-09-12 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP5422330B2 (ja) * | 2009-10-09 | 2014-02-19 | クラリオン株式会社 | 歩行者検出システム |
JP5484118B2 (ja) * | 2010-02-17 | 2014-05-07 | 本田技研工業株式会社 | 車両の周辺監視装置 |
EP2544161B1 (en) | 2010-03-03 | 2014-12-24 | Honda Motor Co., Ltd. | Surrounding area monitoring device for vehicle |
JP5459154B2 (ja) * | 2010-09-15 | 2014-04-02 | トヨタ自動車株式会社 | 車両用周囲画像表示装置及び方法 |
CN103189905B (zh) * | 2010-11-16 | 2015-09-02 | 本田技研工业株式会社 | 车辆周围监测装置 |
KR101761921B1 (ko) * | 2011-02-28 | 2017-07-27 | 삼성전기주식회사 | 차량 운전자의 시계 보조 시스템 및 방법 |
EP2759999B1 (en) | 2011-09-21 | 2016-07-27 | Honda Motor Co., Ltd. | Apparatus for monitoring surroundings of vehicle |
CN103797528A (zh) | 2011-09-28 | 2014-05-14 | 本田技研工业株式会社 | 生物体识别装置 |
CN103858156B (zh) | 2011-10-18 | 2015-04-15 | 本田技研工业株式会社 | 车辆周围监测装置 |
US9235990B2 (en) | 2011-11-25 | 2016-01-12 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
JP5442050B2 (ja) * | 2012-02-15 | 2014-03-12 | 本田技研工業株式会社 | 車両周辺監視システム |
JP5480925B2 (ja) | 2012-03-05 | 2014-04-23 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP2013186819A (ja) * | 2012-03-09 | 2013-09-19 | Omron Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
JP5529910B2 (ja) | 2012-03-12 | 2014-06-25 | 本田技研工業株式会社 | 車両周辺監視装置 |
CN104160434A (zh) | 2012-03-12 | 2014-11-19 | 本田技研工业株式会社 | 车辆周围监视装置 |
JP5907849B2 (ja) * | 2012-10-02 | 2016-04-26 | 本田技研工業株式会社 | 車両周辺監視装置 |
CN114639159A (zh) * | 2020-11-30 | 2022-06-17 | 深圳市普渡科技有限公司 | 移动行人检测方法、电子设备及机器人 |
-
2002
- 2002-10-10 JP JP2002297219A patent/JP4060159B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003284057A (ja) | 2003-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4060159B2 (ja) | 車両周辺監視装置 | |
JP3987048B2 (ja) | 車両周辺監視装置 | |
JP4104867B2 (ja) | ナイトビジョンシステム | |
JP3987013B2 (ja) | 車両周辺監視装置 | |
JP3987057B2 (ja) | 車両周辺監視装置 | |
JP3764086B2 (ja) | 車両用情報提供装置 | |
JP3934119B2 (ja) | 車両周辺監視装置 | |
JP4203512B2 (ja) | 車両周辺監視装置 | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
US20060115115A1 (en) | Vehicle surroundings monitoring apparatus | |
JP4094604B2 (ja) | 車両周辺監視装置 | |
JP3839329B2 (ja) | ナイトビジョンシステム | |
JP2003028635A (ja) | 画像測距装置 | |
JP4425852B2 (ja) | 車両周辺監視装置 | |
JP4647648B2 (ja) | 車両周辺監視装置 | |
JP3939626B2 (ja) | 車両周辺監視装置 | |
JP3898157B2 (ja) | 赤外線画像認識装置 | |
JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
JP4567072B2 (ja) | 車両周辺監視装置 | |
JP4298699B2 (ja) | 車両周辺監視装置 | |
JP2006155389A (ja) | 車両周辺監視装置 | |
JP4372746B2 (ja) | 車両周辺監視装置 | |
JP4283266B2 (ja) | 車両周辺監視装置 | |
JP4358183B2 (ja) | 車両周辺監視装置 | |
JP4472623B2 (ja) | 車両周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070518 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071023 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071219 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111228 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111228 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121228 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131228 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |