JP3898157B2

JP3898157B2 - Infrared image recognition device

Info

Publication number: JP3898157B2
Application number: JP2003159914A
Authority: JP
Inventors: 伸治長岡; 正人渡辺; 弘服部; 孝之辻
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2003-06-04
Filing date: 2003-06-04
Publication date: 2007-03-28
Anticipated expiration: 2023-06-04
Also published as: JP2004362265A

Description

【０００１】
【発明の属する技術分野】
この発明は、自車両の走行に影響を与える対象物を認識する赤外線画像認識装置に関する。
【０００２】
【従来の技術】
従来、赤外線カメラにより捉えられた車両周辺の画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する表示処理装置が提案されている。この装置は、赤外線画像を２値化処理して明部が集中している領域を探し、この領域の縦横比や充足率、更には実面積と画面上の重心位置を用いて距離を算出することで、この領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域を決定することができたら、決定した頭部領域のカメラからの距離と成人の平均身長とから、画像上の歩行者の身長を計算して歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。これにより、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができる（例えば、特許文献１参照。）。
【０００３】
また、ステレオ赤外線カメラにより捉えられた車両周辺の左画像から類似対象物を探索し、複数の類似対象物が存在するときは、それらを包含するクラスタリングブロックを設定すると共に、右画像内から対応するブロックをＳＡＤ（Sum of Absolute difference ）を用いて抽出し、左画像内のクラスタリングブロックと、右画像から抽出したブロックとの相関性を示す相関値が、所定値以下であって高い相関性を示すときは、クラスタリングブロックに含まれる複数の対象物を単一対象物とみなして距離を算出するものもある（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１１−３２８３６４号公報
【特許文献２】
特開２００１−１４７１１７号公報
【０００５】
【発明が解決しようとする課題】
しかし、特許文献１に記載の技術では、最初に歩行者の頭部の領域を決定することにより、この領域に基づいて赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができるものの、図８に示すように、例えば道路上の端部には自動販売機や看板、壁等があり、それらより道路側に電柱や標識がある道路環境においては、発熱体である自動販売機または太陽光により高温となった看板等が、温度が低く赤外線の放出量の少ない状態の電柱や標識の柱により遮蔽され、２つに分割されて検出された場合、歩行者が二人存在すると判定する可能性があるという問題があった。
【０００６】
また、特許文献２に記載の技術では、例えば信号機のライト部分のような物体が複数あるような場合に、いずれの物体がどの信号機等の人工構造物に属するものかを判定することができるものの、本来なら１つであるべき物体が遮蔽物により２つ、あるいはそれ以上に分割されたものであるかどうかまでは判定することができなかった。
【０００７】
本発明は、上記課題に鑑みてなされたもので、赤外線画像上の物体の見え方によらず、１つの物体は１つの物体として認識することで歩行者等の生体のみを高精度で検出することができる赤外線画像認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る赤外線画像認識装置は、車両に搭載されると共に、赤外線を検知する撮像手段により撮像された画像に基づいて前記車両の周囲に存在する物体の認識を行う赤外線画像認識装置であって、１つの対象物が遮蔽物により分離されて複数の対象物として検出されたと推測する遮蔽物分離推測手段（例えば実施の形態のステップＳ４１からステップＳ４８）を備え、該遮蔽物分離推定手段は、前記複数の対象物が、お互いに前記車両から等距離でかつ横方向に所定値より小さい間隔を有して存在していると共に、前記複数の対象物上部が形状の連続性を有する場合、該複数の対象物が遮蔽物により分離されて検出されたと推測することを特徴とする。
【０００９】
以上の構成を備えた赤外線画像認識装置は、遮蔽物分離推測手段が、検出された複数の対象物を、１つの対象物が遮蔽物により分離されて検出された物体と推測することで、１つの対象物とそれを遮蔽する遮蔽物の両方の存在を一度に認識することができる。
また、遮蔽物分離推測手段が、お互いに車両から等距離でかつ横方向に所定の間隔を有して存在していると共に、その上部が形状の連続性を有する複数の対象物を、遮蔽物により分離されて検出された１つの対象物と判断することで、例えば、２人並んだ歩行者と、電柱のような人工構造物により遮蔽されて２つに見える発熱体または蓄熱体とを区別して認識することができる。
【００１０】
請求項２の発明に係る赤外線画像認識装置は、請求項１に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、前記所定値として、前記複数の対象物の実際の幅を映像上の幅に変換した値を適用することを特徴とする。
請求項３の発明に係る赤外線画像認識装置は、請求項１又は２に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、前記複数の対象物の上部の高さが等しいときに、前記複数の対象物が連続性を有すると判断することを特徴とする。
請求項４の発明に係る赤外線画像認識装置は、請求項１又は２に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、前記複数の対象物の上部の直線の連続性から、前記複数の対象物が連続性を有すると判断することを特徴とする。
【００１１】
請求項５の発明に係る赤外線画像認識装置は、請求項１〜４のいずれか一項に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、前記複数の対象物の歩行者の頭部と推定される部分の輝度平均値が等しいと判定されたときに、前記複数の対象物が遮蔽物により分離されて検出されたと推測することを特徴とする。
請求項６の発明に係る赤外線画像認識装置は、請求項１〜５のいずれか一項に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、前記複数の対象物の歩行者の頭部と推定される部分の輝度分散値がいずれも所定値よりも小さいときに、前記複数の対象物が遮蔽物により分離されて検出されたと推測することを特徴とする。
請求項７の発明に係る赤外線画像認識装置は、請求項１〜６のいずれか一項に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、遮蔽物にて分離されて検出されたと判断された複数の対象物を人工構造物と判断する人工構造物判断手段を備えたことを特徴とする。
請求項８の発明に係る赤外線画像認識装置は、請求項７に記載の赤外線画像認識装置において、前記対象物から歩行者の可能性のある対象物を認識する歩行者認識手段と、該歩行者認識手段にて認識された歩行者を警報出力する警報手段とを備え、該警報手段は、前記歩行者認識手段にて歩行者の可能性があると判断された対象物のうち、前記人工構造物判断手段にて人工構造物と判断された対象物を警報対象から除外することを特徴とする。
以上の構成を備えた赤外線画像認識装置は、遮蔽物分離推測手段が、お互いに車両から等距離でかつ横方向に所定の間隔を有して存在していると共に、その上部が形状の連続性を有する複数の対象物を、遮蔽物により分離されて検出された１つの対象物と判断することで、例えば、２人並んだ歩行者と、電柱のような人工構造物により遮蔽されて２つに見える発熱体または蓄熱体とを区別して認識することができる。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の赤外線画像認識装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の赤外線画像認識装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１３】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１４】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１５】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１６】
次に、本実施の形態の動作について図面を参照して説明する。
（対象物検出・警報動作）
図３は、本実施の形態の赤外線画像認識装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１７】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００１８】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００１９】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する（１を減算する）必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２０】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２１】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２２】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２３】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２４】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２５】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、回頭角θｒと車両の横移動のため、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２６】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２７】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ１６）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２８】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。
【００２９】
ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００３０】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
【００３１】
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３２】
（警報判定処理）
以上が、本実施の形態の赤外線画像認識装置の画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００３３】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００３４】
次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００３５】
更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００３６】
一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。歩行者判定処理は、グレースケール画像上で対象物画像の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。
【００３７】
歩行者判定処理について、例えば具体的に一例を挙げて説明すると、まず歩行者の頭部が存在するか否かを判定する頭部判定を行うために、グレースケール画像で抽出された対象物領域の中にプロジェクションエリアを設定し、縦方向の輝度プロジョクション（画素毎の輝度を縦方向に積算した積算輝度の横方向の分布）を算出すると共に、映像左上原点を基準にして最大ピークを示す横方向座標を検出する。
【００３８】
次に、検出した横方向位置を基準に、歩行者の頭部位置に相当すると推定される領域に基準領域マスクを設定すると共に、その左右位置に肩上部空間に相当すると推定される２つの対象領域マスクを設定する。
そして、基準領域マスクの平均輝度、及び２つの対象領域マスクの平均輝度を算出すると共に、求められた各領域の平均輝度から、歩行者の頭部が存在するか否かを判定する。具体的には、頭部の左右（背景）の輝度階調に対して高輝度である歩行者頭部の輝度階調が認められる場合、頭部が存在すると判定する。
【００３９】
もし、歩行者の頭部が存在すると判定された場合、次に、歩行者では捉えやすい肩から腕にかけての部分の存在有無を判定するために、「歩行者の左右の肩から腕にかけての部分は頭部位置と同距離に存在すると共に、歩行者の肩から腕にかけての輝度階調は、歩行者の肩上方空間に位置する頭部の左右（背景）の輝度階調とは異なる」という画像上の各領域（各部）の輝度の特徴を用いて、歩行者の肩から腕にかけての部分が存在するか否かを判定する。
【００４０】
具体的には、頭部判定で使用した頭部左右の対象領域マスクの下方に、肩から腕にかけての部分に相当する別の対象領域マスクを設定する。そして、歩行者の肩から腕にかけての部分は形状や距離が変化しやすいので、頭部左右の対象領域マスクと、肩から腕にかけての部分に相当する別の対象領域マスクとの相関度を比較し、ＳＡＤ（Sum of Absolute difference）の平均誤差を用いて算出した相関度エラー値が所定値以上である場合、肩から腕にかけての部分の存在の可能性があると判定する。
【００４１】
また、歩行者の肩から腕にかけての部分が存在すると判定された場合、歩行者全体の距離と肩から腕にかけての部分の距離とは等しいはずであるから、歩行者全体の距離と肩から腕にかけての部分に相当する別の対象領域マスクの距離とが等しい場合、肩から腕にかけての部分が存在する対象物が歩行者であると判定することができる。
【００４２】
また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。人工構造物判定処理は、ステップＳ３４において歩行者の可能性があると判定された対象物画像に、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。なお、人工構造物判定処理については、詳細を後述する。
【００４３】
従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。
【００４４】
一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【００４５】
（人工構造物判定処理）
次に、図９に示すフローチャートを参照して、図５に示したフローチャートのステップＳ３５における人工構造物判定処理について更に詳しく説明する。図９は、本実施の形態の人工構造物判定処理動作を示すフローチャートである。ここでは、図５のステップＳ３４において歩行者の可能性があると判定された対象物が、遮蔽物により２つに分割された人工構造物であるか否かを再度判定する。
【００４６】
そこで、図９において、まず画像処理ユニット１は、図５のステップＳ３４で実行された歩行者判定処理で歩行者の可能性があると判定された２値化対象物（以下、２値化対象物ＯＢＪ［Ａ］とする。）と、比較対象とする比較対象２値化対象物（以下、２値化対象物ＯＢＪ［Ｂ］とする。）との自車両１０からの距離が同一であるか否かを判定する（ステップＳ４１）。具体的には、図１０に示す映像面Ｄ上の２値化対象物ＯＢＪ［Ａ］の視差（距離）を「ＯＢＪ＿ｄｉｓｐａｒｉｔｙ」、比較対象とする２値化対象物ＯＢＪ［Ｂ］の視差（距離）を「ｄｉｓｐａｒｉｔｙ［ｉ］」として、下記（１）式により、その差の絶対値がしきい値ＴＨ１より小さい場合、両者が自車両１０から同距離の位置に存在すると判定する。
【００４７】
｜ＯＢＪ＿ｄｉｓｐａｒｉｔｙ−ｄｉｓｐａｒｉｔｙ［ｉ］｜＜ＴＨ１・・・（１）
【００４８】
もし、ステップＳ４１において、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］との自車両１０からの距離が同一である場合（ステップＳ４１のＹＥＳ）、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］とが同一の高さに存在するか否かを判定する（ステップＳ４２）。
【００４９】
具体的には、図１０に示すように、映像面Ｄの上端からの２値化対象物ＯＢＪ［Ａ］の映像上端位置を「ＯＢＪ＿ｙｓ」、映像面Ｄの上端からの２値化対象物ＯＢＪ［Ｂ］の映像上端位置を「ｙｓ［ｉ］」として、下記（２）式により、その差の絶対値がしきい値ＴＨ２より小さい場合、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］とが同一の高さに存在すると判定する。すなわち、自動販売機や看板等が電柱により遮蔽された場合は、２つの２値化対象物の上端の形状の連続性に特徴があり、両方の物体は同一の高さがあることから、２つの２値化対象物について、高さを判定することにより上端の形状の連続性が認められた場合、この物体を人工構造物として判定することができる。尚、本実施の形態の説明では、人工構造物であるか否かの判定において、高さの同一性を用いたが、上端部の直線の連続性を判断材料として用いても良い。
【００５０】
｜ＯＢＪ＿ｙｓ−ｙｓ［ｉ］｜＜ＴＨ２・・・（２）
【００５１】
もし、ステップＳ４２において、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］とが同一の高さに存在する場合（ステップＳ４２のＹＥＳ）、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］との間の距離Δｘが規定値より小さいかを判定する（ステップＳ４３）。具体的には、映像面Ｄの左端からの２値化対象物ＯＢＪ［Ａ］の映像上の左位置を「ＯＢＪ＿ｘｌ」、右位置を「ＯＢＪ＿ｘｒ」とし、映像面Ｄの左端からの２値化対象物ＯＢＪ［Ｂ］の映像上の左位置を「ｘｌ［ｉ］」、右位置を「ｘｒ［ｉ］」とする。そして、図１１（ａ）に示すように、２値化対象物ＯＢＪ［Ａ］が２値化対象物ＯＢＪ［Ｂ］より左側に存在する場合、下記（３）式により両者の間の距離Δｘを求める。
【００５２】
Δｘ＝ＯＢＪ＿ｘｒ−ｘｌ［ｉ］・・・（３）
【００５３】
また、図１１（ｂ）に示すように、２値化対象物ＯＢＪ［Ａ］が２値化対象物ＯＢＪ［Ｂ］より右側に存在する場合、下記（４）式により両者の間の距離Δｘを求める。
【００５４】
Δｘ＝ＯＢＪ＿ｘｌ−ｘｒ［ｉ］・・・（４）
【００５５】
そして、下記（５）式により、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］との間の距離Δｘの絶対値がしきい値ＴＨ３より小さい場合、両者の距離が規定値より小さいと判定する。なお、しきい値ＴＨ３は、例えば電柱等の人工構造物の実際の幅を映像上の幅に変換した値を適用する。
【００５６】
｜Δｘ｜＜ＴＨ３・・・（５）
【００５７】
もし、ステップＳ４３において、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］との間の距離Δｘが規定値より小さい場合（ステップＳ４３のＹＥＳ）、図１２（ａ）に示すように、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］とにおいて、歩行者の頭部と推定される部分に頭部マスク（ＭＡＳＫ＿Ａ、ＭＡＳＫ＿Ｂ）をそれぞれ設定する（ステップＳ４４）。
【００５８】
ここで、頭部マスクＭＡＳＫ＿Ａ及び頭部マスクＭＡＳＫ＿Ｂの大きさは同一とし、図１２（ｂ）に示すように、その高さは、歩行者の頭部に相当する実際の大きさを、２値化対象物と自車両１０との距離に基づいて映像上に変換したＤｙ［ｐｉｘｅｌ］とする。一方、その幅は、図１２（ｂ）に示すように、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］の映像幅のうち、小さい方の映像幅ｄｘＰ［ｐｉｘｅｌ］から、映像上での２値化対象物の左右の誤差を考慮して２ｘ［ｐｉｘｅｌ］を引いた値とする。
【００５９】
次に、設定した頭部マスクＭＡＳＫ＿Ａの輝度平均と頭部マスクＭＡＳＫ＿Ｂの輝度平均とが等しいか否かを判定する（ステップＳ４５）。具体的には、図１２に示す頭部マスクＭＡＳＫ＿Ａ内の輝度平均を「ＯＢＪ＿ａｖｅ」、頭部マスクＭＡＳＫ＿Ｂ内の輝度平均を「ａｖｅ［ｉ］」として、下記（６）式により、その差の絶対値がしきい値ＴＨ４より小さい場合、両者の輝度平均が等しいと判定する。これは、２つの対象物の同一性を確認するものである。
【００６０】
｜ＯＢＪ＿ａｖｅ−ａｖｅ［ｉ］｜＜ＴＨ４・・・（６）
【００６１】
もし、ステップＳ４５において、頭部マスクＭＡＳＫ＿Ａの輝度平均と頭部マスクＭＡＳＫ＿Ｂの輝度平均とが等しい場合（ステップＳ４５のＹＥＳ）、頭部マスクＭＡＳＫ＿Ａ及び頭部マスクＭＡＳＫ＿Ｂにおいて、輝度分散が所定値より小さいか否かを判定する（ステップＳ４６）。具体的には、頭部マスクＭＡＳＫ＿Ａの輝度分散を「ＯＢＪ＿ｖａｒ」、頭部マスクＭＡＳＫ＿Ｂの輝度分散を「ｖａｒ［ｉ］」として、下記（７）式及び（８）式により、頭部マスクＭＡＳＫ＿Ａの輝度分散「ＯＢＪ＿ｖａｒ」がしきい値ＴＨ５より小さく、かつ頭部マスクＭＡＳＫ＿Ｂの輝度分散「ｖａｒ［ｉ］」がしきい値ＴＨ５より小さい場合、頭部マスクＭＡＳＫ＿Ａ及び頭部マスクＭＡＳＫ＿Ｂの輝度分散が所定値より小さいと判定する。これは、マスク内に人間の頭部及びその背景が含まれる場合とマスク内に看板等の物体のみが含まれる場合とではマスク内の輝度分散が異なることに基づいて、人工構造物の存在を確認をするものである。
【００６２】
ＯＢＪ＿ｖａｒ＜ＴＨ５・・・（７）
【００６３】
ｖａｒ［ｉ］＜ＴＨ５・・・（８）
【００６４】
もし、ステップＳ４６において、頭部マスクＭＡＳＫ＿Ａ及び頭部マスクＭＡＳＫ＿Ｂの輝度分散が所定値より小さい場合（ステップＳ４６のＹＥＳ）、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］は、図１０に示すように、遮蔽物により分割されて検出された１つの対象物ＯＢＪ［Ｘ］、すなわち人工構造物であると判定して（ステップＳ４７）人工構造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。以上の如く、ステップＳ４４からステップＳ４６の処理は、同一の人工構造物が持つパターンを確認する処理である。
【００６５】
一方、ステップＳ４１において、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］との自車両１０からの距離が同一ではない場合（ステップＳ４１のＮＯ）、あるいはステップＳ４２において、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］とが同一の高さに存在しない場合（ステップＳ４２のＮＯ）、あるいはステップＳ４３において、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］との間の距離Δｘが規定値以上の場合（ステップＳ４３のＮＯ）のいずれかの場合、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］は、遮蔽物により分割されて検出された人工構造物ではないと判定して（ステップＳ４８）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３６へ進み、対象物は警報対象であると判定する。
【００６６】
同様に、ステップＳ４５において、頭部マスクＭＡＳＫ＿Ａの輝度平均と頭部マスクＭＡＳＫ＿Ｂの輝度平均とが等しくない場合（ステップＳ４５のＮＯ）、あるいはステップＳ４６において、頭部マスクＭＡＳＫ＿Ａ、あるいは頭部マスクＭＡＳＫ＿Ｂのいずれかの輝度分散が所定値以上の場合（ステップＳ４６のＮＯ）のいずれかの場合、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］は、遮蔽物により分割されて検出された人工構造物ではないと判定して（ステップＳ４８）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３６へ進み、対象物は警報対象であると判定する。
【００６７】
なお、本実施の形態では、画像処理ユニット１が、遮蔽物分離推測手段を含んでいる。より具体的には、図９のステップＳ４１からステップＳ４８が遮蔽物分離推測手段に相当する。
【００６８】
以上説明したように、本実施の形態の赤外線画像認識装置は、遮蔽物分離推測手段が、歩行者判定処理で歩行者の可能性があると判定された２値化対象物ＯＢＪ［Ａ］と、比較対象とする２値化対象物ＯＢＪ［Ｂ］との自車両１０からの距離が同一であり、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］とが同一の高さに存在し、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］との間の距離が規定値より小さく、更に２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］とにおいて歩行者の頭部と推定される部分にそれぞれ設定された、頭部マスクＭＡＳＫ＿Ａの輝度平均と頭部マスクＭＡＳＫ＿Ｂの輝度平均とが等しく、両者の輝度分散がいずれも所定値より小さい場合、２値化対象物ＯＢＪ［Ａ］と２値化対象物ＯＢＪ［Ｂ］は、遮蔽物により分割されて検出された人工構造物であると判定する。
【００６９】
従って、赤外線画像上の物体の見え方によらず、温度が低く赤外線の放出量が少ない遮蔽物（人工構造物）に遮蔽され、２つに分割されて検出された発熱体（人工構造物）を除外し、歩行者等の生体のみを高精度で検出することができる赤外線画像認識装置を実現することができるという効果が得られる。
【００７０】
【発明の効果】
以上の如く、本発明の赤外線画像認識装置によれば、遮蔽物分離推測手段が、検出された２つの対象物を、１つの対象物が遮蔽物により分離されて検出された物体と推測することで、１つの対象物とそれを遮蔽する遮蔽物の両方の存在を一度に認識することができる。また、遮蔽物分離推測手段が、お互いに車両から等距離でかつ横方向に所定の間隔を有して存在していると共に、その上部が形状の連続性を有する複数の対象物を、遮蔽物により分離されて検出された１つの対象物と判断することで、例えば、２人並んだ歩行者と、電柱のような人工構造物により遮蔽されて２つに見える発熱体または蓄熱体とを区別して認識することができる。
【００７１】
従って、赤外線画像上の物体の見え方によらず、１つの物体は１つの物体として認識することで歩行者等の生体のみを高精度で検出することができる赤外線画像認識装置を実現することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の赤外線画像認識装置の構成を示すブロック図である。
【図２】車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】同実施の形態の赤外線画像認識装置の対象物検出・警報動作を示すフローチャートである。
【図４】赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】同実施の形態の警報判定処理動作を示すフローチャートである。
【図６】衝突が発生しやすい場合を示す図である。
【図７】車両前方の領域区分を示す図である。
【図８】同実施の形態の赤外線カメラで撮像された赤外線画像の一例を示す図である。
【図９】同実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図１０】同実施の形態の人工構造物判定処理において判定される２値化対象物の高さ方向の位置関係について示す図である。
【図１１】同実施の形態の人工構造物判定処理において判定される２値化対象物の横方向の位置関係について示す図である。
【図１２】同実施の形態の人工構造物判定処理において設定される頭部マスクについて示す図である。
【符号の説明】
１画像処理ユニット
２Ｒ、２Ｌ赤外線カメラ
３ヨーレートセンサ
４車速センサ
５ブレーキセンサ
６スピーカ
７画像表示装置
１０自車両
Ｓ４１〜Ｓ４８遮蔽物分離推測手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an infrared image recognition apparatus that recognizes an object that affects the traveling of a host vehicle.
[0002]
[Prior art]
Conventionally, a display processing device has been proposed that extracts objects such as pedestrians that may collide with the host vehicle from images captured by an infrared camera and provides the information to the driver of the host vehicle. Has been. This device binarizes an infrared image to search for a region where bright parts are concentrated, and calculates the distance using the aspect ratio and filling ratio of this region, and further, the actual area and the center of gravity position on the screen. Thus, it is determined whether or not this region is a pedestrian's head. Then, if the pedestrian's head area can be determined, the pedestrian's body is calculated by calculating the pedestrian's height on the image from the distance of the determined head area from the camera and the average height of the adult. Are set, and these areas are displayed separately from other areas. Thereby, the position of the whole body of the pedestrian on the infrared image is specified, and this information is displayed to the driver of the vehicle, so that more effective visual assistance can be performed (for example, Patent Document 1). reference.).
[0003]
In addition, when a similar object is searched from the left image around the vehicle captured by the stereo infrared camera, and there are a plurality of similar objects, a clustering block that includes them is set, and a response is made from within the right image. The block is extracted using SAD (Sum of Absolute difference), and the correlation value indicating the correlation between the clustering block in the left image and the block extracted from the right image is equal to or lower than a predetermined value and shows a high correlation. In some cases, the distance is calculated by regarding a plurality of objects included in the clustering block as a single object (see, for example, Patent Document 2).
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-328364
[Patent Document 2]
JP 2001-147117 A
[0005]
[Problems to be solved by the invention]
However, in the technique described in Patent Document 1, by first determining the area of the pedestrian's head, the position of the entire pedestrian's body on the infrared image is specified based on this area, and this information is stored in the vehicle. However, as shown in FIG. 8, for example, there are vending machines, signboards, walls, etc. at the end on the road. In road environments where there are utility poles and signs on the road side of them, vending machines that are heating elements or signboards that have become hot due to sunlight, etc. There is a problem that there is a possibility that it is determined that there are two pedestrians when the two are detected by being divided into two.
[0006]
Further, in the technique described in Patent Document 2, when there are a plurality of objects such as a light part of a traffic light, for example, it is possible to determine which object belongs to an artificial structure such as a traffic light. It was impossible to determine whether or not the object that should have been one was divided into two or more by the shield.
[0007]
The present invention has been made in view of the above problems, and recognizes only one living body such as a pedestrian with high accuracy by recognizing one object as one object regardless of how the object appears on the infrared image. It is an object of the present invention to provide an infrared image recognition device that can perform the above-described process.
[0008]
[Means for Solving the Problems]
  In order to solve the above problems, an infrared image recognition apparatus according to the invention of claim 1 is mounted on a vehicle and is an object present around the vehicle based on an image picked up by an image pickup means for detecting infrared light. Infrared image recognition apparatus that recognizes the object, and is a shielding object separation estimation unit that estimates that one object is separated by the shielding object and detected as a plurality of objects (for example, step S41 to step S48 in the embodiment) WithThe shielding object separation estimating means includes the plurality of objects that are equidistant from each other with a distance smaller than a predetermined value in the lateral direction. When the shape has continuity, it is assumed that the plurality of objects are separated and detected by the shielding object.It is characterized by that.
[0009]
  In the infrared image recognition apparatus having the above-described configuration, the shielding object separation estimation unit estimates the detected objects as objects detected by separating one object by the shielding object. The presence of both an object and a shield that shields it can be recognized at a time.
  Further, the shield separation estimation means is present at a distance from the vehicle at an equal distance and with a predetermined interval in the lateral direction, and a plurality of objects having continuity of the shape of the upper portion thereof are shielded. For example, two pedestrians lined up and two heating elements or heat storage bodies that are shielded by an artificial structure such as a power pole and look like two are separated. It can be recognized separately.
[0010]
  An infrared image recognition apparatus according to a second aspect of the present invention is the infrared image recognition apparatus according to the first aspect,The shielding object separation estimation unit applies a value obtained by converting an actual width of the plurality of objects into a width on an image as the predetermined value.It is characterized by that.
  An infrared image recognition device according to a third aspect of the invention is the infrared image recognition device according to the first or second aspect, wherein the shielding object separation and estimation means has the same height at the top of the plurality of objects. It is determined that the plurality of objects have continuity.
An infrared image recognition device according to a fourth aspect of the present invention is the infrared image recognition device according to the first or second aspect, wherein the shielding object separation estimating means is based on continuity of straight lines above the plurality of objects. It is judged that a plurality of objects have continuity.
[0011]
  An infrared image recognition device according to a fifth aspect of the present invention is the infrared image recognition device according to any one of the first to fourth aspects, wherein the shielding object separation estimating means is a pedestrian's head of the plurality of objects. When it is determined that the luminance average values of the parts estimated to be equal are equal, it is estimated that the plurality of objects are separated and detected by the shielding object.
  An infrared image recognition device according to a sixth aspect of the present invention is the infrared image recognition device according to any one of the first to fifth aspects, wherein the shielding object separation estimating means is a pedestrian head of the plurality of objects. When the brightness variance value of the part estimated as the part is smaller than a predetermined value, it is estimated that the plurality of objects are detected by being separated by the shielding object.
  An infrared image recognition device according to a seventh aspect of the invention is the infrared image recognition device according to any one of the first to sixth aspects, wherein the shielding object separation estimating means is separated and detected by a shielding object. An artificial structure determining means for determining a plurality of determined objects as artificial structures is provided.
An infrared image recognition apparatus according to an eighth aspect of the present invention is the infrared image recognition apparatus according to the seventh aspect, wherein the pedestrian recognition means for recognizing a pedestrian target object from the target object, and the pedestrian Alarm means for outputting a warning to a pedestrian recognized by the recognition means, and the warning means includes the artificial structure among objects determined to be a pedestrian by the pedestrian recognition means. The object judged as the artificial structure by the object judging means is excluded from the alarm target.
  In the infrared image recognition apparatus having the above-described configuration, the shield separation estimation means are present at equal distances from the vehicle and at a predetermined interval in the lateral direction, and the upper part thereof is continuous in shape. Are detected as one object detected by being separated by a shield, for example, two pedestrians lined up by two people and an artificial structure such as a utility pole It is possible to distinguish and recognize a heating element or a heat storage element that appears.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of an infrared image recognition apparatus according to an embodiment of the present invention.
In FIG. 1, reference numeral 1 denotes an image processing unit including a CPU (central processing unit) that controls the infrared image recognition apparatus of the present embodiment, and includes two infrared cameras 2R and 2L capable of detecting far infrared rays. A yaw rate sensor 3 for detecting the yaw rate of the vehicle, a vehicle speed sensor 4 for detecting a traveling speed (vehicle speed) of the vehicle, and a brake sensor 5 for detecting a brake operation are connected. Thus, when the image processing unit 1 detects a moving object such as a pedestrian or an animal in front of the vehicle from an infrared image around the vehicle and a signal indicating the running state of the vehicle, and determines that the possibility of a collision is high Alarm.
[0013]
In addition, the image processing unit 1 displays a speaker 6 for issuing a warning by voice and images taken by the infrared cameras 2R and 2L, and makes the vehicle driver recognize an object having a high risk of collision. For example, a meter-integrated display integrated with a meter that expresses the running state of the host vehicle, a NAVID display installed on the console of the host vehicle, and information displayed at a position on the front window that does not obstruct the driver's front view An image display device 7 including a HUD (Head Up Display) 7a is connected.
[0014]
The image processing unit 1 includes an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, a CPU (central processing unit) that performs various arithmetic processes, RAM (Random Access Memory) used to store data, ROM (Read Only Memory) that stores programs and tables executed by the CPU, maps, etc., speaker 6 drive signals, display signals such as HUD7a, etc. The output signals of the infrared cameras 2R and 2L, the yaw rate sensor 3, the vehicle speed sensor 4 and the brake sensor 5 are converted into digital signals and input to the CPU.
[0015]
As shown in FIG. 2, the infrared cameras 2R and 2L are disposed in the front part of the host vehicle 10 at positions that are substantially symmetrical with respect to the center of the host vehicle 10 in the vehicle width direction. The optical axes of 2R and 2L are parallel to each other and are fixed so that the heights from both road surfaces are equal. The infrared cameras 2R and 2L have a characteristic that the output signal level increases (the luminance increases) as the temperature of the object increases.
Further, the HUD 7a is provided so that the display screen is displayed at a position that does not obstruct the driver's front view of the front window of the host vehicle 10.
[0016]
Next, the operation of the present embodiment will be described with reference to the drawings.
(Object detection / alarm action)
FIG. 3 is a flowchart showing an object detection / alarm operation of a pedestrian or the like in the image processing unit 1 of the infrared image recognition apparatus of the present embodiment.
First, the image processing unit 1 acquires infrared images, which are output signals of the infrared cameras 2R and 2L (step S1), performs A / D conversion (step S2), and stores a grayscale image in an image memory (step S1). S3). Here, the right image is obtained by the infrared camera 2R, and the left image is obtained by the infrared camera 2L. In addition, since the horizontal position of the same object on the display screen is shifted in the right image and the left image, the distance to the object can be calculated from this shift (parallax).
[0017]
If a grayscale image is obtained in step S3, then the right image obtained by the infrared camera 2R is used as a reference image, and binarization processing of the image signal, that is, an area brighter than the luminance threshold value ITH is “1” ( White) and the dark area is set to “0” (black) (step S4).
FIG. 4A shows a grayscale image obtained by the infrared camera 2R, and binarization processing is performed on the grayscale image to obtain an image as shown in FIG. 4B. In FIG. 4B, for example, an object surrounded by a frame from P1 to P4 is an object displayed as white on the display screen (hereinafter referred to as “high luminance region”).
When the binarized image data is acquired from the infrared image, the binarized image data is converted into run-length data (step S5). The line represented by the run-length data is an area that is whitened by binarization at the pixel level, and has a width of one pixel in the y direction, and each has a width in the x direction. It has the length of the pixels constituting the run-length data.
[0018]
Next, the target object is labeled from the image data converted into run-length data (step S6), thereby performing a process of extracting the target object (step S7). That is, of the lines converted into run-length data, a line having a portion overlapping in the y direction is regarded as one object, so that, for example, the high luminance regions P1 to P4 shown in FIG. To be grasped as a value object).
When the extraction of the object is completed, next, the center of gravity G, the area S, and the aspect ratio ASPECT of the circumscribed rectangle of the extracted object are calculated (step S8).
[0019]
Here, the area S is (x [i], y [i], run [i], A) (i = 0, 1, 2,... N−1) ), The length of the run length data (run [i] −1) is calculated for the same object (N pieces of run length data). Also, the coordinates (xc, yc) of the center of gravity G of the object A are the length (run [i] -1) of each run length data and the coordinates x [i] or y [i] of each run length data. Are multiplied by the area S and calculated by multiplying them by the area S. Further, the aspect ratio ASPECT is calculated as a ratio Dy / Dx between the length Dy in the vertical direction and the length Dx in the horizontal direction of the circumscribed rectangle of the object.
Since the run-length data is indicated by the number of pixels (number of coordinates) (= run [i]), the actual length needs to be “−1” (subtract 1) (= run [i]. ] -1). Further, the position of the center of gravity G may be substituted by the position of the center of gravity of the circumscribed rectangle.
[0020]
Once the center of gravity, area, and circumscribing aspect ratio of the object can be calculated, next, the object is tracked between times, that is, the same object is recognized for each sampling period (step S9). For tracking between times, the time obtained by discretizing the time t as an analog quantity with the sampling period is set as k. For example, when the objects A and B are extracted at the time k, the objects C and D extracted at the time (k + 1) and the target The identity determination with the objects A and B is performed. When it is determined that the objects A and B and the objects C and D are the same, the objects C and D are changed to labels of the objects A and B, respectively, so that tracking is performed for a time.
Further, the position coordinates (center of gravity) of each object recognized in this way are stored in the memory as time-series position data and used for the subsequent calculation processing.
[0021]
Note that the processes in steps S4 to S9 described above are performed on a binarized reference image (in this embodiment, a right image).
Next, the vehicle speed VCAR detected by the vehicle speed sensor 4 and the yaw rate YR detected by the yaw rate sensor 3 are read, and the turning angle θr of the host vehicle 10 is calculated by integrating the yaw rate YR over time (step S10).
[0022]
On the other hand, in parallel with the processing of step S9 and step S10, in steps S11 to S13, processing for calculating the distance z between the object and the host vehicle 10 is performed. Since this calculation requires a longer time than steps S9 and S10, it is executed in a cycle longer than that of steps S9 and S10 (for example, a cycle that is about three times the execution cycle of steps S1 to S10).
First, by selecting one of the objects tracked by the binarized image of the reference image (right image), the search image R1 (here, the entire region surrounded by the circumscribed rectangle is searched for from the right image). Are extracted (step S11).
[0023]
Next, a search area for searching for an image corresponding to the search image R1 (hereinafter referred to as “corresponding image”) from the left image is set, and a correlation operation is executed to extract the corresponding image (step S12). Specifically, a search area R2 is set in the left image according to each vertex coordinate of the search image R1, and a luminance difference total value C (a indicating the level of correlation with the search image R1 within the search area R2 , B), and a region where the total value C (a, b) is minimum is extracted as a corresponding image. This correlation calculation is performed using a grayscale image instead of a binarized image.
When there is past position data for the same object, an area R2a narrower than the search area R2 is set as a search area based on the position data.
[0024]
The search image R1 is extracted from the reference image (right image) and the corresponding image R4 corresponding to the target object is extracted from the left image by the processing in step S12. Next, the search image R1 corresponds to the center of gravity position of the search image R1. The position of the center of gravity of the image R4 and the parallax Δd (number of pixels) are obtained, and the distance z between the vehicle 10 and the object is calculated from the position (step S13).
Next, when the calculation of the turning angle θr in step S10 and the distance calculation with the object in step S13 are completed, the coordinates (x, y) and the distance z in the image are changed to real space coordinates (X, Y, Z). Conversion is performed (step S14).
Here, the real space coordinates (X, Y, Z) are, as shown in FIG. 2, with the origin O as the midpoint position (position fixed to the host vehicle 10) of the attachment position of the infrared cameras 2R, 2L. The coordinates in the image are determined as shown in the figure, with the center of the image as the origin and the horizontal direction as x and the vertical direction as y.
[0025]
When the real space coordinates are obtained, the turning angle correction for correcting the positional deviation on the image due to the turning of the host vehicle 10 is performed (step S15). In the turning angle correction, when the host vehicle 10 turns, for example, to the left by the turning angle θr during the period from the time k to (k + 1), the turning angle θr and the vehicle move laterally, so on the image obtained by the camera, Since the image range is shifted in the x direction by Δx, this is a process for correcting this.
In the following description, the coordinates after the turning angle correction are displayed as (X, Y, Z).
[0026]
When the turning angle correction with respect to the real space coordinates is completed, N (for example, about N = 10) real space position data after the turning angle correction obtained during the monitoring period of ΔT for the same object, that is, From the time series data, an approximate straight line LMV corresponding to the relative movement vector between the object and the host vehicle 10 is obtained.
Next, the latest position coordinates P (0) = (X (0), Y (0), Z (0)) and (N-1) position coordinates P (N−1) before the sample (before time ΔT). = (X (N-1), Y (N-1), Z (N-1)) is corrected to a position on the approximate straight line LMV, and the corrected position coordinates Pv (0) = (Xv (0), Yv (0), Zv (0)) and Pv (N-1) = (Xv (N-1), Yv (N-1), Zv (N-1)) are obtained.
[0027]
Thereby, a relative movement vector is obtained as a vector from the position coordinates Pv (N−1) to Pv (0) (step S16).
In this way, by calculating an approximate straight line that approximates the relative movement locus of the object with respect to the host vehicle 10 from a plurality (N) of data within the monitoring period ΔT, the influence of the position detection error is reduced. Thus, the possibility of collision with the object can be predicted more accurately.
[0028]
If the relative movement vector is obtained in step S16, an alarm determination process for determining the possibility of collision with the detected object is performed (step S17). Details of the alarm determination process will be described later.
If it is determined in step S17 that there is no possibility of collision between the host vehicle 10 and the detected object (NO in step S17), the process returns to step S1 and the above-described processing is repeated.
If it is determined in step S17 that there is a possibility of collision between the host vehicle 10 and the detected object (YES in step S17), the process proceeds to an alarm output determination process in step S18.
[0029]
In step S18, it is determined whether or not the driver of the host vehicle 10 is performing a brake operation from the output BR of the brake sensor 5, thereby determining whether or not to perform alarm output determination processing, that is, whether or not alarm output is performed (step S18). Step S18).
If the driver of the host vehicle 10 is performing a brake operation, the acceleration Gs generated (deceleration direction is positive) is calculated, and if the acceleration Gs is greater than a predetermined threshold GTH, the brake is It is determined that the collision is avoided by the operation, the alarm output determination process is terminated (NO in step S18), the process returns to step S1, and the above process is repeated.
As a result, when an appropriate brake operation is performed, an alarm is not issued, so that the driver is not bothered excessively.
[0030]
Further, when the acceleration Gs is equal to or less than the predetermined threshold GTH, or when the driver of the host vehicle 10 is not performing a brake operation, the process immediately proceeds to the process of step S19 (YES in step S18), and may contact the object. Therefore, an alarm is issued by voice through the speaker 6 (step S19), and an image obtained by, for example, the infrared camera 2R is output to the image display device 7 so that the approaching object 10 Is displayed as an emphasized image for the driver (step S20).
[0031]
The predetermined threshold GTH is a value corresponding to a condition in which the host vehicle 10 stops at a travel distance equal to or less than the distance Zv (0) between the object and the host vehicle 10 when the acceleration Gs during the brake operation is maintained as it is. It is.
[0032]
(Alarm judgment processing)
The above is the object detection / alarm operation in the image processing unit 1 of the infrared image recognition apparatus of the present embodiment. Next, referring to the flowchart shown in FIG. 5, step S17 of the flowchart shown in FIG. The alarm determination process in will be described in more detail.
FIG. 5 is a flowchart showing the alarm determination processing operation of the present embodiment.
The warning determination process includes the object detected as the vehicle 10 by the following collision determination process, determination process whether or not the vehicle is in the approach determination area, approach collision determination process, pedestrian determination process, and artificial structure determination process. This is a process for determining the possibility of collision. Hereinafter, as shown in FIG. 6, a case where there is an object 20 traveling at a speed Vp from a direction of approximately 90 ° with respect to the traveling direction of the host vehicle 10 will be described as an example.
[0033]
In FIG. 5, first, the image processing unit 1 performs a collision determination process (step S31). In the collision determination process, in FIG. 6, when the object 20 approaches the distance Zv (0) from the distance Zv (N−1) during the time ΔT, the relative speed Vs in the Z direction with the host vehicle 10 is obtained. This is a process for determining whether or not they collide within the margin time T, assuming that both move within the height H while maintaining the relative speed Vs. Here, the margin time T is intended to determine the possibility of a collision by a time T before the predicted collision time. Accordingly, the margin time T is set to about 2 to 5 seconds, for example. H is a predetermined height that defines a range in the height direction, and is set to about twice the vehicle height of the host vehicle 10, for example.
[0034]
Next, in step S31, when there is a possibility that the host vehicle 10 and the target object collide within the margin time T (YES in step S31), the image processing unit 1 sets the target in order to further improve the reliability of the determination. A determination process is performed as to whether or not an object exists in the approach determination area (step S32). As shown in FIG. 7, if the area that can be monitored by the infrared cameras 2R and 2L is an outer triangular area AR0 indicated by a thick solid line, as shown in FIG. A region AR1 that is closer to the host vehicle 10 than Vs × T and corresponds to a range in which the object has a margin β (for example, about 50 to 100 cm) on both sides of the vehicle width α of the host vehicle 10, that is, the target This is a process for determining whether or not an object exists in the approach determination area AR1 where the possibility of a collision with the host vehicle 10 is extremely high if the object continues to exist. The approach determination area AR1 also has a predetermined height H.
[0035]
Furthermore, in step S32, when the object does not exist in the approach determination area (NO in step S32), the image processing unit 1 may enter the approach determination area and collide with the host vehicle 10. An approach collision determination process is performed to determine whether or not (step S33). In the approach collision determination process, the areas AR2 and AR3 having an absolute value of the X coordinate larger than the above-described approach determination area AR1 (outside in the lateral direction of the approach determination area) are referred to as an entry determination area, and an object in this area is This is a process for determining whether or not the vehicle enters the approach determination area AR1 and collides with the host vehicle 10 by moving. The entry determination areas AR2 and AR3 also have a predetermined height H.
[0036]
On the other hand, when the target object is present in the approach determination area in step S32 (YES in step S32), the image processing unit 1 determines whether the target object is a pedestrian or not. Processing is performed (step S34). The pedestrian determination process is a process for determining whether or not the target object is a pedestrian from features such as the shape and size of the target object image and luminance dispersion on the grayscale image.
[0037]
For example, the pedestrian determination process will be described with reference to a specific example. First, in order to perform head determination for determining whether or not a pedestrian's head is present, an object region extracted from a grayscale image is used. Set the projection area in the, calculate the vertical luminance projection (horizontal distribution of the integrated luminance obtained by integrating the luminance of each pixel in the vertical direction), and the maximum peak from the upper left origin of the video The horizontal coordinate shown is detected.
[0038]
Next, based on the detected lateral position, a reference area mask is set in an area that is estimated to correspond to the pedestrian's head position, and two objects that are estimated to correspond to the upper shoulder space at the left and right positions thereof. Set the region mask.
Then, the average brightness of the reference area mask and the average brightness of the two target area masks are calculated, and it is determined whether or not the pedestrian's head is present from the obtained average brightness of each area. Specifically, when the luminance gradation of the pedestrian head that is high in luminance with respect to the luminance gradation of the left and right (background) of the head is recognized, it is determined that the head is present.
[0039]
If it is determined that the pedestrian's head is present, then the pedestrian's left and right shoulder-to-arm part is determined in order to determine the presence / absence of the shoulder-to-arm part that is easy for pedestrians to capture. Exists at the same distance as the head position, and the luminance gradation from the shoulder to the arm of the pedestrian is different from the luminance gradation of the left and right (background) of the head located in the space above the shoulder of the pedestrian. " It is determined whether or not there is a portion from the shoulder to the arm of the pedestrian using the luminance characteristics of each region (each unit) on the image.
[0040]
Specifically, another target area mask corresponding to a portion from the shoulder to the arm is set below the target area mask on the left and right of the head used in the head determination. And since the shape and distance of the part from the shoulder to the arm of the pedestrian easily changes, the degree of correlation between the target area mask on the left and right of the head and another target area mask corresponding to the part from the shoulder to the arm is compared. If the correlation error value calculated using the average error of SAD (Sum of Absolute difference) is greater than or equal to a predetermined value, it is determined that there is a possibility that a portion from the shoulder to the arm exists.
[0041]
If it is determined that there is a part from the shoulder to the arm of the pedestrian, the distance of the entire pedestrian and the distance from the shoulder to the arm should be equal. When the distance of another target area mask corresponding to the part extending to is equal, it can be determined that the object having the part extending from the shoulder to the arm is a pedestrian.
[0042]
If it is determined in step S34 that the object is likely to be a pedestrian (YES in step S34), in order to further increase the reliability of the determination, it is determined whether or not the object is an artificial structure. An artificial structure determination process is performed (step S35). The artificial structure determination process determines that the target object is an artificial structure when a feature that is impossible for a pedestrian is detected in the target object image determined to be a pedestrian in step S34. This is a process of excluding from the alarm target. The details of the artificial structure determination process will be described later.
[0043]
Therefore, in the above-described step S33, when there is a possibility that the target object enters the approach determination area and collides with the own vehicle 10 (YES in step S33), and in step S35, there is a possibility of a pedestrian. When the determined object is not an artificial structure (NO in step S35), the image processing unit 1 has a possibility of collision between the host vehicle 10 and the detected object (being an alarm target). A determination is made (step S36), the process proceeds to step S18 as YES in step S17 shown in FIG. 3, and an alarm output determination process (step S18) is performed.
[0044]
On the other hand, in step S31 described above, when there is no possibility that the host vehicle 10 and the target object collide within the margin time T (NO in step S31), or in step S33, the target object enters the approach determination area. If there is no possibility of colliding with the host vehicle 10 (NO in step S33), or if it is determined in step S34 that the object is not likely to be a pedestrian (NO in step S34), further step S35 is performed. When the object determined to be a pedestrian is an artificial structure (YES in step S35), the image processing unit 1 detects the host vehicle 10. It is determined that there is no possibility of collision with the object (not an alarm target) (step S37), and the process proceeds to step S1 as NO in step S17 shown in FIG. Ri, repeat the object detection and alarm operation such as a pedestrian.
[0045]
(Artificial structure judgment processing)
Next, the artificial structure determination process in step S35 of the flowchart shown in FIG. 5 will be described in more detail with reference to the flowchart shown in FIG. FIG. 9 is a flowchart showing the artificial structure determination processing operation of the present embodiment. Here, it is determined again whether or not the object that is determined to be a pedestrian in step S34 in FIG. 5 is an artificial structure that is divided into two by a shielding object.
[0046]
Therefore, in FIG. 9, first, the image processing unit 1 is a binarized object (hereinafter, binarized object) that is determined to be a pedestrian in the pedestrian determination process executed in step S <b> 34 of FIG. 5. The object OBJ [A]) and the comparison target binarized object to be compared (hereinafter referred to as the binarized object OBJ [B]) have the same distance from the host vehicle 10. Is determined (step S41). Specifically, the parallax (distance) of the binarized object OBJ [A] on the image plane D shown in FIG. 10 is “OBJ_disparity”, and the parallax (distance) of the binarized object OBJ [B] to be compared. ) As “disparity [i]”, and when the absolute value of the difference is smaller than the threshold value TH1, it is determined that both are present at the same distance from the host vehicle 10 according to the following equation (1).
[0047]
OBJ_disparity-disparity [i] | <TH1 (1)
[0048]
If the distance between the binarized object OBJ [A] and the binarized object OBJ [B] from the host vehicle 10 is the same in step S41 (YES in step S41), the binarized object It is determined whether or not OBJ [A] and the binarized object OBJ [B] exist at the same height (step S42).
[0049]
Specifically, as shown in FIG. 10, the image upper end position of the binarized object OBJ [A] from the upper end of the image plane D is “OBJ_ys”, and the binarized object OBJ from the upper end of the image plane D is displayed. When the upper end position of [B] is “ys [i]” and the absolute value of the difference is smaller than the threshold value TH2 by the following equation (2), the binarized object OBJ [A] is binarized. It is determined that the object OBJ [B] exists at the same height. That is, when a vending machine, a signboard, or the like is shielded by a utility pole, there is a feature in the continuity of the shape of the upper ends of the two binarized objects, and both objects have the same height. When continuity of the shape of the upper end is recognized by determining the height of two binarized objects, this object can be determined as an artificial structure. In the description of the present embodiment, the height identity is used in determining whether or not the structure is an artificial structure, but the continuity of the straight line at the upper end may be used as a determination material.
[0050]
| OBJ_ys-ys [i] | <TH2 (2)
[0051]
If the binarized object OBJ [A] and the binarized object OBJ [B] exist at the same height in step S42 (YES in step S42), the binarized object OBJ [A] ] And the binarized object OBJ [B] are determined whether or not the distance Δx is smaller than the specified value (step S43). Specifically, the binarized object OBJ [A] from the left end of the image plane D is binarized from the left end of the image plane D, where the left position on the image is “OBJ_xl” and the right position is “OBJ_xr”. The left position on the video of the object OBJ [B] is “xl [i]”, and the right position is “xr [i]”. As shown in FIG. 11A, when the binarized object OBJ [A] is present on the left side of the binarized object OBJ [B], the distance Δx between the two according to the following equation (3): Ask for.
[0052]
Δx = OBJ_xr−xl [i] (3)
[0053]
Further, as shown in FIG. 11B, when the binarized object OBJ [A] is present on the right side of the binarized object OBJ [B], the distance Δx between the two according to the following equation (4): Ask for.
[0054]
Δx = OBJ_xl−xr [i] (4)
[0055]
When the absolute value of the distance Δx between the binarized object OBJ [A] and the binarized object OBJ [B] is smaller than the threshold value TH3 according to the following equation (5), the distance between the two is Judged to be smaller than the specified value. For the threshold value TH3, for example, a value obtained by converting the actual width of an artificial structure such as a utility pole into a width on an image is applied.
[0056]
| Δx | <TH3 (5)
[0057]
If the distance Δx between the binarized object OBJ [A] and the binarized object OBJ [B] is smaller than the specified value in step S43 (YES in step S43), FIG. As shown, head masks (MASK_A, MASK_B) are respectively set in portions estimated as the heads of pedestrians in the binarized object OBJ [A] and the binarized object OBJ [B] ( Step S44).
[0058]
Here, the sizes of the head mask MASK_A and the head mask MASK_B are the same, and as shown in FIG. 12B, the height of the head mask MASK_A is a binary value corresponding to the actual size of the pedestrian's head. Dy [pixel] converted on the video based on the distance between the target to be converted and the host vehicle 10. On the other hand, as shown in FIG. 12 (b), the width is the smaller video width dxP [pixel] of the video widths of the binarized object OBJ [A] and the binarized object OBJ [B]. From this, a value obtained by subtracting 2x [pixel] in consideration of the left and right errors of the binarized object on the video.
[0059]
Next, it is determined whether or not the luminance average of the set head mask MASK_A is equal to the luminance average of the head mask MASK_B (step S45). Specifically, the luminance average in the head mask MASK_A shown in FIG. 12 is “OBJ_ave”, and the luminance average in the head mask MASK_B is “ave [i]”. When the value is smaller than the threshold value TH4, it is determined that the luminance average of both is equal. This confirms the identity of the two objects.
[0060]
| OBJ_ave-ave [i] | <TH4 (6)
[0061]
If the average luminance of head mask MASK_A is equal to the average luminance of head mask MASK_B in step S45 (YES in step S45), the luminance variance is smaller than a predetermined value in head mask MASK_A and head mask MASK_B. Is determined (step S46). Specifically, the luminance variance of the head mask MASK_A is “OBJ_var”, the luminance variance of the head mask MASK_B is “var [i]”, and the head mask MASK_A is expressed by the following equations (7) and (8). When the luminance variance “OBJ_var” is smaller than the threshold TH5 and the luminance variance “var [i]” of the head mask MASK_B is smaller than the threshold TH5, the luminance variance of the head mask MASK_A and the head mask MASK_B is predetermined. It is determined that the value is smaller. This is based on the fact that the luminance dispersion in the mask differs between the case where the human head and its background are included in the mask and the case where only an object such as a signboard is included in the mask. It is a confirmation.
[0062]
OBJ_var <TH5 (7)
[0063]
var [i] <TH5 (8)
[0064]
If the luminance dispersion of the head mask MASK_A and the head mask MASK_B is smaller than a predetermined value in step S46 (YES in step S46), the binarized object OBJ [A] and the binarized object OBJ [B] 10, one object OBJ [X] detected by being divided by the shielding object, that is, an artificial structure is determined (step S47), and the artificial structure determination process is terminated. As YES of step S35 shown in FIG. 5, it progresses to step S37 of FIG. 5, and determines with a target object not being a warning object. As described above, the processing from step S44 to step S46 is processing for confirming the pattern of the same artificial structure.
[0065]
On the other hand, when the distance from the own vehicle 10 of the binarized object OBJ [A] and the binarized object OBJ [B] is not the same in step S41 (NO in step S41), or in step S42, When the binarized object OBJ [A] and the binarized object OBJ [B] do not exist at the same height (NO in step S42), or in step S43, the binarized object OBJ [A] When the distance Δx between the binary object OBJ [B] and the binarized object OBJ [B] is greater than or equal to the specified value (NO in step S43), the binarized object OBJ [A] and the binarized object OBJ It is determined that [B] is not an artificial structure detected by being divided by the shield (step S48), the artificial structure determination process is ended, and step S35 of FIG. 5 is determined as NO of step S35 shown in FIG. Go to Object determines that the alarm object.
[0066]
Similarly, when the luminance average of head mask MASK_A is not equal to the luminance average of head mask MASK_B in step S45 (NO in step S45), or in step S46, head mask MASK_A or head mask MASK_B In any case where any of the luminance dispersions is greater than or equal to a predetermined value (NO in step S46), the binarized object OBJ [A] and the binarized object OBJ [B] are divided by the shielding object. It determines with it not being the detected artificial structure (step S48), the artificial structure determination process is complete | finished, it progresses to step S36 of FIG. 5 as NO of step S35 shown in FIG. 5, and an object is a warning object. judge.
[0067]
In the present embodiment, the image processing unit 1 includes shielding object separation estimating means. More specifically, step S41 to step S48 in FIG. 9 correspond to the shielding object separation estimating means.
[0068]
As described above, in the infrared image recognition device of the present embodiment, the shielding object separation estimation unit is the binarized object OBJ [A] that is determined to be a pedestrian in the pedestrian determination process. The distance from the own vehicle 10 to the binarized object OBJ [B] to be compared is the same, and the binarized object OBJ [A] and the binarized object OBJ [B] are the same. The distance between the binarized object OBJ [A] and the binarized object OBJ [B] is smaller than the specified value, and further binarized with the binarized object OBJ [A]. The luminance average of the head mask MASK_A and the luminance average of the head mask MASK_B, which are set in the portion estimated to be the pedestrian's head in the object OBJ [B], are equal, and the luminance dispersion of both is the same. When smaller than the predetermined value, the binarized object OBJ [A] and the binarized object OB [B] is determined to be an artificial structure has been detected is divided by the shield.
[0069]
Therefore, regardless of how the object appears on the infrared image, the heating element (artificial structure) detected by being divided into two parts by being shielded by a shield (artificial structure) having a low temperature and a small amount of infrared radiation. And an infrared image recognition device capable of detecting only a living body such as a pedestrian with high accuracy can be realized.
[0070]
【The invention's effect】
As described above, according to the infrared image recognition apparatus of the present invention, the shielding object separation estimating unit estimates the two detected objects as objects detected by separating one object by the shielding object. Thus, it is possible to recognize the existence of both one object and a shielding object that shields the object at a time. Further, the shield separation estimation means is present at a distance from the vehicle at an equal distance and with a predetermined interval in the lateral direction, and a plurality of objects having continuity of the shape of the upper portion thereof are shielded. For example, two pedestrians lined up and two heating elements or heat storage bodies that are shielded by an artificial structure such as a power pole and look like two are separated. It can be recognized separately.
[0071]
Therefore, it is possible to realize an infrared image recognition apparatus that can detect only a living body such as a pedestrian with high accuracy by recognizing one object as one object regardless of how the object appears on the infrared image. The effect that it can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an infrared image recognition apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing attachment positions of an infrared camera, a sensor, a display, and the like in a vehicle.
FIG. 3 is a flowchart showing an object detection / alarm operation of the infrared image recognition apparatus according to the embodiment;
FIG. 4 is a diagram illustrating a grayscale image obtained by an infrared camera and a binarized image thereof.
FIG. 5 is a flowchart showing an alarm determination processing operation according to the embodiment;
FIG. 6 is a diagram illustrating a case where a collision is likely to occur.
FIG. 7 is a diagram showing a region division in front of the vehicle.
FIG. 8 is a diagram illustrating an example of an infrared image captured by the infrared camera according to the embodiment.
FIG. 9 is a flowchart showing an artificial structure determination processing operation according to the embodiment;
FIG. 10 is a diagram showing a positional relationship in the height direction of the binarized object determined in the artificial structure determination process of the embodiment.
FIG. 11 is a diagram showing a lateral positional relationship of the binarized object determined in the artificial structure determination process according to the embodiment.
FIG. 12 is a diagram showing a head mask set in the artificial structure determination process according to the embodiment;
[Explanation of symbols]
1 Image processing unit
2R, 2L infrared camera
3 Yaw rate sensor
4 Vehicle speed sensor
5 Brake sensor
6 Speaker
7 Image display device
10 Own vehicle
S41-S48 Shield Separation Estimation Means

Claims

An infrared image recognition device that is mounted on a vehicle and recognizes an object existing around the vehicle based on an image captured by an imaging unit that detects infrared rays,
Included is a shielding object separation estimating unit that estimates that one object is separated by a shielding object and detected as a plurality of objects , and the shielding object separation estimating means includes the plurality of objects that are mutually connected from the vehicle, etc. When the distance is present in the lateral direction with an interval smaller than a predetermined value, and the upper portions of the plurality of objects have continuity in shape, the plurality of objects are separated by a shielding object and detected. An infrared image recognizing device characterized in that it is estimated that

The infrared image recognition apparatus according to claim 1, wherein the shielding object separation estimation unit applies a value obtained by converting an actual width of the plurality of objects into a width on an image as the predetermined value .

3. The infrared ray according to claim 1, wherein the shielding object separation estimation unit determines that the plurality of objects have continuity when the heights of the upper parts of the plurality of objects are equal. 4. Image recognition device.

3. The infrared image according to claim 1, wherein the shielding object separation estimating unit determines that the plurality of objects have continuity from the continuity of straight lines above the plurality of objects. 4. Recognition device.

The shielding object separation estimation unit detects the plurality of objects separated by the shielding object when it is determined that the average luminance values of the estimated parts of the plurality of objects are the pedestrian's heads are equal. The infrared image recognition apparatus according to claim 1, wherein the infrared image recognition apparatus is estimated to have been performed.

The shielding object separation estimating means separates the plurality of objects by the shielding object when the luminance dispersion values of the portions estimated to be pedestrian heads of the plurality of objects are all smaller than a predetermined value. The infrared image recognition apparatus according to claim 1, wherein the infrared image recognition apparatus is detected.

The said shielding object isolation | separation estimation means is equipped with the artificial structure judgment means which judges the several target object judged that it was isolate | separated and detected with the shielding object as an artificial structure. The infrared image recognition device according to any one of the above.

Pedestrian recognition means for recognizing a pedestrian target object from the target object, and alarm means for warning output of a pedestrian recognized by the pedestrian recognition means,
The alarm means excludes an object determined as an artificial structure by the artificial structure determination means from among the objects determined to be a pedestrian by the pedestrian recognition means. The infrared recognizing device according to claim 7.