JP3936313B2

JP3936313B2 - 画像認識装置

Info

Publication number: JP3936313B2
Application number: JP2003181368A
Authority: JP
Inventors: 伸治長岡; 正人渡辺; 孝之辻; 弘服部; 泉高津戸
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2002-07-02
Filing date: 2003-06-25
Publication date: 2007-06-27
Anticipated expiration: 2023-06-25
Also published as: JP2005062910A

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像手段により撮影された画像から車両の走行に影響を与えそうな対象物を検出する画像認識装置に関する。
【０００２】
【従来の技術】
従来、赤外線カメラ等の撮像手段により捉えられた自車両周辺の画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する装置がある。
この装置では、左右一組のステレオカメラが撮影した自車両周辺の画像について、例えば右側の赤外線カメラが撮影した右画像を２値化処理することにより、第１の対象物画像を抽出する。次に、左側の赤外線カメラが撮影した左画像のグレースケール画像上に、第１の対象物画像に対応する画像（対応画像）を探索する探索領域を設定し、第１の対象物画像と探索領域中の物体画像との相関演算を実行することにより、第１の対象物画像に対する対応画像を第２の対象物画像として抽出する。そして、右画像中の第１の対象物画像の重心位置と、左画像中の第２の対象物画像の重心位置との差から、視差Δｄ（画素数）を求め、これから自車両と対象物との距離ｚを算出する（例えば、特許文献１参照。）。
【０００３】
ここで、相関演算についてより具体的に説明すると、対象物の距離ｚは、ステレオカメラ間での対象物視差Δｄより式（１）にて算出する。なお、ｆは焦点距離、Ｄはステレオカメラ間距離（基線長）、ｐは画素ピッチである。
ｚ＝ｆ×Ｄ／（Δｄ×ｐ）・・・（１）
また、図１０に示すように、対象物視差Δｄは、右画像の参照パタン（Ｐａｔ：Ｐａｔ＿ｄｘ×Ｐａｔ＿ｄｙ）を左画像の探索領域（Ａｒｅａ：Ａｒｅａ＿ｄｘ×Ａｒｅａ＿ｄｙ）の中において、１画素ずつシフトさせながら、相関度が一番高い位置を探索し、対応画像として検出する。
【０００４】
また、ここでは相関演算にＳＡＤ（Sum of Absolute Difference）を使用し、式（２）で示す相関エラー「Ｅｒｒｏｒ」が最小となる位置ｃｘを相関度が高い位置と判定する。
Ｅｒｒｏｒ［ｃｘ］＝Σ_ｉΣ_ｊ｜Ｐａｔ［ｉ］［ｊ］−Ａｒｅａ［ｉ＋ｃｘ］［ｊ］｜・・・（２）
但し、０≦ｃｘ＜（Ａｒｅａ＿ｄｘ−Ｐａｔ＿ｄｘ＋１）、０≦ｉ＜Ｐａｔ＿ｄｘ、０≦ｊ＜Ｐａｔ＿ｄｙである。
従って、ＰａｔとＡｒｅａの１画素の差分演算回数を１回とすると、式（２）の演算回数Ｃａｌｃ＿Ｎは、式（３）で表される。
Ｃａｌｃ＿Ｎ＝（Ｐａｔ＿ｄｘ×Ｐａｔ＿ｄｙ）×（Ａｒｅａ＿ｄｘ−Ｐａｔ＿ｄｘ＋１）・・・（３）
【０００５】
【特許文献１】
特開２００１−６０９６号公報
【０００６】
【発明が解決しようとする課題】
しかし、上記のようなアルゴリズムによる相関演算を用いた装置では、右画像から抽出された第１の対象物画像と相関度の高い部分を、左画像上の探索領域の中から正確に検出することができるものの、その計算速度は、ハードウェアの処理能力に依存する部分が多いという問題があった。
すなわち、撮像手段により撮影された画像から車両の走行に影響を与えそうな対象物を検出するような場合、車両の移動と共に撮像手段により撮影される物体は時々刻々変化するので、対象物が撮像手段により捉えられている間に、右画像から抽出した第１の対象物画像と、左画像のグレースケール画像上に設定された探索領域との相関演算を完了させるためには、非常に高速処理（演算）が可能な計算機を必要とし、計算機に対するコストの面や計算機に必要な電力の面、あるいは計算機を搭載するスペースの面で、このような計算機を車両に搭載して利用することは難しいという問題があった。
【０００７】
本発明は、上記課題に鑑みてなされたもので、可能な限り簡単な演算で探索領域から対象物を検出し、運転者に自車両の走行に影響を与えそうな対象物を認識させることができる画像認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る画像認識装置は、一組のステレオカメラ（例えば実施の形態の赤外線カメラ２Ｒ、２Ｌ）を備え、第１のカメラの画像から第１の対象物画像（例えば実施の形態の探索画像Ｒ１）を抽出すると共に、抽出された前記第１の対象物画像に基づいて設定された第２のカメラの画像上の探索領域（例えば実施の形態の探索領域Ｒ２）から、相関演算処理を行うことにより前記第１の対象物画像に対応する第２の対象物画像（例えば実施の形態の対応画像）を抽出し、前記第１と第２の対象物画像間の視差を求めて、該対象物までの距離を計算する対象物距離算出手段（例えば実施の形態のステップＳ１１〜ステップＳ１２、ステップＳ３１〜ステップＳ３８）を備えた画像認識装置において、前記対象物距離算出手段が、前記第１の対象物画像に対して設定された対象枠の幅と同一の移動幅を設定し、前記探索領域内において該移動幅で指定される領域毎に第１の対象物画像を移動させ、前記探索領域内の相関演算処理を行うことにより、前記第１の対象物画像と相関度の高い領域及びその両側の領域を新たな探索領域として抽出する（例えば実施の形態のステップＳ３３〜ステップＳ３６）ことを特徴とする。
【０００９】
以上の構成を備えた画像認識装置は、対象物距離算出手段が、第１の対象物画像により、第２のカメラの画像上の探索領域に対する相関演算処理を行う際、第１の対象物画像に対して設定された対象枠の幅を基準とする移動幅により、第１の対象物画像を探索領域内で順次移動させて相関演算処理を行うことで、探索領域内を粗く探索し、正確かつ少ない演算量で、第１の対象物画像との相関度が高く、第２の対象物画像が存在すると思われる領域を新たな探索領域として抽出することができる。
【００１１】
さらに、以上の構成を備えた画像認識装置は、探索領域内での第１の対象物画像の移動幅を、第１の対象物画像に対して設定された対象枠の幅と同一にすることで、第１の対象物画像を探索領域内で移動させたときに、重複して相関演算処理を行う領域が発生することがなく効率的に相関演算処理を全ての領域に実施することができると共に、探索領域内において、第１の対象物画像に捉えられた対象物を必ず１回だけ検出することになるので、対象物ではない物体と対象物との区別を容易にすることができる。
【００１２】
請求項２の発明に係る画像認識装置は、請求項１に記載の画像認識装置において、前記対象物距離算出手段が、前記新たな探索領域を抽出する度に、前記対象枠の幅に基づいて、前記移動幅を順次更に小さな移動幅へ更新し、該移動幅で前記新たな探索領域内の相関演算処理を行うことにより、前記探索領域を更に絞り込むことを特徴とする。
【００１３】
以上の構成を備えた画像認識装置は、対象物距離算出手段が、相関演算処理により抽出した探索領域を新たな探索領域とすると共に、探索領域が縮小することに伴って、相関演算処理における第１の対象物画像の移動幅を、順次対象枠の幅に基づいて小さな移動幅へ更新し、更新された移動幅で新たな探索領域内の相関演算処理を行うことにより、探索領域が縮小されてより相関度の高い領域が絞り込まれてきたら、これに合わせて相関演算処理における第１の対象物画像の移動幅も小さくして探索領域内を細かく探索することにより、正確かつ必要最小限の演算量で、効率的に相関演算処理を実施することができる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の画像認識装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の画像認識装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号とから、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１５】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、検出された対象物と自車両との衝突する危険性が高いと判定された場合のみ、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を強調表示された対象物画像と共に表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１６】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、画像表示装置７の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１７】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１８】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態の画像認識装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１９】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００２０】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００２１】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２２】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２３】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２４】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１２では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とし、この探索画像の外接四角形を対象枠という）を抽出する（ステップＳ１１）。
【００２５】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して視差・距離算出演算を行い、自車両１０と対象物との距離ｚを算出する（ステップＳ１２）。なお、自車両１０と対象物との距離ｚを算出するステップＳ１２の視差・距離算出演算処理については、詳細を後述する。
【００２６】
また、ステップＳ１０における回頭角θｒの算出と、ステップＳ１２における対象物との距離算出が完了したら、次に、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１３）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
【００２７】
また、回頭角補正を終了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
次に、実空間座標に対する回頭角補正が完了したら、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。
【００２８】
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ１５）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２９】
また、ステップＳ１５において、相対移動ベクトルが求められたら、次に、自車両１０が検出した対象物と衝突する可能性があるか否かを判定する警報判定処理を行う（ステップＳ１６）。
そして、ステップＳ１６において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１６のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１６において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１６のＹＥＳ）、ステップＳ１７の警報出力判定処理へ進む。
【００３０】
ステップＳ１７では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１７）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００３１】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１８の処理へ進み（ステップＳ１７のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１８）と共に、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ１９）。
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、現在の対象物と自車両１０との間の距離以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３２】
以上が、本実施の形態の画像認識装置の画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１２における、自車両１０と対象物との距離ｚを算出する視差・距離算出演算処理について更に詳しく説明する。
図５は、本実施の形態の視差・距離算出演算処理動作を示すフローチャートである。
まず、画像処理ユニット１は、左画像中に、右画像の探索画像Ｒ１に対応する対応画像を探索するための探索領域Ｒ２を設定する（ステップＳ３１）。
そして、探索のステップ幅（移動幅）を決定するための変数ｎを値「０」に初期化する（ステップＳ３２）。
【００３３】
次に、探索のステップ幅（移動幅：「Ｓｔｅｐ」）を式（４）により算出する（ステップＳ３３）。
Ｓｔｅｐ＝Ｐａｔ＿ｄｘ／２^ｎ・・・（４）
探索のステップ幅「Ｓｔｅｐ」が算出されたら、算出されたステップ幅「Ｓｔｅｐ」が１画素の幅より小さいか否かを判定する（ステップＳ３４）。
ステップＳ３４において、算出されたステップ幅「Ｓｔｅｐ」が１画素の幅以上の場合（ステップＳ３４のＮＯ）、左画像中の探索領域Ｒ２内においてステップ幅「Ｓｔｅｐ」で指定される領域毎に探索画像Ｒ１の位置を移動させながら、各位置において相関演算を実行し、左画像中から探索画像Ｒ１に対応する対応画像を抽出する（ステップＳ３５）。
【００３４】
具体的には、相関演算にＳＡＤ（Sum of Absolute Difference）を使用し、例えば図６の探索領域を対象とした相関演算処理を説明する図に示すように、探索領域Ｒ２の左側から順にステップ幅「Ｓｔｅｐ」で探索画像Ｒ１の位置を移動させながら、各位置において前述の式（２）で示す相関エラー「Ｅｒｒｏｒ」が最小となる位置を算出し、この位置を相関度が高い位置と判定する。そして、相関エラー「Ｅｒｒｏｒ」が最小となる位置と探索画像Ｒ１とのずれ（視差）Ｍｉｎ＿ｃｘを算出する。
なお、Ａｒｅａ＿ｄｘをＰａｔ＿ｄｘで割った余りがＰａｔ＿ｄｘ／２よりも大きい場合（探索領域Ｒ２において、探索画像Ｒ１を左からステップ幅「Ｓｔｅｐ」でずらしていき、探索画像Ｒ１の大きさに満たずに右端に余る領域の幅が、探索画像Ｒ１の幅の半分より大きい場合）、余った領域についても探索画像Ｒ１との相関演算を行うものとする。
【００３５】
次に、相関エラー「Ｅｒｒｏｒ」が最小となる位置と探索画像Ｒ１とのずれ（視差）Ｍｉｎ＿ｃｘが算出できたら、相関エラー「Ｅｒｒｏｒ」が最小となった位置と、その左右の領域を含む新たな領域を探索領域として設定する（ステップＳ３６）。
そして、探索のステップ幅（移動幅）を決定するための変数ｎを式（５）により更新し（ステップＳ３７）、ステップＳ３３へ戻り、上述の処理を繰り返す。
ｎ＝ｎ＋１・・・（５）
【００３６】
一方、ステップＳ３４において、算出されたステップ幅「Ｓｔｅｐ」が１画素の幅より小さい場合（ステップＳ３４のＹＥＳ）、この時、最後に算出された相関エラー「Ｅｒｒｏｒ」が最小となる位置を対応画像の位置とし、この位置と探索画像Ｒ１とのずれ（視差）Ｍｉｎ＿ｃｘを、図１０に示す視差Δｄと決定する（ステップＳ３８）。
そして、前述の式（１）により、求められた視差Δｄを用いて対象物との距離ｚを算出し（ステップＳ３９）、視差・距離算出演算処理を終了して図３に示すフローチャートのステップＳ１３へ戻る。
【００３７】
以上説明した視差・距離算出演算処理におけるステップＳ３３からステップＳ３７の繰り返しの処理について、図面を参照して更に詳細に説明する。
図６から図８は、探索領域を対象とした相関演算処理を示す図であって、まず図６では、左画像中の探索領域Ｒ２内で探索画像Ｒ１の位置をステップ幅「Ｓｔｅｐ＝Ｐａｄ＿ｄｘ」で移動させながら、各位置において相関演算を実行し、相関度が最大となった位置と、その左右に長さ「Ｐａｄ＿ｄｘ」ずつのエリアを含む新たな探索領域Ｒ２を設定する。
次に、図７では、左画像中の新たな探索領域Ｒ２内で探索画像Ｒ１の位置をステップ幅「Ｓｔｅｐ＝Ｐａｄ＿ｄｘ／２」で移動させながら、各位置において相関演算を実行し、相関度が最大となった位置と、その左右に長さ「Ｐａｄ＿ｄｘ／２」ずつのエリアを含む更に新たな探索領域Ｒ２を設定する。
【００３８】
同様に、図８では、左画像中の更に新たな探索領域Ｒ２内で探索画像Ｒ１の位置をステップ幅「Ｓｔｅｐ＝Ｐａｄ＿ｄｘ／４」で移動させながら、各位置において相関演算を実行し、相関度が最大となった位置と、その左右に長さ「Ｐａｄ＿ｄｘ／４」ずつのエリアを含む更に新たな探索領域Ｒ２を設定する。
このようにステップ幅が、式（６）で示す条件（探索のステップ幅「Ｓｔｅｐ」が１画素以上）を満たす限り処理を繰り返し、この時点でのＳＡＤによる相関エラーが最小の位置と探索画像Ｒ１とのずれＭｉｎ＿ｃｘを視差Δｄとする。
Ｐａｔ＿ｄｘ／２^ｎ≧１（ｐｉｘｅｌ：画素）・・・（６）
ただし、Ｐａｔ＿ｄｘ／２^ｎは、四捨五入し整数（画素単位）とする。
【００３９】
なお、上述の実施の形態では画像の上下方向の探索領域の高さについては、探索画像Ｒ１と同一として説明したが、探索領域Ｒ２が画像の上下方向にもマージンがある場合、上記ステップ幅毎の相関度は、縦方向には１画素単位で探索画像Ｒ１をずらして相関度を算出するものとする。
また、上述の実施の形態では、画像処理ユニット１が、対象物距離算出手段を含んでいる。より具体的には、図３のステップＳ１１〜ステップＳ１２、及び図５のステップＳ３１〜ステップＳ３８が対象物距離算出手段に相当する。
【００４０】
以上説明したように、本実施の形態の画像認識装置における対象物視差Δｄを求めるための演算回数は、このときの演算回数をＣａｌｃ＿ＮＮとすると、
Ｃａｌｃ＿ＮＮ＝（Ｐａｔ＿ｄｘ×Ｐａｔ＿ｄｙ）×｛Ａｒｅａ＿ｄｘ／Ｐａｔ＿ｄｘ＋２×ｎ＋１｝・・・（７）
と表すことができる。但し、ｎは、Ｐａｔ＿ｄｘ／２^ｎ≧１を満たす最大値とする。
【００４１】
そこで、例えば、前述の式（３）と式（７）により、本実施の形態の画像認識装置による演算量と従来の装置の演算量とを比較すると、
例えば、Ｐａｔ＿ｄｘ＝４、Ａｒｅａ＿ｄｘ＝３２の場合、
Ｃａｌｃ＿ＮＮ／Ｃａｌｃ＿Ｎ＝（３２／４＋２×２＋１）／（３２−４＋１）＝０．４５
となり、本実施の形態の画像認識装置による演算量は従来の装置の演算量の４５％に削減されることがわかる。
【００４２】
またＰａｔ＿ｄｘ＝４、Ａｒｅａ＿ｄｘ＝６４の場合、
Ｃａｌｃ＿ＮＮ／Ｃａｌｃ＿Ｎ＝（６４／４＋２×２＋１）／（６４−４＋１）＝０．３４
となり、演算回数は、探索画像Ｒ１の大きさが大きい程、あるいは探索領域Ｒ２が大きい程演算量の削減効果が期待できる。
このため、相関演算を用いて視差を算出する場合には、対象物の距離が近くなるに従い、画像上の対象物サイズが大きくなるが、演算量を極端に増加させず対象物の距離を算出することが可能となる。
同様に、カメラ間の基線長を広げることでも探索領域が大きくなるが、この場合も演算量を極端に増加させず対象物の距離を算出することが可能となる。
【００４３】
なお、上述の実施の形態では、探索画像Ｒ１が抽出されていると仮定しているため、赤外線カメラによる画像に限らず、対象物形状が抽出されている画像を用いる場合には、有効な手段と考えられる。
また、本実施の形態の画像認識装置における処理では、図９に示すように、ステップ幅の最大値を参照パタン幅「Ｐａｔ＿ｄｘ」とすることで、探索領域内で、少なくとも探索画像Ｒ１の半分と相関演算を行うことができ、他の対象物により発生する相関度の極大値の位置を、誤って対象物の位置として検出する頻度を軽減することができるという効果が得られる。
【００４４】
【発明の効果】
以上の如く、請求項１に記載の画像認識装置によれば、対象物距離算出手段が、第１の対象物画像に対する対象枠の幅を基準とする移動幅により、第１の対象物画像を探索領域内で順次移動させて相関演算処理を行うことで、探索領域内を粗く探索し、正確かつ少ない演算量で、第２の対象物画像が存在すると思われる領域を新たな探索領域として抽出することができる。
従って、ステレオカメラにより撮影された対象物画像の視差を用いて対象物までの距離を算出する場合に、対象物までの距離算出の精度を向上させるためステレオカメラのカメラ間の基線長を広げても、カメラ間の基線長を広げることで大きくなった探索領域の相関演算を、演算量を極端に増加させずに処理を行い、短時間で、あるいは簡単な計算機によって対象物の距離を算出することが可能となるという効果が得られる。
【００４５】
また、探索領域内での第１の対象物画像の移動幅を、第１の対象物画像に対して設定された対象枠の幅と同一にすることで、重複して相関演算処理を行う領域が発生することがなく効率的に相関演算処理を全ての領域に実施すると共に、第１の対象物画像に捉えられた対象物を必ず１回だけ検出することになるので、対象物ではない物体と対象物との区別を容易にすることができる。
従って、探索領域内で、少なくとも第１の対象物画像の半分と相関演算を行うことができ、他の対象物により発生する相関度の極大値の位置を、誤って対象物の位置として検出する頻度を軽減することができるという効果が得られる。
【００４６】
請求項２に記載の画像認識装置によれば、探索領域が縮小されてより相関度の高い領域が絞り込まれてきたら、対象物距離算出手段がこれに合わせて相関演算処理における第１の対象物画像の移動幅も小さくして探索領域内を細かく探索することにより、正確かつ必要最小限の演算量で、効率的に相関演算処理を実施することができる。
従って、特に横幅の大きな対象物に対して、最初は粗く探索し、探索領域が狭くなるに従い徐々に細かく探索するようにしたことで、正確に短時間で対象物の距離を算出することが可能となるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の画像認識装置の構成を示すブロック図である。
【図２】車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】同実施の形態の画像認識装置における対象物検出・警報動作を示すフローチャートである。
【図４】赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】同実施の形態の画像認識装置における視差・距離算出演算処理動作を示すフローチャートである。
【図６】同実施の形態の画像認識装置における探索領域を対象とした相関演算処理を示す図である。
【図７】同実施の形態の画像認識装置における探索領域を対象とした相関演算処理を示す図である。
【図８】同実施の形態の画像認識装置における探索領域を対象とした相関演算処理を示す図である。
【図９】同実施の形態の画像認識装置においてステップ幅の最大値を探索画像の幅とした場合の利点を示す図である。
【図１０】従来の画像認識装置における探索領域を対象とした相関演算処理を示す図である。
【符号の説明】
１画像処理ユニット
２Ｒ、２Ｌ赤外線カメラ
３ヨーレートセンサ
４車速センサ
５ブレーキセンサ
６スピーカ
７画像表示装置
１０自車両
Ｓ１１〜Ｓ１２、Ｓ３１〜Ｓ３８対象物距離算出手段

Claims

一組のステレオカメラを備え、第１のカメラの画像から第１の対象物画像を抽出すると共に、抽出された前記第１の対象物画像に基づいて設定された第２のカメラの画像上の探索領域から、相関演算処理を行うことにより前記第１の対象物画像に対応する第２の対象物画像を抽出し、前記第１と第２の対象物画像間の視差を求めて、該対象物までの距離を計算する対象物距離算出手段を備えた画像認識装置において、
前記対象物距離算出手段が、
前記第１の対象物画像に対して設定された対象枠の幅と同一の移動幅を設定し、前記探索領域内において該移動幅で指定される領域毎に第１の対象物画像を移動させ、前記探索領域内の相関演算処理を行うことにより、前記第１の対象物画像と相関度の高い領域及びその両側の領域を新たな探索領域として抽出することを特徴とする画像認識装置。
前記対象物距離算出手段が、前記新たな探索領域を抽出する度に、前記対象枠の幅に基づいて、前記移動幅を順次更に小さな移動幅へ更新し、該移動幅で前記新たな探索領域内の相関演算処理を行うことにより、前記探索領域を更に絞り込むことを特徴とする請求項１に記載の画像認識装置。