JP4239834B2 - 物体検出装置 - Google Patents

Description

本発明は、物体検出装置に関するものである。

従来、レーダ装置によって検出される対象物の位置にばらつきが生じても、対象物を正確に認識し続けることを目的とした対象物認識装置が提案されている（例えば、特許文献１参照。）。この特許文献１に開示されている対象物認識装置によれば、例えば、レーダ装置が検出した対象物の周辺に対して、予め決められた認識すべき対象物の大きさに基づいて画像を取得し、少なくとも２つのサイクルにおける対象物の認識結果の比較に基づいて信頼性を判定する。この信頼性の判定では、所定数の連続したサイクルで認識された対象物の位置、又は大きさに基づいて信頼性が判定される。

また、対象物の認識においては、水平エッジと垂直エッジのヒストグラムから対象物の外形を同定し、その対象物の認識における信頼性の判定では、認識された対象物がほぼ同じ大きさであれば、ほぼ同じ場所に位置すると判断し、信頼性が高いと判定する。
特開２００２−１８３７３７号公報

しかしながら、上述した従来の対象物認識装置では、物体検出において参照画像において抽出されたエッジの位置を参照しているため、対象物の背景に複数のエッジが存在する複雑な道路状況においては、対象物の位置や大きさを誤認識する可能性が高い。また、車間距離の変化やレーンチェンジなどによって、抽出されるエッジの位置が移動する場合の信頼性を向上することができない。

本発明は、かかる問題を鑑みてなされたもので、信頼性の高い物体検出が可能な物体検出装置を提供することを目的とする。

上記課題を解決すべく請求項１に記載の物体検出装置は、物体を含む画像を撮影する撮像手段と、物体までの距離を検出する距離検出手段と、距離検出手段の検出する距離に応じて、画像に含まれる物体が所定の大きさとなるように画像の大きさを正規化する画像正規化手段と、前回までの少なくとも２つのサイクルにおいて画像正規化手段により正規化された画像に関し、その画像に含まれる同一の物体が一致するように画像の位置を補正する画像補正手段と、画像補正手段によって補正された画像の同一の画素についての動きの大きさを検出する動き検出手段と、動き検出手段によって検出された動きの大きさが一定の大きさに満たない画素のみを抽出する抽出手段とを備えることを特徴とする。

すなわち、画像補正手段によって補正された画像は、その画像に含まれる同一の物体が一致するように補正されているため、動き検出手段によって同一の画素の動きの大きさを検出すると、上記物体の背景に相当する画素の動きは大きく、物体に相当する画素は動きは小さい。したがって、抽出手段によって動きの大きさが一定の大きさに満たない画素のみを抽出することで、撮像手段によって撮影された画像から物体に相当する画素を絞り込むことができる。これにより、信頼性の高い物体検出が可能となる。

請求項２に記載の物体検出装置は、前回までの少なくとも２つのサイクルにおいて撮像手段によって撮影された同一の物体を含む画像を記憶する記憶手段を備えることを特徴とする。これにより、物体の検出に必要な同一の物体を含む画像を記憶しておくことができる。

請求項３に記載の物体検出装置によれば、記憶手段は、画像補正手段による補正後の画像を記憶することを特徴とする。これにより、次回の物体の検出の際に、補正後の前回までの画像を用いることができる。その結果、次回の物体検出における処理の低減や高速化が図れる。

請求項４に記載の物体検出装置によれば、動き検出手段は、前回までの２つのサイクルより多いサイクル数において画像補正手段によって補正された画像から検出することを特徴とする。これにより、物体の背景に相当する画素の動きが明確になるため、物体検出の信頼性を更に向上させることができる。

請求項５に記載の物体検出装置によれば、動き検出手段は、検出対象の画素として、画像の縦方向、及び横方向の少なくとも一方の輝度値に関するエッジを示す画素を選択する画素選択手段を備えることを特徴とする。

撮像手段によって撮影される画像に含まれる物体とその背景の明るさは一般に異なるため、例えば、画像を２値画像に変換した場合、画素の明るさの程度を示す輝度値の差がエッジとして示される。したがって、このエッジを示す画素を動きの有無を検出対象とすることで、物体と背景の動きを正確に検出することができる。

請求項６に記載の物体検出装置によれば、画素選択手段は、検出対象の画素として、縦方向のエッジと横方向のエッジとが交差する画素を選択することを特徴とする。すなわち、上記縦方向のエッジと横方向のエッジとが交差する画素は、物体の角部に相当する画素となるのが一般的であるため、上記交差する画素を検出すべき画素とすることで、物体と背景の動きをより正確に検出することができる。

請求項７に記載の物体検出装置によれば、請求項１〜６の何れか１項に記載の物体検出装置は、車両に搭載されるものであって、車両の走行状態、及び走行環境の少なくとも一方を検出する走行検出手段を備え、抽出手段は、走行検出手段によって検出される走行状態、及び走行環境の少なくとも一方に応じた動きを示す画素を抽出すべき画素から除外することを特徴とする。

すなわち、撮像手段によって、例えば、自車両前方に存在する先行車両を含む画像を撮影する場合、先行車両の背景の画素は、自車両の走行状態や走行環境に応じた動きを示す。例えば、自車両がカーブ路を走行している場合には、画像に含まれる先行車両の背景は、カーブ路の方向に応じた方向の動きを示す。

したがって、車両の走行状態（例えば、速度、ヨーレート、ステアリングの操舵角等）や走行環境（例えば、走行路の道路半径等）の検出結果から、画像の背景に相当する画素の動く方向を推定し、この推定した方向に応じた動きを示す画素を除外することで、背景に相当する画素を抽出しないようにすることができる。その結果、精度の高い物体検出が可能となる。

以下、本発明の物体検出装置について、図面に基づいて説明する。なお、本実施形態における物体検出装置は、例えば、自車両等の車両に搭載され、自車両前方に存在する先行車両等の対象物を検出する際に用いられるものである。

図１に、本実施形態における物体検出装置の全体構成を示す。同図のように、物体検出装置１００は、画像処理装置１０、撮像装置２０、及び距離検出装置３０によって構成される。

画像処理装置１０は、通常のコンピュータとして構成されており、内部には周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続するバスライン（何れも図示せず）が備えられている。ＲＯＭには、画像処理装置１０が実行するためのプログラムが書き込まれており、このプログラムに従ってＣＰＵ等が所定の演算処理を実行する。

この画像処理装置１０は、撮像装置２０からの画像情報、及び距離検出装置３０からの距離情報の信号を入力し、撮像装置２０の撮影した画像に対して所定の処理を施すことで得られる対象物情報を図示しない車両走行制御装置へ出力する。

なお、車両走行制御装置では、この対象物情報に基づいて、自車両の走行制御を実行する。例えば、自車両の速度を調整して対象物までの距離を適切に保つ制御を実行したり、対象物までの距離が所定距離以下となる場合には警報を発生する制御を実行したりする。

撮像装置２０は、例えば、光学式のカメラであり、自車両前方の画像を撮影する撮像手段として用いられる。この撮像装置２０は、撮影した画像の水平・垂直同期信号、及び、画像の画素毎の明るさの程度を示す画素値信号からなる画像情報の信号を画像処理装置１０へ出力する。なお、この撮像装置２０の撮影する画像の自車両の横方向の範囲は、距離検出装置３０の横方向の検出範囲をカバーする範囲となっている。

距離検出装置３０は、レーザレーダ、又はミリ波レーダであり、レーザ、又はミリ波を所定範囲に存在する対象物に照射し、対象物からの反射波を受信して、自車両から対象物までの距離、及び自車両に対する対象物の相対的な方位を検出する。距離検出装置３０は、上記距離、及び方位からなる距離情報の信号を画像処理装置１０へ出力する。

画像処理装置１０は、図１に示すように、画像正規化部１１、対象物マッチング部１２、フロー検出部１３、対象物抽出部１４、及び抽出情報記憶部１５の各機能ブロックに分けられる。

画像正規化部１１は、距離検出装置３０からの距離情報を基に、撮像装置１０によって撮影された画像に含まれる対象物が所定の大きさとなるように画像の大きさを変更（正規化）する。すなわち、図２に示すように、距離検出装置３０による先行車両等の対象物が検出される場合、その対象物までの距離に応じて画像に含まれる対象物の大きさが異なる。

そこで、この画像正規化部１１では、画像に含まれる先行車両等の対象物の実際の大きさを仮定し（例えば、車幅２〜３ｍ程度、車高１〜２ｍ程度等）、その仮定した大きさの対象物が画像において所定の大きさ（所定の画素数）で写し出されるように画像の拡大・縮小率を算出し、この算出した拡大・縮小率で画像の大きさを変更する。

これにより、画像に含まれる対象物の大きさを正規化することができる。なお、画像の拡大・縮小率は、下記の数式１及び数式２に示すように、画像上での対象物の幅（VehWidthImg）[pixel]や高さ（VehHeightImg）[pixel]が所定の大きさとなるように撮像装置１０の撮影画像の横幅（ImageHeight）[pixel]や縦の長さ（ImageWidth）[pixel]を変更する割合から算出することができる。なお、下記の数式１及び数式２に示す（ResolutionH）、及び（ResolutionV）は、画像の水平・垂直解像度[mm/pixel]である。

（数１）
VehWidthImg=(yimg/ResolutionV)+(ImageHeight/2)
（数２）
VehHeightImg=(ximg/ResolutionH)+(ImageWidth/2)
また、上記の数式１及び数式２中の（yimg）及び(ximg)は下記の数式３及び数式４によって与えられる。なお、下記の数式３及び数式４に示す（Focus）は撮像装置１０の焦点距離[mm]、（CameraHeight）は撮像装置１０の地上からの取り付け高さ[mm]、（LateralPos）は対象物の横位置[mm]、（Distance）は対象物までの距離[mm]、（pitch）は撮像装置１０の取り付け時のピッチ角[deg]、（yaw）は撮像装置１０の取り付け時のヨー角[deg]である。

（数式３）
yimg=(Focus*CameraHeight/Distance)+Focus*pitch
（数式４）
ximg=(Focus*LateralPos/Distance)-Focus*yaw
対象物マッチング部１２は、１サイクル前に正規化された正規化画像と今回正規化した正規化画像とのマッチングをとり、大きさの正規化された画像内の対象物が画像上の同じ位置になるように画像の位置を補正するものである。

すなわち、例えば、図３（ａ）に示すように、１サイクル前の正規化画像と今回正規化した正規化画像を用いて、図３（ｂ）に示すように、１サイクル前の正規化画像を今回正規化した正規化画像に対して画像の最上部から横方向に１画素毎ずらしたときの両画像の類似度（一致度）を算出する。そして、図３（ｃ）に示すように、最も高い類似度を示す画像の位置（マッチングの取れた画像の領域）を求める。そして、このマッチングの取れた領域の位置を記憶する。

この類似度の算出については、例えば、周知の差分値の和（平均二乗誤差）や正規化相関値等の評価関数を用いるものがあり、平均二乗誤差を評価関数とした場合には、二乗誤差が最小となる画像の位置が最も類似した位置となる。また、正規化相関値を評価関数とした場合には、相関値が最大となる画像の位置が最も類似した位置となる。なお、本実施形態では、正規化相関値を評価関数とする。

フロー検出部１３は、対象物マッチング部１２によってマッチングの取れた領域の画像に関し、１サイクル前の正規化画像と今回の正規化画像との同一の画素の動き（すなわち、周知のオプティカルフロー）を検出する。このフロー検出部１３によって、例えば、図４に示すように、移動方向と移動速度の大きさを示す速度ベクトルが算出される。

なお、オプティカルフローを検出する方法については、例えば、いずれも周知の勾配法やブロックマッチング法等を採用することができる。また、オプティカルフローを検出する画素については、画像の全画素について検出するものであってもよいが、例えば、画像を２値画像に変換することで得られる画像の縦／横方向のエッジを示す画素を選択するようにしてもよい。

すなわち、画像に含まれる対象物とその背景の明るさは一般に異なるため、例えば、画像を２値画像に変換した場合、画素の明るさの程度を示す輝度値の差がエッジとして示される。したがって、このエッジを示す画素についてのオプティカルフローを検出することで、対象物と背景の動きを正確に検出することができる。

さらに、オプティカルフローを検出する画素として、縦方向のエッジと横方向のエッジとが交差する画素を選択するようにしてもよい。つまり、上記縦方向のエッジと横方向のエッジとが交差する画素は、対象物の角部に相当する画素となるのが一般的であるため、上記交差する画素のオプティカルフローを検出することで、対象物と背景の動きをより正確に検出することができる。

対象物抽出部１４は、図３（ｃ）に示したマッチングの取れた領域において、オプティカルフローの大きさが一定の大きさ満たないオプティカルフローの画素からなる画像の領域のみを抽出する。これにより、動きの大きい背景に相当する画素は抽出対象から除外され、動きの小さい対象物に相当する画素のみが抽出される。

抽出情報記憶部１５は、抽出した画素の位置と今回正規化した正規化画像からなる抽出情報を記憶する。これにより、次回の対象物の検出の際に、前回までの正規化画像を用いることができる。その結果、次回の物体検出における処理の低減や高速化が図れる。

次に、本実施形態の物体検出装置１００による対象物検出処理について、図５〜図７に示すフローチャートを用いて説明する。先ず、図５に示すステップ（以下、Ｓと記す）１００では、画像情報と距離情報を取得する。Ｓ２００では、画像の正規化を行い、画像に含まれる対象物の大きさ所定の大きさとなるように画像の大きさを変更する。

Ｓ３００では、対象物マッチング処理を実行する。この対象物マッチング処理について、図６に示すフローチャートを用いて説明する。同図に示すＳ３１０では、画像を１画素ずらす。

Ｓ３２０では、Ｓ３１０において画像をずらした時の正規化相関値を演算する。Ｓ３３０では、前回までに算出した正規化相関値に比べ、今回算出した正規化相関値のほうが大きい値を示すか否かを判定する。ここで、肯定判定される場合にはＳ３４０にて正規化相関値とそのときの画像の位置（マッチングの取れた領域の位置）を記憶し、Ｓ３５０へ処理を進める。

Ｓ３５０では、画像の全画素分ずらしたか否かを判定し、ここで、肯定判定される場合には本対象物マッチング処理を終了し、否定判定される場合にはＳ３１０へ処理を進め、上述した処理を繰り返し行う。

図５に示すＳ４００では、フロー検出処理を実行する。このフロー検出処理について、図７に示すフローチャートを用いて説明する。同図に示すＳ４１０では、オプティカルフローを検出し、Ｓ４２０では、検出したオプティカルフローの大きさが一定値より大きいか否かを判定する。ここで、肯定判定される場合には、Ｓ４３０にて、その画素をマッチング領域から除外する。

Ｓ４４０では、次のオプティカルフロー検出点に移動する。Ｓ４５０では、全オプティカルフロー検出点を探索したか否かを判定し、肯定判定される場合には、本フロー検出処理を終了し、否定判定される場合にはＳ４２０へ処理を移行し、上述した処理を繰り返し行う。図５に示すＳ５００では、マッチング領域から除外対象とならなかった画素のみを抽出する。これにより、図４に示したように、先行車両等の対象物の画像のみ抽出される。

このように、本実施形態の物体検出装置１００は、距離検出装置３０の検出する対象物までの距離に応じて、撮像装置２０の撮影する画像に含まれる対象物が所定の大きさとなるように画像の大きさを正規化し、前回までの少なくとも２つのサイクルにおいて正規化された画像に関し、その画像に含まれる同一の対象物が一致するように画像のマッチングを取り、マッチングの取れた画像の同一の画素のオプティカルフローを検出し、このオプティカルフローの大きさが一定の大きさに満たない画素のみを抽出する。

すなわち、マッチングの取れた画像は、その画像に含まれる同一の対象物が一致するように補正されているため、オプティカルフローを検出すると、対象物の背景に相当する画素の動きは大きく、対象物に相当する画素は動きは小さい。したがって、オプティカルフローの大きさが一定の大きさに満たない画素のみを抽出することで、撮像装置２０によって撮影された画像から対象物に相当する画素を絞り込むことができる。これにより、信頼性の高い対象物の検出が可能となる。

（変形例１）
本実施形態では、１サイクル前の正規化画像と今回正規化された正規化画像、すなわち２つのサイクルにおける正規化画像を用いて対象物の検出を行っているが、２つのサイクルより多いサイクル数における正規化画像を用いて対象物の検出を行うようにしてもよい。これにより、対象物の背景に相当する画素の動きであるオプティカルフローが明確になるため、対象物検出の信頼性を更に向上させることができる。

（変形例２）
例えば、自車両の走行状態や走行環境を検出し、本実施形態の対象物抽出部１４において、この検出される走行状態や走行環境に応じた動きを示す画素を抽出すべき画素から除外するようにしてもよい。

すなわち、撮像装置２０によって、自車両前方に存在する先行車両を含む画像を撮影する場合、先行車両の背景の画素は、自車両の走行状態や走行環境に応じた動きを示す。例えば、自車両がカーブ路を走行している場合には、画像に含まれる先行車両の背景は、カーブ路の方向に応じた方向の動きを示す。

したがって、車両の走行状態（例えば、速度、ヨーレート、ステアリングの操舵角等）や走行環境（例えば、走行路の道路半径等）を検出し、この検出結果から、画像の背景に相当する画素の動く方向を推定し、この推定した方向に応じた動きを示す画素を除外するようにすることで、背景に相当する画素を抽出しないようにすることができる。その結果、精度の高い物体検出が可能となる。

本発明の実施形態に係わる、物体検出装置１００の全体構成を示すブロック図である。 画像正規化部１１による画像の正規化のイメージを示す図である。 （ａ）は、１サイクル前と現在の正規化画像を示した図であり、（ｂ）は、１サイクル前の正規化画像を現在の正規化画像に対して１ピクセル毎にずらした場合のイメージを示した図であり、（ｃ）は、マッチングの取れた領域を示す図である。 動きの取れなかった領域と速度ベクトルを示す図である。 本発明の実施形態に係わる、物体検出装置１００による対象物検出処理の流れを示すフローチャートである。 本発明の実施形態に係わる、対象物検出処理における対象物マッチング処理の流れを示すフローチャートである。 本発明の実施形態に係わる、対象物検出処理におけるフロー検出処理の流れを示すフローチャートである。

符号の説明

１０ 画像処理装置
１１ 画像正規化部
１２ 対象物マッチング部
１３ フロー検出部
１４ 対象物抽出部
１５ 抽出情報記憶部
１００ 物体検出装置

Claims (7)

1. 物体を含む画像を撮影する撮像手段と、
   前記物体までの距離を検出する距離検出手段と、
   前記距離検出手段の検出する距離に応じて、前記画像に含まれる物体が所定の大きさとなるように前記画像の大きさを正規化する画像正規化手段と、
   前回までの少なくとも２つのサイクルにおいて前記画像正規化手段により正規化された画像に関し、その画像に含まれる同一の前記物体が一致するように前記画像の位置を補正する画像補正手段と、
   前記画像補正手段によって補正された画像の同一の画素についての動きの大きさを検出する動き検出手段と、
   前記動き検出手段によって検出された動きの大きさが一定の大きさに満たない画素のみを抽出する抽出手段とを備えることを特徴とする物体検出装置。
2. 前回までの少なくとも２つのサイクルにおいて前記撮像手段によって撮影された同一の物体を含む画像を記憶する記憶手段を備えることを特徴とする請求項１記載の物体検出装置。
3. 前記記憶手段は、前記画像補正手段による補正後の画像を記憶することを特徴とする請求項２記載の物体検出装置。
4. 前記動き検出手段は、前記前回までの２つのサイクルより多いサイクル数において前記画像補正手段によって補正された画像から検出することを特徴とする請求項１〜３の何れか１項に記載の物体検出装置。
5. 前記動き検出手段は、検出対象の画素として、前記画像の縦方向、及び横方向の少なくとも一方の輝度値に関するエッジを示す画素を選択する画素選択手段を備えることを特徴とする請求項１〜４の何れか１項に記載の物体検出装置。
6. 前記画素選択手段は、前記検出対象の画素として、前記縦方向のエッジと横方向のエッジとが交差する画素を選択することを特徴とする請求項５記載の物体検出装置。
7. 請求項１〜６の何れか１項に記載の物体検出装置は、車両に搭載されるものであって、
   前記車両の走行状態、及び走行環境の少なくとも一方を検出する走行検出手段を備え、
   前記抽出手段は、前記走行検出手段によって検出される走行状態、及び走行環境の少なくとも一方に応じた動きを示す画素を抽出すべき画素から除外することを特徴とする請求項１〜６の何れか１項に記載の物体検出装置。

Images