JP5371725B2 - 物体検出装置 - Google Patents

Description

本発明は、物体検出装置に係り、特に、距離検出手段により得られた距離データに基づいて物体を検出する物体検出装置に関する。

近年、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像手段で撮像した画像の画像解析やレーダ装置から発射された電波やレーザビームの反射波解析等により、例えばそれらの撮像手段や装置を搭載した車両の周囲に存在する物体を検出する物体検出装置の開発が進められている（例えば特許文献１等参照）。

特許文献１に記載されているように、このような物体検出装置では、通常、撮像手段として一対のカメラからなるステレオカメラを備えて、それらで撮像された一対の画像に対するステレオマッチング処理等により撮像手段から物体までの実空間上の距離を検出したり、或いは、レーダ装置から発射する電波やレーザビーム等を走査してその反射波を解析してレーダ装置から物体までの実空間上の距離を検出し、その実空間上の距離等に基づいて物体の実空間上の位置を特定して物体を検出する。

そのため、このように撮像手段やレーダ装置等を距離検出手段として用いることで、物体を精度良く検出することが可能となるとともに、検出した物体の情報に基づいて、例えば自車両の速度や進行方向を自動的に、すなわち運転者による認識や操作を介さずに制御する車両の自動制御技術等に応用することが可能となる。

特許第３３４９０６０号公報

ところで、例えば、ステレオカメラで撮像された一対の画像に対するステレオマッチング処理では画像の水平方向に走査して処理が行われるため、物体の左右のエッジ部分（すなわち、左右方向に隣接する画素同士の輝度等の差が大きい部分）で距離データが検出され易いという特性を有する。

そのため、図３５に示すように、例えば先行車両等がいわば逆光の状態で撮像される等して、先行車両の背面全体が一様に暗く撮像されたような場合、背面部分の距離が算出されずにエッジ部分だけの距離が算出されるため、図３５に示した画像に基づいて物体検出を行うと、図３６に示すように、先行車両の左右のエッジ部分がそれぞれ別の物体として検出されてしまう場合があった。なお、図３６では、先行車両以外の物体の検出結果の表示が省略されている。

このように、同一の物体が別々の物体として検出されてしまうと、誤った物体の情報に基づいて制御を行うことになり、本来、安全走行等に資するべき車両の自動制御等において、逆に、事故の危険性が増大してしまう等の問題があった。

本発明は、このような事情に鑑みてなされたものであり、距離検出手段が検出した距離データを的確にグループ化して物体を的確に検出することが可能な物体検出装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、物体検出装置において、
撮像手段により撮像された画像中の隣接する画素同士の輝度を比較し、前記輝度の差分が閾値以内である前記画素同士を同一輝度の画素領域として統合する統合処理手段と、
前記画像中の各画素について距離のデータを検出する距離検出手段と、
前記距離検出手段により得られた前記距離のデータをグループ化して物体を検出し、前記画像中における前記物体の範囲を決定する物体検出手段と、
前記画像中に前記範囲が決定された２つの前記物体について、前記２つの物体の前記各範囲内に存在する前記各画素領域同士を比較して、当該２つの物体について前記距離のデータを再度グループ化する際の閾値を可変させ、前記２つの物体の組み合わせを変えながら前記閾値を可変させていく閾値可変手段と、
前記閾値可変手段が可変させた前記閾値に基づいて前記距離のデータを再度グループ化して前記物体の再検出を行う再検出手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の物体検出装置において、前記閾値可変手段は、前記２つの物体の前記各範囲内に存在する前記各画素領域の輝度の平均値の差分の絶対値が小さいほど、前記距離のデータを再度グループ化する際に前記距離のデータがグループ化されやすくなるように前記閾値を可変させることを特徴とする。

第３の発明は、第２の発明の物体検出装置において、前記再検出手段は、前記閾値可変手段が算出した前記差分の絶対値が小さい前記２つの物体を、前記差分の絶対値がより大きい前記２つの物体よりも優先して、前記閾値可変手段が可変させた前記閾値に基づいて前記距離のデータを再度グループ化して前記物体の再検出を行うことを特徴とする。

第４の発明は、第１から第３のいずれかの発明の物体検出装置において、前記閾値可変手段は、比較する前記画素領域が同一の前記画素領域である場合において、当該同一の画素領域が、前記２つの物体の範囲の外側に設定される所定の範囲を越えて前記画像中に広がって存在する場合には、当該同一の画素領域を前記比較の対象から除外することを特徴とする。

第５の発明は、第１から第４のいずれかの発明の物体検出装置において、前記閾値可変手段は、前記物体の範囲内に存在する前記画素領域が、空が撮像された画素領域であると見なすことができる場合には、当該画素領域を前記比較の対象から除外することを特徴とする。

第６の発明は、第１から第５のいずれかの発明の物体検出装置において、前記閾値可変手段は、前記物体の範囲内に存在する前記画素領域が、地面が撮像された画素領域であると見なすことができる場合には、当該画素領域を前記比較の対象から除外することを特徴とする。

第７の発明は、第１から第６のいずれかの発明の物体検出装置において、前記閾値可変手段は、比較する前記画素領域が同一の前記画素領域である場合において、当該同一の画素領域が、前記２つの物体の範囲の外側に設定される所定の範囲を越えて前記画像中に広がって存在せず、空が撮像された画素領域であると見なすことができず、かつ、地面が撮像された画素領域であると見なすことができない場合には、当該同一の画素領域が属する前記２つの物体が前記再検出手段で１つの物体として再検出されるように、前記２つの物体について前記距離のデータを再度グループ化する際の閾値を可変させることを特徴とする。

第８の発明は、第１から第７のいずれかの発明の物体検出装置において、前記閾値可変手段は、比較する前記画素領域の前記範囲内における画素数が所定の画素数未満である場合には、当該画素領域を前記比較の対象から除外することを特徴とする。

第９の発明は、第１から第８のいずれかの発明の物体検出装置において、前記閾値可変手段は、比較する前記２つの物体の範囲の間に、前記物体検出手段により当該２つの物体より遠方に存在する他の物体が検出されている場合には、当該２つの物体の組み合わせについては、前記閾値を可変させないことを特徴とする。

第１０の発明は、第１から第９のいずれかの発明の物体検出装置において、前記閾値可変手段は、前記画像中に決定された前記２つの物体の前記各範囲をそれぞれ区画する境界のうち、互いに向かい合う部分の近傍の前記各範囲内にそれぞれ探索範囲を設定し、前記各探索範囲内に存在する前記各画素領域同士を比較して、当該２つの物体について前記距離のデータを再度グループ化する際の閾値を可変させることを特徴とする。

第１１の発明は、第１０の発明の物体検出装置において、前記閾値可変手段は、前記各探索範囲のうち、前記画像の同一の水平ライン上に存在する前記各画素領域同士を比較して、当該２つの物体について前記距離のデータを再度グループ化する際の閾値を可変させることを特徴とする。

第１２の発明は、第１から第１１のいずれかの発明の物体検出装置において、前記物体検出手段は、検出した前記物体に対応する前記画像中の各画素を矩形状の枠線で包囲して、前記画像中における前記物体の範囲を決定し、前記枠線の下端部分を前記画像中における道路面の位置とすることを特徴とする。

第１３の発明は、第１から第１２のいずれかの発明の物体検出装置において、前記統合処理手段は、一の前記画素と同一の画像中の前記一の画素より以前に前記輝度が送信された画素であって前記一の画素に隣接する画素の前記輝度と前記一の画素の輝度との差分が所定の第１閾値未満であり、かつ、前記一の画素より以前に前記輝度が送信された前記隣接する画素が属する前記画素領域の前記輝度の平均値と前記一の画素の輝度との差分が所定の第２閾値未満である場合に、前記一の画素および前記隣接する画素を１つの画素領域に統合することを特徴とする。

第１の発明によれば、撮像手段が撮像した画像の各画素を輝度に基づいて画素領域に統合して画像を各画素領域に分割し、物体検出手段が検出した各物体の範囲内に存在する各画素領域同士を比較して、各物体について距離のデータを再度グループ化する際の閾値を可変させ、可変させた閾値に基づいて距離のデータを再度グループ化して物体の再検出を行う。

そのため、従来の物体検出装置では固定された閾値を用いていたため、図３６に示したように画像中で本来１つの物体として検出されるべき撮像対象が複数の物体として検出されてしまう場合があったが、第１の発明によれば、画像中に物体として検出された各物体の範囲内に存在する各画素領域同士を比較して閾値を可変させて再検出を行うことで、上記のような事態が発生する可能性を格段に低下させることが可能となる。

そのため、距離検出手段が検出した距離のデータを的確に再グループ化して、本来１つの物体として検出されるべき物体を的確に１つの物体として再検出することが可能となる。そして、例えば、検出或いは再検出した物体の情報を車両の自動制御等に活用すれば、的確な物体の情報に基づいて制御を行うことが可能となり、車両の安全走行等を的確に実現することが可能となる。

第２の発明によれば、２つの物体の各範囲内に存在する各画素領域の輝度の平均値が同一であったり近接する値であるほど、そのような画素領域を範囲内に含む物体同士をグループ化させやすくすることが可能となり、前記発明の効果をより的確に発揮させることが可能となる。

第３の発明によれば、第２の発明において、各画素領域の輝度の平均値の差分の絶対値が小さい２つの物体が優先的に再統合されるため、本来１つの物体として検出されるべき物体をより的確に１つの物体として再検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第４の発明によれば、２つの物体の各範囲に存在する同一の画素領域が、２つの物体の範囲の外側に大きくはみ出して存在する場合には、その画素領域は当該２つの物体を含む各物体の影等である可能性がある。そのような場合に、２つの物体の各範囲に同一の画素領域が存在するからといって２つの物体を再統合させやすいように閾値を可変させてしまうと、統合されるべきでない２つの物体が統合されてしまい、かえって物体の誤検出を招く。そのため、そのような場合に、当該同一の画素領域を比較の対象から除外することで、２つの物体を再統合させて１つの物体として誤検出する可能性を低減させることが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第５の発明によれば、２つの物体の各範囲に存在する画素領域が、予め空が撮像された画素領域であると見なすことができる場合にその画素領域を比較の対象から除外することで、２つの物体を再統合させて１つの物体として誤検出する可能性を低減させることが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第６の発明によれば、２つの物体の各範囲に存在する画素領域が、予め地面が撮像された画素領域であると見なすことができる場合にその画素領域を比較の対象から除外することで、２つの物体を再統合させて１つの物体として誤検出する可能性を低減させることが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第７の発明によれば、比較する画素領域が同一の画素領域である場合であって、上記のように、同一の画素領域が２つの物体の範囲の外側に大きくはみ出して存在する場合ではなく、空や地面が撮像された画素領域でもない場合には、同一の画素領域を含む２つの物体は本来１つの物体として検出されるべき物体であると考えられる。そこで、そのような場合に、再検出手段で再検出処理を行う際に当該２つの物体が１つの物体として再検出されるように閾値を可変させることで、本来１つの物体として検出されるべき物体を的確に１つの物体として再検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第８の発明によれば、画素領域が物体の範囲内で所定の画素数以上の画素数を有さず、物体の範囲で非常に小さい画素部分しか占めない場合には、当該物体の範囲にたまたま属する形になっているとしても、当該物体に対しては、他の物体と再統合したりする際の閾値を可変させるか否かの決定に寄与するほどの重要性を有しない。そのため、そのような画素領域を比較の対象から除外することで、２つの物体を再統合させて１つの物体として誤検出する可能性を低減させることが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第９の発明によれば、２つの物体の各範囲の間に２つの物体より遠方に存在する他の物体が検出されている場合には、これらの２つの物体は同一の物体であるとは言えない。そのため、そのような場合に、当該２つの物体の組み合わせについて閾値を可変させないように構成することで、当該２つの物体を再統合させて１つの物体として誤検出する可能性を低減させることが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第１０の発明によれば、２つの物体が本来同一の物体であり、この同一の物体の１つの面が２つの物体の各範囲に跨って撮像されていれば、この１つの面に対応する同一の画素領域或いは輝度の平均値が近接する画素領域が、画像中の２つの物体の各範囲の互いに向かい合う部分の近傍に存在するはずである。そのため、前記各発明の効果に加え、その近傍部分にそれぞれ探索範囲を設定し、各探索範囲内に存在する各画素領域同士を比較することで、閾値可変手段における処理の負担を軽減することが可能となるとともに、２つの物体を再統合すべきか否かを的確に判断して、閾値を可変させる処理を的確かつより高速に行うことが可能となる。

第１１の発明によれば、前記各発明の効果に加え、第１０の発明における各探索範囲のうち、さらに、画像の同一の水平ライン上に存在する各画素領域同士のみを比較して、当該２つの物体について閾値を可変させるように構成することで、閾値可変手段における処理の負担を軽減し、しかも、閾値を可変させる処理を的確かつより高速に行うことが可能となる。

第１２の発明によれば、距離検出手段が物体の上側の距離のデータしか検出できなかった場合でも、画像中で物体の範囲を決定する枠線の下端部分を画像中における道路面の位置まで下げて決定することで、物体の下側の部分まで的確に検出した範囲を決定することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第１３の発明によれば、前記発明の効果に加え、撮像手段から送信されてきた一の画素の画像データの画像データと、より以前に画像データが送信された一の画素に隣接する画素の画像データ等に基づいて画素同士を統合するため、統合処理手段に１画面分の全画素の画像データの入力を待たずに、各画素の画像データの順次の入力と同時並行で各画素の画像データの値に基づいて処理を行うことが可能となり、統合処理手段等における処理を迅速に行うことが可能となる。

本実施形態に係る物体検出装置の構成を示すブロック図である。 撮像手段で撮像される画像の例および水平ラインを示す図である。 作成された距離画像の例を示す図である。 基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。 自車両の左右に検出された車線の例を説明する図である。 形成された車線モデルの例を説明する図であり、（Ａ）はＺ−Ｘ平面上の水平形状モデル、（Ｂ）はＺ−Ｙ平面上の道路高モデルを表す。 統合処理手段における統合処理の処理手順を示すフローチャートである。 統合処理手段における統合処理の処理手順を示すフローチャートである。 （Ａ）既に入力されている左に隣接する画素、および（Ｂ）左に隣接する画素が画素領域に属している例を説明する図である。 （Ａ）既に入力されている下に隣接する画素、および（Ｂ）下に隣接する画素が画素領域に属している例を説明する図である。 （Ａ）左や下に隣接する画素がそれぞれ属する各グループの例を説明する図であり、（Ｂ）各グループが一の画素と統合されて１つのグループになる例を説明する図である。 各画素が各画素領域に統合され各画素領域に分割された基準画像の例を示す写真である。 距離画像を分割する各区分を示す図である。 図１３の各区分ごとに作成されるヒストグラムの一例を示す図である。 区分ごとの距離データに基づく実空間上の座標をプロットした図である。 図１５の各点に基づいて実空間上に検出された立体物を表す図である。 １つの物体として検出された各グループの距離画像上での上下端や左右端の各位置を表す図である。 （Ａ）上側のエッジ部分のみが検出された物体の上下端や左右端の各位置を表す図であり、（Ｂ）物体の上端と左右端の各位置を境界とし下端部分の位置を距離画像中における道路面の位置に延長して設定された枠線を表す図である。 矩形状の枠線が基準画像上にあてはめられ枠線で包囲されて決定された物体の範囲を表す図である。 閾値可変手段における閾値の可変処理および再検出手段における再検出処理の処理手順を示すフローチャートである。 閾値可変手段における閾値の可変処理および再検出手段における再検出処理の処理手順を示すフローチャートである。 ２つの物体の各範囲の間により遠方に存在する他の物体が検出されている状態を説明する図である。 物体の各範囲内に存在する画素領域が空が撮像された画素領域であると見なすことができる状態を説明する図である。 物体の各範囲内に存在する画素領域が地面が撮像された画素領域であると見なすことができる状態を説明する図である。 同一の画素領域が２つの物体の範囲の外側に設定される所定の範囲を越えて基準画像中に広がって存在する状態を説明する図である。 ２つの物体の各範囲内に存在する画素領域の例を示す図である。 図１２に示した各画素領域に分割された基準画像上に検出された２つの物体の各範囲内に存在する同一の画素領域等を説明する写真である。 物体Ｐ、Ｑが再統合されなかった場合に優先順に物体Ｐや物体Ｑと物体Ｓとを再統合できるか否かが判断されることを説明する図である。 ２つの物体が１つの物体として再検出できた場合に他の物体とを再統合できるか否かが判断されることを説明する図である。 従来の物体検出では統合できなかった２つの物体が基準画像上で統合されて検出された物体を表す写真である。 本来再統合されるべき２つの物体Ｐ、Ｑよりも先に２つの物体Ｑ、Ｓが再統合される状態を説明する図である。 同一の画素領域が２つの物体の各範囲に跨って存在する状態を説明する図である。 ２つの物体の各範囲をそれぞれ区画する境界のうち互いに向かい合う部分の近傍の各範囲内にそれぞれ設定される探索範囲を説明する図である。 図３３に示した状態でさらに基準画像の同一の水平ライン上に存在する各画素領域同士を比較する状態を説明する図である。 逆光の状態で撮像され先行車両の背面全体が暗く撮像された例を示す写真である。 図３５に示したシーンで先行車両の背面部分の左右のエッジ部分が別の物体として検出された例を示す写真である。

以下、本発明に係る物体検出装置の実施の形態について、図面を参照して説明する。

なお、以下では、物体検出装置を自動車等の車両に搭載し、自車両の前方に存在する先行車両等の物体を検出する場合について説明するが、これに限定されず、種々の用途に用いることができる。

本実施形態に係る物体検出装置１は、図１に示すように、撮像手段２や距離検出手段６、統合処理手段１０や物体検出手段１１、閾値可変手段１２、再検出手段１３等を有する処理部９等を備えて構成されている。

なお、距離検出手段６等を含む処理部９の上流側の構成については、本願出願人により先に提出された特開２００６−７２４９５号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた運転者側のメインカメラ２ａと助手席側のサブカメラ２ｂとからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。

なお、以下では、メインカメラ２ａで撮像される画像を基準画像Ｔ、サブカメラ２ｂで撮像される画像を比較画像Ｔｃという。また、以下では、基準画像Ｔを対象として統合処理手段１０等における処理を行う場合について説明するが、比較画像Ｔｃを対象として行ったり、両方の画像Ｔ、Ｔｃをそれぞれ処理するように構成することも可能である。

また、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれモノクロの輝度値Ｄが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。

本実施形態では、撮像手段２のメインカメラ２ａやサブカメラ２ｂで基準画像Ｔや比較画像Ｔｃを撮像する場合、図２に示すように、基準画像Ｔ等の各水平ラインｊの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像した順に基準画像Ｔと比較画像Ｔｃの各画素の輝度値Ｄをそれぞれ変換手段３に順次送信するようになっている。

変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａやサブカメラ２ｂで撮像された基準画像Ｔ等の画素ごとの輝度値Ｄをそれぞれ例えば２５６階調のグレースケールの輝度としてのデジタル値の輝度値Ｄに順次変換して画像補正部４に出力するようになっている。

また、画像補正部４では、各画素の輝度値Ｄに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、各輝度値Ｄを画像データメモリ５に順次格納するとともに、処理部９に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像の各輝度値Ｄを距離検出手段６にも順次送信するようになっている。

距離検出手段６のイメージプロセッサ７は、基準画像Ｔと比較画像の各画素ブロックに対して順次ステレオマッチング処理やフィルタリング処理を施して、基準画像Ｔの画素ごとに視差ｄｐを順次算出するようになっている。

具体的には、ステレオマッチング処理では、図示を省略するが、基準画像Ｔ上の例えば４×４画素等の所定の画素数の基準画素ブロックと輝度パターンが類似する画素ブロックを比較画像Ｔｃ中のエピポーラライン上に特定し、それらの基準画像Ｔおよび比較画像Ｔｃ上の位置から基準画像Ｔの画素ごとに視差ｄｐが順次算出される。

なお、以下、このようにして基準画像Ｔの各画素に視差ｄｐを割り当てた画像（図３参照）を距離画像Ｔｚという。また、画素の基準画像Ｔ上での座標（ｉ，ｊ）と上記のようにして算出された視差ｄｐとは、実空間上で、メインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の水平方向をＸ軸方向、高さ方向をＹ軸方向、距離方向（撮像手段２の前方方向）をＺ軸方向とした場合の実空間上の点（ｘ，ｙ，ｚ）と、三角測量の原理に基づいて、
ｘ＝ＣＤ／２＋ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
ｙ＝ＣＨ＋ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）
で表される座標変換により１対１に対応付けることができる。

ここで、上記各式において、ＣＤは一対の撮像手段の間隔、ＰＷは１画素当たりの視野角、ＣＨは一対の撮像手段の取り付け高さ、ＩＶおよびＪＶは正面の無限遠点の距離画像Ｔｚ上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

従って、上記のように、本実施形態では、距離データとして視差ｄｐが以下の各処理で必要に応じて用いられるようになっているが、視差ｄｐを上記（３）式に従って実空間上の距離ｚに換算して、距離データとして用いるように構成することも可能である。

また、フィルタリング処理では、基準画像Ｔの基準画素ブロックと比較画像Ｔｃの画素ブロックとの輝度パターンの類似性の度合いが低い場合には算出した視差ｄｐを無効と出力するようになっており、イメージプロセッサ７は、有効とされた視差ｄｐのみを距離データメモリ８に順次格納させるとともに、処理部９に順次送信するようになっている。

なお、本実施形態では、上記のように、撮像手段２としてメインカメラ２ａとサブカメラ２ｂとを備え、距離検出手段６は、それらで撮像された基準画像Ｔおよび比較画像Ｔｃに対するステレオマッチング処理により基準画像Ｔの各画素について実空間上の距離ｚ（すなわち視差ｄｐ）を算出するように構成されているが、これに限定されず、撮像手段２は例えば単眼のカメラのように１枚の画像Ｔのみを出力するものであってもよい。

また、距離検出手段６は、当該画像Ｔの各画素について実空間上の距離ｚを算出または測定して画像Ｔの各画素に割り当てる機能を有していればよい。例えば、前述したレーダ装置のように、自車両前方にレーザビームを照射してその反射光の情報に基づいて物体までの距離ｚを測定する装置等であってもよく、検出の手法は特定の手法に限定されない。

さらに、本実施形態では、実空間上の距離の情報として、上記のように算出した視差ｄｐを用い、必要に応じて実空間上の距離ｚに変換して処理を行うように構成されているが、距離検出手段６の段階で視差ｄｐを実空間上の距離ｚに変換して距離画像Ｔｚを作成するように構成することも可能である。

処理部９は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部９は、統合処理手段１０や物体検出手段１１、閾値可変手段１２、再検出手段１３を備えており、本実施形態では、さらに、路面検出手段１４や図示しないメモリを備えている。

なお、処理部９において先行車両検出等の他の処理を行うように構成することも可能である。また、処理部９に、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類からの測定値が入力されるように構成されている。

ここで、本実施形態の処理部９の統合処理手段１０や物体検出手段１１、割り当て手段１２、閾値可変手段１２、再検出手段１３等における処理について説明する前に、路面検出手段１４における処理について説明する。

なお、以下の説明において、車線とは、追い越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線をいう。また、本実施形態では、以下に説明するように、路面検出手段１４は、道路面に標示された車線を検出し、その検出結果に基づいて道路面を検出するように構成されているが、道路面を検出することができるものであれば以下に説明する形態に限定されない。

本実施形態では、路面検出手段１４は、撮像手段２により撮像された基準画像Ｔ中から自車両の左側および右側の車線を検出し、その車線の情報に基づいて路面を検出するようになっている。

具体的には、路面検出手段１４は、図４に示すように基準画像Ｔ中の１画素幅の水平ラインｊ上を例えば画像中央から左右方向に探索したり、或いは、前回のサンプリング周期で検出した車線ＬＲ、ＬＬの情報と前回のサンプリング周期と今回のサンプリング周期との間の自車両の挙動に基づいて画像の左右に探索領域を設定し、その左右の探索領域内を左右方向に探索する等して、輝度が隣接する画素の輝度から設定された閾値以上に大きく変化する画素を車線候補点ｃｒ、ｃｌとして検出する。

そして、基準画像Ｔ上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点を検出していき、車線候補点をハフ変換等により直線で近似する等の処理を行って、図５に示すように自車両の左側および右側にそれぞれ車線ＬＲ、ＬＬを検出するようになっている。なお、以上の路面検出手段１４の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報等に詳述されており、詳細な説明は同公報等を参照されたい。

また、路面検出手段１４は、このようにして検出した左右の車線位置ＬＲ、ＬＬ等の情報に基づいて車線モデルを三次元的に形成して路面を検出するようになっている。本実施形態では、路面検出手段１４は、図６（Ａ）、（Ｂ）に示すように、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。

本実施形態では、各所定区間ごとの直線式を、下記（４）、（５）式で表され図６（Ａ）に示されるＺ−Ｘ平面上の路面モデルである水平形状モデルと、下記（６）、（７）式で表され図６（Ｂ）に左車線ＬＬが代表して示されるＺ−Ｙ平面上の路面モデルである道路高モデルで表すようになっている。

［水平形状モデル］
右車線ＬＲ ｘ＝ａ_Ｒ・ｚ＋ｂ_Ｒ …（４）
左車線ＬＬ ｘ＝ａ_Ｌ・ｚ＋ｂ_Ｌ …（５）
［道路高モデル］
右車線ＬＲ ｙ＝ｃ_Ｒ・ｚ＋ｄ_Ｒ …（６）
左車線ＬＬ ｙ＝ｃ_Ｌ・ｚ＋ｄ_Ｌ …（７）

路面検出手段１４は、検出した路面モデルの情報をメモリに保存するとともに、前述した車線ＬＲ、ＬＬの情報等もメモリに保存するようになっている。なお、本実施形態のように、道路面の実空間上の路面の高さ（すなわち車線モデル）を算出する代わりに、道路面を水平面と見なして以下の各処理を行うように構成することも可能である。

次に、統合処理手段１０や物体検出手段１１、閾値可変手段１２、再検出手段１３等における処理について説明する。

統合処理手段１０は、撮像手段２のメインカメラ２ａから画像補正部４等を介して基準画像Ｔの各画素ｐの輝度Ｄが順次送信されてくると、隣接する複数の画素ｐについて、当該複数の画素ｐの各輝度Ｄに基づいて１つの画素領域に統合するか否かを判定し、統合すべきと判定した場合に１つの画素領域に統合するようになっている。

本実施形態では、統合処理手段１０は、撮像手段２のメインカメラ２ａから基準画像Ｔの各画素ｐの輝度Ｄが順次送信されてくると、入力された一の画素（以下、注目画素という。）の輝度Ｄと、注目画素と同一の基準画像Ｔ（すなわち、同じサンプリング周期で撮像された基準画像Ｔ）中の、注目画素より以前に入力され注目画素の左や下に隣接する画素ｐの輝度Ｄとの差分ΔＤが所定の第１閾値ΔＤth未満であり、かつ、注目画素の輝度Ｄと、上記の隣接する画素ｐが属する画素領域ｇに属する全画素ｐの輝度Ｄの平均値Ｄaveとの差分δＤが所定の第２閾値δＤth未満である場合に、注目画素と隣接する画素ｐを１つの画素領域ｇに統合するようになっている。

以下、具体的に、統合処理手段１０における統合処理について、図７および図８に示すフローチャートに従って説明し、あわせて本実施形態に係る物体検出装置１の作用について説明する。

なお、本実施形態では、前述したように、撮像手段２から順次出力された各画素ｐの輝度Ｄが順次送信されてくるが、統合処理手段１０では、各輝度Ｄの入力と同時並行的に以下の処理が行われる。また、以下の説明では、例えば図２に示した基準画像Ｔにおける画素について、基準画像Ｔの左下隅の画素を原点とし、右向きにｉ軸、上向きにｊ軸をとった場合の画素の座標（ｉ，ｊ）を用いて、画素ｐi,jのように表す。また、画素ｐi,jの輝度Ｄを輝度Ｄi,jのように表す。

統合処理手段１０は、撮像手段２により撮像が開始されると（ステップＳ１）、ｉおよびｊの値をそれぞれ０に設定する（ステップＳ２）。前述したように、撮像手段２で撮像された水平ライン０（すなわちｊ座標が０の各画素からなる水平ラインｊ）上の左端の画素ｐ0,0（すなわち原点の画素）の輝度Ｄ0,0の処理部９への入力が開始されると（ステップＳ３）、続いて、画素ｐ1,0、ｐ2,0、ｐ3,0、…の輝度Ｄ1,0、Ｄ2,0、Ｄ3,0、…が順次入力される。

統合処理手段１０は、水平ラインｊの右端の画素まで処理を完了していなければ（ステップＳ４；ＮＯ）、処理が繰り返されるごとにｉ座標を１ずつインクリメントして（ステップＳ５）、設定した注目画素ｐi,jを水平ラインｊ上の右隣の画素に移動させながら（ステップＳ６）、処理を続ける。

また、水平ラインｊの右端の画素まで処理を完了すると（ステップＳ４；ＹＥＳ）、基準画像Ｔの最上段の水平ラインまで処理が終了していなければ（ステップＳ７；ＮＯ）、処理を行う水平ラインｊを１行上方の水平ラインｊ＋１に移行させ、注目画素のｉ座標を０に設定して（ステップＳ８）、画素ｐ0,j+1を注目画素として（ステップＳ６）処理を行い、注目画素を画素ｐ0,j+1から順に右側に移動させながら処理を続行する。

次に、注目画素を画素ｐi,jに設定（ステップＳ６）した後の統合処理手段１０における処理（図８のステップＳ９以降）について説明する。

統合処理手段１０は、まず、注目画素ｐi,jと、図９（Ａ）に示すように注目画素ｐi,jが入力されるより以前に入力されていて注目画素ｐi,jの左に隣接する画素ｐi-1,jについて、下記の条件１や条件２を満たすか否かの判定を行う（ステップＳ９）。

［条件１］注目画素ｐi,jの輝度Ｄi,jと、左に隣接する画素ｐi-1,jの輝度Ｄi-1,jとの差分ΔＤleft（ｉ，ｊ）、すなわち、
ΔＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄi-1,j｜ …（８）
が、予め設定された第１閾値ΔＤth未満である。なお、以下、上記のような隣接する画素間の輝度Ｄの差分ΔＤをエッジ強度という。

［条件２］図９（Ｂ）に示すように、注目画素ｐi,jの輝度Ｄi,jと、左に隣接する画素ｐi-1,jが属する画素領域ｇに属する全画素の輝度Ｄの平均値Ｄave-leftとの差分δＤleft（ｉ，ｊ）、すなわち、
δＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄave-left｜ …（９）
が、予め設定された第２閾値δＤth未満である。なお、以下、上記のように、注目画素ｐi,jの輝度Ｄi,jと、隣接する画素が属する画素領域ｇの輝度Ｄの平均値Ｄaveとの差分δＤを平均値差分という。

なお、画素領域ｇに属する全画素の輝度Ｄの平均値Ｄaveは後述するステップＳ１６で算出される。また、左に隣接する画素ｐi-1,jが属する画素領域ｇが当該左に隣接する画素ｐi-1,jのみで構成されている場合もあり、その場合、画素領域ｇに属する全画素の輝度Ｄの平均値Ｄave-leftは、当該左に隣接する画素ｐi-1,jの輝度Ｄi-1,jに等しい。

統合処理手段１０は、条件１と条件２をともに満たすと判定した場合には（ステップＳ９；ＹＥＳ）、ステップＳ１０の判定処理に進み、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ９；ＮＯ）、ステップＳ１３の判定処理に進む。なお、上記の第１閾値ΔＤthと第２閾値δＤthとは同じ値に設定されても異なる値に設定されてもよく、それらの閾値の値は適宜設定される。

統合処理手段１０は、ステップＳ９の判定処理で、条件１と条件２をともに満たすと判定すると（ステップＳ９；ＹＥＳ）、続いて、注目画素ｐi,jと、図１０（Ａ）に示すように注目画素ｐi,jが入力されるより以前に入力されていて注目画素ｐi,jの下に隣接する画素ｐi,j-1について、上記と同様に、下記の条件３や条件４を満たすか否かの判定を行う（ステップＳ１０）。

［条件３］注目画素ｐi,jの輝度Ｄi,jと、下に隣接する画素ｐi,j-1の輝度Ｄi,j-1とのエッジ強度ΔＤlower（ｉ，ｊ）、すなわち、
ΔＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄi,j-1｜ …（１０）
が、予め設定された前述した第１閾値ΔＤth未満である。

［条件４］図１０（Ｂ）に示すように、注目画素ｐi,jの輝度Ｄi,jと、下に隣接する画素ｐi,j-1が属する画素領域ｇに属する全画素の輝度Ｄの平均値Ｄave-lowerとの平均値差分δＤlower（ｉ，ｊ）、すなわち、
δＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄave-lower｜ …（１１）
が、予め設定された前述した第２閾値δＤth未満である。

なお、この場合も、下に隣接する画素ｐi,j-1が属する画素領域ｇが当該下に隣接する画素ｐi,j-1のみで構成されている場合もあり、その場合、画素領域ｇに属する全画素の輝度Ｄの平均値Ｄave-lowerは、当該下に隣接する画素ｐi,j-1の輝度Ｄi,j-1に等しい。

そして、統合処理手段１０は、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１０；ＮＯ）、注目画素ｐi,jを、下に隣接する画素ｐi,j-1とは統合せず、ステップＳ９の判定処理で上記の条件１と条件２を満たすと判定しているため、注目画素ｐi,jを左に隣接する画素ｐi-1,jと１つの画素領域ｇに統合する（ステップＳ１１）。

その際、図９（Ａ）に示したように、左に隣接する画素ｐi-1,jが他の画素と統合されていなければ、注目画素ｐi,jと左に隣接する画素ｐi-1,jが統合されて、左右に隣接する２つの画素からなる画素領域ｇが新たに形成される。また、例えば図９（Ｂ）に示したように、左に隣接する画素ｐi-1,jが画素領域ｇに属していれば、注目画素ｐi,jが画素領域ｇに追加されるように統合され、画素領域ｇが注目画素ｐi,jの分だけ１画素分拡大する。

次に、統合処理手段１０は、ステップＳ１０の判定処理で、条件３と条件４をともに満たすと判定した場合には（ステップＳ１０；ＹＥＳ）、注目画素ｐi,jを、下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jと統合する（ステップＳ１２）。

その際、図１０（Ａ）に示したように、下に隣接する画素ｐi,j-1が他の画素と統合されていなければ、注目画素ｐi,jと下に隣接する画素ｐi,j-1が統合されて、上下に隣接する２つの画素からなる画素領域ｇが新たに形成される。また、例えば図１０（Ｂ）に示したように、下に隣接する画素ｐi,j-1が画素領域ｇに属していれば、注目画素ｐi,jが画素領域ｇに追加されるように統合され、画素領域ｇが注目画素ｐi,jの分だけ１画素分拡大する。

また、例えば図１１（Ａ）に示すように、左に隣接する画素ｐi-1,jが画素領域ｇ１に属し、下に隣接する画素ｐi,j-1が他の画素領域ｇ２に属している場合、注目画素ｐi,jを下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jと統合することで（ステップＳ１２）、図１１（Ｂ）に示すように、注目画素ｐi,jを介して画素領域ｇ１と画素領域ｇ２とが統合されて１つの画素領域ｇとなる。

一方、統合処理手段１０は、ステップＳ９の判定処理で、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ９；ＮＯ）、ステップＳ１３の判定処理に進み、上記と同様に、条件３や条件４を満たすか否かの判定を行う（ステップＳ１３）。

そして、統合処理手段１０は、条件３と条件４をともに満たすと判定した場合には（ステップＳ１３；ＹＥＳ）、ステップＳ９の判定処理で条件１と条件２の少なくとも一方を満たさないと判定しているため（ステップＳ９；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとは統合せず、下に隣接する画素ｐi,j-1のみと統合する（ステップＳ１４）。

なお、本実施形態では、道路面や道路面に標示された車線等は物体として検出せず、道路面より上側に存在する物体を検出することが目的であるため、ステップＳ９、Ｓ１０、Ｓ１３の判定処理で、条件１〜条件４等の判定基準のほかに、道路面や道路面に標示された車線等が撮像されている画素（以下、道路面に対応する画素という。）と、それより上側に存在する物体が撮像されている画素（以下、物体に対応する画素という。）とを統合せず、それぞれ別の画素領域ｇに統合されるように構成することが可能である。

すなわち、例えば、画素ｐの基準画像Ｔ上の座標（ｉ，ｊ）や距離検出手段６で検出された画素ｐの視差ｄｐに基づいて、上記（２）、（３）式から算出される当該画素ｐに対応する実空間上の点の高さｙと、路面検出手段１４が検出した当該視差ｄｐに対応する実空間上の距離ｚにおける道路面の高さｙ^＊から、当該画素ｐに対応する実空間上の点の道路面からの高さｙ−ｙ^＊を算出する。

そして、道路面からの高さｙ−ｙ^＊が所定の閾値以上である場合には、当該画素ｐは物体に対応する画素であり、閾値未満である場合には、当該画素ｐは道路面に対応する画素であると判定することができる。所定の閾値は、例えば１０ｃｍ等に設定される。

なお、前述したように道路面を水平面と見なす場合には、当該画素ｐに対応する実空間上の点の道路面からの高さは上記の高さｙとなる。また、路面検出手段１４で今回のサンプリング周期における車線モデルが検出されていなければ、前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルを推定して用いることができる。

そして、統合処理手段１０は、注目画素ｐi,jと、その左や下に隣接する画素ｐのいずれか一方が物体に対応する画素であり、他方が道路面に対応する画素である場合には、ステップＳ９、Ｓ１０、Ｓ１３の判定処理で条件１〜条件４を満たす場合であっても、それらの画素を統合しないように構成することが可能である。

このように構成すれば、道路面に対応する画素ｐで形成される画素領域ｇを、道路面より上側に存在する物体が撮像されている画素領域ｇであると誤検出したり、逆に、物体に対応する画素ｐで形成される画素領域ｇを、道路面や道路面に標示された車線等が撮像されている画素領域ｇであると誤検出することを防止することが可能となる。

また、道路面に対応する画素であると判定した画素ｐに所定のフラグを対応付ける等するように構成すれば、画素ｐに所定のフラグが対応付けられているかを判定して、当該画素ｐが道路面に対応する画素すなわち道路面や道路面に標示された車線等が撮像されている画素であるか否かを容易に判定することが可能となる。

統合処理手段１０は、ステップＳ１１、Ｓ１２、Ｓ１４の処理で、注目画素ｐi,jを隣接する画素ｐと統合すると、拡大した画素領域ｇの画素数を更新し、画素領域ｇの左端ｇleft、右端ｇrightの画素の各座標や上端ｇtop、下端ｇbottomの画素の各座標に変更があれば更新する。また、例えば図１１（Ｂ）に示したように、複数の画素領域ｇ１、ｇ２が統合されて１つの画素領域ｇとされた場合には、１つに統合された画素領域ｇの画素領域番号を、統合の対象となった複数の画素領域ｇ１、ｇ２の各画素領域番号のうち例えば最も小さい番号を選択する等して更新する（ステップＳ１５）。

また、統合処理手段１０は、注目画素ｐi,jを追加して拡大した画素領域ｇや、複数の画素領域ｇ１、ｇ２を統合して形成した画素領域ｇに属する全画素ｐの輝度Ｄの平均値Ｄaveを算出して更新する（ステップＳ１６）。統合処理手段１０は、ステップＳ１６の処理を終了すると、図７のステップＳ４の判定処理以降の処理を続行する。

一方、統合処理手段１０は、ステップＳ１３の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１３；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとも下に隣接する画素ｐi,j-1とも統合せず、注目画素ｐi,jのみが属する新たな画素領域ｇとして登録する（ステップＳ１７）。

なお、統合処理手段１０での統合処理の際、統合した画素領域ｇの画素数が非常に小さく、ノイズ等のように無視してよい画素領域である場合に、そのような画素領域ｇを登録から削除するように構成することも可能である。

そして、統合処理手段１０は、この新規の画素領域ｇの画素数を１とし、左端ｇleft、右端ｇright、上端ｇtop、下端ｇbottomの画素の各座標をそれぞれ注目画素ｐi,jの座標（ｉ，ｊ）として記録し、新規の画素領域ｇに新たな画素領域番号を付ける（ステップＳ１５）。また、統合処理手段１０は、この新規の画素領域ｇの輝度Ｄの平均値Ｄaveとして、当該注目画素ｐi,jの輝度Ｄi,jを記録して（ステップＳ１６）、図７のステップＳ４の判定処理以降の処理を続行する。

そして、水平ラインｊの右端の画素まで処理を完了し（図７のステップＳ４；ＹＥＳ）、基準画像Ｔの最上段の水平ラインまで処理が終了すると（ステップＳ７；ＹＥＳ）、統合処理手段１０は、各画素領域ｇに属する各画素ｐの各座標（ｉ，ｊ）や画素数、左右端ｇleft、ｇrightの画素の各座標、上下端ｇtop、ｇbottomの画素の各座標、画素領域ｇの輝度Ｄの平均値Ｄave等の情報を、当該基準画像Ｔと対応付けてメモリに保存する。また、必要に応じてそれらの情報を外部に出力する。

また、その際、例えば、各画素領域ｇの左右端ｇleft、ｇrightの画素位置の中間点をｉ座標とし、上下端ｇtop、ｇbottomの画素位置の中間点をｊ座標とする中心点を各領域ごとに算出し、上記の各情報とともにメモリに保存するとともに、必要に応じて外部に出力するように構成することも可能である。

なお、統合処理手段１０は、予め決められた所定の単数または複数の水平ラインｊについて、上記の処理と並行して、各画素ｐの輝度Ｄを予め作成したヒストグラムに順次投票するようになっており、当該水平ラインｊについての上記の処理が終了した時点、或いは、上記の全処理が終了した時点で、例えばヒストグラムにおける出現度数が最大となる輝度を道路面の輝度Ｄroadとして算出し、メモリに保存するようになっている。

例えば、図３５に示した基準画像Ｔに対して統合処理手段１０で上記の処理を行うと、図１２に示すように、基準画像Ｔ上の各画素がそれぞれ画素領域に統合されて、基準画像Ｔが各画素領域に分割される。なお、図１２および後述する図２７では、各画素領域に分割された基準画像Ｔのうち、先行車両を含む部分のみが示されている。

物体検出手段１１は、上記の統合処理手段１０における統合処理と並行して、距離検出手段６により得られた距離データ、すなわち本実施形態では視差ｄｐをグループ化して物体を検出し、基準画像Ｔ中における物体の範囲を決定するようになっている。本実施形態では、物体検出手段１１は、距離検出手段６の検出領域、すなわち本実施形態では距離画像Ｔｚの全領域を複数に区分し、それぞれの区分ごとに得られた距離データ、すなわち下記の代表距離データをグループ化して物体を検出するようになっている。

具体的には、物体検出手段１１は、例えば図３に示した距離画像Ｔｚを図１３に示すように所定幅の縦方向に延在する短冊状の区分ｄｎに分割する。そして、図１４に示すように、各区分ｄｎごとにヒストグラムＨｎを作成し、各区分ｄｎに含まれる視差ｄｐのうち道路面より上方に存在する視差ｄｐをヒストグラムＨｎに投票し、その最頻値ｄｐｎをその区分ｄｎの代表距離データｄｐｎとする。これを全区分ｄｎについてそれぞれ行う。

そして、物体検出手段１１は、各区分ｄｎの代表距離データｄｐｎ等を上記（１）〜（３）式に代入して各代表距離データｄｐｎの実空間上の座標（ｘ，ｙ，ｚ）を算出する。道路面より高い位置にある座標を実空間上にプロットすると、各代表距離データｄｐｎに対応する実空間上の各点は、図１５に示すように、前方の物体の自車両ＭＣに面した部分に対応する部分に多少ばらつきを持ってプロットされる。

物体検出手段１１は、このようにプロットされた各点について、実空間上で隣接する点同士のＸ軸方向（水平方向）の間隔Δｘが設定された閾値Δｘth以内であり、かつ、Ｚ軸方向（距離方向）の間隔Δｚが設定された閾値Δｚth以内であるか否かを判定し、間隔Δｘ、Δｚがともに閾値Δｘth、Δｚth以内である場合に、それらの隣接する点を１つのグループとしてグループ化する。

このようにして、物体検出手段１１は、各代表距離データｄｐｎに対応する実空間上の各点の隣接する点同士をグループ化できるか否かを判定しながらグループ化していき、各点をそれぞれグループにまとめていく。そして、図１６に示すように、それぞれ１つのグループにまとめられた各点を直線近似して物体を検出するようになっている。物体検出手段１１は、このようにして検出した物体の情報をメモリに保存する。

また、物体検出手段１１は、物体を検出すると、図１７に示すように、１つの物体として検出された各グループの距離画像Ｔｚ上での上端や下端、左端、右端の各位置Ｌtop、Ｌbottom、Ｌleft、Ｌrightを算出するようになっている。なお、図１７では、前方の１つの物体についてのみ上端の位置Ｌtop等が示されているが、検出した他の物体についても同様に上端の位置Ｌtop等が算出される。

また、本実施形態では、物体検出手段１１は、このように１つのグループすなわち物体にグループ化した各代表距離データｄｐｎの平均値や、各代表距離データｄｐｎを距離に換算した場合に自車両に最も近い距離を与える代表距離データｄｐｎを、自車両から当該物体までの実空間上の距離のデータとして算出するようになっている。

そして、このようにして距離画像Ｔｚ上での物体の上端や下端、左端、右端の各位置Ｌtop、Ｌbottom、Ｌleft、Ｌrightを境界とする矩形状の枠線を設定し、それを基準画像Ｔにあてはめることで、物体に対応する基準画像Ｔ中の各画素を矩形状の枠線で包囲して基準画像Ｔ中における物体の範囲を決定するように構成することが可能である。

しかし、図１７に示すように、距離画像Ｔｚ上で、物体の上端や下端、左端、右端の各位置Ｌtop、Ｌbottom、Ｌleft、Ｌrightが的確に検出されている場合は上記の構成でよいが、図１８（Ａ）に示すように、距離画像Ｔｚ上で物体の下側部分では物体のエッジが明確でなく、物体の上側のエッジ部分のみが検出される場合もある。このような場合に検出された物体（正確には物体の上側部分の上端）や下端、左端、右端の各位置Ｌtop、Ｌbottom、Ｌleft、Ｌrightを境界とする矩形状の枠線を設定すると、物体の上側部分のみが矩形状の枠線で包囲されて物体の範囲とされてしまう。

そこで、本実施形態では、物体検出手段１１は、距離画像Ｔｚ上での物体の上端や下端、左端、右端の各位置Ｌtop、Ｌbottom、Ｌleft、Ｌrightを算出すると、図１８（Ｂ）に示すように、物体の上端、左端、右端の各位置Ｌtop、Ｌleft、Ｌrightを境界とし、下端部分の位置は距離画像Ｔｚ中における道路面の位置に延長して枠線を設定するようになっている。

そして、物体検出手段１１は、このようにして距離画像Ｔｚ上で設定した各物体に対する枠線を、図１９に示すように基準画像Ｔ上にあてはめて、物体に対応する基準画像Ｔ中の各画素を矩形状の枠線で包囲して基準画像Ｔ中における物体の範囲を決定するようになっている。物体検出手段１１は、このようにして決定した物体の範囲の情報を、検出した物体の情報に対応付けてメモリに保存する。

なお、本実施形態では、図１６や図１９に示すように、検出した物体にラベルＯやラベルＳを付してその種別を区別して検出するようになっている。すなわち、ラベルＯやラベルＳは物体の自車両に対向する面の種別を表し、ラベルＯは物体の背面、ラベルＳは物体の側面が検出されていることを表す。

閾値可変手段１２は、上記のようにして物体検出手段１１が基準画像Ｔ中に決定した物体の範囲内に存在する、統合処理手段１０が統合した各画素領域ｇに着目して、物体検出手段１１が距離のデータすなわち本実施形態では代表距離データｄｐｎをグループ化して物体を検出する際に用いた閾値Δｘth、Δｚthを可変させるようになっている。

そして、可変させた閾値Δｘth、Δｚthに基づいて、再検出手段１３で視差ｄｐ（代表距離データｄｐｎ）を再度グループ化して、本来１つの物体として検出されるべき撮像対象が複数の物体として検出されている場合に１つの物体として再検出したり、或いは、本来別々の物体として検出されるべき撮像対象が１つの物体として検出されている場合にそれらを別々の物体として再検出するようになっている。

本実施形態では、図２０および図２１に示すフローチャートに従って処理を行って、閾値可変手段１２は閾値Δｘth、Δｚthを可変させ、再検出手段１３は可変された閾値Δｘth、Δｚthに基づいて物体の再検出処理を行うようになっている。

閾値可変手段１２は、まず、物体検出手段１１が基準画像Ｔ中に決定した各物体の範囲のうち、任意の２つの物体Ｐ、Ｑの各範囲を選択する（ステップＳ２１）。続いて、閾値可変手段１２は、選択した２つの物体Ｐ、Ｑの各範囲の間に、物体検出手段１１によりこれらの２つの物体Ｐ、Ｑより遠方に存在する他の物体が検出されているか否かを判断するようになっている（ステップＳ２２）。

図２２に示すように、２つの物体Ｐ、Ｑの各範囲の間に、２つの物体Ｐ、Ｑより遠方に存在する他の物体Ｒが検出されている場合には、これらの２つの物体Ｐ、Ｑが同一の物体であるとは言えない。そのため、閾値可変手段１２は、２つの物体Ｐ、Ｑの各範囲の間に２つの物体Ｐ、Ｑより遠方に存在する他の物体が検出されている場合には（ステップＳ２２；ＹＥＳ）、これらの２つの物体Ｐ、Ｑの組み合わせについては、閾値Δｘth、Δｚthを可変させないようになっている。

閾値可変手段１２は、続いて、選択した２つの物体Ｐ、Ｑの範囲について、それぞれ各範囲内に存在する画素領域ｇのうち、範囲内における画素数が所定の画素数未満である画素領域ｇについては、比較の対象から除外するようになっている（ステップＳ２３）。

物体の範囲内で例えば５画素等に設定される所定の画素数以上の画素数を有さず、物体の範囲で非常に小さい画素部分しか占めない画素領域ｇは、当該物体の範囲にたまたま属する形になっているとしても、当該物体に対しては、他の物体と再統合したりする際の閾値Δｘth、Δｚthを可変させるか否かの決定に寄与するほどの重要性を有しないためである。

また、閾値可変手段１２は、図２３に示す物体Ｐの範囲内に存在する画素領域ｇｐや物体Ｑの範囲内に存在する画素領域ｇｑのように、物体の範囲内に存在する画素領域が、空が撮像された画素領域ｇskyであると見なすことができる場合には、当該画素領域を比較の対象から除外し（ステップＳ２４）、また、図２４に示す物体Ｐ、Ｑの範囲内に存在する画素領域ｇｐ、ｇｑのように、物体の範囲内に存在する画素領域が、路面を含む地面が撮像された画素領域ｇgroundであると見なすことができる場合には、当該画素領域を比較の対象から除外するようになっている（ステップＳ２５）。

空や地面はそもそも物体Ｐ、Ｑを構成する要素ではないからであり、また、それらを比較の対象とすると、別の物体である物体Ｐ、Ｑが誤って１つの物体に再統合され易くなってしまうためである。

なお、画素領域ｇが、空が撮像された画素領域ｇskyであるか否かの判断は、例えば、当該画素領域ｇの下端ｇbottomの位置が基準画像Ｔ中の無限遠に対応する画素（すなわち消失点）の位置と同じ或いはそれより上側の位置に存在し、当該画素領域ｇに属する画素の画素数が大きな値に設定された閾値以上であること等から判断される。

また、画素領域ｇが、地面が撮像された画素領域ｇskyであるか否かの判断は、例えば、当該画素領域ｇの上端ｇtopの位置が基準画像Ｔ中の消失点の位置と同じ或いはそれより下側の位置に存在し、当該画素領域ｇに属する画素の画素数が大きな値に設定された閾値以上であり、前述したように統合処理手段１０が算出した当該画素領域ｇの輝度の平均値Ｄaveが道路面の輝度Ｄroadと同じ或いはそれに近い値であること等から判断される。

続いて、閾値可変手段１２は、ステップＳ２３〜Ｓ２５で除外されなかった画素領域のうち、２つの物体Ｐ、Ｑの各範囲からそれぞれ１つずつ範囲内に属する画素領域ｇｐ、ｇｑを選択するようになっている（ステップＳ２６）。そして、閾値可変手段１２は、選択した画素領域ｇｐ、ｇｑの画素領域番号が同一であるか否かを判断するようになっている（ステップＳ２７）。

本実施形態では、閾値可変手段１２は、選択した画素領域ｇｐ、ｇｑの画素領域番号が同一でなく、画素領域ｇｐ、ｇｑが同一の画素領域でない場合（ステップＳ２７；ＮＯ）であっても、統合処理手段１０が既に算出している画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveから算出された輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜（ステップＳ２８）が小さい値に設定された所定の閾値以下であれば（ステップＳ２９；ＹＥＳ）、選択した画素領域ｇｐ、ｇｑの画素領域番号が同一である場合（ステップＳ２７；ＹＥＳ）と同等に扱うようになっている。なお、ステップＳ２８で算出された輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜はメモリに保存される（ステップＳ２８）。

閾値可変手段１２は、選択した画素領域ｇｐ、ｇｑの画素領域番号が同一である場合（ステップＳ２７；ＹＥＳ）、すなわち、画素領域ｇｐ、ｇｑが同一の画素領域ｇである場合、或いは、選択した画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜が所定の閾値以下である場合（ステップＳ２９；ＹＥＳ）には、図２５に示すように、この同一の画素領域ｇが２つの物体Ｐ、Ｑの範囲の外側に設定される所定の範囲を越えて基準画像Ｔ中に広がって存在するか否かを判断するようになっている（ステップＳ３０）。なお、以下、画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜が所定の閾値以下である場合（ステップＳ２９；ＹＥＳ）、それらの画素領域を類似した輝度を有する画素領域という。

そして、画素領域ｇｐ、ｇｑが属する同一の画素領域ｇ、或いは画素領域ｇｐ、ｇｑが属する類似した輝度を有する画素領域が２つの物体Ｐ、Ｑの範囲の外側に設定される所定の範囲（図２５において破線で示される範囲）を越えて基準画像Ｔ中に広がって存在する場合には（ステップＳ３０；ＹＥＳ）、閾値可変手段１２は、画素領域ｇｐ、ｇｑを比較の対象から除外するようになっている（ステップＳ３１）。

なお、この場合、類似した輝度を有する画素領域ｇｐ、ｇｑについてステップＳ２８で算出された輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜はメモリから削除される。また、ステップＳ３０、Ｓ３１の処理を行わなくても、実際上の問題を生じない場合には、ステップＳ３０、Ｓ３１の処理は必ずしも行われなくてもよい。

画素領域ｇｐ、ｇｑが、空や地面が撮像された画素領域である場合にはそもそもステップＳ２４、Ｓ２５の処理で比較の対象から除外されるが、それ以外の場合でも、図２５に示すように、画素領域ｇｐ、ｇｑが同一の画素領域ｇや類似した輝度を有する画素領域の一部であり、同一の画素領域ｇや類似した輝度を有する画素領域が２つの物体Ｐ、Ｑの範囲を大きく越えて存在する場合には、同一の画素領域ｇや類似した輝度を有する画素領域は２つの物体Ｐ、Ｑを含む各物体の影等である可能性があり、そのような画素領域ｇすなわち画素領域ｇｐ、ｇｑに基づいて２つの物体Ｐ、Ｑを再統合等する際の閾値Δｘth、Δｚthを可変させることは適当でないためである。

閾値可変手段１２は、同一の画素領域ｇや類似した輝度を有する画素領域が２つの物体Ｐ、Ｑの範囲の外側に設定される所定の範囲以内に存在する場合には（ステップＳ３０；ＮＯ）、これら画素領域ｇｐ、ｇｑが属する２つの物体の組み合わせについてグループ化する旨の宣言を行う（ステップＳ３２）。宣言は、例えばこれらの２つの物体の組み合わせに対してフラグを付す等の処理によって行われる。

そして、閾値可変手段１２は、ステップＳ２２の判断をクリア（ステップＳ２２；ＮＯ）した２つの物体Ｐ、Ｑの範囲に属し、ステップＳ２３〜Ｓ２５の処理で除外されなかった各画素領域ｇｐ、ｇｑについて上記のステップＳ２７〜Ｓ３２の処理を行っていない画素領域ｇｐ、ｇｑの組み合わせがあれば（ステップＳ３３；ＮＯ）、２つの物体Ｐ、Ｑの範囲に属し、ステップＳ２３〜Ｓ２５の処理で除外されなかった全ての画素領域ｇｐ、ｇｑについて上記のステップＳ２７〜Ｓ３２の処理を行うようになっている。

すなわち、例えば図２６に示すように、物体Ｐの範囲内に存在する画素領域ｇｐのうち、例えば画素領域ｇｐ１、ｇｐ２がステップＳ２３〜Ｓ２５の処理で除外されず、物体Ｑの範囲内に存在する画素領域ｇｑのうち、例えば画素領域ｇｑ１、ｇｑ２、ｇｑ３がステップＳ２３〜Ｓ２５の処理で除外されなかった場合には、ｇｐ１−ｇｑ１、ｇｐ１−ｇｑ２、ｇｐ１−ｇｑ３、ｇｐ２−ｇｑ１、ｇｐ２−ｇｑ２、ｇｐ２−ｇｑ３の６通りの組み合わせについて上記のステップＳ２７〜Ｓ３２の処理が行われる。

また、画素領域ｇｐ、ｇｑの全ての組み合わせについて上記のステップＳ２７〜Ｓ３２の処理を行うと（ステップＳ３３；ＹＥＳ）、閾値可変手段１２は、メモリに保存した輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜を参照して、最小の絶対値｜ΔＤave｜を算出して、２つの物体Ｐ、Ｑの組み合わせに対応付けてメモリに保存するようになっている（ステップＳ３４）。

また、閾値可変手段１２は、上記のようにして、画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値を算出すると、絶対値｜ΔＤave｜に基づいて、２つの物体Ｐ、Ｑの各範囲の距離のデータすなわち本実施形態では代表距離データｄｐｎを再度グループ化する際の閾値Δｘth、Δｚthを可変させて、メモリに保存するようになっている（ステップＳ３５）。

基準画像Ｔ上に撮像された１つの物体、例えば先行車両の背面部分等では、図１２に示したように、統合処理手段１０で基準画像Ｔの各画素ｐの輝度Ｄに基づいて統合された画素領域が物体の全面に分布し、同一の画素領域や類似した輝度を有する画素領域で占められることが予想される。

そのため、物体検出手段１１により２つの物体として検出されている場合でも、算出した画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値が小さければ、それらの２つの物体はそもそも１つの物体を２つの物体として検出したものであるとして、画素領域ｇｐ、ｇｑ自体が基準画像Ｔ上で離れていてもグループ化されるように閾値Δｘth、Δｚthを可変させた方がよい。

しかし、逆に、画素領域ｇｐ、ｇｑの種々の組み合わせについて算出した輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の中で最も小さい値（最小値）が大きい場合には、それらの２つの物体は、１つの物体を２つの物体として検出したものであるとは言えないため、再検出手段１３で１つの物体として再検出されるように閾値Δｘth、Δｚthを可変させる必要はない。

そこで、本実施形態では、閾値可変手段１２は、算出した画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値が小さいほど、代表距離データｄｐｎを再度グループ化する際に代表距離データｄｐｎがグループ化されやすくなるように、例えば閾値Δｘthと閾値Δｚthとがともにより大きな値になるように可変させるようになっている。

特に、上記のステップＳ３２の処理で、グループ化する旨の宣言が行われ、フラグが付される等した２つの物体は、同一の画素領域ｇや類似した輝度を有する画素領域がともに属する物体であり、まさに１つの物体が２つの物体として検出されたものであると考えられる。

そこで、本実施形態では、グループ化する旨の宣言が行われ、フラグが付される等した２つの物体の組み合わせについては、再検出手段１３で確実に１つの物体として再検出されるように、例えば閾値Δｘth、Δｚthをとり得る最大値に可変させる等して、非常に大きな値に可変させるようになっている。

なお、閾値Δｘthや閾値Δｚthを可変させる手法としては、例えば、閾値Δｘthや閾値Δｚthを、画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値に対する単調減少関数として予め定義しておくように構成することが可能である。

また、例えば、画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値が、上記のような宣言が行われるほど小さくないとしても、最小値について予め閾値を設けておき、例えば、差分ΔＤaveの絶対値｜ΔＤave｜の最小値が閾値以下である場合には、元の閾値Δｘthや閾値Δｚthにそれぞれ正の値の所定値を加算するようにして可変させ、差分ΔＤaveの絶対値｜ΔＤave｜の最小値が閾値より大きい場合には、元の所定の閾値Δｘthや閾値Δｚthを可変させないように構成することも可能である。

例えば、図１２に示した各画素領域に分割された基準画像Ｔでは、図２７に示すように、先行車両の左右のエッジ部分がそれぞれ物体として検出された２つの物体Ｐ、Ｑの範囲内に、例えば同一の画素領域Ｇに属する画素領域Ｇｐ、Ｇｑが存在するため、画素領域Ｇｐ、Ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値は０になる。そのため、この場合、２つの物体Ｐ、Ｑについては、閾値Δｘthと閾値Δｚthとがともにより大きな値になるように可変される。

閾値可変手段１２は、物体検出手段１１が基準画像Ｔ中に決定した各物体の範囲の全ての組み合わせについて処理が終了していなければ（ステップＳ３６；ＮＯ）、２つの物体の範囲の組み合わせを変えて選択し（ステップＳ２１）、ステップＳ２２〜Ｓ３５の処理を繰り返して行うようになっている。

なお、同一の画素領域ｇ或いは類似した輝度を有する画素領域（ステップＳ２９；ＹＥＳ）が２つの物体Ｐ、Ｑの範囲の外側に設定される所定の範囲以内に存在する場合には（ステップＳ３０；ＮＯ）、それらの２つの物体についてはグループ化が宣言され（ステップＳ３２）、再検出手段１３で確実に１つの物体として再検出されるため、当該２つの物体について、ステップＳ２７〜Ｓ３２の処理を行っていない画素領域ｇｐ、ｇｑの組み合わせがあったとしても（ステップＳ３３；ＮＯ）、それらの組み合わせについて上記の処理を繰り返す必要はない。

そのため、そのような場合には、当該２つの物体Ｐ、Ｑの範囲に属する画素領域ｇｐ、ｇｑの他の組み合わせについての処理を行うことなく、当該２つの物体Ｐ、Ｑについては、即座にステップＳ３１以降の処理に移行するように構成することも可能である。

再検出手段１３は、上記のようにして、基準画像Ｔ中に決定された各物体の範囲の全ての組み合わせについて閾値可変手段１２による処理が終了すると（ステップＳ３３；ＹＥＳ）、閾値可変手段１２が可変させた閾値Δｘth、Δｚthに基づいて距離のデータすなわち本実施形態では代表距離データｄｐｎを再度グループ化して物体の再検出を行うようになっている（ステップＳ３７）。

本実施形態では、再検出手段１３は、閾値可変手段１２が算出した差分ΔＤaveの絶対値｜ΔＤave｜の最小値が小さい２つの物体を、差分ΔＤaveの絶対値｜ΔＤave｜の最小値がより大きい２つの物体よりも優先して代表距離データｄｐｎを再度グループ化するようになっている。

そのため、本実施形態では、再検出手段１３は、メモリに保存された画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値が小さい２つの物体の組み合わせから順に、可変された閾値Δｘth、Δｚthに基づいて、再度、物体検出手段１１における処理と同様の処理を行って代表距離データｄｐｎをグループ化して、基準画像Ｔ中で物体を再検出するようになっている。

距離画像Ｔｚを複数の区分ｄｎに分割し、各区分ｄｎに含まれる道路面より上方に存在する視差ｄｐをヒストグラムＨｎに投票して、その最頻値ｄｐｎをその区分ｄｎの代表距離データｄｐｎとする処理は、物体検出手段１１により既に行われているため、再検出手段１３はその検出結果を利用する。

そして、再検出手段１３は、区分ｄｎごとの代表距離データｄｐｎをグループ化する際、可変された閾値Δｘth、Δｚthに基づいて代表距離データｄｐｎ間のＸ軸方向（水平方向）の間隔Δｘが設定された閾値Δｘth以内であり、かつ、Ｚ軸方向（距離方向）の間隔Δｚが設定された閾値Δｚth以内であるか否かの判定を行い、間隔Δｘ、Δｚがともに可変された閾値Δｘth、Δｚth以内である場合に、それらを１つのグループとして再度グループ化する。

また、再検出手段１３は、図２８に示すように２つの物体Ｐ、Ｑを１つの物体として再検出できなかった場合には、続いて、優先順に従って、物体Ｐ或いは物体Ｑと他の物体Ｓとを再統合できるか否かを、物体Ｐ、Ｓ或いは物体Ｑ、Ｓについてそれぞれ可変された閾値Δｘth、Δｚthに基づいて判断し、再統合できる場合にはそれらの物体を１つのグループとしてグループ化して再検出する。

また、再検出手段１３は、図２９に示すように２つの物体Ｐ、Ｑを１つの物体として再検出できた場合には、続いて、１つの物体ＰＱと他の物体Ｓとを再統合できるか否かを、物体Ｐ、Ｓ或いは物体Ｑ、Ｓについてそれぞれ可変された閾値Δｘth、Δｚthに基づいて判断し、いずれかの組み合わせの閾値Δｘth、Δｚth或いは両方の組み合わせの閾値Δｘth、Δｚthに基づいて再統合が可能である場合には、物体Ｐ、Ｑ、Ｓを１つのグループとしてグループ化し、１つの物体として再検出する。

再検出手段１３は、このようにして、物体検出手段１１が検出した物体や再統合した物体と、他の物体とを、可変された閾値Δｘth、Δｚthに基づいて再統合できるか否かを順次判断し、再統合できる場合には物体同士を再統合させて再検出するようになっている。なお、上記のように閾値Δｘth、Δｚthを可変させても２つの物体Ｐ、Ｑが再統合されない場合があることは言うまでもない。

再検出手段１３は、このようにして１つのグループとしてグループ化すると、そのグループの距離画像Ｔｚ上での物体の上端や下端、左端、右端の各位置Ｌtop、Ｌbottom、Ｌleft、Ｌrightを改めて算出してその情報をメモリに保存する。

また、再検出手段１３は、物体検出手段１１と同様に、物体の上端、左端、右端の各位置Ｌtop、Ｌleft、Ｌrightを境界とし、下端部分の位置は距離画像Ｔｚ中における道路面の位置に延長して枠線を設定し、その枠線を改めて基準画像Ｔ上にあてはめるようになっている。そして、再検出手段１３は、このようにして設定したグループすなわち物体の範囲の情報を、１つのグループとした物体の情報に対応付けてメモリに保存する。そして、必要に応じて外部装置に出力するようになっている。

このようにして、再検出手段１３で、再度、物体の検出を行うと、上記のように閾値Δｘth、Δｚthが可変されているため、画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値が小さく閾値Δｘthと閾値Δｚthとがともにより大きな値になるように可変された場合には、それらの２つの物体は、代表距離データｄｐｎを再度グループ化する際に代表距離データｄｐｎがグループ化されやすくなり、２つの物体が再統合される可能性が高まる。

特に、上記のステップＳ３２の処理で、グループ化する旨の宣言が行われ、フラグが付される等した２つの物体は、例えば閾値Δｘth、Δｚthをとり得る最大値に可変させる等して、非常に大きな値に可変させる。例えば、図２７に示した先行車両の左右のエッジ部分がそれぞれ物体として検出された２つの物体Ｐ、Ｑでは、それぞれの範囲内に例えば同一の画素領域Ｇに属する画素領域Ｇｐ、Ｇｑが存在するため、画素領域Ｇｐ、Ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値は０になり、閾値Δｘthと閾値Δｚthとがともに非常に大きな値になるように可変されている。

そのため、再検出手段１３で可変された閾値Δｘth、Δｚthに基づいて上記のようにして再検出処理（ステップＳ３４）が行われると、図３０に示すように、先行車両が確実に１つの物体として基準画像Ｔ中に統合されて再検出される。

また、画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値が大きいため閾値Δｘthと閾値Δｚthとがともに小さな値に可変されたり、或いは元の閾値Δｘthと閾値Δｚthのままとなる場合には、それらの２つの物体は、代表距離データｄｐｎを再度グループ化する際に代表距離データｄｐｎがグループ化されることはなく、２つの物体は再統合されない。

なお、本実施形態では、再検出手段１３による再検出処理（ステップＳ３７）は、閾値可変手段１２のステップＳ２１〜Ｓ３６の処理が終了した後で行われるように構成されているが、例えば、閾値可変手段１２によるステップＳ３５の処理で閾値Δｘth、Δｚthが可変された直後に、再検出手段１３により可変された閾値Δｘth、Δｚthに基づいて当該２つの物体について再検出処理を行うように構成する等して、再検出手段１３による再検出処理を、閾値可変手段１２による処理と同時に行うように構成することも可能である。

しかし、この場合、図３１に示すように、本来、再統合されるべき２つの物体Ｐ、Ｑよりも先にステップＳ２１の処理で２つの物体Ｑ、Ｓの各範囲が選択され、２つの物体Ｑ、Ｓが再統合されると、その後、２つの物体Ｐ、Ｑの各範囲が選択された際に、２つの物体Ｐ、Ｑを再統合できなくなる場合がある。

このような不具合が生じることを回避するため、この場合にも、前述したように、再検出手段１３における処理では、閾値可変手段１２が算出した２つの画素領域の輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値が小さい２つの物体を、差分ΔＤaveの絶対値｜ΔＤave｜の最小値がより大きい２つの物体よりも優先して代表距離データｄｐｎを再度グループ化するという原則を採用する。

具体的には、再検出手段１３は、上記のように先に２つの物体Ｑ、Ｓを一旦再統合したとしても、２つの物体Ｑ、Ｓに関する差分ΔＤaveの絶対値｜ΔＤave｜の最小値がその後に選択された２つの物体Ｐ、Ｑに関する差分ΔＤaveの絶対値｜ΔＤave｜の最小値よりも大きければ、２つの物体Ｐ、Ｑの方を優先し、２つの物体Ｑ、Ｓの再統合を解除して元の２つの物体Ｑ、Ｓの各範囲に戻した後、２つの物体Ｐ、Ｑについて、可変された閾値Δｘth、Δｚthに基づいて代表距離データｄｐｎを再度グループ化するように構成される。

また、この場合、２つの物体Ｐ、Ｑについて代表距離データｄｐｎが再度グループ化された後、２つの物体Ｐ、Ｑが再統合された物体と物体Ｓについても、再度差分ΔＤaveの絶対値｜ΔＤave｜の最小値に基づいて可変された閾値Δｘth、Δｚthに基づいて代表距離データｄｐｎのグループ化の処理が行われ、再統合することができれば、３つの物体Ｐ、Ｑ、Ｓが１つの物体として再検出される。

なお、以上が、閾値可変手段１２における閾値Δｘth、Δｚthの可変処理の基本的な構成であるが、以下、可変処理についての種々の変形例について説明する。

基準画像Ｔ上に検出された２つの物体Ｐ、Ｑの各範囲に同一の画素領域ｇが存在するとすれば、その同一の画素領域ｇは、図３２に示すように、通常、２つの物体Ｐ、Ｑの各範囲をそれぞれ区画する境界のうちの向かい合う部分（本実施形態のように各範囲が矩形状に設定される場合には各範囲のそれぞれ向かい合う辺の部分）に跨って存在する。

また、２つの物体Ｐ、Ｑが本来同一の物体であり、この同一の物体の１つの面が２つの物体Ｐ、Ｑの各範囲に跨って撮像されている場合には、統合処理手段１０により仮に同一の物体のこの１つの面が同一の画素領域ｇに統合されず別の画素領域ｇｐ、ｇｑにそれぞれ統合されたとしても、物体Ｐの画素領域ｇｐと物体Ｑの画素領域ｇｑの輝度の平均値Ｄaveは非常に近いものとなり、それらの差分ΔＤaveの絶対値｜ΔＤave｜は非常に小さい値になるはずである。

そのため、本来同一の物体として検出されるべき物体が２つの物体Ｐ、Ｑとして検出されている場合には、２つの物体Ｐ、Ｑの各範囲をそれぞれ区画する境界のうちの向かい合う部分（本実施形態のように各範囲が矩形状に設定される場合には各範囲のそれぞれ向かい合う辺の部分）に、同一の画素領域ｇや、輝度の平均値Ｄaveは非常に近い２つの画素領域ｇｐ、ｇｑが跨って存在すると考えられる。

そこで、図２６に示したように、ステップＳ２３〜Ｓ２５の処理で除外されなかった例えば画素領域ｇｐ１、ｇｐ２および画素領域ｇｑ１、ｇｑ２、ｇｑ３の全ての組み合わせについて処理を行う代わりに、２つの物体Ｐ、Ｑの各範囲をそれぞれ区画する境界のうちの向かい合う部分に注目して画素領域を組み合わせるように構成することも可能である。

すなわち、図３３に示すように、閾値可変手段１２における処理を、基準画像Ｔ中に決定された２つの物体Ｐ、Ｑの各範囲をそれぞれ区画する境界のうち、互いに向かい合う部分の近傍の各範囲内にそれぞれ探索範囲Ｐａ、Ｑａを設定し、これらの探索範囲Ｐａ、Ｑａ内に存在する各画素領域同士を比較して、当該２つの物体Ｐ、Ｑについて閾値Δｘth、Δｚthを可変させるように構成することが可能である。

このように構成すれば、閾値可変手段１２における処理の負担が軽減され、閾値可変手段１２における処理を的確かつより高速に行うことが可能となる。

また、図３５等に示すように、先行車両の背面部分では、ほとんどの場合、リアガラスやバンパ部分、ナンバープレートの周囲の部分等のテクスチャが基準画像Ｔ上で水平方向に延在するような構成とされている。

そこで、物体として、特に先行車両を的確に検出すること等を目的とするような場合、２つの物体Ｐ、Ｑの各範囲内に存在する各画素領域を比較する際に、同一の水平ライン上に存在する画素領域同士を比較すれば、当該２つの物体Ｐ、Ｑを１つの物体すなわち先行車両等に再統合すべきか否かが容易に分かる。

しかも、この場合も、２つの物体Ｐ、Ｑが本来先行車両等の同一の物体として検出されるべき物体であれば、図２７に示したように、２つの物体Ｐ、Ｑの各範囲をそれぞれ区画する境界のうちの向かい合う部分（本実施形態のように各範囲が矩形状に設定される場合には各範囲のそれぞれ向かい合う辺の部分）に、同一の画素領域ｇや、輝度の平均値Ｄaveは非常に近い２つの画素領域ｇｐ、ｇｑが跨って存在すると考えられる。

そこで、図３４に示すように、閾値可変手段１２における処理を、基準画像Ｔ中に決定された２つの物体Ｐ、Ｑの各範囲をそれぞれ区画する境界のうち、互いに向かい合う部分の近傍の各範囲内にそれぞれ探索範囲Ｐａ、Ｑａを設定し、さらに、各探索範囲Ｐａ、Ｑａのうち、基準画像Ｔの同一の水平ラインｊ上に存在する各画素領域同士を比較して、当該２つの物体Ｐ、Ｑについて閾値Δｘth、Δｚthを可変させるように構成することが可能である。

このように構成すれば、閾値可変手段１２における処理の負担が軽減され、閾値可変手段１２における処理を的確かつ非常に高速に行うことが可能となる。

以上のように、本実施形態に係る物体検出装置１によれば、撮像手段２が撮像した画像Ｔ（基準画像Ｔ）の各画素ｐを、輝度Ｄに基づいて画素領域ｇに統合して画像Ｔを各画素領域ｇに分割し、物体検出手段１１が検出した各物体Ｐ、Ｑの範囲内に存在する各画素領域ｇｐ、ｇｑ同士を比較して、各物体Ｐ、Ｑについて距離のデータ（本実施形態では代表距離データｄｐｎ）を再度グループ化する際の閾値Δｘth、Δｚthを可変させ、可変させた閾値Δｘth、Δｚthに基づいて距離のデータを再度グループ化して物体の再検出を行う。

そのため、従来の物体検出装置では固定された閾値Δｘth、Δｚthを用いていたため、図３６に示したように画像Ｔ中で本来１つの物体として検出されるべき撮像対象が複数の物体として検出されてしまう場合があったが、本実施形態に係る物体検出装置１によれば、画像Ｔ中に物体として検出された各物体Ｐ、Ｑの範囲内に存在する各画素領域ｇｐ、ｇｑ同士を比較して閾値Δｘth、Δｚthを可変させて再検出を行うことで、上記のような事態が発生する可能性を格段に低下させることが可能となる。

そのため、距離検出手段６が検出した視差ｄｐ（或いは実空間上の距離ｚ）に基づく代表距離データｄｐｎを的確に再グループ化して、本来１つの物体として検出されるべき物体を的確に１つの物体として再検出することが可能となる。そして、例えば、検出或いは再検出した物体の情報を車両の自動制御等に活用すれば、的確な物体の情報に基づいて制御を行うことが可能となり、車両の安全走行等を的確に実現することが可能となる。

また、例えば図１９に示した基準画像Ｔでは、物体検出手段１１により、左側のガードレールがＳ１、Ｏ１、Ｓ２の３つの物体として検出された結果が示されているが、このような場合でも、統合処理手段１０によりガードレールの部分が１つの画素領域ｇとして統合されれば物体Ｓ１、Ｏ１、Ｓ２についての閾値Δｘth、Δｚthがともにそれらをグループ化しやすいように可変される。

そのため、本実施形態に係る物体検出装置１によれば、本来１つの物体（例えばガードレール）として検出される物体が物体検出手段１１により複数の物体（例えば物体Ｓ１、Ｏ１、Ｓ２）として検出されても、統合処理手段１０が統合した画像Ｔの各画素ｐの画素領域ｇへの統合結果に基づいて閾値可変手段１２で的確に閾値Δｘth、Δｚthを可変し、それに基づいて再検出手段１３で的確に１つの物体として検出することが可能となる。

なお、本実施形態では、閾値Δｘth、Δｚthを可変させるための判断基準として、物体Ｐ、Ｑの各範囲内に存在する画素領域ｇｐ、ｇｑの輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の最小値を用いる場合を示したが、差分ΔＤaveの絶対値｜ΔＤave｜の最小値を用いる代わりに、例えば図２６に示した例で言えば（図３３、図３４に示した例でも同様）、物体Ｐに属する画素領域ｇｐ１、ｇｐ２と物体Ｑに属する画素領域ｇｑ１、ｇｑ２、ｇｑ３の６通りの組み合わせについて輝度の平均値Ｄaveの差分ΔＤaveの絶対値｜ΔＤave｜の総和や平均値、重み付け平均値、中間値等を用いるように構成することも可能である。

また、その他、本発明が上記の実施形態に限定されず、適宜変更可能であることはいうまでもない。

１ 物体検出装置
２ 撮像手段
６ 距離検出手段
１０ 統合処理手段
１１ 物体検出手段
１２ 閾値可変手段
１３ 再検出手段
Ｄ 輝度
Ｄave 輝度の平均値
ｄｐｎ 代表距離データ（距離のデータ）
ｇ 画素領域
ｇground 地面が撮像された画素領域
ｇｐ、ｇｑ ２つの物体の各範囲内に存在する各画素領域
ｇsky 空が撮像された画素領域
ｊ 水平ライン
Ｐ、Ｑ 物体
ｐ 画素
Ｐａ、Ｑａ 探索範囲
Ｒ ２つの物体より遠方に存在する他の物体
Ｔ 基準画像（画像）
ΔＤ 輝度の差分
｜ΔＤave｜ 輝度の平均値の差分の絶対値
ΔＤth 第１閾値
δＤ 差分
δＤth 第２閾値
Δｘth、Δｚth 閾値

Claims (13)

1. 撮像手段により撮像された画像中の隣接する画素同士の輝度を比較し、前記輝度の差分が閾値以内である前記画素同士を同一輝度の画素領域として統合する統合処理手段と、
   前記画像中の各画素について距離のデータを検出する距離検出手段と、
   前記距離検出手段により得られた前記距離のデータをグループ化して物体を検出し、前記画像中における前記物体の範囲を決定する物体検出手段と、
   前記画像中に前記範囲が決定された２つの前記物体について、前記２つの物体の前記各範囲内に存在する前記各画素領域同士を比較して、当該２つの物体について前記距離のデータを再度グループ化する際の閾値を可変させ、前記２つの物体の組み合わせを変えながら前記閾値を可変させていく閾値可変手段と、
   前記閾値可変手段が可変させた前記閾値に基づいて前記距離のデータを再度グループ化して前記物体の再検出を行う再検出手段と、
   を備えることを特徴とする物体検出装置。
2. 前記閾値可変手段は、前記２つの物体の前記各範囲内に存在する前記各画素領域の輝度の平均値の差分の絶対値が小さいほど、前記距離のデータを再度グループ化する際に前記距離のデータがグループ化されやすくなるように前記閾値を可変させることを特徴とする請求項１に記載の物体検出装置。
3. 前記再検出手段は、前記閾値可変手段が算出した前記差分の絶対値が小さい前記２つの物体を、前記差分の絶対値がより大きい前記２つの物体よりも優先して、前記閾値可変手段が可変させた前記閾値に基づいて前記距離のデータを再度グループ化して前記物体の再検出を行うことを特徴とする請求項２に記載の物体検出装置。
4. 前記閾値可変手段は、比較する前記画素領域が同一の前記画素領域である場合において、当該同一の画素領域が、前記２つの物体の範囲の外側に設定される所定の範囲を越えて前記画像中に広がって存在する場合には、当該同一の画素領域を前記比較の対象から除外することを特徴とする請求項１から請求項３のいずれか一項に記載の物体検出装置。
5. 前記閾値可変手段は、前記物体の範囲内に存在する前記画素領域が、空が撮像された画素領域であると見なすことができる場合には、当該画素領域を前記比較の対象から除外することを特徴とする請求項１から請求項４のいずれか一項に記載の物体検出装置。
6. 前記閾値可変手段は、前記物体の範囲内に存在する前記画素領域が、地面が撮像された画素領域であると見なすことができる場合には、当該画素領域を前記比較の対象から除外することを特徴とする請求項１から請求項５のいずれか一項に記載の物体検出装置。
7. 前記閾値可変手段は、比較する前記画素領域が同一の前記画素領域である場合において、当該同一の画素領域が、前記２つの物体の範囲の外側に設定される所定の範囲を越えて前記画像中に広がって存在せず、空が撮像された画素領域であると見なすことができず、かつ、地面が撮像された画素領域であると見なすことができない場合には、当該同一の画素領域が属する前記２つの物体が前記再検出手段で１つの物体として再検出されるように、前記２つの物体について前記距離のデータを再度グループ化する際の閾値を可変させることを特徴とする請求項１から請求項６のいずれか一項に記載の物体検出装置。
8. 前記閾値可変手段は、比較する前記画素領域の前記範囲内における画素数が所定の画素数未満である場合には、当該画素領域を前記比較の対象から除外することを特徴とする請求項１から請求項７のいずれか一項に記載の物体検出装置。
9. 前記閾値可変手段は、比較する前記２つの物体の範囲の間に、前記物体検出手段により当該２つの物体より遠方に存在する他の物体が検出されている場合には、当該２つの物体の組み合わせについては、前記閾値を可変させないことを特徴とする請求項１から請求項８のいずれか一項に記載の物体検出装置。
10. 前記閾値可変手段は、前記画像中に決定された前記２つの物体の前記各範囲をそれぞれ区画する境界のうち、互いに向かい合う部分の近傍の前記各範囲内にそれぞれ探索範囲を設定し、前記各探索範囲内に存在する前記各画素領域同士を比較して、当該２つの物体について前記距離のデータを再度グループ化する際の閾値を可変させることを特徴とする請求項１から請求項９のいずれか一項に記載の物体検出装置。
11. 前記閾値可変手段は、前記各探索範囲のうち、前記画像の同一の水平ライン上に存在する前記各画素領域同士を比較して、当該２つの物体について前記距離のデータを再度グループ化する際の閾値を可変させることを特徴とする請求項１０に記載の物体検出装置。
12. 前記物体検出手段は、検出した前記物体に対応する前記画像中の各画素を矩形状の枠線で包囲して、前記画像中における前記物体の範囲を決定し、前記枠線の下端部分を前記画像中における道路面の位置とすることを特徴とする請求項１から請求項１１のいずれか一項に記載の物体検出装置。
13. 前記統合処理手段は、一の前記画素と同一の画像中の前記一の画素より以前に前記輝度が送信された画素であって前記一の画素に隣接する画素の前記輝度と前記一の画素の輝度との差分が所定の第１閾値未満であり、かつ、前記一の画素より以前に前記輝度が送信された前記隣接する画素が属する前記画素領域の前記輝度の平均値と前記一の画素の輝度との差分が所定の第２閾値未満である場合に、前記一の画素および前記隣接する画素を１つの画素領域に統合することを特徴とする請求項１から請求項１２のいずれか一項に記載の物体検出装置。