JP5073700B2 - 物体検出装置 - Google Patents

Description

本発明は、物体検出装置に係り、特に、距離検出手段により得られた距離データに基づいて物体を検出する物体検出装置に関する。

近年、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像手段で撮像した画像の画像解析やレーダ装置から発射された電波やレーザビームの反射波解析等により、例えばそれらの撮像手段や装置を搭載した車両の周囲に存在する物体を検出する物体検出装置の開発が進められている（例えば特許文献１等参照）。

特許文献１に記載されているように、このような物体検出装置では、通常、撮像手段として一対のカメラからなるステレオカメラを備えて、それらで撮像された一対の画像に対するステレオマッチング処理等により撮像手段から物体までの実空間上の距離を検出したり、或いは、レーダ装置から発射する電波やレーザビーム等を走査してその反射波を解析してレーダ装置から物体までの実空間上の距離を検出し、その実空間上の距離等に基づいて物体の実空間上の位置を特定して物体を検出する。

そのため、このように撮像手段やレーダ装置等を距離検出手段として用いることで、物体を精度良く検出することが可能となるとともに、検出した物体の情報に基づいて、例えば自車両の速度や進行方向を自動的に、すなわち運転者による認識や操作を介さずに制御する車両の自動制御技術等に応用することが可能となる。

ところで、距離検出手段の検出領域における実際の風景が、例えば図２２に示すような風景であったとする。この場合、距離検出手段で人物等の物体までの実空間上の距離を検出すると、図２２中の右側に撮像されている２人の人物Ａ、Ｂや、左側に撮像されている人物Ｃと自転車Ｄ等にそれぞれ対応して、実空間上の距離のデータ（以下、距離データという。）が複数検出される。

それらの距離データに基づいて各距離データに対応する実空間上の点の実空間上の座標をそれぞれ算出し、それらをＸ−Ｚ平面（Ｘ軸は左右方向、Ｚ軸は距離方向）にプロットすると、例えば図２３に示すようにプロットされる。そして、隣接する各点同士の距離方向（Ｚ軸方向）の差や左右方向（Ｘ軸方向）の差がそれぞれ例えば予め設定された閾値以内にある場合にそれらの点をグループ化していくことによって、物体を検出することができる。

特許第３３４９０６０号公報

しかしながら、図２２中の右側の２人の人物Ａ、Ｂのように、距離検出手段から各物体までの距離Ｚが同じような距離であり、左右方向にも互いに接近していると、図２３に示したように各物体に対応する実空間上の各点同士が近接する状態となるため、図２２に示したように、人物Ａ、Ｂが同一の物体として検出されてしまう場合があった。図２２中の左側の人物Ｃと自転車Ｄ等においても同様である。

また、ステレオカメラで撮像された一対の画像に対するステレオマッチング処理では、画像の水平方向に走査して処理が行われるため、物体の左右のエッジ部分（すなわち、左右方向に隣接する画素同士の輝度等の差が大きい部分）で距離データが検出され易いという特性を有する。

そのため、図２４に示すように、例えば先行車両がいわば逆光の状態で撮像される等して、先行車両の背面全体が一様に暗く撮像されたような場合、背面部分の距離が算出されずにエッジ部分だけの距離が算出されるため、図２５に示すように、先行車両の左右のエッジ部分がそれぞれ別の物体として検出されてしまう場合があった。

このように、本来別々の物体が同一の物体として検出されてしまったり、同一の物体が別々の物体として検出されてしまうと、本来安全走行等に資するべき車両の自動制御等において、誤った物体の情報に基づいて制御を行ったために、逆に、事故の危険性が増大してしまう等の問題があった。

本発明は、このような事情に鑑みてなされたものであり、距離検出手段が検出した距離データを的確にグループ化して物体を的確に検出することが可能な物体検出装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、物体検出装置において、
距離検出手段の検出領域を複数に区分し、それぞれの区分ごとに得られた距離データをグループ化して物体を検出する物体検出手段と、
前記距離検出手段の検出領域を含む領域を撮像し、画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像において隣接する複数の画素を当該複数の画素の各画像データに基づいて一つの画素領域に統合する統合処理手段と、
前記画像を、前記距離検出手段の検出領域と同様に区分し、前記画像中に占める前記物体の範囲内に存在する前記画素領域の画像データに基づいて、前記範囲に属する前記区分ごとに少なくとも一つ以上の代表画像データを割り当てる割り当て手段と、
前記区分ごとの少なくとも一つ以上の代表画像データに基づいて前記距離データのグループ化の閾値を可変させる閾値可変手段と、
前記閾値可変手段が可変させた前記閾値に基づいて再度前記距離データをグループ化して前記物体の検出を行う再検出手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の物体検出装置において、前記統合処理手段は、一の前記画素と同一の画像中の前記一の画素より以前に前記画像データが送信された画素であって前記一の画素に隣接する画素の前記画像データと前記一の画素の画像データとの差分が所定の第１閾値未満であり、かつ、前記一の画素より以前に前記画像データが送信された前記隣接する画素が属する前記画素領域の前記画像データの平均値と前記一の画素の画像データとの差分が所定の第２閾値未満である場合に、前記一の画素および前記隣接する画素を一つの画素領域に統合することを特徴とする。

第３の発明は、第１または第２の発明の物体検出装置において、前記割り当て手段は、前記範囲に属する前記区分において画素数が最も多い前記画素領域の画像データを当該区分の前記代表画像データとして割り当てることを特徴とする。

第４の発明は、第１または第２の発明の物体検出装置において、前記割り当て手段は、前記範囲に属する前記区分において実空間上の面積が最も大きい前記画素領域の画像データを当該区分の前記代表画像データとして割り当てることを特徴とする。

第５の発明は、第１または第２の発明の物体検出装置において、
前記割り当て手段は、前記物体の範囲内に存在する前記画素領域の画像データの全てを代表画像データとして割り当て、
前記閾値可変手段は、前記区分の前記代表画像データのいずれか一つでも同一の代表画像データが含まれている場合、または、前記区分の前記代表画像データ同士の差の絶対値が所定の閾値以下である場合には、前記距離データのグループ化の閾値を可変させることを特徴とする。

第６の発明は、第１から第５のいずれかの発明の物体検出装置において、前記割り当て手段は、前記画素領域の距離データから算出される前記画素領域の実空間上の高さが路面から所定の閾値内にある場合には、当該画素領域を前記代表画像データの算出の対象から除外することを特徴とする。

第７の発明は、第１から第６のいずれかの発明の物体検出装置において、前記閾値可変手段は、前記割り当て手段により前記範囲に属する前記区分ごとに割り当てられた前記代表画像データ同士が近い値であるほど、前記距離データがグループ化されやすくなるように前記距離データのグループ化の閾値を可変させることを特徴とする。

第８の発明は、第１から第７のいずれかの発明の物体検出装置において、
前記割り当て手段は、前記範囲に属する前記各区分をそれぞれ前記画像の縦方向に複数の区分領域に分割し、前記各区分の前記区分領域ごとに少なくとも一つ以上の代表画像データを割り当て、
前記閾値可変手段は、前記区分の前記区分領域ごとの少なくとも一つ以上の代表画像データに基づいて前記距離データのグループ化の閾値を可変させることを特徴とする。

第９の発明は、第１から第８のいずれかの発明の物体検出装置において、前記再検出手段は、再度の前記距離データのグループ化の対象である２つの前記距離データの間に、路面に相当する前記距離データが存在する場合には、当該２つの前記距離データを前記再度のグループ化の対象から除外することを特徴とする。

第１０の発明は、物体検出装置において、
距離検出手段の検出領域を複数に区分し、それぞれの区分ごとに得られた距離データをグループ化して物体を検出する物体検出手段と、
前記距離検出手段の検出領域を含む領域を撮像し、画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像において隣接する複数の画素について、当該複数の画素の各画像データに基づいて当該複数の画素を一つの画素領域に統合する統合処理手段と、
前記画像を、前記距離検出手段の検出領域と同様に区分し、前記距離データのグループ化の対象となる２つの前記区分に属する全ての前記画素領域同士の組み合わせに基づいて前記距離データのグループ化の閾値を可変させる閾値可変手段と、
前記閾値可変手段が可変させた前記閾値に基づいて再度前記距離データをグループ化して前記物体の検出を行う再検出手段と、
を備えることを特徴とする。

第１の発明によれば、閾値可変手段で、割り当て手段が物体の範囲内の各区分に割り当てた、例えば各区分の代表的な輝度等を表す少なくとも一つの代表画像データに基づいて距離データをグループ化する際の閾値を可変させ、再検出手段でその可変させた閾値に基づいて距離データをグループ化して、再度、物体を検出する。

そのため、固定された閾値を用いていた従来の物体検出装置では、本来別々の物体として検出されるべき撮像対象が一つの物体として検出されたり、一つの物体として検出されるべき撮像対象が複数の物体として検出される可能性があったが、第１の発明の物体検出装置では、そのような事態が発生する可能性を格段に低下させることが可能となり、距離検出手段が検出した距離データを的確にグループ化して物体を的確に検出することが可能となる。

そして、検出した物体の情報を車両の自動制御等に活用することで、的確に検出した物体の情報に基づいて制御を行うことが可能となり、車両の安全走行等を的確に実現することが可能となる。

第２の発明によれば、前記発明の効果に加え、撮像手段から送信されてきた一の画素の画像データの画像データと、より以前に画像データが送信された一の画素に隣接する画素の画像データ等に基づいて画素同士を統合するため、統合処理手段に１画像分の全画素の画像データの入力を待たずに各画素の画像データが順次入力されるのと同時並行で各画素の画像データの値に基づいて処理を行うことが可能となり、統合処理手段等における処理を迅速に行うことが可能となる。

第３の発明によれば、範囲に属する区分において画素数が最も多い画素領域の画像データを当該区分の代表画像データとすることで、画像中における当該区分の代表的な輝度（明るさ）等に基づいて閾値を可変することが可能となる。そのため、同じような輝度等を有する一つの物体が一つの物体として検出されやすくなり、異なる輝度等を有する別々の物体が別々の物体として検出されやすくなり、前記各発明の効果をより的確に発揮させることが可能となる。

第４の発明によれば、範囲に属する区分において実空間上の面積が最も大きい画素領域の画像データを当該区分の代表画像データとすることで、画像の当該区分中に撮像されている撮像対象における現実の大きさが最も大きい対象の代表的な輝度（明るさ）等に基づいて閾値を可変することが可能となる。そのため、同じような輝度等を有する一つの物体が一つの物体として検出やすくなり、異なる輝度等を有する別々の物体が別々の物体として検出されやすくなり、前記各発明の効果をより的確に発揮させることが可能となる。

第５の発明によれば、一つの物体に対応すると考えられる画素領域が複数の区分に跨って存在するような場合に、前記閾値が可変されてそれらの複数の区分における距離データがグループ化されやすくなる。そのため、一つの物体が一つの物体として検出される可能性を向上させることが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第６の発明によれば、前記各発明の効果に加え、路面より上方にある撮像対象に対応する画素領域のみから代表画像データを算出することで、道路面や道路面に標示された車線等は物体として検出せず、先行車両を含む車両や人物、障害物等の道路面より上側に存在する物体を的確に検出することが可能となる。

第７の発明によれば、区分の代表的な輝度（明るさ）等を表す代表画像データの値が近いほど距離データがグループ化されやすくなるように閾値を可変させることで、同じような輝度等を有する一つの物体が一つの物体として検出やすくなり、異なる輝度等を有する別々の物体が別々の物体として検出されやすくなるため、前記各発明の効果をより的確に発揮させることが可能となる。

第８の発明によれば、物体検出手段が画像中に検出した物体の範囲を上下方向に複数の区分領域に分割して閾値を的確に可変させ、再検出手段で、物体の範囲をさらに分離したり、物体の範囲を統合したりして、別々の物体が別々の物体として、また、一つの物体が一つの物体として検出されやすくなるため、前記各発明の効果をより的確に発揮させることが可能となる。

第９の発明によれば、再検出手段で物体の再度の検出を行う際、グループ化の判定の対象である２つの距離データの間の画素部分に路面に相当する距離データが存在する場合には、それらの距離データの間に路面が撮像されていることからそれらの距離データは別々の物体に対応するものと考えられる。

そのため、そのような場合に、閾値可変手段で可変された閾値に基づけばそれらの２つの距離データをグループ化することが可能な場合であっても、それらの２つの距離データを再度のグループ化の対象から除外して、グループ化しないように構成することで、前記各発明の効果に加え、別々の物体を一つの物体として誤検出することが的確に防止され、物体検出の信頼性をより向上させることが可能となる。

第１０の発明によれば、物体検出手段が画像中に検出した物体の範囲の各区分に属する画素領域の情報を全て用いて閾値を的確に可変させて、再検出手段で、物体の範囲をさらに分離したり、物体の範囲を統合したりすることが可能となり、別々の物体を別々の物体として、また、一つの物体を一つの物体として検出されやすくなるため、前記各発明の効果をより的確に発揮させることが可能となる。

本実施形態に係る物体検出装置の構成を示すブロック図である。 撮像手段で撮像される画像の例を示す図である。 作成された距離画像の例を示す図である。 基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。 自車両の左右に検出された車線の例を説明する図である。 形成された車線モデルの例を説明する図であり、（Ａ）はＺ−Ｘ平面上の水平形状モデル、（Ｂ）はＺ−Ｙ平面上の道路高モデルを表す。 統合処理手段における統合処理の処理手順を示すフローチャートである。 統合処理手段における統合処理の処理手順を示すフローチャートである。 （Ａ）既に入力されている左に隣接する画素、および（Ｂ）左に隣接する画素が画素領域に属している例を説明する図である。 （Ａ）既に入力されている下に隣接する画素、および（Ｂ）下に隣接する画素が画素領域に属している例を説明する図である。 （Ａ）左や下に隣接する画素がそれぞれ属する各グループの例を説明する図であり、（Ｂ）各グループが一の画素と統合されて一つのグループになる例を説明する図である。 距離画像を分割する各区分を示す図である。 図１２の各区分ごとに作成されるヒストグラムの一例を示す図である。 区分ごとの距離データに基づく実空間上の座標をプロットした図である。 図１４の各点に基づいて実空間上に検出された立体物を表す図である。 基準画像上に枠線で包囲されて検出された各立体物を表す図である。 図２２に示す基準画像上で統合された各画素領域および分割する区分等を説明する写真である。 図２２に示す基準画像上で分離されて検出された物体を表す写真である。 図２４に示す基準画像上で統合されて検出された物体を表す写真である。 範囲内に属する区分を縦方向に分割する区分領域を説明する図である。 範囲内に属する区分に属する各画素領域およびそれらの組み合わせを説明する図である。 ２人の人物等が同一の物体として検出された例を示す写真である。 図２２に示したシーンで距離検出手段等で検出された距離データに対応する実空間上の座標をプロットした図である。 逆光の状態で撮像され先行車両の背面全体が暗く撮像された例を示す写真である。 図２４に示したシーンで先行車両の背面部分の左右のエッジ部分が別の物体として検出された例を示す写真である。

以下、本発明に係る物体検出装置の実施の形態について、図面を参照して説明する。

なお、以下では、物体検出装置を自動車等の車両に搭載し、自車両の前方に存在する先行車両等の物体を検出する場合について説明するが、これに限定されず、種々の用途に用いることができる。

本実施形態に係る物体検出装置１は、図１に示すように、撮像手段２や距離検出手段６、統合処理手段１０や物体検出手段１１、割り当て手段１２、閾値可変手段１３、再検出手段１４等を有する処理部９等を備えて構成されている。

なお、距離検出手段６等を含む処理部９の上流側の構成については、本願出願人により先に提出された特開２００６−７２４９５号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた運転者側のメインカメラ２ａと助手席側のサブカメラ２ｂとからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。

なお、以下では、メインカメラ２ａで撮像される画像を基準画像Ｔ、サブカメラ２ｂで撮像される画像を比較画像Ｔｃという。また、以下では、統合処理手段１０等における処理を基準画像Ｔを対象として行う場合について説明するが、比較画像Ｔｃを対象として行ったり、両方の画像Ｔ、Ｔｃをそれぞれ処理するように構成することも可能である。

また、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれモノクロの画像データＤが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。

本実施形態では、撮像手段２のメインカメラ２ａやサブカメラ２ｂで基準画像Ｔや比較画像Ｔｃを撮像する場合、図２に示すように、基準画像Ｔ等の各水平ラインｊの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像した順に基準画像Ｔと比較画像Ｔｃの各画像データＤをそれぞれ変換手段３に順次送信するようになっている。

変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａやサブカメラ２ｂで撮像された基準画像Ｔ等の画素ごとの各画像データＤをそれぞれ例えば２５６階調のグレースケールの輝度としてのデジタル値の画像データＤに順次変換して画像補正部４に出力するようになっている。

また、画像補正部４では、各画像データＤに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、各画像データＤを画像データメモリ５に順次格納するとともに、処理部９に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像の各画像データＤを距離検出手段６にも順次送信するようになっている。

距離検出手段６のイメージプロセッサ７では、基準画像Ｔと比較画像の各画像データに対して順次ステレオマッチング処理やフィルタリング処理を施して、基準画像Ｔの画素ごとに視差ｄｐを順次算出するようになっている。ステレオマッチング処理では、図示を省略するが、基準画像Ｔ上の例えば４×４画素等の所定の画素数の基準画素ブロックと輝度パターンが類似する画素ブロックを比較画像Ｔｃ中のエピポーラライン上に特定し、それらの基準画像Ｔおよび比較画像Ｔｃ上の位置から基準画像Ｔの画素ごとに視差ｄｐが順次算出される。

なお、以下、このようにして基準画像Ｔの各画素に視差ｄｐを割り当てた画像（図３参照）を距離画像Ｔｚという。また、画素の基準画像Ｔ上での座標（ｉ，ｊ）と上記のようにして算出された視差ｄｐとは、実空間上で、メインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の水平方向をＸ軸方向、高さ方向をＹ軸方向、距離方向（撮像手段２の前方方向）をＺ軸方向とした場合の実空間上の点（Ｘ，Ｙ，Ｚ）と、三角測量の原理に基づく座標変換により一意に対応付けられる。

また、フィルタリング処理では、基準画像Ｔの基準画素ブロックと比較画像Ｔｃの画素ブロックとの輝度パターンの類似性の度合いが低い場合には算出した視差ｄｐを無効と出力するようになっており、イメージプロセッサ７は、有効とされた視差ｄｐのみを距離データメモリ８に順次格納させるとともに、処理部９に順次送信するようになっている。

なお、本実施形態では、上記のように、撮像手段２としてメインカメラ２ａとサブカメラ２ｂとを備え、距離検出手段６は、それらで撮像された基準画像Ｔおよび比較画像Ｔｃに対するステレオマッチング処理により基準画像Ｔの各画素について実空間上の距離Ｚ（すなわち視差ｄｐ）を算出するように構成されているが、これに限定されず、撮像手段２は例えば単眼のカメラのように１枚の画像Ｔのみを出力するものであってもよい。

また、距離検出手段６は、当該画像Ｔの各画素について実空間上の距離Ｚを算出又は測定して画像Ｔの各画素に割り当てる機能を有していればよく、例えば前述したレーダ装置のように、自車両前方にレーザビームを照射してその反射光の情報に基づいて物体までの距離Ｚを測定する装置等であってもよく、検出の手法は特定の手法に限定されない。

さらに、本実施形態では、実空間上の距離の情報として、上記のように算出した視差ｄｐを用い、必要に応じて実空間上の距離Ｚに変換して処理を行うように構成されているが、距離検出手段６の段階で視差ｄｐを実空間上の距離Ｚに変換して距離画像Ｔｚを作成するように構成することも可能である。

処理部９は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部９は、統合処理手段１０や物体検出手段１１、割り当て手段１２、閾値可変手段１３、再検出手段１４を備えており、本実施形態では、さらに、路面検出手段１５を備えている。

なお、処理部９において先行車両検出等の他の処理を行うように構成することも可能である。また、処理部９に、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類からの測定値が入力されるように構成されている。

ここで、本実施形態の処理部９の統合処理手段１０や物体検出手段１１、割り当て手段１２、閾値可変手段１３、再検出手段１４等における処理について説明する前に、路面検出手段１５における処理について説明する。

なお、以下の説明において、車線とは、追い越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線をいう。また、本実施形態では、以下に説明するように、路面検出手段１５は、道路面に標示された車線を検出し、その検出結果に基づいて道路面を検出するように構成されているが、道路面を検出することができるものであれば以下に説明する形態に限定されない。

本実施形態では、路面検出手段１５は、撮像手段２により撮像された基準画像Ｔ中から自車両の左側および右側の車線を検出し、その車線の情報に基づいて路面を検出するようになっている。具体的には、路面検出手段１５は、図４に示すように、基準画像Ｔ中の１画素幅の水平ラインｊ上を例えば画像中央から左右方向に探索し、輝度が隣接する画素の輝度から設定された閾値以上に大きく変化する画素を車線候補点ｃｒ、ｃｌとして検出する。

そして、基準画像Ｔ上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点を検出していき、車線候補点をハフ変換等により直線で近似する等の処理を行って、図５に示すように自車両の左側および右側にそれぞれ車線ＬＲ、ＬＬを検出するようになっている。なお、以上の路面検出手段１５の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報等に詳述されており、詳細な説明は同公報等を参照されたい。

また、路面検出手段１５は、このようにして検出した左右の車線位置ＬＲ、ＬＬ等の情報に基づいて車線モデルを三次元的に形成して路面を検出するようになっている。本実施形態では、路面検出手段１５は、図６（Ａ）、（Ｂ）に示すように、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図６（Ａ）は、Ｚ−Ｘ平面上の車線モデルすなわち水平形状モデル、図６（Ｂ）は、Ｚ−Ｙ平面上の車線モデルすなわち道路高モデルを表す。

次に、統合処理手段１０や物体検出手段１１、割り当て手段１２、閾値可変手段１３等における処理について説明する。

統合処理手段１０は、撮像手段２のメインカメラ２ａから画像補正部４等を介して基準画像Ｔの各画素ｐの画像データＤが順次送信されてくると、隣接する複数の画素ｐについて、当該複数の画素ｐの各画像データＤに基づいて一つの画素領域に統合するか否かを判定し、統合すべきと判定した場合に一つの画素領域に統合するようになっている。

本実施形態では、統合処理手段１０は、撮像手段２のメインカメラ２ａから基準画像Ｔの各画素ｐの画像データＤが順次送信されてくると、入力された一の画素（以下、注目画素という。）の画像データＤと、注目画素と同一の基準画像Ｔ（すなわち、同じサンプリング周期で撮像された基準画像Ｔ）中の、注目画素より以前に入力され注目画素の左や下に隣接する画素ｐの画像データＤとの差分ΔＤが所定の第１閾値ΔＤth未満であり、かつ、注目画素の画像データＤと、上記の隣接する画素ｐが属する画素領域ｇに属する全画素ｐの画像データＤの平均値Ｄaveとの差分δＤが所定の第２閾値δＤth未満である場合に、注目画素と隣接する画素ｐを一つの画素領域ｇに統合するようになっている。

以下、具体的に、統合処理手段１０における統合処理について、図７および図８に示すフローチャートに従って説明し、あわせて本実施形態に係る物体検出装置１の作用について説明する。

なお、本実施形態では、前述したように、撮像手段２から順次出力された各画素ｐの画像データＤが順次送信されてくるが、統合処理手段１０では、各画像データＤの入力と同時並行的に以下の処理が行われる。そのため、基準画像Ｔの１画像分の全画素ｐの画像データＤの入力を待たずに入力と同時並行で処理を行うことが可能となるため、統合処理手段１０等における処理をリアルタイムで行うことが可能となる。

また、以下の説明では、例えば図２に示した基準画像Ｔにおける画素について、基準画像Ｔの左下隅の画素を原点とし、右向きにｉ軸、上向きにｊ軸をとった場合の画素の座標（ｉ，ｊ）を用いて、画素ｐi,jのように表す。また、画素ｐi,jの画像データＤをＤi,jのように表す。

統合処理手段１０は、撮像手段２により撮像が開始されると（ステップＳ１）、ｉおよびｊの値をそれぞれ０に設定する（ステップＳ２）。前述したように、撮像手段２で撮像された水平ライン０（すなわちｊ座標が０の各画素からなる水平ラインｊ）上の左端の画素ｐ0,0（すなわち原点の画素）の画像データＤ0,0の処理部９への入力が開始されると（ステップＳ３）、続いて、画素ｐ1,0、ｐ2,0、ｐ3,0、…の画像データＤ1,0、Ｄ2,0、Ｄ3,0、…が順次入力される。

統合処理手段１０は、水平ラインｊの右端の画素まで処理を完了していなければ（ステップＳ４；ＮＯ）、処理が繰り返されるごとにｉ座標を１ずつインクリメントして（ステップＳ５）、設定した注目画素ｐi,jを水平ラインｊ上の右隣の画素に移動させながら（ステップＳ６）、処理を続ける。

また、水平ラインｊの右端の画素まで処理を完了すると（ステップＳ４；ＹＥＳ）、基準画像Ｔの最上段の水平ラインまで処理が終了していなければ（ステップＳ７；ＮＯ）、処理を行う水平ラインｊを１行上方の水平ラインｊ＋１に移行させ、注目画素のｉ座標を０に設定して（ステップＳ８）、画素ｐ0,j+1を注目画素として（ステップＳ６）処理を行い、注目画素を画素ｐ0,j+1から順に右側に移動させながら処理を続行する。

次に、注目画素を画素ｐi,jに設定（ステップＳ６）した後の統合処理手段１０における処理（図８のステップＳ９以降）について説明する。

統合処理手段１０は、まず、注目画素ｐi,jと、図９（Ａ）に示すように注目画素ｐi,jが入力されるより以前に入力されていて注目画素ｐi,jの左に隣接する画素ｐi-1,jについて、下記の条件１や条件２を満たすか否かの判定を行う（ステップＳ９）。

［条件１］注目画素ｐi,jの画像データＤi,jと、左に隣接する画素ｐi-1,jの画像データＤi-1,jとの差分ΔＤleft（ｉ，ｊ）、すなわち、
ΔＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄi-1,j｜ …（１）
が、予め設定された第１閾値ΔＤth未満である。なお、以下、上記のような隣接する画素間の画像データＤの差分ΔＤをエッジ強度という。

［条件２］図９（Ｂ）に示すように、注目画素ｐi,jの画像データＤi,jと、左に隣接する画素ｐi-1,jが属する画素領域ｇに属する全画素の画像データＤの平均値Ｄave-leftとの差分δＤleft（ｉ，ｊ）、すなわち、
δＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄave-left｜ …（２）
が、予め設定された第２閾値δＤth未満である。なお、以下、上記のように、注目画素ｐi,jの画像データＤi,jと、隣接する画素が属する画素領域ｇの画像データＤの平均値Ｄaveとの差分δＤを平均値差分という。

なお、画素領域ｇに属する全画素の画像データＤの平均値Ｄaveは後述するステップＳ１６で算出される。また、左に隣接する画素ｐi-1,jが属する画素領域ｇが当該左に隣接する画素ｐi-1,jのみで構成されている場合もあり、その場合、画素領域ｇに属する全画素の画像データＤの平均値Ｄave-leftは、当該左に隣接する画素ｐi-1,jの画像データＤi-1,jに等しい。

統合処理手段１０は、条件１と条件２をともに満たすと判定した場合には（ステップＳ９；ＹＥＳ）、ステップＳ１０の判定処理に進み、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ９；ＮＯ）、ステップＳ１３の判定処理に進む。なお、上記の第１閾値ΔＤthと第２閾値δＤthとは同じ値に設定されても異なる値に設定されてもよく、それらの閾値の値は適宜設定される。

統合処理手段１０は、ステップＳ９の判定処理で、条件１と条件２をともに満たすと判定すると（ステップＳ９；ＹＥＳ）、続いて、注目画素ｐi,jと、図１０（Ａ）に示すように注目画素ｐi,jが入力されるより以前に入力されていて注目画素ｐi,jの下に隣接する画素ｐi,j-1について、上記と同様に、下記の条件３や条件４を満たすか否かの判定を行う（ステップＳ１０）。

［条件３］注目画素ｐi,jの画像データＤi,jと、下に隣接する画素ｐi,j-1の画像データＤi,j-1とのエッジ強度ΔＤlower（ｉ，ｊ）、すなわち、
ΔＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄi,j-1｜ …（３）
が、予め設定された前述した第１閾値ΔＤth未満である。

［条件４］図１０（Ｂ）に示すように、注目画素ｐi,jの画像データＤi,jと、下に隣接する画素ｐi,j-1が属する画素領域ｇに属する全画素の画像データＤの平均値Ｄave-lowerとの平均値差分δＤlower（ｉ，ｊ）、すなわち、
δＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄave-lower｜ …（４）
が、予め設定された前述した第２閾値δＤth未満である。

なお、この場合も、下に隣接する画素ｐi,j-1が属する画素領域ｇが当該下に隣接する画素ｐi,j-1のみで構成されている場合もあり、その場合、画素領域ｇに属する全画素の画像データＤの平均値Ｄave-lowerは、当該下に隣接する画素ｐi,j-1の画像データＤi,j-1に等しい。

そして、統合処理手段１０は、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１０；ＮＯ）、注目画素ｐi,jを、下に隣接する画素ｐi,j-1とは統合せず、ステップＳ９の判定処理で上記の条件１と条件２を満たすと判定しているため、注目画素ｐi,jを左に隣接する画素ｐi-1,jと一つの画素領域ｇに統合する（ステップＳ１１）。

その際、図９（Ａ）に示したように、左に隣接する画素ｐi-1,jが他の画素と統合されていなければ、注目画素ｐi,jと左に隣接する画素ｐi-1,jが統合されて、左右に隣接する２つの画素からなる画素領域ｇが新たに形成される。また、例えば図９（Ｂ）に示したように、左に隣接する画素ｐi-1,jが画素領域ｇに属していれば、注目画素ｐi,jが画素領域ｇに追加されるように統合され、画素領域ｇが注目画素ｐi,jの分だけ１画素分拡大する。

次に、統合処理手段１０は、ステップＳ１０の判定処理で、条件３と条件４をともに満たすと判定した場合には（ステップＳ１０；ＹＥＳ）、注目画素ｐi,jを、下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jと統合する（ステップＳ１２）。

その際、図１０（Ａ）に示したように、下に隣接する画素ｐi,j-1が他の画素と統合されていなければ、注目画素ｐi,jと下に隣接する画素ｐi,j-1が統合されて、上下に隣接する２つの画素からなる画素領域ｇが新たに形成される。また、例えば図１０（Ｂ）に示したように、下に隣接する画素ｐi,j-1が画素領域ｇに属していれば、注目画素ｐi,jが画素領域ｇに追加されるように統合され、画素領域ｇが注目画素ｐi,jの分だけ１画素分拡大する。

また、例えば図１１（Ａ）に示すように、左に隣接する画素ｐi-1,jが画素領域ｇ１に属し、下に隣接する画素ｐi,j-1が他の画素領域ｇ２に属している場合、注目画素ｐi,jを下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jと統合することで（ステップＳ１２）、図１１（Ｂ）に示すように、注目画素ｐi,jを介して画素領域ｇ１と画素領域ｇ２とが統合されて一つの画素領域ｇとなる。

一方、統合処理手段１０は、ステップＳ９の判定処理で、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ９；ＮＯ）、ステップＳ１３の判定処理に進み、上記と同様に、条件３や条件４を満たすか否かの判定を行う（ステップＳ１３）。

そして、統合処理手段１０は、条件３と条件４をともに満たすと判定した場合には（ステップＳ１３；ＹＥＳ）、ステップＳ９の判定処理で条件１と条件２の少なくとも一方を満たさないと判定しているため（ステップＳ９；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとは統合せず、下に隣接する画素ｐi,j-1のみと統合する（ステップＳ１４）。

なお、本実施形態では、道路面や道路面に標示された車線等は物体として検出せず、道路面より上側に存在する物体を検出することが目的であるため、ステップＳ９、Ｓ１０、Ｓ１３の判定処理で、条件１〜条件４等の判定基準のほかに、道路面や道路面に標示された車線等が撮像されている画素（以下、道路面に対応する画素という。）と、それより上側に存在する物体が撮像されている画素（以下、物体に対応する画素という。）とを統合せず、それぞれ別の画素領域ｇに統合されるように構成することが可能である。

すなわち、例えば、距離検出手段６で検出された画素ｐの視差ｄｐ等に基づいて前述した三角測量の原理に基づく座標変換により当該画素ｐに対応する実空間上の点の高さＹと、路面検出手段１５が検出した当該視差ｄｐに対応する実空間上の距離Ｚにおける道路面の高さＹ^＊から、当該画素ｐに対応する実空間上の点の道路面からの高さＹ−Ｙ^＊を算出する。

そして、道路面からの高さＹ−Ｙ^＊が所定の閾値以上である場合には、当該画素ｐは物体に対応する画素であり、閾値未満である場合には、当該画素ｐは道路面に対応する画素であると判定することができる。所定の閾値は、例えば１０ｃｍ等に設定される。

なお、実空間上の距離Ｚにおける道路面の高さＹ^＊は、図６（Ｂ）に示した車線モデルから線形補間する等して求めることができる。また、路面検出手段１５で今回のサンプリング周期における車線モデルが検出されていなければ、前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルを推定して用いることができる。

そして、統合処理手段１０は、注目画素ｐi,jと、その左や下に隣接する画素ｐのいずれか一方が物体に対応する画素であり、他方が道路面に対応する画素である場合には、ステップＳ９、Ｓ１０、Ｓ１３の判定処理で条件１〜条件４を満たす場合であっても、それらの画素を統合しないように構成することが可能である。

このように構成すれば、道路面に対応する画素ｐで形成される画素領域ｇを、道路面より上側に存在する物体が撮像されている画素領域ｇであると誤検出したり、逆に、物体に対応する画素ｐで形成される画素領域ｇを、道路面や道路面に標示された車線等が撮像されている画素領域ｇであると誤検出することを防止することが可能となる。

また、道路面に対応する画素であると判定した画素ｐに所定のフラグを対応付ける等するように構成すれば、画素ｐに所定のフラグが対応付けられているかを判定して、当該画素ｐが道路面に対応する画素すなわち道路面や道路面に標示された車線等が撮像されている画素であるか否かを容易に判定することが可能となる。

統合処理手段１０は、ステップＳ１１、Ｓ１２、Ｓ１４の処理で、注目画素ｐi,jを隣接する画素ｐと統合すると、拡大した画素領域ｇの画素数を更新し、画素領域ｇの左端、右端の画素の各座標や上端、下端の画素の各座標に変更があれば更新する。また、例えば図１１（Ｂ）に示したように、複数の画素領域ｇ１、ｇ２が統合されて一つの画素領域ｇとされた場合には、一つに統合された画素領域ｇの画素領域番号を、統合の対象となった複数の画素領域ｇ１、ｇ２の各画素領域番号のうち例えば最も小さい番号を選択する等して更新する（ステップＳ１５）。

また、統合処理手段１０は、注目画素ｐi,jを追加して拡大した画素領域ｇや、複数の画素領域ｇ１、ｇ２を統合して形成した画素領域ｇに属する全画素ｐの画像データＤの平均値Ｄaveを算出して更新する（ステップＳ１６）。統合処理手段１０は、ステップＳ１６の処理を終了すると、図７のステップＳ４の判定処理以降の処理を続行する。

一方、統合処理手段１０は、ステップＳ１３の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１３；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとも下に隣接する画素ｐi,j-1とも統合せず、注目画素ｐi,jのみが属する新たな画素領域ｇとして登録する（ステップＳ１７）。

なお、統合処理手段１０での統合処理の際、統合した画素領域ｇの画素数が非常に小さく、ノイズ等のように無視してよい画素領域である場合に、そのような画素領域ｇを登録から削除するように構成することも可能である。

そして、統合処理手段１０は、この新規の画素領域ｇの画素数を１とし、左右端、上下端の画素の各座標をそれぞれ注目画素ｐi,jの座標（ｉ，ｊ）として記録し、新規の画素領域ｇに新たな画素領域番号を付ける（ステップＳ１５）。また、統合処理手段１０は、この新規の画素領域ｇの画像データＤの平均値Ｄaveとして、当該注目画素ｐi,jの画像データＤi,jを記録して（ステップＳ１６）、図７のステップＳ４の判定処理以降の処理を続行する。

そして、水平ラインｊの右端の画素まで処理を完了し（図７のステップＳ４；ＹＥＳ）、基準画像Ｔの最上段の水平ラインまで処理が終了すると（ステップＳ７；ＹＥＳ）、統合処理手段１０は、各画素領域ｇに属する各画素ｐの各座標（ｉ，ｊ）や画素数、左右端の画素の各座標、上下端の画素の各座標、画素領域ｇの画像データＤの平均値Ｄave等の情報を、当該基準画像Ｔと対応付けて図示しない記憶手段に保存する。また、必要に応じてそれらの情報を外部に出力する。

また、その際、例えば、各画素領域ｇの左右端の画素位置の中間点をｉ座標とし、上限端の画素位置の中間点をｊ座標とする中心点を各領域ごとに算出し、上記の各情報とともに記憶手段に保存するとともに、必要に応じて外部に出力するように構成することも可能である。

物体検出手段１１は、上記の統合処理手段１０における統合処理と並行して、まず、距離検出手段６の検出領域、すなわち本実施形態では距離検出手段６で算出された距離画像Ｔｚに基づいて、基準画像Ｔ中に撮像された物体を検出する。本実施形態では、物体検出手段１１は、距離検出手段６の検出領域、すなわち本実施形態では距離画像Ｔｚの全領域を複数に区分し、それぞれの区分ごとに得られた距離データをグループ化して物体を検出するようになっている。

具体的には、物体検出手段１１は、例えば図３に示した距離画像Ｔｚを図１２に示すように所定幅の縦方向に延在する短冊状の区分ｄｎに分割する。そして、図１３に示すように、各区分ｄｎごとにヒストグラムＨｎを作成し、各区分ｄｎに含まれる視差ｄｐのうち道路面より上方に存在する視差ｄｐをヒストグラムＨｎに投票し、その最頻値ｄｐｎをその区分ｄｎの距離データｄｐｎとする。これを全区分ｄｎについてそれぞれ行う。

そして、物体検出手段１１は、各区分ｄｎの距離データｄｐｎ等に基づいて前述した三角測量の原理に基づく座標変換により各距離データｄｐｎの実空間上の座標（Ｘ，Ｙ，Ｚ）を算出する。道路面より高い位置にある座標を実空間上にプロットすると、各距離データｄｐｎに対応する実空間上の各点は、図１４に示すように、前方の物体の自車両ＭＣに面した部分に対応する部分に多少ばらつきを持ってプロットされる。

物体検出手段１１は、このようにプロットされた各点について、実空間上で隣接する点同士のＸ軸方向（水平方向）の間隔ΔＸが設定された閾値ΔＸth以内であり、かつ、Ｚ軸方向（距離方向）の間隔ΔＺが設定された閾値ΔＺth以内であるか否かを判定し、間隔ΔＸ、ΔＺがともに閾値ΔＸth、ΔＺth以内である場合に、それらの隣接する点を一つのグループとしてグループ化する。

このようにして、物体検出手段１１は、各距離データｄｐｎに対応する実空間上の各点の隣接する点同士をグループ化できるか否かを判定しながらグループ化していき、各点をそれぞれグループにまとめていく。そして、図１５に示すように、それぞれ一つのグループにまとめられた各点を直線近似して物体を検出するようになっている。物体検出手段１１は、このようにして検出した物体の情報を一旦記憶手段に保存する。

なお、本実施形態では、物体検出手段１１は、このようにして検出した各物体を、図１６に示すように、基準画像Ｔ上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図１５や図１６において、ラベルＯやラベルＳは物体の自車両ＭＣに対向する面の種別を表し、ラベルＯは物体の背面、ラベルＳは物体の側面が検出されていることを表す。また、本実施形態では、各物体を包囲する矩形状の枠線の下端が、車線検出手段１５が検出した道路面の位置に設定される。

割り当て手段１２は、物体検出手段１１で距離画像Ｔｚを所定幅の縦方向に延在する短冊状の複数の区分ｄｎ（図１２参照）に分割した場合と同じ要領で、各画素ｐが各画素領域ｇに統合された基準画像Ｔを複数に区分する。そして、物体検出手段１１が基準画像Ｔ中に検出した物体が基準画像Ｔ中で占める範囲内（すなわち枠線内）に存在する画素領域ｇの画像データに基づいて、前記範囲に属する各区分ｄｎごとに少なくとも一つ以上の代表画像データＤｎを割り当てるようになっている。

本実施形態では、各画素ｐの画像データＤは、前述したように例えば２５６階調のグレースケールの輝度のデータであるため、代表画像データＤｎは、物体が占める枠線の範囲内に属する各区分ｄｎの代表的な輝度を表すものとなる。

具体的には、例えば図２２に示した基準画像Ｔに対して統合処理手段１０で統合処理を行うと、図１７に濃淡を付して示すように基準画像Ｔが各画素領域ｇに分割される。そして、物体検出手段１１により検出された物体を包囲する矩形状の枠線を図１７の基準画像Ｔ上に示すと、例えば図中右側の２人の人物が同一の物体Ｏ１として検出され、図中左側の人物と自転車とが同一の物体Ｏ２として検出される。なお、物体検出手段１１ではさらに多くの物体が検出されるが、ここでは枠線等の図示を省略する。

割り当て手段１２は、このような基準画像Ｔを、物体検出手段１１で距離画像Ｔｚを所定幅の縦方向に延在する短冊状の複数の区分ｄｎ（図１２参照）に分割した場合と同じ要領で、同じ位置を複数の区分ｄｎに分割する。そして、例えば物体Ｏ１の枠線の範囲内に存在する画素領域ｇの画像データに基づいて、枠線Ｏ１の範囲内に属する各区分ｄｎごとに代表画像データＤｎを割り当てる。

本実施形態では、割り当て手段１２は、枠線Ｏ１の範囲内に属する各区分ｄｎの代表画像データＤｎとして、枠線Ｏ１の範囲内の当該区分ｄｎにおいて、画素数が最も多い画素領域ｇの画像データ、すなわち当該画素領域ｇに属する全画素の画像データＤの平均値Ｄaveを割り当てるようになっている。

なお、画素数が最も多い画素領域ｇの画像データを割り当てる代わりに、枠線Ｏ１の範囲内の当該区分ｄｎにおいて、画素領域ｇを実空間上の面積に換算した場合にその実空間上の面積が最も大きい画素領域ｇの画像データＤすなわち画像データＤの平均値Ｄaveを当該区分ｄｎの代表画像データＤｎとして割り当てるように構成することも可能である。

また、割り当て手段１２が枠線Ｏ１の範囲内に属する各区分ｄｎごとに代表画像データＤｎを割り当てる際、代表画像データＤｎを与える画素領域ｇとして、道路面や道路面に標示された車線等が撮像されている画素領域ｇが選択されないように構成することが好ましい。

そのため、例えば、画素領域ｇを形成する各画素ｐに、前述したように統合処理手段１０により所定のフラグが対応付けられているか否かを判定し、所定のフラグが対応付けられている場合には当該画素領域ｇは道路面や道路面に標示された車線等が撮像されている画素領域ｇであると判定して、当該画素領域ｇを、枠線Ｏ１の範囲内に属する区分ｄｎごとに代表画像データＤｎを算出する対象から予め除外するように構成することが可能である。

このように構成すると、図１７に示した枠線Ｏ１の範囲内の最も右側の２列の区分ｄｎでは、人物が着用している暗い色の上衣が撮像された画素領域ｇの画像データＤの平均値Ｄaveが代表画像データＤｎとして割り当てられ、枠線Ｏ１の範囲内の最も左側の２列の区分ｄｎでは、人物が着用している明るい色の上衣が撮像された画素領域ｇの画像データＤの平均値Ｄaveが代表画像データＤｎとして割り当てられる。

閾値可変手段１３は、上記の各区分ｄｎごとの代表画像データＤｎに基づいて、前述した距離データｄｐｎ、すなわち図１２に示した距離画像Ｔｚを分割する各区分ｄｎごとの距離データｄｐｎ同士をグループ化するか否かの判定の基準となるＸ軸方向（水平方向）の間隔ΔＸに対する閾値ΔＸthと、Ｚ軸方向（距離方向）の間隔ΔＺに対する閾値ΔＺthとを可変させるようになっている。

本実施形態では、閾値可変手段１３は、割り当て手段１２により例えば枠線Ｏ１の範囲内に属する区分ｄｎごとに割り当てられた代表画像データＤｎ（画像データＤの平均値Ｄave）同士が近い値であるほど、距離データｄｐｎ同士がグループ化されやすくなるように閾値ΔＸthと閾値ΔＺthとを可変させるようになっている。

例えば、図１７に示した枠線Ｏ１の範囲内の最も右側の２列の区分ｄｎでは、人物が着用している上衣が撮像された画素領域ｇの画像データＤの平均値Ｄaveが代表画像データＤｎとして割り当てられ、この２列の区分ｄｎでは、代表画像データＤｎが同一の値（すなわち最も近い値）となる。

そのため、この２列の区分ｄｎに対応する距離画像Ｔｚを分割する各区分ｄｎ（図１２参照）の距離データｄｐｎ同士においては、それらがグループ化されやすくなるように、例えば閾値ΔＸthと閾値ΔＺthとがともにより大きな値になるように可変される。

すなわち、割り当てられた代表画像データＤｎ同士が近い値（この場合は同一の値）であれば、それに対応する距離画像Ｔｚの各区分ｄｎの距離データｄｐｎ同士が、通常の閾値ΔＸth、ΔＺthではグループ化されない場合でも、閾値ΔＸth、ΔＺthをより大きな値に可変させてグループ化されやすくする。

図１７で、別の人物が着用している上衣が撮像された画素領域ｇの画像データＤの平均値Ｄaveが代表画像データＤｎとして割り当てられる枠線Ｏ１の範囲内の最も左側の２列の区分ｄｎにおいても同様である。

しかし、図１７に示した枠線Ｏ１の範囲内の右側と左側の区分ｄｎ同士では、２人の人物が着用している上衣の明るさ（輝度すなわち画像データＤ）が異なるため、左右の各区分ｄｎに割り当てられた代表画像データＤｎ同士は遠い値になる。そのため、左右の各区分ｄｎに対応する距離画像Ｔｚの各区分ｄｎの距離データｄｐｎ同士のグループ化の判定においては、それらがグループ化され難くなるように、例えば閾値ΔＸthと閾値ΔＺthとがともにより小さな値になるように可変される。

すなわち、割り当てられた代表画像データＤｎ同士が遠い値であれば、それに対応する距離画像Ｔｚの各区分ｄｎの距離データｄｐｎ同士が、通常の閾値ΔＸth、ΔＺthではグループ化される場合でも、閾値ΔＸth、ΔＺthをより小さな値に可変させることで、グループ化され難くする。

なお、閾値ΔＸthや閾値ΔＺthを可変させる手法としては、例えば、閾値ΔＸthや閾値ΔＺthを、各区分ｄｎに割り当てられた代表画像データＤｎ同士の差の絶対値の単調増加関数として予め定義しておくように構成することが可能である。

また、例えば、各区分ｄｎに割り当てられた代表画像データＤｎ同士の差の絶対値に対して複数の数値範囲を予め設定しておき、例えば、差の絶対値が小さい数値範囲にある場合には、所定の閾値ΔＸthや閾値ΔＺthから正の値の所定値を減算し、差の絶対値が中程度の数値範囲にある場合には、所定の閾値ΔＸthや閾値ΔＺthを可変させず、差の絶対値が大きい数値範囲にある場合には、所定の閾値ΔＸthや閾値ΔＺthに正の値の所定値を加算するようにして可変させるように構成することが可能である。

再検出手段１４は、上記のようにして閾値可変手段１３で可変させた閾値ΔＸth、ΔＺthに基づいて、再度、物体検出手段１１における処理と同様の処理を行い、距離データｄｐｎをグループ化して、基準画像Ｔ中で物体を検出するようになっている。

距離画像Ｔｚを複数の区分ｄｎに分割し、各区分ｄｎに含まれる道路面より上方に存在する視差ｄｐをヒストグラムＨｎに投票して、その最頻値ｄｐｎをその区分ｄｎの距離データｄｐｎとする処理は物体検出手段１１により既に行われているため、再検出手段１４はその検出結果を利用する。

そして、再検出手段１４は、区分ｄｎごとの距離データｄｐｎをグループ化する際、グループ化の判定の対象となる距離データｄｐｎに対応する２つの区分ｄｎにおける閾値ΔＸth、ΔＺthが可変されていれば、その可変された閾値ΔＸth、ΔＺthに基づいて距離データｄｐｎ間のＸ軸方向（水平方向）の間隔ΔＸが設定された閾値ΔＸth以内であり、かつ、Ｚ軸方向（距離方向）の間隔ΔＺが設定された閾値ΔＺth以内であるか否かの判定を行い、間隔ΔＸ、ΔＺがともに可変された閾値ΔＸth、ΔＺth以内である場合に、それらを一つのグループとしてグループ化する。

このようにして、再検出手段１４で、再度、物体の検出を行うと、上記のように閾値ΔＸth、ΔＺthが可変されているため、例えば、図１７に示した枠線Ｏ１の範囲内の右側と左側の２人の人物が分離して検出されやすくなり、その結果、図１８に示すように、物体検出手段１１では同一の物体Ｏ１として検出された２人の人物がそれぞれ別の物体として分離されて検出される。

また、図１７に示したように、物体検出手段１１で同一の物体Ｏ２として検出された図中左側の人物と自転車も、上記のように閾値ΔＸth、ΔＺthが可変された結果、図１８に示すように、再検出手段１４で、人物と自転車とがそれぞれ別の物体として検出される。

一方、図２４および図２５に示したように、閾値ΔＸth、ΔＺthを可変させないと、例えば、先行車両の背面部分の左右のエッジ部分がそれぞれ別の物体として検出されてしまう場合があった。

しかし、本実施形態では、図示を省略するが、統合処理手段１０で先行車両の背面部分の各画素ｐが一つまたは数個の画素領域ｇに統合される。そして、割り当て手段１２で、図２５に示した別の物体として検出された２つの枠線の範囲内の各区分ｄｎの各代表画像データＤｎとして、先行車両の背面部分の暗い画像データＤ（輝度）の平均値Ｄaveが割り当てられる。

そして、図２５の２つの枠線の範囲内の各区分ｄｎに割り当てられた代表画像データＤｎ同士が非常に近い値になり、或いは、同一の値になる。そのため、閾値可変手段１３で、図２５の２つの枠線の範囲内の各区分ｄｎに対応する距離画像Ｔｚを分割する各区分ｄｎ（図１２参照）の距離データｄｐｎ同士のグループ化における閾値ΔＸthと閾値ΔＺthとがともにより大きな値になるように可変され、それらがグループ化されやすくなる。

そのため、再検出手段１４で、可変させた閾値ΔＸth、ΔＺthに基づいて、再度、物体の検出を行うと、図１９に示すように、先行車両が一つの物体として基準画像Ｔ中に統合されて検出される。

以上のように、本実施形態に係る物体検出装置１によれば、統合処理手段１０で、撮像手段２が撮像した画像Ｔ（基準画像Ｔ）の各画素ｐの輝度等の画像データＤに基づいて隣接する画素ｐを統合していき、画像Ｔを複数の画素領域ｇに分割する。

そして、割り当て手段１２で、物体検出手段１１が各区分ｄｎの距離データｄｐｎに基づいて画像Ｔ中に検出した物体の範囲内の各区分ｄｎを代表する画像データＤを、区分ｄｎごとに代表画像データＤｎとして割り当て、それに基づいて閾値可変手段１３で距離データｄｐｎをグループ化する際の閾値ΔＸth、ΔＺthを可変させる。そして、再検出手段１４でその可変された閾値ΔＸth、ΔＺthに基づいて距離データｄｐｎをグループ化して、再度、物体を検出する。

従来の物体検出装置では、固定された閾値ΔＸth、ΔＺthを用いていたため、画像Ｔ中で本来別々の物体として検出されるべき撮像対象が一つの物体として検出されてしまったり、或いは、一つの物体として検出されるべき撮像対象が複数の物体として検出されてしまう可能性があった。

しかし、本実施形態に係る物体検出装置１によれば、画像Ｔ中に物体として検出された範囲内の各区分ｄｎの代表的な輝度（代表画像データＤｎ）に応じて閾値ΔＸth、ΔＺthを可変させて再検出を行うことで、上記のような事態が発生する可能性を格段に低下させることが可能となり、距離検出手段６が検出した視差ｄｐ（或いは実空間上の距離Ｚ）に基づく距離データｄｐｎを的確にグループ化して物体を的確に検出することが可能となる。

そして、検出した物体の情報を車両の自動制御等に活用すれば、的確に検出した物体の情報に基づいて制御を行うことが可能となり、車両の安全走行等を的確に実現することが可能となる。

なお、本実施形態では、割り当て手段１２で、物体検出手段１１が基準画像Ｔ中に検出した物体が基準画像Ｔ中で占める範囲内（すなわち枠線内）に属する各区分ｄｎごとに一つの代表画像データＤｎを割り当てる場合について説明した。しかし、各区分ｄｎごとに複数の代表画像データＤｎを割り当てるように構成することも可能である。

そして、例えば、割り当て手段１２で、物体の範囲内に存在する画素領域ｇの画像データの全てを代表画像データＤｎとして割り当て、閾値可変手段１３で、各区分ｄｎごとの代表画像データＤｎのいずれか一つでも同一の代表画像データが含まれている場合、或いは、各区分ｄｎごとの代表画像データＤｎ同士の差の絶対値が所定の閾値以下である場合に前記閾値ΔＸth、ΔＺthを可変させるように構成することも可能である。

このように構成すれば、一つの物体に対応すると考えられる画素領域ｇが複数の区分ｄｎに跨って存在するような場合に、前記閾値ΔＸth、ΔＺthが可変されてそれらの複数の区分ｄｎにおける距離データがグループ化されやすくなり、一つの物体が一つの物体として検出される可能性をより向上させることが可能となる。

また、本実施形態では、割り当て手段１２で、物体が基準画像Ｔ中で占める枠線の範囲内に属する各区分ｄｎごとに代表画像データＤｎを割り当てる際、図１７に示したように、枠線の範囲内を縦方向に延在する短冊状の区分ｄｎごとに代表画像データＤｎを割り当てる場合について説明した。

しかし、例えば物体として検出される人物の着衣は上衣と下衣で明るさが違ったり、或いは、図１９に示したように、車両の上側にはリアガラス等のガラス部分が撮像され、下側にはバンパ部分やタイヤ、下部シャシ等が撮像され、それらの中間部分には、テールランプやウインカ等が撮像されている場合が多い。

そこで、割り当て手段１２で物体が検出された枠線の範囲内に属する区分ｄｎごとに代表画像データＤｎを割り当てる際に、図２０に示すように、範囲内に属する区分ｄｎを、さらにそれぞれ画像Ｔ（基準画像Ｔ）の縦方向に複数の区分領域ｄｎ１、ｄｎ２、…に分割し、各区分ｄｎの各区分領域ｄｎ１、ｄｎ２、…ごとに代表画像データＤｎ１、Ｄｎ２、…を割り当てるように構成することが可能である。

なお、「縦方向に分割する」という場合、図２０に示すように、各区分領域ｄｎ１、ｄｎ２、…が画像Ｔ中で縦方向に並ぶように分割することをいう。また、図２０では縦方向に３分割する場合が示されているが、これに限定されず、状況等に応じて区分ｄｎを区分領域ｄｎ１、ｄｎ２、…に分割する分割数が適宜設定される。

その際、割り当て手段１２は、例えば、区分ｄｎの各区分領域ｄｎ１、ｄｎ２、…の各代表画像データＤｎ１、Ｄｎ２、…として、例えば、各区分領域において画素数が最も多い画素領域ｇの画像データ、すなわち当該画素領域ｇに属する全画素の画像データＤの平均値Ｄaveを割り当てる。

そして、この場合、閾値可変手段１３では、２つの区分ｄｎ同士の区分領域ｄｎ１の代表画像データＤｎ１同士の差分、区分領域ｄｎ２の代表画像データＤｎ２同士の差分等を算出し、例えば、それらの差分の絶対値の最小値に応じて閾値ΔＸth、ΔＺthを可変させる。或いは、差分の絶対値の最小値を用いる代わりに、全ての区分領域ｄｎ１、ｄｎ２、…の各差分の絶対値の総和や平均値、重み付け平均値、中間値等を用いて閾値ΔＸth、ΔＺthを可変させるように構成してもよい。

このように構成すれば、物体検出手段１１が画像Ｔ中に検出した物体の範囲を上下方向に複数の区分領域に分割して閾値ΔＸth、ΔＺthを的確に可変させ、再検出手段１５で、物体の範囲をさらに分離したり（図１８の場合）、物体の範囲を統合したりして（図１９の場合）、別々の物体を別々の物体として、また、一つの物体を一つの物体としてさらに的確に検出することが可能となる。

また、再検出手段１４で物体の再度の検出を行う際、グループ化の判定の対象である２つの距離データｄｐｎの間の画素部分に、路面に相当する距離データｄｐｎが存在する場合には、それらの距離データｄｐｎの間に路面が撮像されていることから、それらの距離データｄｐｎは別々の物体に対応するものと考えられる。

そのため、そのような場合には、閾値可変手段１３で可変された閾値ΔＸth、ΔＺthに基づけばそれらの２つの距離データｄｐｎをグループ化することが可能な場合であっても、それらの２つの距離データｄｐｎを再度のグループ化の対象から除外して、グループ化しないように構成することが好ましい。

このように構成すれば、物体の再度の検出において、別々の物体を一つの物体として誤検出することが的確に防止され、本実施形態に係る物体検出装置１における物体検出の信頼性をより向上させることが可能となる。

さらに、本実施形態では、割り当て手段１２で物体が検出された枠線の範囲内に属する区分ｄｎごとに代表画像データＤｎを割り当てる場合について説明したが、各区分ｄｎに属する画素領域ｇの全てを用いて閾値ΔＸth、ΔＺthを可変させるように構成することも可能である。

すなわち、例えば、図２１に示すように、物体が検出された枠線の範囲内に属する区分ｄｎａに画素領域ｇａ、ｇｂ、ｇｃが属し、区分ｄｎｂに画素領域ｇｄ、ｇｅが属している場合、閾値可変手段１３で、この区分ｄｎａ、ｄｎｂについての閾値ΔＸth、ΔＺthを可変させる際、２つの区分ｄｎａ、ｄｎｂに属する全ての画素領域ｇａ〜ｇｅ同士の組み合わせ、すなわちこの場合はｇａ−ｇｄ、ｇａ−ｇｅ、ｇｂ−ｇｄ、ｇｂ−ｇｅ、ｇｃ−ｇｄ、ｇｃ−ｇｅを考える。

そして、この場合、閾値可変手段１３では、２つの区分ｄｎａ、ｄｎｂの全ての画素領域ｇａ〜ｇｅ同士の組み合わせにおいて、画素領域ｇに属する全画素の画像データＤの平均値Ｄave同士の差分等を算出し、例えば、それらの差分の絶対値の最小値に応じて閾値ΔＸth、ΔＺthを可変させる。或いは、差分の絶対値の最小値を用いる代わりに、全ての組み合わせの各差分の絶対値の総和や平均値、重み付け平均値、中間値等を用いて閾値ΔＸth、ΔＺthを可変させるように構成してもよい。

このように構成すれば、物体検出手段１１が画像Ｔ中に検出した物体の範囲の各区分ｄｎに属する画素領域ｇの情報を全て用いて閾値ΔＸth、ΔＺthを的確に可変させて、再検出手段１５で、物体の範囲をさらに分離したり（図１８の場合）、物体の範囲を統合したりして（図１９の場合）、別々の物体を別々の物体として、また、一つの物体を一つの物体としてさらに的確に検出することが可能となる。

１ 物体検出装置
２ 撮像手段
６ 距離検出手段
１０ 統合処理手段
１１ 物体検出手段
１２ 割り当て手段
１３ 閾値可変手段
１４ 再検出手段
Ｄ 画像データ
Ｄave 画像データの平均値
ｄｐｎ 距離データ
Ｄｎ 代表画像データ
ｄｎ 区分
Ｄｎ１、Ｄｎ２、… 区分領域ごとの代表画像データ
ｄｎ１、ｄｎ２、… 区分領域
ｇ 画素領域
Ｏ、Ｓ 物体
ｐ 画素
Ｔ 基準画像（画像）
Ｔｚ 距離画像（距離検出手段の検出領域）
Ｙ 実空間上の高さ
ΔＤ 差分
ΔＤth 第１閾値
δＤ 差分
δＤth 第２閾値
ΔＸth、ΔＺth 閾値

Claims (10)

1. 距離検出手段の検出領域を複数に区分し、それぞれの区分ごとに得られた距離データをグループ化して物体を検出する物体検出手段と、
   前記距離検出手段の検出領域を含む領域を撮像し、画素ごとに画像データを有する画像を撮像する撮像手段と、
   前記画像において隣接する複数の画素を当該複数の画素の各画像データに基づいて一つの画素領域に統合する統合処理手段と、
   前記画像を、前記距離検出手段の検出領域と同様に区分し、前記画像中に占める前記物体の範囲内に存在する前記画素領域の画像データに基づいて、前記範囲に属する前記区分ごとに少なくとも一つ以上の代表画像データを割り当てる割り当て手段と、
   前記区分ごとの少なくとも一つ以上の代表画像データに基づいて前記距離データのグループ化の閾値を可変させる閾値可変手段と、
   前記閾値可変手段が可変させた前記閾値に基づいて再度前記距離データをグループ化して前記物体の検出を行う再検出手段と、
   を備えることを特徴とする物体検出装置。
2. 前記統合処理手段は、一の前記画素と同一の画像中の前記一の画素より以前に前記画像データが送信された画素であって前記一の画素に隣接する画素の前記画像データと前記一の画素の画像データとの差分が所定の第１閾値未満であり、かつ、前記一の画素より以前に前記画像データが送信された前記隣接する画素が属する前記画素領域の前記画像データの平均値と前記一の画素の画像データとの差分が所定の第２閾値未満である場合に、前記一の画素および前記隣接する画素を一つの画素領域に統合することを特徴とする請求項１に記載の物体検出装置。
3. 前記割り当て手段は、前記範囲に属する前記区分において画素数が最も多い前記画素領域の画像データを当該区分の前記代表画像データとして割り当てることを特徴とする請求項１または請求項２に記載の物体検出装置。
4. 前記割り当て手段は、前記範囲に属する前記区分において実空間上の面積が最も大きい前記画素領域の画像データを当該区分の前記代表画像データとして割り当てることを特徴とする請求項１または請求項２に記載の物体検出装置。
5. 前記割り当て手段は、前記物体の範囲内に存在する前記画素領域の画像データの全てを代表画像データとして割り当て、
   前記閾値可変手段は、前記区分の前記代表画像データのいずれか一つでも同一の代表画像データが含まれている場合、または、前記区分の前記代表画像データ同士の差の絶対値が所定の閾値以下である場合には、前記距離データのグループ化の閾値を可変させることを特徴とする請求項１または請求項２に記載の物体検出装置。
6. 前記割り当て手段は、前記画素領域の距離データから算出される前記画素領域の実空間上の高さが路面から所定の閾値内にある場合には、当該画素領域を前記代表画像データの算出の対象から除外することを特徴とする請求項１から請求項５のいずれか一項に記載の物体検出装置。
7. 前記閾値可変手段は、前記割り当て手段により前記範囲に属する前記区分ごとに割り当てられた前記代表画像データ同士が近い値であるほど、前記距離データがグループ化されやすくなるように前記距離データのグループ化の閾値を可変させることを特徴とする請求項１から請求項６のいずれか一項に記載の物体検出装置。
8. 前記割り当て手段は、前記範囲に属する前記各区分をそれぞれ前記画像の縦方向に複数の区分領域に分割し、前記各区分の前記区分領域ごとに少なくとも一つ以上の代表画像データを割り当て、
   前記閾値可変手段は、前記区分の前記区分領域ごとの少なくとも一つ以上の代表画像データに基づいて前記距離データのグループ化の閾値を可変させることを特徴とする請求項１から請求項７のいずれか一項に記載の物体検出装置。
9. 前記再検出手段は、再度の前記距離データのグループ化の対象である２つの前記距離データの間に、路面に相当する前記距離データが存在する場合には、当該２つの前記距離データを前記再度のグループ化の対象から除外することを特徴とする請求項１から請求項８のいずれか一項に記載の物体検出装置。
10. 距離検出手段の検出領域を複数に区分し、それぞれの区分ごとに得られた距離データをグループ化して物体を検出する物体検出手段と、
    前記距離検出手段の検出領域を含む領域を撮像し、画素ごとに画像データを有する画像を撮像する撮像手段と、
    前記画像において隣接する複数の画素について、当該複数の画素の各画像データに基づいて当該複数の画素を一つの画素領域に統合する統合処理手段と、
    前記画像を、前記距離検出手段の検出領域と同様に区分し、前記距離データのグループ化の対象となる２つの前記区分に属する全ての前記画素領域同士の組み合わせに基づいて前記距離データのグループ化の閾値を可変させる閾値可変手段と、
    前記閾値可変手段が可変させた前記閾値に基づいて再度前記距離データをグループ化して前記物体の検出を行う再検出手段と、
    を備えることを特徴とする物体検出装置。