JP6397801B2 - 物体検知装置 - Google Patents

Description

本発明は、物体検知装置に関する。

物体検知装置の主な用途として、例えば、車両に搭載して障害物を検知することが挙げられる。前方の障害物が車両であった場合、該車両を検知して、その位置や速度情報をより精度よく算出できることが望ましい。算出された位置速度情報は、例えば、衝突回避機能や先行車追従機能の入力として利用され、より適切な車両制御の実現につながる。

本技術分野の背景技術として、特開2010-224936（特許文献１）がある。該公報には、「距離検出手段が検出した距離データを的確にグループ化して物体を的確に検出することが可能な物体検出装置を提供する。」と記載されている。特許文献１では、車両の背面ランプ情報を利用し、画像上における車両の存在領域を正確に算出することで、位置速度情報を精度よく算出することができると記載されている。

特開2010-224936号公報

しかしながら、特許文献１のように、車両を適切に検知するためにランプの情報を用いた場合、夜間やブレーキ中といった先行車のランプが点灯中のシーンにおける検知性能は向上するが、ランプが消灯中のシーンにおいては効果を発揮しない。より多くのシーンにおいて車両を適切に検知するために、シーンによらず利用可能な車両の特性を用いることが重要な課題となる。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車両を安定的に識別可能な物体検知装置を提供することである。

上記課題を解決する本発明の物体検知装置は、左撮像部と右撮像部で撮像した左画像と右画像から複数の立体物を検知する立体物検知部と、前記複数の立体物の中から左右に間隔を空けて存在する二つの立体物を結合候補として抽出する結合候補抽出部と、該結合候補として抽出された前記二つの立体物の間の中間領域に左右領域よりも視差密度が小さい視差疎領域が存在するか否かを判定する疎領域判定部と、前記中間領域に前記視差疎領域が存在すると判定された前記二つの立体物を一つの立体物と仮定したときの領域を前記左右の画像からそれぞれ抽出して相互に比較して見え方が同じか否かを判定するマッチング部と、該マッチング部によって見え方が同じと判定された場合に、前記二つの立体物を一つの立体物と判定する立体物結合部とを有することを特徴とする。

本発明によれば、車両を安定的に識別可能な物体検知装置を提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本実施例における物体検知装置の全体構成を説明する図。 立体物結合処理を行う実施例１の画像処理部の構成図。 全体処理の処理フローを示す図。 立体物結合部の処理フローを示した図。 視差の算出が容易な場合と困難な場合の例を説明する図。 サイズ判定処理Ｓ２２１の処理内容の説明図。 距離判定処理Ｓ２２２の処理内容の説明図。 視差疎領域判定処理Ｓ２２３における詳細な処理の内容を示したフロー図。 疎領域判定処理Ｓ３０４の処理内容の説明図。 左右マッチング処理Ｓ２２４の処理内容の説明図。 実施例２における画像処理部の構成を示した図。 立体物分割部３０１の処理フローを示した図。 実施例３における画像処理部の構成を示した図。 実施例３における画像処理部の処理フローを示す図。 実施例４における画像処理部の構成を示した図。 実施例４の処理フローを示した図。 実施例５における車両制御を含めた場合の全体構成を示した図。

以下、本発明の実施例について図面を用いて説明する。

［実施例１］
図１は、本実施例における物体検知装置の全体構成を説明する図である。物体検知装置は、車両に搭載されており、図１に示すように、ステレオカメラ１００と、メモリ１０３と、ＣＰＵ１０４と、画像処理部１１１と、外部通信部１１２を有している。ステレオカメラ１００は、左右一対をなして車両の前方を撮像する左撮像部１０１と右撮像部１０２を有する。

画像処理部１１１は、ステレオカメラ１００で撮像された画像から立体物を抽出し、抽出した立体物を時系列にトラッキングし、トラッキングした立体物の輪郭や視差形状を用いて車両らしいかどうかを識別する。識別結果は、外部通信部１１２によって物体検知装置の外部に送信され、アクセルやブレーキ、ステアリングなどの車両制御に利用される。

図２は、画像処理部１１１の構成を示した図である。画像処理部１１１は、視差算出部２０１、立体物検知部２０２、立体物結合部２０３、車両識別部２０４を有している。視差算出部２０１は、左撮像部１０１で撮像した画像と、右撮像部１０２で撮像した画像を用いて、同じ対象物の撮像位置のズレである視差を算出する。立体物検知部２０２は、視差算出部２０１で算出した視差の情報に基づいて立体物の検知を行う。

立体物検知部２０２は、立体物を検知するために、まず、視差算出部２０１で得られた視差情報と視差情報の画像座標とから、実空間上での点の座標を算出する。そして、それぞれの点について、点同士の距離を算出して近傍にある点同士をグルーピングする。グルーピング結果を１つの立体物としたとき、急激に傾きが変わる個所や視差がほぼ得られていない領域で分割することで、１つの塊と思われる立体物を検知する。このとき、車両を立体物として検知するケースでは、車両の左右を異なる立体物として検知する傾向にある。

図５は、視差の算出が容易な場合と困難な場合の例を説明する図である。視差の算出では、例えば、左画像のある領域を指定したとき、右画像で同じものが撮像された領域がないかを、右画像において横方向に向かって探索することが行われる。したがって、図５（１）に示すように、横方向に輝度の変化があり、縦方向のエッジがある領域では、対応する領域が定まりやすく、視差を算出しやすい。一方、図５（２）に示すように、横方向に輝度の変化がなく、例えば横方向のエッジが続いているような場合には、対応する領域が定まりにくく、視差を算出しにくい。

車両の場合、左右端は縦方向にエッジがあるので視差を算出しやすいが、中央部分は横方向のエッジがほとんどである。したがって、車両の左右部分では視差が密になり、中央部分では視差が疎になる。その結果、車両の左右端をそれぞれ別の立体物として検知することが多い。

立体物結合部２０３は、過分割された立体物を結合する処理を行う。すなわち、立体物結合部２０３は、立体物検知部２０２によって一つの立体物を複数の立体物として検知している可能性が高いと判断したときに、これら複数の立体物を結合して一つの立体物として検知する処理を行う。立体物結合部２０３による処理についての詳細は、後述する。

車両識別部２０４は、立体物検知部２０２及び立体物結合部２０３で一つの立体物として検知した立体物に対して車両識別判定を実施し、車両か否かを判定する。立体物検知部２０２で検知した立体物が１つの車両を複数の立体物としてとらえているケースにおいても、立体物結合部２０３において一つの立体物として統合されるため、車両識別部２０４では車両として適切に識別できる。

図３は、全体処理の処理フローを示す図である。図３に示すように、まず、ステレオカメラ１００による画像撮像が行われ（Ｓ１０１）、撮像されたステレオ画像に基づいて視差算出部２０１による視差の算出が行われる。そして、算出された視差の情報に基づいて立体物の検知が行われる（Ｓ１０３）。ここで、実際には一つの立体物を複数の立体物として誤検知しているか否かが判断され、複数の立体物として誤検知している可能性が高いときには、これら複数の立体物を結合して一つの立体物（結合立体物）とする（Ｓ１０４）。そして、Ｓ１０３において一つの立体物として検知された単独立体物や、Ｓ１０４において一つの立体物として結合された結合立体物が、車両か否かの車両識別判定が行われ（Ｓ１０５）、その判定結果に基づいて車両制御が行われる（Ｓ１０６）。

次に、立体物結合部２０３における処理内容について詳細に説明する。
図４は、立体物結合部２０３の処理フローを示した図である。データ入力処理Ｓ２１０において、処理に必要なデータを受信する。立体物検知結果入力処理Ｓ２１１において、立体物検知部２０２で検知した立体物検知結果を受信する。左右画像入力処理Ｓ２１２において、左撮像部１０１と右撮像部１０２で撮像した左右画像を受信する。

次に、結合可否判定処理Ｓ２２０において、受信した立体物に対して結合処理を実施して良いか否かの結合可否判定を行う。このとき、画像上で隣接した立体物のペアに対して判定を行う。ここでいう隣接は、立体物同士が画像上で接している必要はなく、２つの立体物を選んだ時にその間の領域に別の立体物が存在しておらず（別の立体物が検知されていない）、左右に間隔を空けて存在することを指す。結合可否判定処理Ｓ２２０では、サイズ判定処理Ｓ２２１、距離判定処理Ｓ２２２、視差疎領域判定処理Ｓ２２３、左右マッチング処理Ｓ２２４が行われる。

次に、立体物結合処理Ｓ２３０では、結合可否判定処理Ｓ２２０で結合可と判定された立体物のペアに対して結合処理を行う。例えば、領域に含まれる視差の平均値を再度計算することで立体物の距離を再算出したり、結合によって変化した高さや幅の情報を更新するなどの処理を行う。

図６は、サイズ判定処理Ｓ２２１の処理内容の説明図である。抽出された立体物のペアを結合したと仮定したとき、縦横比や高さ・幅が検出対象物である車両らしいサイズであるかどうかを判定する（サイズ判定部）。

例えば、（１）立体物検知結果に示すように、各立体物Ｄ１〜Ｄ６に対して、互いに隣り合う立体物同士を立体物結合候補として抽出する（結合候補抽出部）。（２）に示す例では、互いに隣り合う立体物（歩行者）Ｄ１と立体物（電柱）Ｄ２のペアを立体物結合候補(A)とし、立体物（歩行者）Ｄ５、Ｄ６のペアを立体物結合候補(C)とし、立体物（車両の左端と右端）Ｄ３、Ｄ４のペアを立体物結合候補(B)としている。この立体物結合候補の抽出は、画像内における全ての立体物に対して行われ、例えば特に図示していないが、立体物（電柱）Ｄ２と立体物（車両の左端）Ｄ３のペアと、立体物（車両の右端）Ｄ４と立体物（歩行者）Ｄ５のペアも立体物結合候補として抽出される。

そして、（２）立体物結合候補に示すように、各結合候補に対するサイズ判定が行われる（Ｓ２２１）。ここでは、二つの立体物の検知領域を所定の検知対象物の両端とした場合の大きさが、撮像距離に基づいて決定される検知対象物の大きさに相当するか否かが判断される。

例えば、立体物（歩行者）Ｄ１と立体物（電柱）Ｄ２のペアである立体物結合候補(A)は、電柱の高さが一般的な車両と比べて明らかに高いため、車両らしくない高さであるとしてサイズ判定結果をNGとする。そして、離れた立体物（歩行者）Ｄ５、Ｄ６のペアである立体物結合候補(C)は、高さについては車両らしいと判定されるが、幅が車両よりも極端に大きくなるため、車両らしくない幅であるとしてサイズ判定結果をNGとする。そして、立体物（車両の右端と左端）Ｄ３、Ｄ４のペアである立体物結合候補(B)は、高さ及び幅が共に車両らしいサイズであるとしてサイズ判定結果をOKとする。

図７は、距離判定処理Ｓ２２２の処理内容の説明図である。抽出された立体物のペアを結合したと仮定したとき、ペアとなる立体物同士の距離情報が、似たような値を持っているかどうかを判定する（距離判定部）。

例えば、（１）立体物検知結果に示すように、各立体物Ｄ７〜Ｄ１２に対して、互いに隣り合う立体物同士を立体物結合候補として抽出する（結合候補抽出部）。図７に示す例では、互いに隣り合う立体物（歩行者）Ｄ７と立体物（電柱）Ｄ８のペアを立体物結合候補(D)とし、立体物（歩行者）Ｄ１１、Ｄ１２のペアを立体物結合候補(F)とし、立体物（車両の左端と右端）Ｄ９、Ｄ１０のペアを立体物結合候補(E)としている。なお、図示していないが、立体物（電柱）Ｄ８と立体物（車両の左端）Ｄ９のペアと、立体物（車両の右端）Ｄ１０と立体物（歩行者）Ｄ１１のペアも立体物結合候補として抽出される。

そして、（２）立体物結合候補、及び（３）俯瞰図に示すように、各結合候補(D)〜(F)に対する距離判定が行われる（Ｓ２２２）。例えば立体物（歩行者）Ｄ７と立体物（電柱）Ｄ８のペアである結合候補(D)は、画像上で隣接しているため立体物結合候補とされたが、歩行者Ｄ７が手前に配置されているのに対して電柱Ｄ８が離れた位置に配置されており、ペアの間で撮像距離の距離情報が大きくずれているので、距離判定ＮＧとする。同様に、立体物（歩行者）Ｄ１１、Ｄ１２のペアである結合候補(F)も、撮像距離の距離情報が大きくずれているので、距離判定ＮＧとする。一方、立体物（車両の右端と左端）Ｄ９、Ｄ１０のペアである結合候補(E)は、撮像距離の距離情報がほぼ同じであるため、距離判定結果をＯＫとする。

サイズ判定処理Ｓ２２１と距離判定処理Ｓ２２２の少なくともいずれか一方で判定ＮＧであった場合、その立体物ペアは判定の対象外となり、その時点で結合判定ＮＧとして処理を終了する。これは、左右マッチング処理Ｓ２２４の処理不可が高いため、事前に候補の絞り込みを行うことで立体物結合部２０３全体の処理不可を軽減するためである。そして、サイズ判定処理Ｓ２２１と距離判定処理Ｓ２２２の両方で判定ＯＫであった場合、その立体物ペアは、次の視差疎領域判定処理Ｓ２２３の判定対象とされる。

視差疎領域判定処理Ｓ２２３では、立体物のペアの間の中間領域に左右領域よりも視差密度が小さい視差疎領域が存在するか否かが判定される。
図８は、視差疎領域判定処理Ｓ２２３における詳細な処理の内容を示したフロー図である。立体物ペア情報入力処理Ｓ３０１では、サイズ判定処理Ｓ２２１と距離判定処理Ｓ２２２の処理により疎領域判定の判定対象とされた立体物ペアの情報を受信する。判定領域決定処理Ｓ３０２では、立体物ペアの存在する左右の領域とその間の中間領域を抽出し、中間領域を疎領域判定の対象とする。疎判定閾値算出処理Ｓ３０３では、中間領域が視差疎領域であるか否かを判定するための視差密度閾値Ｔｈ１を算出して決定する。疎領域判定処理Ｓ３０４では、視差密度閾値Ｔｈ１に基づいて立体物ペアの間の中間領域が視差疎領域か否かの判定を行う。

図９は、疎領域判定処理Ｓ３０４の処理内容の説明図である。具体的な処理として、例えば、立体物ペアの左右領域Ａ１、Ａ２とその間の中間領域Ａ３に対して、縦一列ごとに視差の密度を算出する。視差の密度を算出するには、ある縦一列内に存在する有効視差（ステレオマッチングに成功した点）の面積を、縦一列の面積で割ればよい。得られた密度に対して、視差密度閾値（第１の閾値）Ｔｈ１を基準に視差疎領域か密領域かの判定を行う（疎領域判定部）。視差密度が視差密度閾値Ｔｈ１以下のときは、視差疎領域であると判定し、視差密度が視差密度閾値Ｔｈ１よりも大きいときは視差密領域と判定する。

視差密度閾値Ｔｈ１は、疎判定閾値算出処理Ｓ３０３で算出する。適切な固定値を設定もよいし、左右の視差密領域に対する割合などを設定して可変にしてもよい。図では、視差密度閾値Ｔｈ１を固定したときの視差密度と判定結果の一例を示した。本実施例では一例として画像の縦一列毎に密度を算出する手法を示したが、立体物として検知した領域（左・右）とその間の中間領域の３領域に分け、それぞれの密度を算出しても良い。

図１０は、左右マッチング処理Ｓ２２４の処理内容の説明図である。
結合候補でかつ中間領域の視差密度が視差疎領域であると判断された立体物ペアに対して、結合を仮定したときの領域を左右画像からそれぞれ抽出し、相互に比較して見え方が同じか否かのマッチング判定を行う（マッチング部）。マッチング判定には、SADなどの相関値を用いる。SADはブロック内における座標ごとに差分をとり、その絶対値を足し合わせたものである。この相関値が相関値閾値（第２の閾値）Ｔｈ２以下である場合、抽出した領域は左右画像で見え方が同じであると判定する。見え方が同じであると判定された場合、結合候補となった立体物ペアは一つの立体物（結合立体物）と判定される。

結合候補となった立体物ペアがそれぞれ別の立体物であった場合には、その中央部分においては背景などが撮像されているため左右画像で見え方が異なり、SADが大きな値をとる。したがって、相関値が相関値閾値Ｔｈ２よりも大きい場合には、抽出した画像は左右で同じ見え方ではないと判定する。このように抽出した画像が左右画像で見え方が異なると判定された場合、結合候補となった立体物ペアは複数の立体物、すなわち個々に独立した二つの立体物と判定される。

例えば、左画像の結合立体物候補（車両）ＧＬ１と右画像の結合立体物候補(車両）ＧＲ１の場合、相関値は相関値閾値Ｔｈ２以下になり、左右画像で見え方が同じであると判定される。したがって、立体物ペアを一つの結合立体物と判断し、結合可（結合ＯＫ）と判定する。

一方、左画像の結合立体物候補(歩行者ペア）ＧＬ２と右画像の結合立体物候補(歩行者ペア)ＧＲ２の場合、画像の中央部分の見え方が左右画像で大きく異なっているので、相関値が相関値閾値Ｔｈ２よりも大きくなり、左右画像で見え方が異なると判定される。したがって、立体物ペアを複数の立体物と判断し、結合不可（結合ＮＧ）と判定する。

以上の判定によって結合可と判定された立体物ペアは、図４の立体物結合処理Ｓ２３０によって、一つの立体物として統合される（結合立体物）。統合された結合立体物は、図２の車両識別部２０４に入力され、車両であるか否かが判断され、車両であると判断された場合には、適切に車両として識別される。車両識別結果は、図１の外部通信部１１２によって外部に送信され、車両制御などの用途に用いられる。

本実施例の物体検知装置によれば、立体物ペアの中間領域における視差密度が閾値Ｔｈ１以下の視差疎領域である立体物ペアを結合候補とし、結合候補の立体物ペアを結合したときの領域の画像を左右の画像から抽出してマッチング判定を行い、左右の画像で見え方が同じ場合には立体物ペアは一つの立体物であり、見え方が異なる場合には立体物ペアは複数の立体物であると判定する。したがって、先行車のランプが点灯しているか否かにかかわらず、より多くのシーンにおいて車両を適切に検知することができる。

なお、本実施例では、障害物が車両である場合について説明したが、検知対象物は車両に限定されるものではなく、例えば歩行者などの他の障害物であってもよい。本実施例によれば、立体物ペアのサイズや撮像距離、視差疎領域の判定がＮＯの場合に、立体物ペアが結合されないので、車両よりもサイズが小さい歩行者サイズの立体物を正確に検知できる確率が高い。

［実施例２］
ここでは、実施例１に示すように立体物を過分割した際に適切に結合するのではなく、立体物を過結合した際に適切に分割するという観点から適用した場合の実施の形態を示す。

図１１は、本実施例における画像処理部１１１の構成を示した図である。実施例１と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

視差算出部２０１及び車両識別部２０４は、実施例１に示したものと同様の処理を行う。立体物検知部２０２は、実施例１と比べて実際には複数の立体物を一つの立体物として検知しやすいよう調整される。例えば、視差算出部２０１で得られた視差情報と画像座標から実空間での座標を算出し、近傍にある点同士をグルーピングするが、この時のグルーピング閾値を大きくする。あるいは、グルーピング結果を分割する際に、視差が得られていない領域での分割を行わない。

かかる調整によって、車両など１つの立体物を過分割するケースを抑制することができるが、一方で２人の歩行者など、複数の立体物を１つの立体物と誤検知する可能性が高まる。したがって、立体物分割部３０１において、過結合された立体物を分割する処理を行う。

図１２は、立体物分割部３０１の処理フローを示した図である。データ入力処理Ｓ４１０において、処理に必要なデータを受信する。立体物検知結果入力処理Ｓ４１１において、立体物検知部２０２で検知した立体物検知結果を受信する。左右画像入力処理Ｓ４１２において、左撮像部１０１と右撮像部１０２で撮像した左右画像を受信する。

次に、分割可否判定処理Ｓ４２０において、受信した立体物に対して分割処理を実施して良いか否かの判定を行う。分割候補点探索処理Ｓ４２１においては、例えば、視差疎領域判定処理Ｓ２２３と同様にして視差の疎な領域を探索する（分割候補点探索部）。１つの立体物として検知された画像の領域において、視差の密な領域と疎な領域を抽出する。左右に視差の密な領域、中央に視差の疎な領域が存在する場合、視差の密な領域の端部を分割候補点とする。

次に、左右マッチング処理Ｓ４２２において、立体物が検知された領域を左右画像から抽出し、左右画像で同じ見え方かどうかの判定を行う。判定には、SADなどの相関値を用いる。この相関値が閾値以下である場合、左右画像は等しいと判定する。SADの値が大きかった場合、左右での見え方が異なるため、分割可と判断する。

以上の判定によって分割可と判定された立体物は立体物分割処理Ｓ４３０に入力され、複数の立体物に分割される。例えば、分割された領域に含まれる視差の平均値をそれぞれ計算することで立体物の距離を再算出したり、分割によって変化した高さや幅の情報を更新するなどの処理を行う。以降は、実施例１と同様に車両識別部２０４に入力され、他の立体物と同様に処理される。

本実施例によれば、はじめに大まかに立体物検知を行い、次いで一つの立体物として検知したものが分割可能か否かを判断する。本実施例では、立体物検知で一つの立体物として検知された立体物に対してのみ分割可否の判断を行うので、実施例１と比較して処理対象が少なく、処理時間を短縮することができる。本実施例は、歩行者などの比較的小さな検出対象物よりも、車両などの比較的大きな検知対象物の検知に適している。

［実施例３］
実施例３は、実施例１の変形例であり、ここでは、立体物結合部２０３の結合判定に用いる閾値を、動的に変化させる実施の形態を示す。

立体物結合部２０３において、車両らしい幅や高さ、縦横比などを判定に利用しているが、一口に車両と言っても様々な形状が存在する。よって、誤判定防止のためには対象によって閾値を動的に変えられることが望ましい。

図１３は、本実施例における画像処理部１１１の構成を示した図である。実施例１、２と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

視差算出部２０１〜車両識別部２０４までの各処理内容は実施例１と同様である。本実施例で追加された結合閾値調整部４０１において、立体物結合部２０３で用いる閾値を算出し、動的に変化させる。

図１４は、本実施例の処理フローを示した図である。結合判定閾値調整処理Ｓ５０１は、立体物検知処理Ｓ１０３における立体物検知結果と、車両識別処理Ｓ１０５における車両識別結果を入力として受信する。例えば、サイズ判定処理Ｓ２２１における高さの閾値を例に挙げる。例えば、高さの閾値の初期値として、小型車から大型車まで対応するために「高さ１ｍ〜３ｍ」であれば、高さの判定をOKと判断していたとする。

そして、車両識別処理Ｓ１０５による車両識別の結果、高さ１．５ｍの立体物が車両として識別されたとき、閾値を「高さ１ｍ〜２ｍ」と変更することで、車両として識別された立体物を結合の対象にしつつ、それ以外の誤結合を抑制することができる。

一例として高さの判定について挙げたが、もちろん、車両のサイズや車種情報に応じて、例えばサイズ判定処理Ｓ２２１における幅や縦横比、距離判定処理Ｓ２２２における撮像距離の差分閾値（第３の閾値）、視差疎領域判定処理Ｓ２２３における疎領域判定の閾値など各種閾値を調整することも可能である。得られた車両識別結果は、実施例１と同様に外部通信部１１２によって外部に送信され、車両制御などの用途に用いられる。

［実施例４］
実施例４は、実施例１の変形例であり、ここでは、立体物結合部２０３において対象となる立体物を抽出する際に、画像上で事前に対象領域を抽出しておく実施の形態を示す。判定の対象となる立体物を絞り込むことが出来るため、全体の処理負荷が軽減される。

図１５は、本実施例における画像処理部１１１の構成を示した図である。実施例１〜３と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

視差算出部２０１〜車両識別部２０４までの各処理内容は実施例１と同様である。追加された結合判定対象領域検出部５０１において、立体物結合部２０３で立体物結合判定を実施する領域を抽出する。

図１６は、本実施例の処理フローを示した図である。結合判定対象領域検出処理Ｓ６０１は、視差画像を入力として、結合判定の対象となる領域を抽出する。例えば、実施例１では立体物の結合、実施例２では立体物の分割を行う形態を示したが、いずれも視差の疎な領域において結合あるいは分割を実施するという点は共通である。よって、結合判定対象領域検出処理Ｓ６０１では、視差画像全体に対して、視差の密度マップを生成する。

ここでは、視差の密度が疎な領域及びその周辺領域を結合判定の対象領域として抽出する。視差の密度が疎な領域であるか否かは、画像上における視差の密度が予め設定された視差密度閾値（第４の閾値）に基づいて判断され、視差の密度が視差密度閾値以下である場合に、疎な領域であると判断される。立体物結合処理Ｓ１０４では、抽出された領域のみを結合対象として処理を行う。これにより、視差が十分に得られている領域において結合や分割の判定を行う必要が無くなり、処理負荷が軽減される。

他に、例えば、ＣＡＮ情報や路面情報を元に推定した自車進行路の情報を用いた領域抽出が考えられる。自車の速度や舵角などのＣＡＮ情報や、白線などの周辺環境情報から自車の進行路を推定し、自車進行路上に位置する立体物のみを結合対象として立体物結合処理Ｓ１０４に入力する。この手法を用いた場合、特に車両制御に関わる進行路上の対象をとりこぼすことなく、処理負荷の軽減が可能となる。得られた車両識別結果は、実施例１と同様に外部通信部１１２によって外部に送信され、車両制御などの用途に用いられる。

［実施例５］
ここでは、本発明を車両に搭載されたステレオカメラを用いて車両検知を行い、検知結果を外部に通信して車両制御を行うシステムに適用した場合の実施の形態を示す。
図１７は、車両制御を含めた場合の全体構成を示した図である。実施例１〜４と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

車両の制御を行う場合、検知の精度によって制御方法を変えられることが望ましい。例えば、先行車追従機能を実現するためには、検知した車両が間違いなく車両である場合には適切な位置速度を算出し車両を制御するが、そうでない場合には検知位置のずれなど誤差が発生している恐れがある。

そこで、信頼度算出部６１０において、外部通信部１１２における外部への信号に検知の信頼度情報を付加する。信頼度情報の例として、立体物検知部２０２における立体物検知結果と、立体物結合部２０３における検知結果を区別する情報が挙げられる。例えば、対象が立体物結合部２０３において結合した結合立体物であるか、または、立体物検知部２０２で検知した単独立体物であるかを区別するフラグを外部通信信号に付加する。

外部への信号は、車両制御部６００で受信され、ブレーキ６０１や警報６０２、アクセル６０３、ステアリング６０５などを制御する。立体物結合部２０３の結果として検知された車両（結合立体物）は、立体物検知部２０２の結果として検知された車両（単独立体物）の場合に比べて、検知結果が不安定となる可能性がある。

そこで、例えば、車両が立体物検知部２０２における検知結果（単独立体物）のものであれば通常の先行車追従機能を実現するが、立体物結合部２０３における検知結果（結合立体物）のものであればブレーキ６０１の制御を弱めるのみに留める、あるいは立体物結合部２０３で結合に失敗し一時的に見失う可能性を考慮して見失った後もごく短い時間は車両がいると仮定して制御を続けるなどの動作が考えられる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１ 左撮像部
１０２ 右撮像部
１１１ 画像処理部
１１２ 外部通信部
２０１ 視差算出部
２０２ 立体物検知部
２０３ 立体物結合部
２０４ 車両識別部
３０１ 立体物分割部
４０１ 結合閾値調整部
５０１ 結合判定対象領域検出部
６００ 車両制御部

Claims (10)

1. 左撮像部と右撮像部で撮像した左画像と右画像から複数の立体物を検知する立体物検知部と、
   前記複数の立体物の中から左右に間隔を空けて存在する二つの立体物を結合候補として抽出する結合候補抽出部と、
   該結合候補として抽出された前記二つの立体物の間の中間領域に左右領域よりも視差密度が小さい視差疎領域が存在するか否かを判定する疎領域判定部と、
   前記中間領域に前記視差疎領域が存在すると判定された前記二つの立体物を一つの立体物と仮定したときの領域を前記左右の画像からそれぞれ抽出して相互に比較して見え方が同じか否かを判定するマッチング部と、
   該マッチング部によって見え方が同じと判定された場合に、前記二つの立体物を一つの立体物と判定する立体物結合部と、
   を有することを特徴とする物体検知装置。
2. 前記疎領域判定部は、前記視差密度が第１の閾値以下の場合に、前記視差疎領域が存在すると判定することを特徴とする請求項１に記載の物体検知装置。
3. 前記マッチング部は、前記左右の画像からそれぞれ抽出した領域の差分の絶対値を足し合わせた相関値が第２の閾値以下の場合に前記見え方が同じと判定することを特徴とする請求項１に記載の物体検知装置。
4. 前記二つの立体物の検知領域を所定の検知対象物の両端とした場合の大きさが、撮像距離に基づいて決定される前記検知対象物の大きさに相当するか否かを判定するサイズ判定部と、
   前記結合候補として抽出された前記二つの立体物の各撮像距離を比較して互いに同じであるか否かを判定する距離判定部を有し、
   前記疎領域判定部は、前記サイズ判定部により前記検知対象物の大きさに相当すると判定され、且つ、前記距離判定部により前記各撮像距離が同じであると判定された場合に、前記視差疎領域が存在するか否かの判定を行うことを特徴とする請求項１に記載の物体検知装置。
5. 前記距離判定部は、前記二つの立体物の各撮像距離の差分が第３の閾値以下の場合に前記各撮像距離が同じであると判定することを特徴とする請求項４に記載の物体検知装置。
6. 前記立体物結合部により前記一つの立体物と判定された結合立体物が車両か否かを識別する車両識別部と、
   該車両識別部によって識別した車両のサイズや車種情報に応じて、前記立体物結合部の判定閾値を調整する結合閾値調整部を有することを特徴とする請求項４に記載の物体検知装置。
7. 画像上における視差の密度が予め設定された第４の閾値以下の疎領域を結合判定対象領域として抽出する結合判定対象領域検出部を有し、
   前記立体物結合部は、前記結合判定対象領域のみを処理対象として判定を行うことを特徴とする請求項１に記載の物体検知装置。
8. 前記立体物結合部は、CAN情報や路面情報を元に推定した自車進行路上の立体物のみを結合対象とすることを特徴とする請求項１に記載の物体検知装置。
9. 車両制御部を備え、
   前記立体物検知部における立体物検知結果と、立体物結合部における検知結果を区別する情報を外部通信信号に付加することを特徴とする請求項１に記載の物体検知装置。
10. 左右の撮像部で撮像した左右画像から立体物を検知する立体物検知部と、
    前記立体物の中間領域に左右領域よりも視差密度が疎である領域が存在するか否かを判定し、存在すると判定した場合に、視差の密な領域の端部を分割候補点とする分割候補点探索部と、
    前記立体物が検知された領域を前記左右画像から抽出し、相互に比較して見え方が異なるか否かを判定するマッチング部と、
    該マッチング部によって見え方が異なると判定された場合に、前記立体物を前記分割候補点で分割する立体物分割部と、
    を有することを特徴とする物体検知装置。

Images