JP7445501B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、撮像された立体物を解析する画像処理装置、およびそのような画像処理装置において使用される画像処理方法に関する。

自動車等の車両に搭載される画像処理装置には、ステレオカメラにより得られたステレオ画像に基づいて距離画像を生成し、その距離画像における距離の連続性に基づいて立体物を検出するものがある（例えば特許文献１）。

特開２０１７－２７２７９号公報

車両に搭載される画像処理装置では、検出した立体物が車両であるかどうかを精度よく判定できることが望ましく、さらなる判定精度の向上が期待されている。

立体物が車両であるかどうかの判定精度を高めることができる画像処理装置および画像処理方法を提供することが望ましい。

本開示の一実施の形態に係る画像処理装置は、検出部と、設定部と、算出部と、推定部と、判定部とを備えている。検出部は、ステレオ画像に基づいて生成された、各画素における視差に応じた視差関連値を含む距離画像に基づいて、立体物を検出することにより立体物領域を設定するように構成される。設定部は、立体物領域に対応する第１の画像領域と、第１の画像領域の左端を含み一部が第１の画像領域と重なる第２の画像領域と、第１の画像領域の右端を含み一部が第１の画像領域と重なる第３の画像領域とを設定するように構成される。算出部は、第１の画像領域、第２の画像領域、および第３の画像領域における複数の画素列のそれぞれにおいて、複数の視差関連値の代表値を算出し、第１の画像領域、第２の画像領域、および第３の画像領域のそれぞれにおいて、複数の画素列における複数の代表値の近似直線を算出するように構成される。推定部は、第１の画像領域の近似直線の第１の傾斜値、第２の画像領域の近似直線の第２の傾斜値、および第３の画像領域の近似直線の第３の傾斜値に基づいて、立体物が連続構造物である度合いを示す連続構造物度を推定するように構成される。判定部は、連続構造物度に基づいて、検出部により検出された立体物が車両であるかどうかを判定するように構成される。

本開示の一実施の形態に係る画像処理方法は、ステレオ画像に基づいて生成された、各画素における視差に応じた視差関連値を含む距離画像に基づいて、立体物を検出することにより立体物領域を設定することと、立体物領域に対応する第１の画像領域と、第１の画像領域の左端を含み一部が第１の画像領域と重なる第２の画像領域と、第１の画像領域の右端を含み一部が第１の画像領域と重なる第３の画像領域とを設定することと、第１の画像領域、第２の画像領域、および第３の画像領域における複数の画素列のそれぞれにおいて、複数の視差関連値の代表値を算出することと、第１の画像領域、第２の画像領域、および第３の画像領域のそれぞれにおいて、複数の画素列における複数の代表値の近似直線を算出することと、第１の画像領域の近似直線の第１の傾斜値、第２の画像領域の近似直線の第２の傾斜値、および第３の画像領域の近似直線の第３の傾斜値に基づいて、立体物が連続構造物である度合いを示す連続構造物度を推定することと、連続構造物度に基づいて、検出された立体物が車両であるかどうかを判定することとを含む。

本開示の一実施の形態に係る画像処理装置および画像処理方法によれば、立体物が車両であるかどうかの判定精度を高めることができる。

本開示の一実施の形態に係る画像処理装置の一構成例を表すブロック図である。 図１に示したステレオ画像の一例を表す説明図である。 図１に示した立体物検出部の一動作例を表す説明図である。 図１に示した車両探索部の一動作例を表す説明図である。 図１に示した車両探索部の一動作例を表す他の説明図である。 図１に示した連続構造物推定部の一動作例を表すフローチャートである。 図１に示した画像領域設定部の一動作例を表す説明図である。 図１に示した近似直線算出部の一動作例を表す説明図である。 図１に示した近似直線算出部の一動作例を表す他の説明図である。 立体物が連続構造物である場合における近似直線の一例を表す説明図である。 立体物が車両である場合における近似直線の一例を表す説明図である。 図１に示した推定部の一動作例を表すフローチャートである。 変形例に係る連続構造物推定部の一動作例を表すフローチャートである。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る画像処理装置（画像処理装置１）の一構成例を表すものである。画像処理装置１は、ステレオカメラ１１と、処理部２０とを備えている。画像処理装置１は、自動車等の車両１０に搭載される。

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０の車両内において、車両１０のフロントガラスの上部近傍に、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

図２は、ステレオ画像ＰＩＣの一例を表すものであり、（Ａ）は左画像ＰＬの一例を示し、（Ｂ）は右画像ＰＲの一例を示す。この例では、車両１０が走行している走行路における車両１０の前方に、先行車両９０が走行している。左カメラ１１Ｌがこの先行車両９０を撮像することにより左画像ＰＬを生成し、右カメラ１１Ｒがこの先行車両９０を撮像することにより右画像ＰＲを生成する。ステレオカメラ１１は、このような左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成するようになっている。

処理部２０（図１）は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、車両１０の前方の車両を認識するように構成される。車両１０では、例えば、処理部２０が認識した立体物についての情報に基づいて、例えば、ＡＥＢ（Automatic Emergency Braking）やＡＣＣ（Adaptive Cruise Control）などの車両１０の走行制御を行い、あるいは、認識した車両についての情報をコンソールモニタに表示することができるようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、距離画像生成部２１と、立体物検出部２２と、連続構造物推定部３０と、車両探索部２４と、車両判定部２５とを有している。

距離画像生成部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲに基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成するように構成される。距離画像生成部２１は、左画像ＰＬおよび右画像ＰＲに基づいて、互いに対応する２つの画像点を含む対応点を特定することにより、ステレオマッチング処理を行う。距離画像ＰＺの各画素における画素値は、視差値であり、例えば左画像ＰＬにおける画像点の横座標の座標値と、右画像ＰＲにおける画像点の横座標の座標値との差である。この視差値は、３次元の実空間における、各画素に対応する点までの距離値に対応している。距離画像生成部２１は、生成した距離画像ＰＺを、立体物検出部２２および連続構造物推定部３０に供給するようになっている。

立体物検出部２２は、距離画像ＰＺに基づいて立体物を検出するように構成される。そして、立体物検出部２２は、距離画像ＰＺにおける、検出した立体物に対応する画像領域に、立体物領域Ｒobjを設定するようになっている。

図３は、立体物検出部２２により検出された、距離画像ＰＺにおける立体物領域Ｒobjの一例を表すものである。なお、距離画像ＰＺは視差値の画像であるが、この図３では、説明の便宜上、立体物そのものを描いている。距離画像ＰＺでは、先行車両９０、ガードレール、壁、建物、人物などの立体物に対応する領域において、連続した視差値を有する。立体物検出部２２は、距離画像ＰＺに含まれるこのような連続した視差値を利用して、立体物を検出する。そして、立体物検出部２２は、距離画像ＰＺにおける、検出した立体物に対応する領域に立体物領域Ｒobjを設定する。また、立体物検出部２２は、例えばガードレールや壁のように、視差値が連続する画像領域が広い場合には、所定の大きさを超えない範囲で、立体物領域Ｒobjを設定する。そして、立体物検出部２２は、設定した立体物領域Ｒobjについての情報を連続構造物推定部３０および車両判定部２５に供給するようになっている。

連続構造物推定部３０は、距離画像ＰＺに基づいて、立体物検出部２２が検出した立体物が連続構造物である度合いを推定するように構成される。連続構造物は、例えば、ガードレールや壁など、走行路に沿って比較的長い距離にわたって連なる構造物である。連続構造物推定部３０は、立体物がこのような連続構造物である度合い（連続構造物度Ｄ）を推定し、その連続構造物度Ｄについての情報を車両判定部２５に供給するようになっている。連続構造物推定部３０は、画像領域設定部３１と、近似直線算出部３２と、推定部３３とを有している。

画像領域設定部３１は、距離画像ＰＺにおいて、立体物検出部２２が設定した立体物領域Ｒobjに基づいて、３つの画像領域Ｒ（画像領域Ｒ１～Ｒ３）を設定するように構成される。具体的には、画像領域設定部３１は、立体物領域Ｒobjに対応する位置に画像領域Ｒ１を設定し、この画像領域Ｒ１から左にずれた位置に画像領域Ｒ２を設定し、この画像領域Ｒ２から右にずれた位置に画像領域Ｒ３を設定するようになっている。

近似直線算出部３２は、画像領域設定部３１が設定した３つの画像領域Ｒにおける各画素列において、複数の視差値の代表値（代表視差値）を算出し、３つの画像領域Ｒのそれぞれにおいて、複数の画素列における複数の代表視差値の近似直線Ｌを算出するように構成される。

推定部３３は、３つの画像領域Ｒのそれぞれにおける近似直線Ｌの傾斜値Ａに基づいて、立体物検出部２２が検出した立体物が連続構造物である度合い（連続構造物度Ｄ）を推定するように構成される。連続構造物度Ｄは、立体物が連続構造物である可能性が高いほど、高い値を示すものである。

車両探索部２４は、左画像ＰＬおよび右画像ＰＲの一方である画像Ｐに基づいて、機械学習の技術を用いて、車両を探索するように構成される。

図４は、車両探索部２４の一動作例を模式的に表すものである。画像Ｐは、車両１０の前方を走行する先行車両９０の画像を含んでいる。車両探索部２４は、画像Ｐにおいて、矩形状の複数の処理対象領域Ｒｐを、例えば位置および大きさを少しずつ変化させながら順次設定する。そして、車両探索部２４は、機械学習の技術を用いて、各処理対象領域Ｒｐにおける車両スコアＳＣを算出する。この車両スコアＳＣは、処理対象領域Ｒｐの画像が車両の特徴を含むほど高い値を示す。車両探索部２４は、例えば、複数の処理対象領域Ｒｐのうちの、車両スコアＳＣが最も高い処理対象領域Ｒｐにおいて、その車両スコアＳＣが所定のスコア以上である場合に、その処理対象領域Ｒｐを車両領域Ｒｖとして設定する。そして、車両探索部２４は、車両領域Ｒｖについての情報、および車両スコアＳＣを車両判定部２５に供給するようになっている。

車両判定部２５は、立体物検出部２２の検出結果、連続構造物推定部３０により得られた連続構造物度Ｄ、および車両探索部２４の探索結果に基づいて、立体物が車両であるかどうかを判定するように構成される。

ここで、立体物検出部２２は、本開示における「検出部」の一具体例に対応する。画像領域設定部３１は、本開示における「設定部」の一具体例に対応する。近似直線算出部３２は、本開示における「算出部」の一具体例に対応する。推定部３３は、本開示おける「推定部」の一具体例に対応する。車両判定部２５は、本開示における「判定部」の一具体例に対応する。距離画像ＰＺは、本開示における「距離画像」の一具体例に対応する。立体物領域Ｒobjは、本開示における「立体物領域」の一具体例に対応する。画像領域Ｒ１は、本開示における「第１の画像領域」の一具体例に対応する。画像領域Ｒ２は、本開示における「第２の画像領域」の一具体例に対応する。画像領域Ｒ３は、本開示における「第３の画像領域」の一具体例に対応する。近似直線Ｌは、本開示における「近似直線」の一具体例に対応する。連続構造物度Ｄは、本開示における「連続構造物度」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の画像処理装置１の動作および作用について説明する。

（全体動作概要）
まず、図１を参照して、画像処理装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。距離画像生成部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲに基づいて、距離画像ＰＺを生成する。立体物検出部２２は、距離画像ＰＺに基づいて立体物を検出する。連続構造物推定部３０は、距離画像ＰＺに基づいて、立体物検出部２２が検出した立体物が連続構造物である度合い（連続構造物度Ｄ）を推定する。車両探索部２４は、左画像ＰＬおよび右画像ＰＲの一方である画像Ｐに基づいて、機械学習の技術を用いて、車両を探索する。車両判定部２５は、立体物検出部２２の検出結果、連続構造物推定部３０により得られた連続構造物度Ｄ、および車両探索部２４の探索結果に基づいて、立体物が車両であるかどうかを判定する。

（詳細動作）
車両探索部２４は、車両を探索する際、画像Ｐにおいて複数の処理対象領域Ｒｐを順次設定し、機械学習の技術を用いて、各処理対象領域Ｒｐにおける画像が車両の特徴を含むかどうかを確認することにより、車両スコアＳＣを算出する。その際、処理対象領域Ｒｐにおける画像が車両の画像でないにもかかわらず、画像パターンが車両のような特徴を有する場合には、車両スコアＳＣが高くなってしまう。例えば、処理対象領域Ｒｐの画像がガードレールや壁などの連続構造物の画像である場合に、画像パターンが車両のような特徴を有することがあり、このような場合には車両スコアＳＣが高くなってしまう。

図５は、車両探索部２４の一動作例を表すものである。この画像Ｐでは、車両スコアＳＣが高い２つの領域において、車両領域Ｒｖ１，Ｒｖ２が設定されている。車両領域Ｒｖ１は、車両１０の先行車両に設定されている。また、車両領域Ｒｖ２は、走行路の壁の一部に設定されている。すなわち、車両探索部２４は、走行路の壁の一部の画像パターンが車両のような特徴を有すると判断し、車両スコアＳＣを高くし、この壁の一部に車両領域Ｒｖ２を設定している。

このように、連続構造物が車両であると誤判定された場合には、例えば、ＡＥＢやＡＣＣなどの車両１０の走行制御に不具合が生じてしまう。そこで、画像処理装置１では、連続構造物推定部３０が、立体物の連続構造物度Ｄを算出し、車両判定部２５が、立体物検出部２２の検出結果、連続構造物推定部３０により得られた連続構造物度Ｄ、および車両探索部２４の探索結果に基づいて、立体物が車両であるかどうかを判定する。これにより、車両判定部２５は、立体物の連続構造物度Ｄが高い場合には、その立体物が車両であると判定されにくくすることができる。具体的には、車両判定部２５は、例えば、車両探索部２４により得られた車両スコアＳＣをより低いスコアに補正したり、車両スコアＳＣに基づいて車両判定を行う際のしきい値をより高い値に変更したりすることにより、その立体物が車両であると判定されにくくすることができる。このようにして、画像処理装置１では、立体物が車両であるかどうかの判定精度を高めることができる。

次に、連続構造物推定部３０の動作について、詳細に説明する。

図６は、連続構造物推定部３０の一動作例を表すものである。連続構造物推定部３０は、立体物検出部２２が設定した立体物領域Ｒobjに基づいて画像領域Ｒ１～Ｒ３を設定し、画像領域Ｒ１～Ｒ３のそれぞれにおいて代表視差値の近似直線Ｌを算出し、画像領域Ｒ１～Ｒ３のそれぞれの近似直線Ｌの傾斜値Ａに基づいて、立体物の連続構造物度Ｄを推定する。以下に、この処理について詳細に説明する。

まず、画像領域設定部３１は、距離画像ＰＺにおいて、立体物検出部２２が設定した立体物領域Ｒobjに基づいて、画像領域Ｒ１～Ｒ３を設定する（ステップＳ１０１）。

図７は、画像領域設定部３１の一動作例を表すものである。この図７は、立体物領域Ｒobjおよび画像領域Ｒ１～Ｒ３の、距離画像ＰＺにおける横座標の位置を示している。

画像領域設定部３１は、立体物領域Ｒobjに対応する位置に画像領域Ｒ１を設定する。この例では、画像領域Ｒ１の大きさは立体物領域Ｒobjの大きさと同じである。距離画像ＰＺの横座標において、画像領域Ｒ１の位置は、立体物領域Ｒobjの位置と同じであり、距離画像ＰＺの縦座標において、画像領域Ｒ１の位置は、立体物領域Ｒobjの位置と同じである。

そして、画像領域設定部３１は、この画像領域Ｒ１から左にずれた位置に画像領域Ｒ２を設定し、この画像領域Ｒ２から右にずれた位置に画像領域Ｒ３を設定する。具体的には、画像領域設定部３１は、画像領域Ｒ１の左端を含み一部が画像領域Ｒ１と重なるように画像領域Ｒ２を設定し、画像領域Ｒ１の右端を含み一部が画像領域Ｒ１と重なるように画像領域Ｒ３を設定する。この例では、画像領域Ｒ２，Ｒ３の大きさは画像領域Ｒ１の大きさと同じである。距離画像ＰＺの横座標において、画像領域Ｒ２の位置は、画像領域Ｒ１の位置から、画像領域Ｒ１の領域幅の半分だけ左にずれた位置である。距離画像ＰＺの横座標において、画像領域Ｒ３の位置は、画像領域Ｒ１の位置から、画像領域Ｒ１の領域幅の半分だけ右にずれた位置である。距離画像ＰＺの縦座標において、画像領域Ｒ２，Ｒ３の位置は、画像領域Ｒ１の位置と同じである。

次に、近似直線算出部３２は、画像領域設定部３１が設定した３つの画像領域Ｒ１～Ｒ３における各画素列において、複数の視差値の代表値（代表視差値）を算出する（ステップＳ１０２）。

図８は、画像領域Ｒ１における代表視差値の一例を表すものである。この例では、説明の便宜上、横座標における画像領域Ｒ１の幅を“８”にしているが、これに限定されるものではなく、例えば、“７”以下であってもよいし、“９”以上であってもよい。

近似直線算出部３２は、複数の画素列Ｗのそれぞれにおいて、その画素列Ｗにおける複数の視差値のヒストグラムを用いて、視差値の最頻値を代表視差値として算出する。例えば、画素列Ｗにおける視差値の数が少ないなどの理由により、最頻値を得ることが出来ない場合には、近似直線算出部３２は、複数の視差値の平均値を代表視差値として算出する。この例では、図８に示したように、近似直線算出部３２は、横座標が“５６”の画素列Ｗにおける複数の視差値に基づいて代表視差値“４２”を得る。他の画素列Ｗについても同様である。

このようにして、近似直線算出部３２は、画像領域Ｒ１における複数の代表視差値を算出する。同様に、近似直線算出部３２は、画像領域Ｒ２における複数の代表視差値を算出し、画像領域Ｒ３における複数の代表視差値を算出する。

次に、近似直線算出部３２は、画像領域Ｒ１～Ｒ３のそれぞれにおいて、代表視差値の近似直線Ｌを算出する（ステップＳ１０３）。

図９は、画像領域Ｒ１における代表視差値の近似直線Ｌ（近似直線Ｌ１）の一例を表すものである。この例では、近似直線算出部３２は、画像領域Ｒ１における複数の代表視差値に基づいて、最小二乗法を用いて近似直線Ｌ１を算出する。なお、この例では、近似直線算出部３２は、最小二乗法を用いたが、これに限定されるものではなく、近似直線Ｌ１を算出可能な他の演算方法を用いてもよい。

このようにして、近似直線算出部３２は、画像領域Ｒ１における複数の代表視差値の近似直線Ｌ１を算出する。同様に、近似直線算出部３２は、画像領域Ｒ２における複数の代表視差値の近似直線Ｌ（近似直線Ｌ２）を算出し、画像領域Ｒ３における複数の代表視差値の近似直線Ｌ（近似直線Ｌ３）を算出する。

次に、推定部３３は、画像領域Ｒ１～Ｒ３のそれぞれにおける近似直線Ｌの傾斜値Ａに基づいて、立体物の連続構造物度Ｄを推定する（ステップＳ１０４）。以下に、このステップＳ１０４の処理について詳細に説明する。

図１０は、立体物が連続構造物である場合における、画像領域Ｒ１～Ｒ３における近似直線Ｌの一例を表すものである。図１１は、立体物が車両である場合における、画像領域Ｒ１～Ｒ３における近似直線Ｌの一例を表すものである。

立体物が連続構造物である場合には、図１０に示したように、画像領域Ｒ１～Ｒ３において、複数の代表視差値がほぼ一直線上に並ぶ。すなわち、画像領域Ｒ１～Ｒ３の代表視差値は、その連続構造物までの距離に応じた値であるので、複数の代表視差値がほぼ一直線上に並ぶ。よって、画像領域Ｒ１の近似直線Ｌ１の傾斜値Ａ（傾斜値Ａ１）と、画像領域Ｒ２の近似直線Ｌ２の傾斜値Ａ（傾斜値Ａ２）と、画像領域Ｒ３の近似直線Ｌ３の傾斜値Ａ（傾斜値Ａ３）はほぼ同じになることが期待される。

一方、立体物が車両である場合には、図１１に示したように、画像領域Ｒ１における代表視差値と、画像領域Ｒ１の外側における代表視差値との間には大きな差が生じ得る。すなわち、画像領域Ｒ１の代表視差値は、画像領域Ｒ１における車両までの距離に応じた値である。また、画像領域Ｒ１の外側における代表視差値は、その車両より遠くの背景までの距離に対応するので、画像領域Ｒ１における代表視差値よりも小さな値になる。このように、画像領域Ｒ１における代表視差値と、画像領域Ｒ１の外側における代表視差値との間には大きな差が生じ得るので、画像領域Ｒ１の左端および右端では、代表視差値が大きく変化し得る。この場合には、画像領域Ｒ２の近似直線Ｌ２の傾斜値Ａ２は、画像領域Ｒ１の近似直線Ｌ１の傾斜値Ａ１と異なり、同様に、画像領域Ｒ３の近似直線Ｌ３の傾斜値Ａ３は、画像領域Ｒ１の近似直線Ｌ１の傾斜値Ａ１と異なることが期待される。

推定部３３は、このような画像領域Ｒ１～Ｒ３の近似直線Ｌの傾斜値Ａの特性を利用して、立体物の連続構造物度Ｄを推定する。

まず、推定部３３は、以下の式を用いて、傾斜値Ａ１と傾斜値Ａ２との比率を示す傾斜比率ＶＡＬＡを算出するとともに、傾斜値Ａ１と傾斜値Ａ３との比率を示す傾斜比率ＶＡＬＢを算出する。
ＶＡＬＡ ＝ Ａｂｓ（Ａｂｓ（Ａ２／Ａ１） － １） …（ＥＱ１）
ＶＡＬＢ ＝ Ａｂｓ（Ａｂｓ（Ａ３／Ａ１） － １） …（ＥＱ２）
ここで、Ａｂｓは、引数の絶対値を得る関数である。傾斜比率ＶＡＬＡは、傾斜値Ａ１，Ａ２が互いに大きく異なるほど大きい値になり、傾斜比率ＶＡＬＢは、傾斜値Ａ１，Ａ３が互いに大きく異なるほど大きい値になる。

図１２は、このような傾斜比率ＶＡＬＡ，ＶＡＬＢに基づいて立体物の連続構造物度Ｄを推定する処理の一例を表すものである。推定部３３は、傾斜比率ＶＡＬＡ，ＶＡＬＢを所定のしきい値ＴＨ１，ＴＨ２と比較することにより、立体物の連続構造物度Ｄを推定する。ここで、しきい値ＴＨ１は、しきい値ＴＨ２よりも低い値を有する。この例では、連続構造物度Ｄは、“１”から“５”の値をとり得る。

まず、推定部３３は、傾斜比率ＶＡＬＡがしきい値ＴＨ１よりも小さく、かつ、傾斜比率ＶＡＬＢがしきい値ＴＨ１よりも小さいという条件を満たすかどうかを確認する（ステップＳ２０１）。この条件を満たす場合（ステップＳ２０１において“Ｙ”）には、推定部３３は、連続構造物度Ｄを“５”に設定する（ステップＳ２０２）。すなわち、傾斜比率ＶＡＬＡがしきい値ＴＨ１よりも小さい場合には、傾斜値Ａ１，Ａ２が互いにほぼ同じであることを示し、傾斜比率ＶＡＬＢがしきい値ＴＨ１よりも小さい場合には、傾斜値Ａ１，Ａ３が互いにほぼ同じであることを示す。よって、この場合には、傾斜値Ａ１～Ａ３は、例えば図１０に示したように、互いにほぼ同じであるので、推定部３３は、立体物が連続構造物である可能性が高いと推定し、連続構造物度Ｄを“５”に設定する。そして、この処理は終了する。

ステップＳ２０１の条件を満たさない場合（ステップＳ２０１において“Ｎ”）には、推定部３３は、傾斜比率ＶＡＬＡ，ＶＡＬＢのうちのどちらか一方がしきい値ＴＨ１よりも小さいという条件を満たすかどうかを確認する（ステップＳ２０３）。この条件を満たす場合（ステップＳ２０３において“Ｙ”）には、推定部３３は、連続構造物度Ｄを“４”に設定する（ステップＳ２０４）。すなわち、この場合には、傾斜値Ａ２，Ａ３のうちのどちらか一方は傾斜値Ａ１とほぼ同じであるので、推定部３３は、立体物が連続構造物である可能性がやや高いと推定し、連続構造物度Ｄを“４”に設定する。そして、この処理は終了する。

ステップＳ２０３の条件を満たさない場合（ステップＳ２０３において“Ｎ”）には、推定部３３は、傾斜比率ＶＡＬＡがしきい値ＴＨ２よりも小さく、かつ、傾斜比率ＶＡＬＢがしきい値ＴＨ２よりも小さいという条件を満たすかどうかを確認する（ステップＳ２０５）。この条件を満たす場合（ステップＳ２０５において“Ｙ”）には、推定部３３は、連続構造物度Ｄを“３”に設定する（ステップＳ２０６）。すなわち、この場合には、傾斜値Ａ２は傾斜値Ａ１とほぼ同じではないが近い値であり、傾斜値Ａ３は傾斜値Ａ１とほぼ同じではないが近い値であるので、推定部３３は、連続構造物度Ｄを“３”に設定する。そして、この処理は終了する。

ステップＳ２０５の条件を満たさない場合（ステップＳ２０５において“Ｎ”）には、推定部３３は、傾斜比率ＶＡＬＡ，ＶＡＬＢのうちのどちらか一方がしきい値ＴＨ２よりも小さいという条件を満たすかどうかを確認する（ステップＳ２０７）。この条件を満たす場合（ステップＳ２０７において“Ｙ”）には、推定部３３は、連続構造物度Ｄを“２”に設定する（ステップＳ２０８）。すなわち、この場合には、傾斜値Ａ２，Ａ３のうちのどちらか一方は傾斜値Ａ１に近い値であるが、他方は傾斜値Ａ１から離れた値であるので、推定部３３は、立体物が連続構造物である可能性がやや低いと推定し、連続構造物度Ｄを“２”に設定する。そして、この処理は終了する。

ステップＳ２０７の条件を満たさない場合（ステップＳ２０７において“Ｎ”）には、推定部３３は、連続構造物度Ｄを“１”に設定する（ステップＳ２０９）。すなわち、この場合には、傾斜値Ａ２，Ａ３の両方が傾斜値Ａ１から離れた値であるので、推定部３３は、立体物が連続構造物である可能性は低いと推定し、連続構造物度Ｄを“１”に設定する。そして、この処理は終了する。

このようにして、図６のステップＳ１０４の処理は終了する。

このように、画像処理装置１では、検出された立体物に対応する位置に画像領域Ｒ１を設定し、この画像領域Ｒ１から左にずれた位置に画像領域Ｒ２を設定し、この画像領域Ｒ２から右にずれた位置に画像領域Ｒ３を設定し、画像領域Ｒ１～Ｒ３のそれぞれにおいて、代表視差値の近似直線Ｌを算出するようにした。そして、画像領域Ｒ１の近似直線Ｌ１の傾斜値Ａ１、画像領域Ｒ２の近似直線Ｌ２の傾斜値Ａ２、および画像領域Ｒ３の近似直線Ｌ３の傾斜値Ａ３に基づいて、立体物が連続構造物である度合いを示す連続構造物度Ｄを推定するようにした。これにより、画像処理装置１では、立体物の連続構造物度Ｄが高い場合には、その立体物が車両であると判定されにくくすることができるので、立体物が車両であるかどうかの判定精度を高めることができる。

また、画像処理装置１では、図７に示したように、画像領域Ｒ１の左端を含み一部が画像領域Ｒ１と重なるように画像領域Ｒ２を設定するとともに、画像領域Ｒ１の右端を含み一部が画像領域Ｒ１と重なるように画像領域Ｒ３を設定するようにした。これにより、画像処理装置１では、例えば立体物が連続構造物ではない場合に、図１１に示したように、近似直線Ｌ２の傾斜値Ａ２が近似直線Ｌ１の傾斜値Ａ１と異なるようにするとともに、近似直線Ｌ３の傾斜値Ａ３が近似直線Ｌ１の傾斜値Ａ１と異なるようにすることができる。すなわち、例えば、画像領域Ｒ２が画像領域Ｒ１の左に画像領域Ｒ１と重ならならずに隣り合うように設定された場合には、画像領域Ｒ２の近似直線Ｌ２は、画像領域Ｒ１における代表視差値の影響を受けないので、近似直線Ｌ２の傾斜値Ａ２が近似直線Ｌ１の傾斜値Ａ１に近い値になるおそれがある。画像領域Ｒ３についても同様であり、近似直線Ｌ３の傾斜値Ａ３が近似直線Ｌ１の傾斜値Ａ１に近い値になるおそれがある。この場合には、傾斜値Ａ１～Ａ３を用いて、立体物の連続構造物度Ｄを推定しにくくなってしまう。一方、画像処理装置１では、画像領域Ｒ２の一部が画像領域Ｒ１の一部と重なるようにしたので、図１１に示したように、近似直線Ｌ２の傾斜値Ａ２が、画像領域Ｒ１における代表視差値の影響を受けるので、近似直線Ｌ２の傾斜値Ａ２が近似直線Ｌ１の傾斜値Ａ１と異なるようにすることができる。画像領域Ｒ３についても同様であり、近似直線Ｌ３の傾斜値Ａ３が近似直線Ｌ１の傾斜値Ａ１と異なるようにすることができる。その結果、画像処理装置１では、傾斜値Ａ１～Ａ３を用いて、立体物の連続構造物度Ｄを推定することができる。その結果、画像処理装置１では、立体物が車両であるかどうかの判定精度を高めることができる。

特に、画像処理装置１では、画像領域Ｒ１の左端は、画像領域Ｒ２の中央付近に位置し、画像領域Ｒ１の右端は、画像領域Ｒ３の中央付近に位置するようにした。これにより、画像処理装置１では、図１１，１２に示したように、近似直線Ｌ２を算出する際に用いられる、画像領域Ｒ１における代表視差値の数と、画像領域Ｒ２における代表視差値の数をほぼ同じにすることができる。よって、近似直線Ｌ２を算出する際に、画像領域Ｒ１における代表視差値による重みと、画像領域Ｒ２における代表視差値による重みとをほぼ同じにすることができる。その結果、例えば立体物が連続構造物ではない場合に、図１１に示したように、近似直線Ｌ２の傾斜値Ａ２が近似直線Ｌ１の傾斜値Ａ１と異なるようにすることができる。近似直線Ｌ３についても同様であり、近似直線Ｌ３の傾斜値Ａ３が近似直線Ｌ１の傾斜値Ａ１と異なるようにすることができる。これにより、画像処理装置１では、傾斜値Ａ１～Ａ３を用いて、立体物の連続構造物度Ｄを推定することができるので、立体物が車両であるかどうかの判定精度を高めることができる。

［効果］
以上のように本実施の形態では、検出された立体物に対応する位置に画像領域Ｒ１を設定し、この画像領域Ｒ１から左にずれた位置に画像領域Ｒ２を設定し、この画像領域Ｒ２から右にずれた位置に画像領域Ｒ３を設定し、画像領域Ｒ１～Ｒ３のそれぞれにおいて、代表視差値の近似直線を算出するようにした。そして、画像領域Ｒ１の近似直線の傾斜値、画像領域Ｒ２の近似直線の傾斜値、および画像領域Ｒ３の近似直線の傾斜値に基づいて、立体物が連続構造物である度合いを示す連続構造物度を推定するようにした。これにより、立体物が車両であるかどうかの判定精度を高めることができる。

本実施の形態では、画像領域Ｒ１の左端を含み一部が画像領域Ｒ１と重なるように画像領域Ｒ２を設定するとともに、画像領域Ｒ１の右端を含み一部が画像領域Ｒ１と重なるように画像領域Ｒ３を設定するようにしたので、立体物が車両であるかどうかの判定精度を高めることができる。

［変形例１］
上記実施の形態では、距離画像ＰＺは視差値の画像としたが、これに限定されるものではなく、距離値の画像であってもよい。

［変形例２］
上記実施の形態では、画像領域Ｒ２，Ｒ３を、画像領域Ｒ１の位置から、画像領域Ｒ１の領域幅の半分だけずれた位置に設定したが、これに限定されるものではない。例えば、画像領域Ｒ２，Ｒ３を、画像領域Ｒ１の位置から、画像領域Ｒ１の領域幅の半分より少ない量だけずれた位置に設定してもよいし、画像領域Ｒ１の領域幅の半分より多い量だけずれた位置に設定してもよい。また、画像領域Ｒ２，Ｒ３の位置と画像領域Ｒ１の位置とのずれ量は、固定量でなくてもよい。具体的には、例えば、立体物領域Ｒobjの横幅や、立体物までの距離に応じてずれ量を変更するようにしてもよい。

［変形例３］
上記実施の形態では、画像領域Ｒ２，Ｒ３の大きさを、画像領域Ｒ１の大きさと同じにしたが、これに限定されるものではなく、これに代えて、例えば、画像領域Ｒ２の大きさは画像領域Ｒ１の大きさと異なるようにしてもよいし、画像領域Ｒ３の大きさは画像領域Ｒ１の大きさと異なるようにしてもよい。

［変形例４］
上記実施の形態では、近似直線Ｌ１～Ｌ３の傾斜値Ａに基づいて連続構造物度Ｄを推定したが、例えば、代表視差値のばらつきが大きい場合には連続構造物度Ｄを推定しないようにしてもよい。以下に、本変形例に係る画像処理装置１Ｂについて詳細に説明する。

画像処理装置１Ｂは、上記実施の形態に係る画像処理装置１（図１）と同様に処理部２０Ｂを備えている。処理部２０Ｂは、連続構造物推定部３０Ｂを有している。連続構造物推定部３０Ｂは、推定部３３Ｂを有している。

推定部３３Ｂは、３つの画像領域Ｒのそれぞれにおける近似直線Ｌの傾斜値Ａに基づいて、立体物検出部２２が検出した立体物の連続構造物度Ｄを推定するように構成される。また、推定部３３Ｂは、３つの画像領域Ｒのそれぞれにおいて、代表視差値の近似直線Ｌからのばらつきが大きい場合には、立体物の連続構造物度Ｄを推定しないようになっている。

図１３は、連続構造物推定部３０Ｂの一動作例を表すものである。

上記実施の形態の場合（図６）と同様に、まず、画像領域設定部３１は、距離画像ＰＺにおいて、立体物検出部２２が設定した立体物領域Ｒobjに基づいて、画像領域Ｒ１～Ｒ３を設定する（ステップＳ１０１）。そして、近似直線算出部３２は、画像領域設定部３１が設定した３つの画像領域Ｒ１～Ｒ３における各画素列において、複数の視差値の代表値（代表視差値）を算出し（ステップＳ１０２）、画像領域Ｒ１～Ｒ３のそれぞれにおいて、代表視差値の近似直線Ｌを算出する（ステップＳ１０３）。

次に、推定部３３Ｂは、画像領域Ｒ１～Ｒ３のそれぞれにおいて、代表視差値の近似直線Ｌからのばらつき値を算出する（ステップＳ１１３）。ばらつき値は、分散値であってもよいし、標準偏差であってもよい。

次に、推定部３３Ｂは、ステップＳ１１３において算出した画像領域Ｒ１～Ｒ３のそれぞれにおけるばらつき値に基づいて、代表視差値のばらつきが大きいかどうかを確認する（ステップＳ１１４）。具体的には、推定部３３Ｂは、例えば、画像領域Ｒ１～Ｒ３のそれぞれにおけるばらつき値の全てが所定のしきい値よりも大きい場合に、代表視差値のばらつきが大きいと判断する。なお、これに限定されるものではなく、推定部３３Ｂは、例えば、画像領域Ｒ１～Ｒ３のそれぞれにおけるばらつき値のうちの少なくとも１つが所定のしきい値よりも大きい場合に、代表視差値のばらつきが大きいと判断してもよい。代表視差値のばらつきが大きい場合（ステップＳ１１４において“Ｙ”）には、この図１３の処理は終了する。

ステップＳ１１４において、代表視差値のばらつきが小さい場合（ステップＳ１１４において“Ｎ”）には、推定部３３Ｂは、上記実施の形態の場合（図６）と同様に、画像領域Ｒ１～Ｒ３のそれぞれにおける近似直線Ｌの傾斜値Ａに基づいて、立体物の連続構造物度Ｄを推定する（ステップＳ１０４）。以上で、この処理は終了する。

このように、画像処理装置１Ｂでは、代表視差値の近似直線Ｌからのばらつきが大きい場合に、立体物の連続構造物度Ｄを推定しないようにすることにより、車両判定部２５は、その立体物が車両であると判定される度合いを調節することができる。

以上、実施の形態および変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記実施の形態では、立体物領域Ｒobjに基づいて３つの画像領域Ｒ１～Ｒ３を設定したが、これに限定されるものではなく、立体物領域Ｒobjに基づいて、４つ以上の画像領域Ｒを設定してもよい。この場合には、これらの４つ以上の画像領域Ｒの近似直線Ｌの傾斜値に基づいて連続構造物度Ｄを推定することができる。

例えば、上記実施の形態では、式ＥＱ１を用いて傾斜比率ＶＡＬＡを算出するとともに、式ＥＱ２を用いて傾斜比率ＶＡＬＢを算出したが、これに限定されるものではない。傾斜比率ＶＡＬＡの式ＥＱ１は、近似直線Ｌ１の傾斜値Ａ１と近似直線Ｌ２の傾斜値Ａ２とが互いに近い値であるかどうかを評価可能な式であればどのような式であってもよく、傾斜比率ＶＡＬＢの式ＥＱ２は、近似直線Ｌ１の傾斜値Ａ１と近似直線Ｌ３の傾斜値Ａ３とが互いに近い値であるかどうかを評価可能な式であればどのような式であってもよい。式ＥＱ１，ＥＱ２は、例えば、図１２に示したステップＳ２０１，Ｓ２０３，Ｓ２０５，Ｓ２０７における条件にあわせて、適宜変更することができる。

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

１…画像処理装置、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０…処理部、２１…距離画像生成部、２２…立体物検出部、２４…車両探索部、２５…車両判定部、３０…連続構造物推定部、３１…画像領域設定部、３２…近似直線算出部、３３…推定部、Ａ，Ａ１～Ａ３…傾斜値、Ｄ…連続構造物度、Ｌ，Ｌ１～Ｌ３…近似直線、ＰＩＣ…ステレオ画像、ＰＬ…左画像、ＰＲ…右画像、ＰＺ…距離画像、Ｒobj…立体物領域、Ｒｐ…処理対象領域、Ｒｖ…車両領域、Ｒ，Ｒ１～Ｒ３…画像領域、ＴＨ１，ＴＨ２…しきい値、ＶＡＬＡ，ＶＡＬＢ…傾斜比率、Ｗ…画素列。

Claims (8)

1. ステレオ画像に基づいて生成された、各画素における視差に応じた視差関連値を含む距離画像に基づいて、立体物を検出することにより立体物領域を設定する検出部と、
   前記立体物領域に対応する第１の画像領域と、前記第１の画像領域の左端を含み一部が前記第１の画像領域と重なる第２の画像領域と、前記第１の画像領域の右端を含み一部が前記第１の画像領域と重なる第３の画像領域とを設定する設定部と、
   前記第１の画像領域、前記第２の画像領域、および前記第３の画像領域における複数の画素列のそれぞれにおいて、複数の前記視差関連値の代表値を算出し、前記第１の画像領域、前記第２の画像領域、および前記第３の画像領域のそれぞれにおいて、複数の画素列における複数の代表値の近似直線を算出する算出部と、
   前記第１の画像領域の前記近似直線の第１の傾斜値、前記第２の画像領域の前記近似直線の第２の傾斜値、および前記第３の画像領域の前記近似直線の第３の傾斜値に基づいて、前記立体物が連続構造物である度合いを示す連続構造物度を推定する推定部と、
   前記連続構造物度に基づいて、前記検出部により検出された前記立体物が車両であるかどうかを判定する判定部と
   を備えた画像処理装置。
2. 前記推定部は、
   前記第２の傾斜値および前記第３の傾斜値が前記第１の傾斜値に近い場合に、前記連続構造物度は高いと推定し、
   前記第２の傾斜値および前記第３の傾斜値が前記第１の傾斜値から離れている場合に、前記連続構造物度は低いと推定する
   請求項１に記載の画像処理装置。
3. 前記推定部は、前記第１の画像領域における前記複数の代表値の、前記第１の画像領域における前記近似直線からのばらつき、前記第２の画像領域における前記複数の代表値の、前記第２の画像領域における前記近似直線からのばらつき、および前記第３の画像領域における前記複数の代表値の、前記第３の画像領域における前記近似直線からのばらつきに基づいて、前記連続構造物度を推定すべきかどうかを判定し、推定すべきと判定した場合に前記連続構造物度を推定する
   請求項１または請求項２に記載の画像処理装置。
4. 前記第１の画像領域の左端は、前記第２の画像領域の中央付近に位置し、
   前記第１の画像領域の右端は、前記第３の画像領域の中央付近に位置する
   請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 前記第１の画像領域の幅、前記第２の画像領域の幅、および前記第３の画像領域の幅は、互いに等しい
   請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. 前記複数の視差関連値の前記代表値は、前記複数の視差関連値の最頻値である
   請求項１から請求項５のいずれか一項に記載の画像処理装置。
7. 前記複数の視差関連値の前記代表値は、前記複数の視差関連値の平均値である
   請求項１から請求項５のいずれか一項に記載の画像処理装置。
8. ステレオ画像に基づいて生成された、各画素における視差に応じた視差関連値を含む距離画像に基づいて、立体物を検出することにより立体物領域を設定することと、
   前記立体物領域に対応する第１の画像領域と、前記第１の画像領域の左端を含み一部が前記第１の画像領域と重なる第２の画像領域と、前記第１の画像領域の右端を含み一部が前記第１の画像領域と重なる第３の画像領域とを設定することと、
   前記第１の画像領域、前記第２の画像領域、および前記第３の画像領域における複数の画素列のそれぞれにおいて、複数の前記視差関連値の代表値を算出することと、
   前記第１の画像領域、前記第２の画像領域、および前記第３の画像領域のそれぞれにおいて、複数の画素列における複数の代表値の近似直線を算出することと、
   前記第１の画像領域の前記近似直線の第１の傾斜値、前記第２の画像領域の前記近似直線の第２の傾斜値、および前記第３の画像領域の前記近似直線の第３の傾斜値に基づいて、前記立体物が連続構造物である度合いを示す連続構造物度を推定することと、
   前記連続構造物度に基づいて、検出された前記立体物が車両であるかどうかを判定することと
   を含む画像処理方法。
   
   

Images