JP7492372B2 - 画像処理装置 - Google Patents

Description

本開示は、ステレオ画像に基づいて距離画像を得る画像処理装置に関する。

自動車等の車両には、ステレオカメラにより得られたステレオ画像に基づいて、対応点を探索することにより距離画像を生成するものがある。例えば、特許文献１には、基準画像において設定された基準領域と、探索画像において設定された複数の探索領域との間の画像情報の類似度に基づいて、対応点を特定する技術が開示されている。

特開２０１６－６２４４７号公報

画像処理装置では、距離画像の精度が高いことが望まれており、さらなる精度の向上が期待されている。

距離画像の精度を高めることができる画像処理装置を提供することが望ましい。

本開示の一実施の形態に係る画像処理装置は、画像補正部と、距離画像生成部と、蓄積部と、補正パラメータ生成部とを備えている。画像補正部は、補正パラメータを用いて第１の左画像および第１の右画像を含むステレオ画像に対して画像補正処理を行うことにより第２の左画像および第２の右画像を生成するように構成される。距離画像生成部は、第２の左画像および第２の右画像に基づいて、互いに対応する第２の左画像における左画像点および第２の右画像における右画像点を含む対応点を特定することにより、距離画像を生成するように構成される。蓄積部は、第２の左画像および第２の右画像における互いに対応する位置に、第２の左画像および第２の右画像のそれぞれにおいて、横方向における位置が互いに異なるように設けられた複数の画像領域における対応点に基づいて、複数の画像領域のうちの対応点が属する画像領域と、左画像点および右画像点の縦方向における位置の差に応じた差分値とを関連付けて記憶するように構成される。補正パラメータ生成部は、第２の左画像および第２の右画像における複数の画像領域の横方向での位置、および複数の画像領域に関連付けて記憶された複数の差分値に基づいて補正パラメータを生成するように構成される。左画像点および右画像点のそれぞれは、第１の大きさを有する部分画像である。距離画像生成部は、第２の左画像および第２の右画像のうちの一方における部分画像に基づいて、第１の大きさを有する第１のテンプレート画像を生成し、第２の左画像および第２の右画像のうちの他方において第１のテンプレート画像にマッチングする部分画像を探索することにより対応点を特定するとともに、第２の左画像および第２の右画像のうちの一方における複数の画像領域のそれぞれにおける部分画像に基づいて、第１の大きさを有し、第１のテンプレート画像の一部を含む第２のテンプレート画像を生成し、第２の左画像および第２の右画像のうちの他方において第２のテンプレート画像にマッチングする部分画像を探索することにより対応点を特定する。

本開示の一実施の形態に係る画像処理装置によれば、距離画像の精度を高めることができる。

本開示の一実施の形態に係る画像処理装置の一構成例を表すブロック図である。 図１に示したステレオカメラの車両における配置例を表す説明図である。 図１に示したステレオカメラが生成した左画像および右画像の一例を表す説明図である。 図１に示したステレオカメラが生成した左画像および右画像の他の一例を表す説明図である。 図１に示したステレオカメラが生成した左画像および右画像の他の一例を表す説明図である。 図１に示した補正パラメータの一例を表す説明図である。 ３つの画像領域の一例を表す説明図である。 ３つの画像領域の一例を表す他の説明図である。 図１に示した対応点算出部の一動作例を表す説明図である。 図１に示した対応点算出部の一動作例を表す他の説明図である。 図１に示した対応点算出部の一動作例を表す他の説明図である。 図１に示した対応点算出部の一動作例を表す他の説明図である。 図１に示した対応点算出部の一動作例を表す他の説明図である。 図１に示した対応点算出部により特定された対応点の一例を表す説明図である。 図１に示した差分値蓄積部の一動作例を表す説明図である。 図１に示した差分値蓄積部の一動作例を表す他の説明図である。 図１に示した補正パラメータ生成部の一動作例を表す説明図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る画像処理装置（画像処理装置１）の一構成例を表すものである。画像処理装置１は、ステレオカメラ１１と、処理部２０とを有している。画像処理装置１は、自動車等の車両１０に搭載される。

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。

図２は、車両１０におけるステレオカメラ１１の配置例を表すものである。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０の車両内において、車両１０のフロントガラス１００の上部近傍に、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬは複数の画素値を含み、右画像ＰＲは複数の画素値を含む。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。

図３は、ステレオ画像ＰＩＣの一例を表すものであり、図３（Ａ）は左画像ＰＬの一例を示し、図３（Ｂ）は右画像ＰＲの一例を示す。この例では、車両１０が走行している走行路における車両１０の前方に、他車両（先行車両９０）が走行している。左カメラ１１Ｌはこの先行車両９０を撮像することにより左画像ＰＬを生成し、右カメラ１１Ｒはこの先行車両９０を撮像することにより右画像ＰＲを生成する。

左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

処理部２０（図１）は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、車両１０の前方の物体を認識するように構成される。車両１０では、例えば、処理部２０が認識した物体についての情報に基づいて、例えば、車両１０の走行制御を行い、あるいは、認識した物体についての情報をコンソールモニタに表示することができるようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、画像補正部２１と、距離画像生成部２２と、補正制御部２４と、物体認識部２７とを有している。

画像補正部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲのうちの一方および双方に対して、補正制御部２４から供給された補正パラメータＣＴＬに応じた画像補正処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成するように構成される。

すなわち、処理部２０では、後述するように、距離画像生成部２２が、左画像ＰＬ（左画像ＰＬ１）および右画像ＰＲ（右画像ＰＲ１）に基づいてステレオマッチング処理を行うことにより、距離画像ＰＺを生成する。このように、距離画像生成部２２が距離画像ＰＺを生成する際、図３に示したように、左画像ＰＬおよび右画像ＰＲにおける上下方向の画像位置がほぼ等しいことや、左画像ＰＬおよび右画像ＰＲにおける回転方向の画像角度がほぼ等しいことが望まれる。しかしながら、左カメラ１１Ｌおよび右カメラ１１Ｒが相対的にずれた位置や向きに配置されることにより、左画像ＰＬおよび右画像ＰＲにおける上下方向の画像位置が互いにずれる場合や、左画像ＰＬおよび右画像ＰＲにおける回転方向の画像角度が互いにずれる場合があり得る。

図４は、左画像ＰＬおよび右画像ＰＲにおける上下方向の画像位置が互いにずれる場合における、ステレオ画像ＰＩＣの一例を表すものであり、図４（Ａ）は左画像ＰＬの一例を示し、図４（Ｂ）は右画像ＰＲの一例を示す。この例では、左画像ＰＬにおける上下方向の画像位置は、右画像ＰＲにおける上下方向の画像位置よりも高い。このような状況は、例えば、左カメラ１１Ｌが、右カメラ１１Ｒの位置よりも低い位置に配置された場合により生じ得る。

図５は、左画像ＰＬおよび右画像ＰＲにおける回転方向の画像角度が互いにずれる場合におけるステレオ画像ＰＩＣの一例を表すものであり、図５（Ａ）は左画像ＰＬの一例を示し、図５（Ｂ）は右画像ＰＲの一例を示す。この例では、左画像ＰＬにおける画像が、水平方向からやや反時計回りに回転している。このような状況は、例えば、左カメラ１１Ｌが、光軸を中心として水平方向から時計回りにやや回転した角度で配置された場合に生じ得る。

このように、左画像ＰＬおよび右画像ＰＲにおける上下方向の画像位置が互いにずれる場合（図４）や、左画像ＰＬおよび右画像ＰＲにおける回転方向の画像角度が互いにずれる場合（図５）には、距離画像生成部２２は、ステレオマッチング処理を行うことが難しくなり、その結果、距離画像ＰＺの精度が低下するおそれがある。そこで、画像処理装置１では、画像補正部２１は、左画像ＰＬおよび右画像ＰＲの一方または双方に対して、補正パラメータＣＴＬに応じた画像補正処理を行うことにより、左画像ＰＬおよび右画像ＰＲを補正する。

図６は、補正パラメータＣＴＬの一例を表すものである。補正パラメータＣＴＬは、左画像ＰＬおよび右画像ＰＲにおける、画素値の縦方向（Ｙ方向）の位置のずれを示す差分値ｎを含んでいる。差分値ｎは、横方向（Ｘ方向）の座標に応じて一次関数的に変化するように設定される。

特性Ｗ１は、図４に示したような、左画像ＰＬにおける上下方向の画像位置が、右画像ＰＲにおける上下方向の画像位置よりも高い場合における補正パラメータＣＴＬを示している。この例では、差分値ｎは、横方向（Ｘ方向）の座標によらず一定である。画像補正部２１は、例えば、このような補正パラメータＣＴＬを用いて、左画像ＰＬにおける画素値の位置を、差分値ｎだけ下方向に移動させることにより、図３に示したように、左画像ＰＬおよび右画像ＰＲにおける上下方向の画像位置を一致させることができる。

特性Ｗ２は、図５に示したような、左画像ＰＬにおける画像が、水平方向からやや反時計回りに回転している場合における補正パラメータＣＴＬを示している。この例では、差分値ｎは、横方向（Ｘ方向）の座標に応じて変化する。画像補正部２１は、例えば、このような補正パラメータＣＴＬを用いて、左画像ＰＬを、差分値ｎの勾配分だけ時計回りに回転させることにより、図３に示したように、左画像ＰＬおよび右画像ＰＲにおける回転方向の画像角度を、互いに一致させることができる。

このようにして、画像補正部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲのうちの一方および双方に対して、補正制御部２４から供給された補正パラメータＣＴＬに応じた画像補正処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成する。これにより、距離画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいてステレオマッチング処理を行いやすくなり、その結果、距離画像ＰＺの精度を高めることができるようになっている。

距離画像生成部２２（図１）は、画像補正部２１により生成された左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成するように構成される。距離画像ＰＺは、複数の画素値を含む。複数の画素値のそれぞれは、この例では視差値である。言い換えれば、複数の画素値のそれぞれは、３次元の実空間における、各画素に対応する点までの距離に対応する。なお、これに限定されるものではなく、例えば、複数の画素値のそれぞれは、３次元の実空間における、各画素に対応する点までの距離を示す値であってもよい。

距離画像生成部２２は、対応点算出部２３を有している。対応点算出部２３は、左画像ＰＬ１および右画像ＰＲ１に基づいて、テンプレートマッチングにより、互いに対応する２つの画像点（左画像点ＣＰＬおよび右画像点ＣＰＲ）を含む対応点ＣＰを特定するように構成される。そして、対応点算出部２３は、左画像ＰＬ１および右画像ＰＲ１のそれぞれにおける３つの画像領域Ｒ（画像領域Ｒ１～Ｒ３）において特定された対応点ＣＰについての情報を、補正制御部２４に供給するようになっている。

図７，８は、画像領域Ｒ１～Ｒ３の一例を表すものである。図７に示したように、左画像ＰＬ１および右画像ＰＲ１のそれぞれには、３つの画像領域Ｒ１～Ｒ３が横方向に並設される。３つの画像領域Ｒ１～Ｒ３のそれぞれは、左画像ＰＬ１および右画像ＰＲ１において、互いに対応する位置に配置される。画像領域Ｒ１は、左画像ＰＬ１および右画像ＰＲ１のそれぞれにおける左半分に配置され、画像領域Ｒ２は、左画像ＰＬ１および右画像ＰＲ１のそれぞれにおける、横方向の中央付近に配置され、画像領域Ｒ３は、左画像ＰＬ１および右画像ＰＲ１のそれぞれにおける右半分に配置される。この例では、画像領域Ｒ１および画像領域Ｒ３は、横方向において対称な位置に配置される。これらの３つの画像領域Ｒ１～Ｒ３は、図８に示したように、左画像ＰＬおよび右画像ＰＲにおける消失点ＶＰを含む水平な画素ライン上に配置される。すなわち、この画素ラインよりも下では、例えば路面の画像が多いので対応点ＣＰを特定しにくく、また、この画素ラインよりも上では、例えば空の画像が多いので対応点ＣＰを特定しにくい。一方、この画素ラインの近くでは、車両、歩行者、建物などの様々な物体の画像があるので、対応点ＣＰを特定しやすい。よって、この例では、より多くの対応点ＣＰを得るため、消失点ＶＰを含む水平な画素ライン上に３つの画像領域Ｒ１～Ｒ３を配置している。

対応点算出部２３は、このような３つの画像領域Ｒ１～Ｒ３において特定された対応点ＣＰに係る、左画像ＰＬ１における左画像点ＣＰＬの位置についての情報、および右画像ＰＲ１における右画像点ＣＰＲの位置についての情報を、補正制御部２４に供給するようになっている。

補正制御部２４は、３つの画像領域Ｒ１～Ｒ３において特定された対応点ＣＰに係る、左画像ＰＬ１における左画像点ＣＰＬの位置についての情報、および右画像ＰＲ１における右画像点ＣＰＲの位置についての情報に基づいて、補正パラメータＣＴＬを生成するように構成される。補正制御部２４は、差分値蓄積部２５と、補正パラメータ生成部２６とを有している。

差分値蓄積部２５は、左画像ＰＬ１における左画像点ＣＰＬの縦方向の位置と右画像ＰＲ１における右画像点ＣＰＲの縦方向の位置との間の差分値ｎを、３つの画像領域Ｒのうちの、その左画像点ＣＰＬおよび右画像点ＣＰＲに係る対応点ＣＰが属する画像領域Ｒと関連付けて記憶するように構成される。差分値蓄積部２５は、例えば、約千フレーム分の対応点ＣＰについての差分値ｎを蓄積することができるようになっている。

補正パラメータ生成部２６は、差分値蓄積部２５に蓄積された複数の差分値ｎに基づいて、補正パラメータＣＴＬを生成するように構成される。

物体認識部２７は、左画像ＰＬ１および右画像ＰＲ１と、距離画像生成部２２により生成された距離画像ＰＺとに基づいて、車両１０の前方の物体を認識するように構成される。そして、物体認識部２７は、その認識結果についてのデータを出力するようになっている。

ここで、画像補正部２１は、本開示における「画像補正部」の一具体例に対応する。距離画像生成部２２は、本開示における「距離画像生成部」の一具体例に対応する。差分値蓄積部２５は、本開示における「蓄積部」の一具体例に対応する。補正パラメータ生成部２６は、本開示における「補正パラメータ生成部」の一具体例に対応する。補正パラメータＣＴＬは、本開示における「補正パラメータ」の一具体例に対応する。左画像ＰＬは、本開示における「第１の左画像」の一具体例に対応する。右画像ＰＲは、本開示における「第１の右画像」の一具体例に対応する。左画像ＰＬ１は、本開示における「第２の左画像」の一具体例に対応する。右画像ＰＲ１は、本開示における「第２の右画像」の一具体例に対応する。対応点ＣＰは、本開示における「対応点」の一具体例に対応する。左画像点ＣＰＬは、本開示における「左画像点」の一具体例に対応する。右画像点ＣＰＲは、本開示における「右画像点」の一具体例に対応する。画像領域Ｒ１～Ｒ３は、本開示における「複数の画像領域」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の画像処理装置１の動作および作用について説明する。

（全体動作概要）
まず、図１を参照して、画像処理装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。処理部２０において、画像補正部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲのうちの一方および双方に対して、補正制御部２４から供給された補正パラメータＣＴＬに応じた画像補正処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成する。距離画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成する。補正制御部２４は、３つの画像領域Ｒ１～Ｒ３において特定された対応点ＣＰに係る、左画像ＰＬ１における左画像点ＣＰＬの位置についての情報、および右画像ＰＲ１における右画像点ＣＰＲの位置についての情報に基づいて、補正パラメータＣＴＬを生成する。物体認識部２７は、左画像ＰＬ１および右画像ＰＲ１と、距離画像生成部２２により生成された距離画像ＰＺとに基づいて、車両１０の前方の物体を認識する。

（詳細動作）
次に、距離画像生成部２２における対応点算出部２３の動作について詳細に説明する。 対応点算出部２３は、左画像ＰＬ１および右画像ＰＲ１に基づいて、テンプレートマッチングにより、互いに対応する２つの画像点を含む対応点ＣＰを特定する。具体的には、対応点算出部２３は、例えば、右画像ＰＲ１における、例えば複数の画素値を有する部分画像ＰＰ（例えば１６画素×１６画素）をテンプレート画像とし、左画像ＰＬ１において、このテンプレート画像にマッチングする部分画像を探索することにより、互いに対応する２つの画像点（左画像点ＣＰＬおよび右画像点ＣＰＲ）を含む対応点ＣＰを特定する。右画像点ＣＰＲは、右画像ＰＲ１における部分画像ＰＰであり、左画像点ＣＰＬは、左画像ＰＬ１における、テンプレート画像にマッチングした部分画像である。

また、対応点算出部２３は、画像領域Ｒ１～Ｒ３では、以下に示すように、テンプレート画像の元になる部分画像ＰＰの位置をずらし、あるいは、テンプレート画像の元になる部分画像ＰＰの大きさを変更することにより、テンプレートマッチングの処理回数を増やす。

図９～１３は、右画像ＰＲ１における、画像領域Ｒ１の周辺での対応点算出部２３の一動作例を表すものである。なお、以下では、画像領域Ｒ１を例に挙げて説明するが、画像領域Ｒ２、Ｒ３についても同様である。画像領域Ｒ１は、例えば６４画素×６４画素の大きさを有する領域である。すなわち、画像領域Ｒ１は、１６個分の部分画像ＰＰの領域に対応している。

図９の例では、対応点算出部２３は、画像領域Ｒ１における画像に含まれる１６個の部分画像ＰＰのそれぞれに基づいてテンプレートマッチングを行う。この例では、テンプレートマッチングを行う１６個の部分画像ＰＰの領域（テンプレート領域ＲＴ）は、画像領域Ｒ１と一致する。対応点算出部２３は、この１６個の部分画像ＰＰのそれぞれをテンプレート画像として、左画像ＰＬ１において、これらのテンプレート画像にマッチングする部分画像をそれぞれ探索する。これにより、対応点算出部２３は、最大で１６個の対応点ＣＰを特定することができる。

図１０の例では、対応点算出部２３は、テンプレート領域ＲＴを、画像領域Ｒ１から部分画像ＰＰの半分だけ下方向にずらしている。このテンプレート領域ＲＴは、１６個の部分画像ＰＰ２を含む。対応点算出部２３は、これらの１６個の部分画像ＰＰ２のそれぞれに基づいてテンプレートマッチングを行う。これにより、対応点算出部２３は、最大で１６個の対応点ＣＰを特定することができる。これらの１６個の部分画像ＰＰ２は、図９に示した部分画像ＰＰとは異なるので、このテンプレートマッチングにより特定される対応点ＣＰは、これらの部分画像ＰＰにより特定される対応点ＣＰとは異なる。

図１１の例では、対応点算出部２３は、テンプレート領域ＲＴを、画像領域Ｒ１から部分画像ＰＰの半分だけ右方向にずらしている。このテンプレート領域ＲＴは、１６個の部分画像ＰＰ３を含む。対応点算出部２３は、これらの１６個の部分画像ＰＰ３のそれぞれに基づいてテンプレートマッチングを行う。これにより、対応点算出部２３は、最大で１６個の対応点ＣＰを特定することができる。これらの１６個の部分画像ＰＰ３は、図９，１０に示した部分画像ＰＰ，ＰＰ２とは異なるので、このテンプレートマッチングにより特定される対応点ＣＰは、これらの部分画像ＰＰ、ＰＰ２により特定される対応点ＣＰとは異なる。

図１２の例では、対応点算出部２３は、テンプレート領域ＲＴを、画像領域Ｒ１から部分画像ＰＰの半分だけ右方向および下方向にずらしている。このテンプレート領域ＲＴは、１６個の部分画像ＰＰ４を含む。対応点算出部２３は、これらの１６個の部分画像ＰＰ４のそれぞれに基づいてテンプレートマッチングを行う。これにより、対応点算出部２３は、最大で１６個の対応点ＣＰを特定することができる。これらの１６個の部分画像ＰＰ４は、図９～１１に示した部分画像ＰＰ～ＰＰ３とは異なるので、このテンプレートマッチングにより特定される対応点ＣＰは、これらの部分画像ＰＰ～ＰＰ３により特定される対応点ＣＰとは異なる。

図１３の例では、対応点算出部２３は、画像領域Ｒ１における画像に含まれる４個の部分画像ＰＰ５のそれぞれに基づいてテンプレートマッチングを行う。部分画像ＰＰ５は、４つの部分画像ＰＰを結合した画像である。これにより、対応点算出部２３は、最大で４個の対応点ＣＰを特定することができる。これらの４個の部分画像ＰＰ５は、図９～１２に示した部分画像ＰＰ～ＰＰ４とは異なるので、このテンプレートマッチングにより特定される対応点ＣＰは、これらの部分画像ＰＰ～ＰＰ４により特定される対応点ＣＰとは異なる。

以上では、画像領域Ｒ１を例に挙げて説明したが、画像領域Ｒ２，Ｒ３についても同様である。また、対応点算出部２３は、このようにして、右画像ＰＲ１における部分画像のそれぞれをテンプレート画像として、左画像ＰＬ１において、これらのテンプレート画像にマッチングする部分画像をそれぞれ探索することにより対応点ＣＰを特定したが、同様に、左画像ＰＬ１における部分画像のそれぞれをテンプレート画像として、右画像ＰＲ１において、これらのテンプレート画像にマッチングする部分画像をそれぞれ探索することにより対応点ＣＰを特定する。

図１４は、画像領域Ｒ１～Ｒ３において特定された、対応点ＣＰに係る左画像点ＣＰＬおよび右画像点ＣＰＲの一例を表すものである。なお、この図１４では、説明の便宜上、画像領域Ｒ１～Ｒ３のそれぞれについて、３つの対応点ＣＰを特定しているが、これに限定されるものではなく、実際にはより多くの対応点ＣＰが特定される。左画像ＰＬの画像領域Ｒ１付近の３つの左画像点ＣＰＬは、右画像ＰＲ１の画像領域Ｒ１付近の３つの右画像点ＣＰＲにそれぞれ対応している。画像領域Ｒ２，Ｒ３についても同様である。例えば、左画像点ＣＰＬ１および右画像点ＣＰＲ１は１つの対応点ＣＰを構成し、左画像点ＣＰＬ２および右画像点ＣＰＲ２は１つの対応点ＣＰを構成し、左画像点ＣＰＬ３および右画像点ＣＰＲ３は１つの対応点ＣＰを構成し、左画像点ＣＰＬ４および右画像点ＣＰＲ４は１つの対応点ＣＰを構成する。

この例では、画像領域Ｒ１～Ｒ３において特定された対応点ＣＰのうちの左画像点ＣＰＬおよび右画像点ＣＰＲのうちの少なくとも一方は、画像領域Ｒ１～Ｒ３のいずれかに属している。具体的には、左画像点ＣＰＬ１および右画像点ＣＰＲ１のうちの左画像点ＣＰＬ１は画像領域Ｒ１に属している。左画像点ＣＰＬ２および右画像点ＣＰＲ２のうちの右画像点ＣＰＲ２は画像領域Ｒ１に属している。左画像点ＣＰＬ３および右画像点ＣＰＲ３の両方は、画像領域Ｒ２に属している。

次に、補正制御部２４の動作について詳細に説明する。補正制御部２４の差分値蓄積部２５は、左画像ＰＬ１における左画像点ＣＰＬの縦方向の位置と右画像ＰＲ１における右画像点ＣＰＲの縦方向の位置との間の差分値ｎを、３つの画像領域Ｒのうちの、その左画像点ＣＰＬおよび右画像点ＣＰＲに係る対応点ＣＰが属する画像領域Ｒと関連付けて記憶する。

図１５，１６は、差分値ｎの一例を表すものである。図１５の例では、画像領域Ｒ１における左画像点ＣＰＬ１の縦方向の位置は、右画像点ＣＰＲ１の縦方向の位置よりも下である。差分値蓄積部２５は、この差分値ｎを、画像領域Ｒ１に関連付けて記憶する。また、図１６の例では、画像領域Ｒ３における左画像点ＣＰＬ４の縦方向の位置は、右画像点ＣＰＲ４の縦方向の位置よりも上である。差分値蓄積部２５は、この差分値ｎを、画像領域Ｒ１に関連付けて記憶する。差分値蓄積部２５は、例えば約１０００フレーム分の対応点ＣＰについての差分値ｎを蓄積する。

そして、補正パラメータ生成部２６は、差分値蓄積部２５において、３つの画像領域Ｒ１～Ｒ３のそれぞれにおいて、差分値ｎが所定数以上蓄積された場合に、差分値蓄積部２５に蓄積された複数の差分値ｎに基づいて、補正パラメータＣＴＬを生成する。

図１７は、補正パラメータ生成部２６の一動作例を表すものである。補正パラメータ生成部２６は、ｘｙ面において、画像領域Ｒ１に関連付けられた複数の差分値ｎを、画像領域Ｒ１の横方向（ｘ方向）の位置にプロットし、画像領域Ｒ２に関連付けられた複数の差分値ｎを、画像領域Ｒ２の横方向（ｘ方向）の位置にプロットし、画像領域Ｒ３に関連付けられた複数の差分値ｎを、画像領域Ｒ３の横方向（ｘ方向）の位置にプロットする。そして、補正パラメータ生成部２６は、例えば、最小二乗法を用いて、この差分値ｎの近似直線を算出する。その際、補正パラメータ生成部２６は、例えば、画像領域Ｒ１における差分値ｎの個数に基づいて、画像領域Ｒ１における差分値ｎの重みを設定し、画像領域Ｒ２における差分値ｎの個数に基づいて、画像領域Ｒ２における差分値ｎの重みを設定し、画像領域Ｒ３における差分値ｎの個数に基づいて、画像領域Ｒ３における差分値ｎの重みを設定する。具体的には、例えば、画像領域Ｒ１における差分値ｎの個数が多い場合には、画像領域Ｒ１における差分値ｎの重み係数を小さくし、画像領域Ｒ１における差分値ｎの個数が少ない場合には、画像領域Ｒ１における差分値ｎの重み係数を大きくする。画像領域Ｒ２，Ｒ３についても同様である。そして、このようにして得られた近似直線についての情報を、補正パラメータＣＴＬとする。補正パラメータＣＴＬは、例えば、この近似直線の傾き値や切片値を含む。なお、この例では、最小二乗法を用いて、近似直線を算出したが、これに限定されるものではなく、これに変えて、例えば、エネルギー最小化問題の手法を用いて、近似直線を算出してもよい。

画像補正部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲのうちの一方および双方に対して、このようにして得られた補正パラメータＣＴＬに応じた画像補正処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成する。これにより、距離画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいてステレオマッチング処理を行いやすくなり、その結果、距離画像ＰＺの精度を高めることができる。

このように、画像処理装置１では、左画像ＰＬ１および右画像ＰＲ１における互いに対応する位置に、横方向における位置が互いに異なるように設けられた３つの画像領域Ｒ１～Ｒ３における対応点ＣＰに基づいて、３つの画像領域Ｒ１～Ｒ３のうちの対応点ＣＰが属する画像領域Ｒと、左画像点ＣＰＬおよび右画像点ＣＰＲの縦方向における位置の差に応じた差分値ｎとを関連付けて記憶するようにした。そして、左画像ＰＬ１および右画像ＰＲ１における３つの画像領域Ｒ１～Ｒ３の横方向での位置、および３つの画像領域Ｒ１～Ｒ３に関連付けて記憶された複数の差分値ｎに基づいて、補正パラメータＣＴＬを生成するようにした。これにより、画像処理装置１では、左画像ＰＬおよび右画像ＰＲにおける上下方向の画像位置が互いにずれる場合（図４）や、左画像ＰＬおよび右画像ＰＲにおける回転方向の画像角度が互いにずれる場合（図５）に、画像補正部２１が、この補正パラメータＣＴＬに応じた画像補正処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成することができる。これにより、距離画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいてステレオマッチング処理を行いやすくなり、その結果、距離画像ＰＺの精度を高めることができる。

特に、画像処理装置１では、画像領域Ｒ１を左画像ＰＬ１および右画像ＰＲ１における左半分の領域に配置し、画像領域Ｒ３を左画像ＰＬ１および右画像ＰＲ１における右半分の領域に配置するようにした。これにより、画像補正の精度を高めることができる。すなわち、例えば、３つの画像領域Ｒ１～Ｒ３の全てを、左画像ＰＬ１および右画像ＰＲ１における右半分の領域に配置した場合には、狭い範囲のデータに基づいて近似直線を得るので、近似直線の精度が低下するおそれがある。また、例えば、フロントガラス１００による画像歪みの影響により、距離画像ＰＺの精度が低下するおそれがある。フロントガラス１００における左カメラ１１Ｌの撮像面の前方のガラス部分や、右カメラ１１Ｒの撮像面の前方のガラス部分において、光学特性が均一であることが望ましいが、実際には均一でない場合があり得る。この場合には、例えば、左画像ＰＬや右画像ＰＬが歪むことがあり得る。一般に、フロントガラス１００による画像歪みは、左画像ＰＬおよび右画像ＰＲにおける左半分と右半分とで互いに異なる。よって、このように、３つの画像領域Ｒ１～Ｒ３の全てを、左画像ＰＬ１および右画像ＰＲ１における右半分の領域に配置した場合には、右半分における歪みが解消される一方、左半分における歪みが悪化するおそれがある。その結果、距離画像ＰＺの精度が低下するおそれがある。

一方、画像処理装置１では、画像領域Ｒ１を左画像ＰＬ１および右画像ＰＲ１における左半分の領域に配置し、画像領域Ｒ３を左画像ＰＬ１および右画像ＰＲ１における右半分の領域に配置するようにした。これにより、広い範囲のデータに基づいて近似直線を得るので、近似直線の精度を高めることができる。また、フロントガラス１００による画像歪みによる距離画像ＰＺへの影響を抑えることができる。その結果、距離画像ＰＺの精度を高めることができる。

また、画像処理装置１では、図９に示したように、左画像ＰＬ１よび右画像ＰＲ１のうちの一方における３つの画像領域Ｒ１～Ｒ３のそれぞれにおいて、部分画像ＰＰに応じたテンプレート画像を生成するようにした。そして、例えば、図１０に示したように、３つの画像領域Ｒ１～Ｒ３のそれぞれにおいて、部分画像ＰＰと同じ大きさの部分画像ＰＰ２に応じたテンプレート画像を生成するようにした。部分画像ＰＰ２に応じたテンプレート画像は、例えば、部分画像ＰＰに応じたテンプレート画像の一部を含むようにした。また、例えば、図１３に示したように、３つの画像領域Ｒ１～Ｒ３のそれぞれにおいて、部分画像ＰＰと異なる大きさの部分画像ＰＰ５に応じたテンプレート画像を生成するようにした。部分画像ＰＰ５に応じたテンプレート画像は、例えば、部分画像ＰＰに応じたテンプレート画像の一部を含むようにした。これにより、画像処理装置１では、例えば、夜などの対応点ＣＰが得にくい環境において、対応点ＣＰの数を増やすことができる。その結果、距離画像ＰＺの精度を高めることができる。

［効果］
以上のように本実施の形態では、左画像および右画像における互いに対応する位置に、横方向における位置が互いに異なるように設けられた３つの画像領域における対応点に基づいて、３つの画像領域のうちの対応点が属する画像領域と、左画像点および右画像点の縦方向における位置の差に応じた差分値とを関連付けて記憶するようにした。そして、左画像および右画像における３つの画像領域の横方向での位置、および画像領域に関連付けて記憶された複数の差分値に基づいて、補正パラメータを生成するようにした。これにより、距離画像の精度を高めることができる。

本実施の形態では、画像領域Ｒ１を左画像および右画像における左半分の領域に配置し、画像領域Ｒ３を左画像および右画像における右半分の領域に配置するようにしたので、距離画像の精度を高めることができる。

本実施の形態では、左画像および右画像のうちの一方における３つの画像領域のそれぞれにおいて、部分画像ＰＰに応じたテンプレート画像を生成するようにした。そして、例えば、３つの画像領域のそれぞれにおいて、部分画像ＰＰと同じ大きさの部分画像ＰＰ２に応じたテンプレート画像を生成するようにした。部分画像ＰＰ２に応じたテンプレート画像は、例えば、部分画像ＰＰに応じたテンプレート画像の一部を含むようにした。また、例えば、３つの画像領域のそれぞれにおいて、部分画像ＰＰと異なる大きさの部分画像ＰＰ５に応じたテンプレート画像を生成するようにした。部分画像ＰＰ５に応じたテンプレート画像は、例えば、部分画像ＰＰに応じたテンプレート画像の一部を含むようにした。これにより、距離画像の精度を高めることができる。

［変形例１］
上記実施の形態では、３つの画像領域Ｒ１～Ｒ３を設けるようにしたが、これに限定されるものではなく、２つの画像領域Ｒを設けてもよいし、４つ以上の画像領域Ｒを設けてもよい。

［変形例２］
上記実施の形態では、補正パラメータ生成部２６は、例えば、画像領域Ｒ１における差分値ｎの個数に基づいて、画像領域Ｒ１における差分値ｎの重みを設定し、画像領域Ｒ２における差分値ｎの個数に基づいて、画像領域Ｒ２における差分値ｎの重みを設定し、画像領域Ｒ３における差分値ｎの個数に基づいて、画像領域Ｒ３における差分値ｎの重みを設定するようにしたが、これに限定されるものではない。これに変えて、例えば、補正パラメータ生成部２６は、差分値ｎの重みを設定しなくてもよい。その場合、補正パラメータ生成部２６は、画像領域Ｒ１における差分値ｎの個数、画像領域Ｒ２における差分値ｎの個数、および画像領域Ｒ３における差分値ｎの個数が、互いにほぼ等しくなるように調節することが望ましい。

以上、実施の形態およびいくつかの変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記実施の形態では、ステレオカメラ１１は車両１０の前方を撮像するようにしたが、これに限定されるものではなく、例えば、車両１０の側方や後方を撮像してもよい。

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

１…画像処理装置、１０…車両、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０…処理部、２１…画像補正部、２２…距離画像生成部、２３…対応点算出部、２４…補正制御部、２５…差分値蓄積部、２６…補正パラメータ生成部、２７…物体認識部、１００…フロントガラス、ＣＰ…対応点、ＣＰＬ…左画像点、ＣＰＲ…右画像点、ＣＴＬ…補正パラメータ、ｎ…差分値、ＰＺ…距離画像、ＰＩＣ…ステレオ画像、ＰＬ，ＰＬ１…左画像、ＰＰ，ＰＰ２，ＰＰ３，ＰＰ４，ＰＰ５…部分画像、ＰＲ，ＰＲ１…右画像、Ｒ，Ｒ１～Ｒ３…画像領域、ＲＴ…テンプレート領域。

Claims (3)

1. 補正パラメータを用いて第１の左画像および第１の右画像を含むステレオ画像に対して画像補正処理を行うことにより第２の左画像および第２の右画像を生成する画像補正部と、
   前記第２の左画像および前記第２の右画像に基づいて、互いに対応する前記第２の左画像における左画像点および前記第２の右画像における右画像点を含む対応点を特定することにより、距離画像を生成する距離画像生成部と、
   前記第２の左画像および前記第２の右画像における互いに対応する位置に、前記第２の左画像および前記第２の右画像のそれぞれにおいて、横方向における位置が互いに異なるように設けられた複数の画像領域における前記対応点に基づいて、前記複数の画像領域のうちの前記対応点が属する画像領域と、前記左画像点および前記右画像点の縦方向における位置の差に応じた差分値とを関連付けて記憶する蓄積部と、
   前記第２の左画像および前記第２の右画像における前記複数の画像領域の横方向での位置、および前記複数の画像領域に関連付けて記憶された複数の前記差分値に基づいて前記補正パラメータを生成する補正パラメータ生成部と
   を備え、
   前記左画像点および前記右画像点のそれぞれは、第１の大きさを有する部分画像であり、
   前記距離画像生成部は、
   前記第２の左画像および前記第２の右画像のうちの一方における部分画像に基づいて、前記第１の大きさを有する第１のテンプレート画像を生成し、前記第２の左画像および前記第２の右画像のうちの他方において前記第１のテンプレート画像にマッチングする部分画像を探索することにより前記対応点を特定するとともに、
   前記第２の左画像および前記第２の右画像のうちの一方における前記複数の画像領域のそれぞれにおける部分画像に基づいて、前記第１の大きさを有し、前記第１のテンプレート画像の一部を含む第２のテンプレート画像を生成し、前記第２の左画像および前記第２の右画像のうちの他方において前記第２のテンプレート画像にマッチングする部分画像を探索することにより前記対応点を特定する
   画像処理装置。
2. 前記第２の左画像および前記第２の右画像のそれぞれにおいて、横方向に延伸し消失点を含む画素ラインは、前記複数の画像領域を貫く
   請求項１に記載の画像処理装置。
3. 前記複数の画像領域は、
   前記第２の左画像および前記第２の右画像のそれぞれにおける左半分の領域に位置する第１の画像領域と、
   前記第２の左画像および前記第２の右画像のそれぞれにおける右半分の領域に位置する第２の画像領域と
   を含む
   請求項１または請求項２に記載の画像処理装置。

Images