JP7411499B2 - 画像処理装置 - Google Patents

Description

本開示は、ステレオ画像に基づいて距離画像を得る画像処理装置に関する。

自動車等の車両には、ステレオカメラにより得られたステレオ画像に基づいて距離画像を生成するものがある。例えば、特許文献１には、一対の画像データに基づいて距離データを生成し、この距離データを、記憶部に記憶された補正データを用いて補正する技術が開示されている。

特開２０１９－７８３０号公報

画像処理装置では、距離画像の精度が高いことが望まれており、さらなる精度の向上が期待されている。

距離画像の精度を高めることができる画像処理装置を提供することが望ましい。

本開示の一実施の形態に係る第１の画像処理装置は、画像補正部と、距離画像生成部と、蓄積部と、代表値算出部と、補正マップデータ生成部とを備えている。画像補正部は、第１の補正マップデータを用いて、第１の左画像および第１の右画像を含むステレオ画像における第１の左画像の画素値の位置を縦方向に移動させることにより第２の左画像を生成するとともに、第２の補正マップデータを用いて、第１の右画像の画素値の位置を縦方向に移動させることにより第２の右画像を生成するように構成される。距離画像生成部は、第２の左画像および第２の右画像に基づいて、互いに対応する第２の左画像における左画像点および第２の右画像における右画像点を特定することにより、距離画像を生成するように構成される。蓄積部は、第２の左画像における区分された複数の左画像領域のうちの左画像点が属する左画像領域と、左画像点および右画像点の縦方向における位置の間の差分値に応じた第１の値とを関連付けて記憶するとともに、第２の右画像における区分された複数の右画像領域のうちの右画像点が属する右画像領域と、差分値に応じた第２の値とを関連付けて記憶するように構成される。代表値算出部と、複数の左画像領域のそれぞれにおいて、その左画像領域に関連付けて記憶された複数の第１の値の代表値である第１の代表値を算出するとともに、複数の右画像領域のそれぞれにおいて、その右画像領域に関連付けて記憶された複数の第２の値の代表値である第２の代表値を算出するように構成される。補正マップデータ生成部は、複数の左画像領域のそれぞれにおける第１の代表値に基づいて第１の補正マップデータを生成するとともに、複数の右画像領域のそれぞれにおける第２の代表値に基づいて第２の補正マップデータを生成するように構成される。

本開示の一実施の形態に係る第２の画像処理装置は、画像補正部と、距離画像生成部と、蓄積部と、代表値算出部と、補正マップデータ生成部とを備えている。画像補正部は、補正マップデータを用いて、第１の左画像および第１の右画像を含むステレオ画像に対して、第１の左画像の画素値の位置および第１の右画像の画素値の位置を縦方向において互いに反対方向に移動させることにより第２の左画像および第２の右画像を生成するように構成される。距離画像生成部は、第２の左画像および第２の右画像に基づいて、互いに対応する第２の左画像における左画像点および第２の右画像における右画像点を特定することにより、距離画像を生成するように構成される。蓄積部は、ステレオ画像における区分された複数の画像領域のうちの左画像点および右画像点のうちの一方または双方に応じた画像領域と、左画像点および右画像点の縦方向における位置の間の差分値に応じた値とを関連づけて記憶するように構成される。代表値算出部は、複数の画像領域のそれぞれにおいて、その画像領域に関連付けて記憶された複数の値の代表値を算出するように構成される。補正マップデータ生成部は、複数の画像領域のそれぞれにおける代表値に基づいて補正マップデータを生成するように構成される。

本開示の一実施の形態に係る第１の画像処理装置および第２の画像処理装置によれば、距離画像の精度を高めることができる。

本開示の一実施の形態に係る画像処理装置の一構成例を表すブロック図である。 図１に示したステレオカメラの車両における配置例を表す説明図である。 図１に示したステレオカメラが生成した左画像および右画像の一例を表す説明図である。 左画像領域および右画像領域の一例を表す説明図である。 対応点の一例を表す説明図である。 図１に示した補正制御部の一動作例を表すフローチャートである。 図１に示した差分値蓄積部の一動作例を表す説明図である。 図１に示した代表値算出部の一動作例を表す説明図である。 図１に示した補正マップデータ生成部の一動作例を表す説明図である。 変形例に係る画像処理装置の一構成例を表すブロック図である。 図１０に示した差分値蓄積部の一動作例を表す説明図である。 図１０に示した差分値蓄積部の他の動作例を表す説明図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る画像処理装置（画像処理装置１）の一構成例を表すものである。画像処理装置１は、ステレオカメラ１１と、処理部２０とを有している。画像処理装置１は、自動車等の車両１０に搭載される。

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。

図２は、車両１０におけるステレオカメラ１１の配置例を表すものである。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０の車両内において、車両１０のフロントガラス１００の上部近傍に、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬは複数の画素値を含み、右画像ＰＲは複数の画素値を含む。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。

図３は、ステレオ画像ＰＩＣの一例を表すものであり、図３（Ａ）は左画像ＰＬの一例を示し、図３（Ｂ）は右画像ＰＲの一例を示す。この例では、車両１０が走行している走行路における車両１０の前方に、他車両（先行車両９０）が走行している。左カメラ１１Ｌはこの先行車両９０を撮像することにより左画像ＰＬを生成し、右カメラ１１Ｒはこの先行車両９０を撮像することにより右画像ＰＲを生成する。

左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

処理部２０（図１）は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、車両１０の前方の物体を認識するように構成される。車両１０では、例えば、処理部２０が認識した物体についての情報に基づいて、例えば、車両１０の走行制御を行い、あるいは、認識した物体についての情報をコンソールモニタに表示することができるようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、画像補正部２１と、距離画像生成部２２と、補正制御部２４と、物体認識部２８とを有している。

画像補正部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲを、フロントガラス１００による画像歪みを低減するように補正することにより、左画像ＰＬ１および右画像ＰＲ１を生成するように構成される。すなわち、フロントガラス１００における左カメラ１１Ｌの撮像面の前方のガラス部分や、右カメラ１１Ｒの撮像面の前方のガラス部分において、光学特性が均一であることが望ましいが、実際には均一でない場合があり得る。この場合には、例えば、左画像ＰＬや右画像ＰＲが歪むことがあり得る。特に、左画像ＰＬおよび右画像ＰＲにおいて、縦方向における歪みが互いに異なる場合には、距離画像生成部２２は、このような左画像ＰＬおよび右画像ＰＲに基づいてステレオマッチング処理を行うことが難しくなり、その結果、距離画像ＰＺの精度が低下するおそれがある。そこで、画像処理装置１では、画像補正部２１が、左画像ＰＬおよび右画像ＰＲを、フロントガラス１００による画像歪みを低減するように補正するようになっている。

画像補正部２１は、補正マップデータＭＬを用いて、左画像ＰＬを補正することにより左画像ＰＬ１を生成する。補正マップデータＭＬは、縦方向（Ｙ方向）の画像歪みを補正するための補正値δのマップデータである。補正マップデータＭＬの複数の補正値δは、画素単位の補正値であり、左画像ＰＬの複数の画素にそれぞれ対応している。画像補正部２１は、例えば、左画像ＰＬにおける複数の画素値の位置を、補正マップデータＭＬにおける複数の補正値δに応じてそれぞれ縦方向に移動させることにより、左画像ＰＬ１を生成する。

同様に、画像補正部２１は、補正マップデータＭＲを用いて、右画像ＰＲを補正することにより右画像ＰＲ１を生成する。補正マップデータＭＲは、縦方向（Ｙ方向）の画像歪みを補正するための補正値δのマップデータである。補正マップデータＭＲの複数の補正値δは、画素単位の補正値であり、右画像ＰＲの複数の画素にそれぞれ対応している。画像補正部２１は、例えば、右画像ＰＲにおける複数の画素値の位置を、補正マップデータＭＲにおける複数の補正値δに応じてそれぞれ縦方向に移動させることにより、右画像ＰＲ１を生成するようになっている。

距離画像生成部２２（図１）は、画像補正部２１により生成された左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成するように構成される。距離画像ＰＺは、複数の画素値を含む。複数の画素値のそれぞれは、この例では視差値である。言い換えれば、複数の画素値のそれぞれは、３次元の実空間における、各画素に対応する点までの距離に対応する。なお、これに限定されるものではなく、例えば、複数の画素値のそれぞれは、３次元の実空間における、各画素に対応する点までの距離を示す値であってもよい。

距離画像生成部２２は、対応点算出部２３を有している。対応点算出部２３は、左画像ＰＬ１および右画像ＰＲ１に基づいてステレオマッチング処理を行うことにより、互いに対応する２つの画像点（左画像点ＣＰＬおよび右画像点ＣＰＲ）を含む対応点ＣＰを特定するように構成される。そして、対応点算出部２３は、左画像ＰＬ１における左画像点ＣＰＬの位置についての情報、および右画像ＰＲ１における右画像点ＣＰＲの位置についての情報を、補正制御部２４に供給するようになっている。対応点算出部２３は、例えばテンプレートマッチングにより対応点ＣＰを特定してもよいし、局所特徴量に基づく特徴量マッチングにより対応点ＣＰを特定してもよい。

補正制御部２４は、左画像ＰＬ１における左画像点ＣＰＬの位置についての情報、および右画像ＰＲ１における右画像点ＣＰＲの位置についての情報に基づいて、補正マップデータＭＬ，ＭＲを生成するように構成される。補正制御部２４は、差分値蓄積部２５と、代表値算出部２６と、補正マップデータ生成部２７とを有している。

差分値蓄積部２５は、左画像点ＣＰＬの縦方向の位置と右画像点ＣＰＲの縦方向の位置との間の差分値ｎに応じた値を蓄積するように構成される。差分値蓄積部２５は、左バッファＢＵＦＬと、右バッファＢＵＦＲとを有している。

左バッファＢＵＦＬは、左画像ＰＬ１における区分された複数の左画像領域ＲＬのうちの左画像点ＣＰＬが属する左画像領域ＲＬと、左画像点ＣＰＬの縦方向の位置と右画像点ＣＰＲの縦方向の位置との間の差分値ｎに応じた値とを関連づけて記憶するように構成される。

右バッファＢＵＦＲは、右画像ＰＲ１における区分された複数の右画像領域ＲＲのうちの右画像点ＣＰＲが属する右画像領域ＲＲと、左画像点ＣＰＬの縦方向の位置と右画像点ＣＰＲの縦方向の位置との間の差分値ｎに応じた値とを関連づけて記憶するように構成される。

図４は、複数の左画像領域ＲＬおよび右画像領域ＲＲの一例を表すものである。左画像ＰＬ１は、この例では、横方向（Ｘ方向）において８つに区分され、縦方向（Ｙ方向）において７つに区分されることにより、５６個の左画像領域ＲＬに区分される。左バッファＢＵＦＬは、これらの５６個の左画像領域ＲＬにそれぞれ対応する５６個のバッファＢＵＦＬ_ijを有している。ここで、ｉ，ｊは対応する左画像領域ＲＬの位置を示す係数である。ｉは横方向の係数であり１以上８以下の値をとり得る。ｊは縦方向の係数であり１以上７以下の値をとり得る。５６個のバッファＢＵＦＬ_ijのそれぞれは、差分値ｎに応じた値を複数個格納することができるようになっている。

同様に、右画像ＰＲ１は、この例では、横方向（Ｘ方向）において８つに区分され、縦方向（Ｙ方向）において７つに区分されることにより、５６個の右画像領域ＲＲに区分される。右バッファＢＵＦＲは、５６個の右画像領域ＲＲにそれぞれ対応する５６個のバッファＢＵＦＲ_ijを有している。ここで、ｉ，ｊは対応する右画像領域ＲＲの位置を示す係数である。５６個のバッファＢＵＦＲ_ijのそれぞれは、差分値ｎに応じた値を複数個格納することができるようになっている。

代表値算出部２６は、複数の左画像領域ＲＬのそれぞれにおいて、その左画像領域ＲＬに関連づけて記憶された複数個の値の代表値ＶＬを算出するとともに、複数の右画像領域ＲＲのそれぞれにおいて、その右画像領域ＲＲに関連づけて記憶された複数個の値の代表値ＶＲを算出するように構成される。

補正マップデータ生成部２７は、複数の左画像領域ＲＬのそれぞれにおける代表値ＶＬに基づいて、画素単位の複数の補正値δを有する補正マップデータＭＬを生成するとともに、複数の右画像領域ＲＲのそれぞれにおける代表値ＶＲに基づいて、画素単位の複数の補正値δを有する補正マップデータＭＲを生成するように構成される。

物体認識部２８は、左画像ＰＬ１および右画像ＰＲ１と、距離画像生成部２２により生成された距離画像ＰＺとに基づいて、車両１０の前方の物体を認識するように構成される。そして、物体認識部２８は、その認識結果についてのデータを出力するようになっている。

ここで、画像補正部２１は、本開示における「画像補正部」の一具体例に対応する。距離画像生成部２２は、本開示における「距離画像生成部」の一具体例に対応する。差分値蓄積部２５は、本開示における「蓄積部」の一具体例に対応する。代表値算出部２６は、本開示における「代表値算出部」の一具体例に対応する。補正マップデータ生成部２７は、本開示における「補正マップデータ生成部」の一具体例に対応する。

ステレオ画像ＰＩＣは、本開示における「ステレオ画像」の一具体例に対応する。左画像ＰＬは、本開示における「第１の左画像」の一具体例に対応する。右画像ＰＲは、本開示における「第１の右画像」の一具体例に対応する。左画像ＰＬ１は、本開示における「第２の左画像」の一具体例に対応する。右画像ＰＲ１は、本開示における「第２の右画像」の一具体例に対応する。距離画像ＰＺは、本開示における「距離画像」の一具体例に対応する。左画像点ＣＰＬは、本開示における「左画像点」の一具体例に対応する。右画像点ＣＰＲは、本開示における「右画像点」の一具体例に対応する。左画像領域ＲＬは、本開示における「左画像領域」の一具体例に対応する。右画像領域ＲＲは、本開示における「右画像領域」の一具体例に対応する。代表値ＶＬは、本開示における「第１の代表値」の一具体例に対応する。代表値ＶＲは、本開示における「第２の代表値」の一具体例に対応する。補正マップデータＭＬは、本開示における「第１の補正マップデータ」の一具体例に対応する。補正マップデータＭＰは、本開示における「第２の補正マップデータ」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の画像処理装置１の動作および作用について説明する。

（全体動作概要）
まず、図１を参照して、画像処理装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。処理部２０において、画像補正部２１は、補正マップデータＭＬを用いて、左画像ＰＬを補正することにより左画像ＰＬ１を生成し、補正マップデータＭＲを用いて、右画像ＰＲを補正することにより右画像ＰＲ１を生成する。距離画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、距離画像ＰＺを生成する。補正制御部２４は、左画像ＰＬ１における左画像点ＣＰＬの位置についての情報、および右画像ＰＲ１における右画像点ＣＰＲの位置についての情報に基づいて、補正マップデータＭＬ，ＭＲを生成する。物体認識部２８は、左画像ＰＬ１および右画像ＰＲ１と、距離画像生成部２２により生成された距離画像ＰＺとに基づいて、車両１０の前方の物体を認識する。

（詳細動作）
以下に、補正制御部２４の動作について詳細に説明する。

距離画像生成部２２の対応点算出部２３は、左画像ＰＬ１および右画像ＰＲ１に基づいてステレオマッチング処理を行うことにより、互いに対応する２つの画像点（左画像点ＣＰＬおよび右画像点ＣＰＲ）を含む対応点ＣＰを特定する。

図５は、ステレオ画像ＰＩＣにおける対応点ＣＰの一例を表すものである。一般に、対応点算出部２３は、１つのステレオ画像ＰＩＣに基づいて、複数の対応点ＣＰを特定するが、この図５では、そのような複数の対応点ＣＰのうちの１つを描いている。この例では、左画像点ＣＰＬは、左画像ＰＬ１における複数の左画像領域ＲＬのうち、左から４番目であり上から６番目の左画像領域ＲＬに属し、右画像点ＣＰＲは、右画像ＰＲ１における複数の右画像領域ＲＲのうち、左から３番目であり上から６番目の右画像領域ＲＲに属している。この例では、左画像ＰＬ１における左画像点ＣＰＬの縦方向の位置は、右画像ＰＲ１における右画像点ＣＰＲの縦方向の位置よりも、差分値ｎだけ低い。すなわち、この例では、フロントガラス１００における光学特性の不均一性により、左画像ＰＬおよび右画像ＰＲにおいて、縦方向における歪みが互いに異なっているので、左画像点ＣＰＬおよび右画像点ＣＰＲの縦方向における位置が互いにずれている。

補正制御部２４は、左画像ＰＬ１における左画像点ＣＰＬの位置についての情報、および右画像ＰＲ１における右画像点ＣＰＲの位置についての情報に基づいて、補正マップデータＭＬ，ＭＲを生成する。

図６は、補正制御部２４の一動作例を表すものである。

まず、差分値蓄積部２５は、対応点ＣＰに含まれる左画像点ＣＰＬおよび右画像点ＣＰＲのうちの、左画像点ＣＰＬの縦方向の位置と右画像点ＣＰＲの縦方向の位置との間の差分値ｎに応じた値を蓄積する（ステップＳ１０１）。

図７は、差分値蓄積部２５の一動作例を表すものである。この例では、左画像点ＣＰＬは、左から４番目であり上から６番目の左画像領域ＲＬに属するので、差分値蓄積部２５は、左バッファＢＵＦＬにおけるこの左画像領域ＲＬに対応するバッファＢＵＦＬ₄₆に“－ｎ／２”を格納する。また、右画像点ＣＰＲは、左から３番目であり上から６番目の右画像領域ＲＲに属するので、差分値蓄積部２５は、右バッファＢＵＦＲにおけるこの右画像領域ＲＲに対応するバッファＢＵＦＲ₃₆に“ｎ／２”を格納する。左バッファＢＵＦＬのバッファＢＵＦＬ₄₆に格納された“－ｎ／２”、および右バッファＢＵＦＲのバッファＢＵＦＲ₃₆に格納された“ｎ／２”は、左画像点ＣＰＬを上方向に“ｎ／２”ずらし、右画像点ＣＰＲを下方向に“ｎ／２”ずらすことにより、左画像点ＣＰＬおよび右画像点ＣＰＲの縦方向における位置が同じになることを意味している。

差分値蓄積部２５は、例えば、１つのステレオ画像ＰＩＣから得られる複数の対応点ＣＰのそれぞれに基づいて、このように、左バッファＢＵＦＬおよび右バッファＢＵＦＲに、差分値ｎに応じた値をそれぞれ格納する。これにより、左バッファＢＵＦＬにおける複数のバッファＢＵＦＬ_ijのそれぞれ、および右バッファＢＵＦＲにおける複数のバッファＢＵＦＲ_ijのそれぞれには、差分値ｎに応じた値が格納される。例えば、これらのバッファＢＵＦＬ_ij，ＢＵＦＲ_ijの一部には、差分値ｎに応じた値が複数個格納される。

次に、代表値算出部２６は、複数の左画像領域ＲＬのそれぞれにおいて、その左画像領域ＲＬに関連づけて記憶された複数個の値の代表値ＶＬを算出するとともに、複数の右画像領域ＲＲのそれぞれにおいて、その右画像領域ＲＲに関連づけて記憶された複数個の値の代表値ＶＲを算出する（ステップＳ１０２）。

具体的には、代表値算出部２６は、複数の左画像領域ＲＬのそれぞれにおいて、その左画像領域ＲＬに関連づけて記憶された複数個の値の個数が所定数ＴＨ以上になった場合に、それらの複数個の値の最頻値を、代表値ＶＬとして算出する。

図８は、所定数ＴＨの一例を表すものである。所定数ＴＨは、複数の左画像領域ＲＬに対してそれぞれ個別に設定されている。例えば、複数の左画像領域ＲＬのうちの上半分の左画像領域ＲＬにおける所定数ＴＨは、下半分の左画像領域ＲＬにおける所定数ＴＨよりも大きい値に設定される。また、横方向の中央付近の左画像領域ＲＬにおける所定数ＴＨは、両端付近の左画像領域ＲＬにおける所定数ＴＨよりも大きい値に設定される。所定数ＴＨは、対応点算出部２３における対応点ＣＰの得られやすさに基づいて設定される。すなわち、一般に、図３に示したように、左画像ＰＬおよび右画像ＰＲの上半分には、例えば車両、建造物、人物などの画像が含まれ、下半分には走行路の画像が含まれるので、画像の上半分では、画像の下半分よりも対応点ＣＰが得られやすい。よって、図８に示したように、例えば、上半分の左画像領域ＲＬにおける所定数ＴＨは、下半分の左画像領域ＲＬにおける所定数ＴＨよりも大きい値に設定される。

代表値算出部２６は、複数の左画像領域ＲＬのそれぞれにおいて、その左画像領域ＲＬに関連づけて記憶された複数個の値の個数が、図８に示した所定数ＴＨ以上になった場合に、それらの複数個の値の最頻値を、代表値ＶＬとして算出する。

同様に、代表値算出部２６は、複数の右画像領域ＲＲのそれぞれにおいて、その右画像領域ＲＲに関連づけて記憶された複数個の値の個数が、図８に示した所定数ＴＨ以上になった場合に、それらの複数個の値の最頻値を、代表値ＶＲとして算出する。

なお、この例では、最頻値を用いて代表値ＶＬ，ＶＲを算出したが、これに限定されるものではなく、これに代えて、例えば、平均値を用いて代表値ＶＬ，ＶＲを算出してもよい。この場合には、代表値算出部２６は、複数の左画像領域ＲＬのそれぞれにおいて、その左画像領域ＲＬに関連づけて記憶された複数個の値の個数が、図８に示した所定数ＴＨ以上になった場合に、それらの複数個の値の平均値を、代表値ＶＬとして算出する。同様に、代表値算出部２６は、複数の右画像領域ＲＲのそれぞれにおいて、その右画像領域ＲＲに関連づけて記憶された複数個の値の個数が、図８に示した所定数ＴＨ以上になった場合に、それらの複数個の値の平均値を、代表値ＶＲとして算出する。

次に、補正マップデータ生成部２７は、複数の左画像領域ＲＬのそれぞれにおける代表値ＶＬに基づいて補正マップデータＭＬを生成するとともに、複数の右画像領域ＲＲのそれぞれにおける代表値ＶＲに基づいて補正マップデータＭＲを生成する（ステップＳ１０３）。

代表値算出部２６により算出された代表値ＶＬは、左画像領域ＲＬを単位とした値であり、代表値算出部２６により算出された代表値ＶＲは、右画像領域ＲＲを単位とした値である。補正マップデータ生成部２７は、左画像領域ＲＬを単位とした代表値ＶＬに基づいて、画素単位の複数の補正値δを有する補正マップデータＭＬを生成し、右画像領域ＲＲを単位とした代表値ＶＲに基づいて、画素単位の複数の補正値δを有する補正マップデータＭＲを生成する。

図９は、補正マップデータＭＬの生成処理の一例を表すものである。この図９には、画素Ｐでの補正値δを算出する場合における画素Ｐの近くの左画像領域ＲＬ₀～ＲＬ₃を示している。代表値ＶＬ₀は、左画像領域ＲＬ₀における代表値ＶＬであり、代表値ＶＬ₁は、左画像領域ＲＬ₁における代表値ＶＬであり、代表値ＶＬ₂は、左画像領域ＲＬ₂における代表値ＶＬであり、代表値ＶＬ₃は、左画像領域ＲＬ₃における代表値ＶＬである。この図９では、左画像領域ＲＬ₀～ＲＬ₃のそれぞれは、１０個の画素を含むように描いている。なお、これに限定されるものではなく、左画像領域ＲＬ₀～ＲＬ₃のそれぞれは、９個以外の画素を含んでもよいし、１１個以上の画素を含んでもよい。

補正マップデータ生成部２７は、画素Ｐでの補正値δを算出する際、画素Ｐの近くの４つの左画像領域ＲＬ₀～ＲＬ₃を特定し、これらの４つの左画像領域ＲＬ₀～ＲＬ₃の中心位置とこの画素Ｐの位置との間の距離に応じた重み値ｗ₀～ｗ₃を算出する。重み値ｗ₀は、左画像領域ＲＬ₀の中心位置と画素Ｐの位置との距離に応じた値であり、その距離が長いほど小さい値に設定される。同様に、重み値ｗ₁は、左画像領域ＲＬ₁の中心位置と画素Ｐの位置との距離に応じた値であり、重み値ｗ₂は、左画像領域ＲＬ₂の中心位置と画素Ｐの位置との距離に応じた値であり、重み値ｗ₃は、左画像領域ＲＬ₃の中心位置と画素Ｐの位置との距離に応じた値である。そして、補正マップデータ生成部２７は、以下の式を用いて画素Ｐにおける補正値δを算出する。
δ（ｔ＋１）＝
｛（ＶＬ₀×ｗ₀＋ＶＬ₁×ｗ₁＋ＶＬ₂×ｗ₂＋ＶＬ₃×ｗ₃）－δ（ｔ）｝×Ｗｒ
＋δ（ｔ）×Ｗｒ
ここで、δ（ｔ）は画素Ｐにおける現在の補正値であり、δ（ｔ＋１）は画素Ｐにおける次のタイミングでの補正値である。Ｗｒはフィルタ係数であり、０以上１以下の値をとり得る。フィルタ係数Ｗｒが大きい場合には、補正値δは時間の経過に応じて急激に変化し、フィルタ係数Ｗｒが小さい場合には、補正値δは時間の経過に応じてなだらかに変化する。

このようにして、補正マップデータ生成部２７は、複数の左画像領域ＲＬのそれぞれにおける代表値ＶＬに基づいて補正マップデータＭＬを生成する。同様に、補正マップデータ生成部２７は、複数の右画像領域ＲＲのそれぞれにおける代表値ＶＲに基づいて補正マップデータＭＲを生成する。

以上で、図６に示した処理は終了する。補正制御部２４は、例えば、処理部２０にステレオ画像ＰＩＣが供給される度に、図６に示した処理を行う。このようにして、補正マップデータＭＬ，ＭＲは順次更新される。

画像補正部２１は、このようにして生成された補正マップデータＭＬ，ＭＲを用いて、左画像ＰＬおよび右画像ＰＲを補正する。具体的には、画像補正部２１は、例えば、左画像ＰＬにおける複数の画素値の位置を、補正マップデータＭＬにおける複数の補正値δに応じてそれぞれ縦方向に移動させることにより、左画像ＰＬ１を生成する。また、画像補正部２１は、例えば、右画像ＰＲにおける複数の画素値の位置を、補正マップデータＭＲにおける複数の補正値δに応じてそれぞれ縦方向に移動させることにより、右画像ＰＲ１を生成する。これにより、画像処理装置１では、フロントガラス１００の不均一性に起因する縦方向の画像歪みを低減することができるので、ステレオマッチング処理を行いやすくすることができるため、距離画像の精度を高めることができる。

このように、画像処理装置１では、補正マップデータＭＬを用いて左画像ＰＬの画素値の位置を縦方向に移動させることにより左画像ＰＬ１を生成するとともに、補正マップデータＭＲを用いて右画像ＰＲの画素値の位置を縦方向に移動させることにより右画像ＰＲ１を生成するようにした。そして、左画像ＰＬ１および右画像ＰＲ１に基づいて、互いに対応する左画像点ＣＰＬおよび右画像点ＣＰＲを算出することにより、距離画像ＰＺを生成するようにした。これにより、画像処理装置１では、フロントガラス１００の不均一性に起因する縦方向の画像歪みを低減することができるので、ステレオマッチング処理を行いやすくすることができるため、距離画像の精度を高めることができる。

また、画像処理装置１では、左画像ＰＬ１における区分された複数の左画像領域ＲＬのうちの左画像点ＣＰＬが属する左画像領域ＲＬと、左画像点ＣＰＬおよび右画像点ＣＰＲの縦方向における位置の間の差分値ｎに応じた第１の値とを関連づけて記憶するとともに、右画像ＰＲ１における区分された複数の右画像領域ＲＲのうちの右画像点ＣＰＲが属する右画像領域ＲＲと、差分値ｎに応じた第２の値とを関連付けて記憶するようにした。そして複数の左画像領域ＲＬのそれぞれにおいて、その左画像領域ＲＬに関連付けて記憶された複数の第１の値の代表値ＶＬを算出し、複数の右画像領域ＲＲのそれぞれにおいて、その右画像領域ＲＲに関連付けて記憶された複数の第２の値の代表値ＶＲを算出するようにした。そして、複数の左画像領域ＲＬのそれぞれにおける代表値ＶＬに基づいて補正マップデータＭＬを生成するとともに、複数の右画像領域ＲＲのそれぞれにおける代表値ＶＲに基づいて補正マップデータＭＲを生成するようにした。これにより、画像処理装置１では、例えば車両１０が走行している期間において、補正マップデータＭＬ，ＭＲを更新することができる。よって、例えば風圧などによりフロントガラス１００が歪み、画像歪みが変化した場合でも、その画像歪みに応じて補正マップデータＭＬ，ＭＲを更新することができる。その結果、画像処理装置１では、距離画像の精度を高めることができる。特に、画像処理装置１では、最頻値や平均値などの代表値ＶＬ，ＶＲを用いて補正マップデータＭＬ，ＭＲを生成するようにしたので、例えば、誤検出された対応点ＣＰの影響を抑えることができるため、距離画像の精度を高めることができる。

また、画像処理装置１では、複数の左画像領域ＲＬのそれぞれにおいて、その左画像領域ＲＬに関連づけて記憶された複数の第１の値の個数が所定数ＴＨ以上になった場合に代表値ＶＬを算出し、複数の右画像領域ＲＲのそれぞれにおいて、その右画像領域ＲＲに関連づけて記憶された複数の第２の値の個数が所定数ＴＨ以上になった場合に代表値ＶＲを算出するようにした。これにより、例えば、左画像領域ＲＬに関連づけて記憶された複数の第１の値の個数が所定数ＴＨよりも少ない場合には、代表値ＶＬが算出されないので、少ないデータに基づいて代表値ＶＬが生成されることはなく、そのような少ないデータの補正値δへの影響を抑えることができるため、距離画像の精度を高めることができる。

［効果］
以上のように本実施の形態では、補正マップデータＭＬを用いて左画像ＰＬの画素値の位置を縦方向に移動させることにより左画像ＰＬ１を生成するとともに、補正マップデータＭＲを用いて右画像ＰＲの画素値の位置を縦方向に移動させることにより右画像ＰＲ１を生成するようにした。そして、左画像ＰＬ１および右画像ＰＲ１に基づいて、互いに対応する左画像点および右画像点を算出することにより、距離画像を生成するようにした。これにより、距離画像の精度を高めることができる。

本実施の形態では、左画像ＰＬ１における区分された複数の左画像領域のうちの左画像点が属する左画像領域と、左画像点および右画像点の縦方向における位置の間の差分値に応じた第１の値とを関連づけて記憶するとともに、右画像ＰＲ１における区分された複数の右画像領域のうちの右画像点が属する右画像領域と、差分値に応じた第２の値とを関連付けて記憶するようにした。そして複数の左画像領域のそれぞれにおいて、その左画像領域に関連付けて記憶された複数の第１の値の代表値ＶＬを算出し、複数の右画像領域のそれぞれにおいて、その右画像領域に関連付けて記憶された複数の第２の値の代表値ＶＲを算出するようにした。そして、複数の左画像領域のそれぞれにおける代表値ＶＬに基づいて補正マップデータＭＬを生成するとともに、複数の右画像領域のそれぞれにおける代表値ＶＲに基づいて補正マップデータＭＲを生成するようにした。これにより、距離画像の精度を高めることができる。

［変形例１］
上記実施の形態では、補正マップデータＭＬ，ＭＲを用いて左画像ＰＬおよび右画像ＰＲを補正するようにしたが、これに限定されるものではない。これに代えて、１つの補正マップデータＭを用いて左画像ＰＬおよび右画像ＰＲを補正してもよい。以下に、本変形例に係る画像処理装置１Ａについて、詳細に説明する。

図１０は、画像処理装置１Ａの一構成例を表すものである。画像処理装置１Ａは、処理部２０Ａを備えている。処理部２０Ａは、画像補正部２１Ａと、補正制御部２４Ａとを有している。

画像補正部２１Ａは、補正マップデータＭを用いて、左画像ＰＬおよび右画像ＰＲを補正することにより左画像ＰＬ１および右画像ＰＲ１を生成する。補正マップデータＭは、縦方向の画像歪みを補正するための補正値δのマップデータである。補正マップデータＭの複数の補正値δは、画素単位の補正値δである。画像補正部２１Ａは、例えば、左画像ＰＬにおける複数の画素値の位置を、補正マップデータＭにおける複数の補正値δに応じてそれぞれ縦方向に移動させることにより、左画像ＰＬ１を生成する。また、画像補正部２１Ａは、右画像ＰＲにおける複数の画素値の位置を、補正マップデータＭにおける複数の補正値δに応じて、左画像ＰＬの画素値の移動方向と反対の方向に移動させることにより、右画像ＰＲ１を生成するようになっている。

補正制御部２４Ａは、左画像ＰＬ１における左画像点ＣＰＬの位置についての情報、および右画像ＰＲ１における右画像点ＣＰＲの位置についての情報に基づいて、補正マップデータＭを生成するように構成される。補正制御部２４Ａは、差分値蓄積部２５Ａと、代表値算出部２６Ａと、補正マップデータ生成部２７Ａとを有している。

差分値蓄積部２５Ａは、上記実施の形態に係る差分値蓄積部２５と同様に、左画像点ＣＰＬの縦方向の位置と右画像点ＣＰＲの縦方向の位置との間の差分値ｎに応じた値を蓄積するように構成される。差分値蓄積部２５は、バッファＢＵＦを有している。

バッファＢＵＦは、この例では、左画像ＰＬ１における区分された複数の左画像領域ＲＬのうちの左画像点ＣＰＬが属する左画像領域ＲＬと、左画像点ＣＰＬの縦方向の位置と右画像点ＣＰＲの縦方向の位置との間の差分値ｎに応じた値とを関連づけて記憶するように構成される。バッファＢＵＦは、この例では、５６個の左画像領域ＲＬにそれぞれ対応する５６個のバッファＢＵＦ_ijを有している。

図１１は、差分値蓄積部２５Ａの一動作例を表すものである。この例では、左画像点ＣＰＬは、左から４番目であり上から６番目の左画像領域ＲＬに属するので、差分値蓄積部２５Ａは、この左画像領域ＲＬに対応するバッファＢＵＦ₄₆に“－ｎ／２”を格納する。

代表値算出部２６Ａは、上記実施の形態に係る代表値算出部２６と同様に、複数の左画像領域ＲＬのそれぞれにおいて、その左画像領域ＲＬに関連づけて記憶された複数個の値の代表値ＶＬを算出するように構成される。

補正マップデータ生成部２７Ａは、上記実施の形態に係る補正マップデータ生成部２７と同様に、複数の左画像領域ＲＬのそれぞれにおける代表値ＶＬに基づいて、画素単位の複数の補正値δを有する補正マップデータＭを生成するように構成される。

このようにして生成された補正マップデータＭは、上記実施の形態に係る補正マップデータＭＬと同様である。画像補正部２１Ａは、例えば、左画像ＰＬにおける複数の画素値の位置を、補正マップデータＭにおける複数の補正値δに応じてそれぞれ縦方向に移動させることにより、左画像ＰＬ１を生成する。また、画像補正部２１Ａは、右画像ＰＲにおける複数の画素値の位置を、補正マップデータＭにおける複数の補正値δに応じて、左画像ＰＬの画素値の移動方向と反対の方向に移動させることにより、右画像ＰＲ１を生成する。これにより、画像処理装置１Ａでは、上記実施の形態の場合と同様に、フロントガラス１００の不均一性に起因する縦方向の画像歪みを低減することができるので、ステレオマッチング処理を行いやすくすることができるため、距離画像の精度を高めることができる。

なお、この例では、差分値蓄積部２５Ａは、図１１に示したように、複数の左画像領域ＲＬのうちの左画像点ＣＰＬが属する左画像領域ＲＬと、左画像点ＣＰＬの縦方向の位置と右画像点ＣＰＲの縦方向の位置との差分値ｎに応じた値とを関連づけて記憶するようにしたが、これに限定されるものではない。これに代えて、例えば、図１２に示すように、複数の右画像領域ＲＲのうちの右画像点ＣＰＲが属する右画像領域ＲＲと、左画像点ＣＰＬの縦方向の位置と右画像点ＣＰＲの縦方向の位置との間の差分値ｎに応じた値とを関連づけて記憶してもよい。この例では、右画像点ＣＰＲは、左から３番目であり上から６番目の右画像領域ＲＲに属するので、差分値蓄積部２５Ａは、この左画像領域ＲＬに対応するバッファＢＵＦ₃₆に“ｎ／２”を格納する。このようにして生成された補正マップデータＭは、上記実施の形態に係る補正マップデータＭＲと同様である。この場合、画像補正部２１Ａは、例えば、右画像ＰＲにおける複数の画素値の位置を、補正マップデータＭにおける複数の補正値δに応じてそれぞれ縦方向に移動させることにより、右画像ＰＲ１を生成する。また、画像補正部２１Ａは、左画像ＰＬにおける複数の画素値の位置を、補正マップデータＭにおける複数の補正値δに応じて、右画像ＰＲの画素値の移動方向と反対の方向に移動させることにより、左画像ＰＬ１を生成する。

また、例えば、差分値蓄積部２５Ａは、左画像点ＣＰＬと右画像点ＣＰＲの間の重心点が属する画像領域と、左画像点ＣＰＬの縦方向の位置と右画像点ＣＰＲの縦方向の位置との差分値ｎに応じた値とを関連づけて記憶するようにしてもよい。

以上、実施の形態およびいくつかの変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記実施の形態では、ステレオカメラ１１は車両１０の前方を撮像するようにしたが、これに限定されるものではなく、例えば、車両１０の側方や後方を撮像してもよい。

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

１，１Ａ…画像処理装置、１０…車両、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０，２０Ａ…処理部、２１，２１Ａ…画像補正部、２２…距離画像生成部、２３…対応点算出部、２４，２４Ａ…補正制御部、２５，２５Ａ…差分値蓄積部、２６，２６Ａ…代表値算出部、２７，２７Ａ…補正マップデータ生成部、２８…物体認識部、１００…フロントガラス、ＢＵＦ…バッファ、ＢＵＦＬ…左バッファ、ＢＵＦＲ…右バッファ、ＣＰ…対応点、ＣＰＬ…左画像点、ＣＰＲ…右画像点、Ｍ，ＭＬ，ＭＲ…補正マップデータ、ＰＺ…距離画像、ＰＩＣ…ステレオ画像、ＰＬ，ＰＬ１…左画像、ＰＲ，ＰＲ１…右画像、ＲＬ…左画像領域、ＲＲ…右画像領域。

Claims (5)

1. 第１の補正マップデータを用いて、第１の左画像および第１の右画像を含むステレオ画像における前記第１の左画像の画素値の位置を縦方向に移動させることにより第２の左画像を生成するとともに、第２の補正マップデータを用いて、前記第１の右画像の画素値の位置を縦方向に移動させることにより第２の右画像を生成する画像補正部と、
   前記第２の左画像および前記第２の右画像に基づいて、互いに対応する前記第２の左画像における左画像点および前記第２の右画像における右画像点を特定することにより、距離画像を生成する距離画像生成部と、
   前記第２の左画像における区分された複数の左画像領域のうちの前記左画像点が属する左画像領域と、前記左画像点および前記右画像点の縦方向における位置の間の差分値に応じた第１の値とを関連付けて記憶するとともに、前記第２の右画像における区分された複数の右画像領域のうちの前記右画像点が属する右画像領域と、前記差分値に応じた第２の値とを関連付けて記憶する蓄積部と、
   前記複数の左画像領域のそれぞれにおいて、その左画像領域に関連付けて記憶された複数の前記第１の値の代表値である第１の代表値を算出するとともに、前記複数の右画像領域のそれぞれにおいて、その右画像領域に関連付けて記憶された複数の前記第２の値の代表値である第２の代表値を算出する代表値算出部と、
   前記複数の左画像領域のそれぞれにおける前記第１の代表値に基づいて前記第１の補正マップデータを生成するとともに、前記複数の右画像領域のそれぞれにおける前記第２の代表値に基づいて前記第２の補正マップデータを生成する補正マップデータ生成部と
   を備えた画像処理装置。
2. 前記代表値算出部は、
   前記複数の左画像領域のそれぞれにおいて、その左画像領域に関連づけて記憶された複数の前記第１の値の個数が所定数以上になった場合に、前記第１の代表値を算出し、
   前記複数の右画像領域のそれぞれにおいて、その右画像領域に関連づけて記憶された複数の前記第２の値の個数が所定数以上になった場合に、前記第２の代表値を算出する
   請求項１に記載の画像処理装置。
3. 前記複数の左画像領域は、第１の左画像領域および第２の左画像領域を含み、
   前記第１の左画像領域における前記所定数は、前記第２の左画像領域における前記所定数と異なる
   請求項２に記載の画像処理装置。
4. 前記第１の代表値は、前記複数の第１の値の最頻値または前記複数の第１の値の平均値である
   請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 補正マップデータを用いて、第１の左画像および第１の右画像を含むステレオ画像に対して、前記第１の左画像の画素値の位置および前記第１の右画像の画素値の位置を縦方向において互いに反対方向に移動させることにより第２の左画像および第２の右画像を生成する画像補正部と、
   前記第２の左画像および前記第２の右画像に基づいて、互いに対応する前記第２の左画像における左画像点および前記第２の右画像における右画像点を特定することにより、距離画像を生成する距離画像生成部と、
   前記ステレオ画像における区分された複数の画像領域のうちの前記左画像点および前記右画像点のうちの一方または双方に応じた画像領域と、前記左画像点および前記右画像点の縦方向における位置の間の差分値に応じた値とを関連づけて記憶する蓄積部と、
   前記複数の画像領域のそれぞれにおいて、その画像領域に関連付けて記憶された複数の前記値の代表値を算出する代表値算出部と、
   前記複数の画像領域のそれぞれにおける前記代表値に基づいて前記補正マップデータを生成する補正マップデータ生成部と
   を備えた画像処理装置。

Images