JP7324683B2 - 画像処理装置 - Google Patents

Description

本開示は、画像に対して処理を行う画像処理装置に関する。

画像処理装置には、撮像画像に基づいて、撮像面の前方に設けられた光透過部材の特性を検出し、その検出結果に応じて処理を行うものがある。例えば、特許文献１には、撮像画像におけるエッジ強度に基づいてレンズの汚れを検出し、その検出結果に基づいてセンシング可能範囲を設定する技術が開示されている。

特開２０１６－０３３７２９号公報

例えば、撮像装置の撮像面の前方に設けられた光透過部材の光学特性が、撮像画像に影響を与えるおそれがある。画像処理装置では、このような場合に、撮像画像を補正することにより画質を高めることが期待される。

画質を高めることができる画像処理装置を提供することが望ましい。

本開示の一実施の形態に係る画像処理装置は、画像補正部と、画像処理部とを備える。画像補正部は、第１の撮像部により生成された第１の撮像画像を、複数の補正値を含む第１の補正マップデータを用いて、第１の撮像部の撮像面の前方に設けられた第１の光透過部材による画像歪みを低減するように補正することにより第１の画像を生成するように構成される。画像処理部は、第１の画像に基づいて所定の画像処理を行うように構成される。第１の光透過部材による、第１の撮像画像における各位置での歪値を含む歪特性において、歪値の変化量が所定の変化量よりも大きい外周部を有する歪領域がある場合に、第１の補正マップデータは、歪領域を含み、歪領域より広い補正領域を有する。補正領域における補正値は、歪特性における歪領域の内部での歪値より小さい。

本開示の一実施の形態に係る画像処理装置によれば、画質を高めることができる。

本開示の一実施の形態に係る画像処理装置の一構成例を表すブロック図である。 図１に示したステレオカメラの車両における配置例を表す説明図である。 フロントガラスによる左画像での歪特性の一例を表す説明図である。 マップデータにおける補正特性の一例を表す説明図である。 補正後における、左画像での歪特性の一例を表す説明図である。 補正後における、左画像での歪特性の一例を表す他の説明図である。 比較例に係るマップデータにおける補正特性の一例を表す説明図である。 比較例に係る、補正後における、左画像での歪特性の一例を表す説明図である。 比較例に係る、補正後における、左画像での歪特性の一例を表す他の説明図である。 マップデータの生成方法の一例を表すフローチャートである。 図１０に示したラプラシアンデータの一例を表す説明図である。 図１０に示した中間マップデータの生成方法の一例を表すフローチャートである。 図１２に示した中間マップデータの生成方法の一例を表す説明図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る画像処理装置（画像処理装置１）の一構成例を表すものである。画像処理装置１は、ステレオカメラ１１と、処理部２０とを有している。画像処理装置１は、自動車等の車両１０に搭載される。

ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。

図２は、車両１０におけるステレオカメラ１１の配置例を表すものである。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０の車両内において、車両１０のフロントガラス１００の上部近傍に、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬは複数の画素値を含み、右画像ＰＲは複数の画素値を含む。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

処理部２０は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、車両１０の前方の物体を認識するように構成される。車両１０では、例えば、処理部２０が認識した物体についての情報に基づいて、例えば、車両１０の走行制御を行い、あるいは、認識した物体についての情報をコンソールモニタに表示することができるようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、画像補正部２１と、視差画像生成部２２と、物体認識部２３とを有している。

画像補正部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲを、フロントガラス１００による画像歪みを低減するように補正することにより、左画像ＰＬ１および右画像ＰＲ１を生成するように構成される。すなわち、フロントガラス１００における左カメラ１１Ｌの撮像面の前方のガラス部分や、右カメラ１１Ｒの撮像面の前方のガラス部分において、光学特性が均一であることが望ましいが、実際には均一でない場合があり得る。この場合には、例えば、左画像ＰＬや右画像ＰＲが歪むことがあり得る。特に、車両１０が走行すると、例えば風圧などにより車両１０の車体がゆがみ、フロントガラス１００とステレオカメラ１１との間の相対的な位置関係がずれることがあり得る。この場合には、車両１０の車速に応じて、左画像ＰＬや右画像ＰＲの画像歪みが変化し得る。画像補正部２１は、このように、フロントガラス１００による画像歪みが生じる場合に、この画像歪みを低減するように、左画像ＰＬおよび右画像ＰＲを補正するようになっている。

画像補正部２１は、補正マップデータＭＬを用いて、左画像ＰＬを補正することにより左画像ＰＬ１を生成する。補正マップデータＭＬは、補正値のマップデータであり、フロントガラス１００における左カメラ１１Ｌの前方のガラス部分の光学特性に応じてあらかじめ設定される。補正マップデータＭＬは、マップデータＭＬ１，ＭＬ２を含む。マップデータＭＬ１は、横方向（Ｘ方向）の画像歪みを補正するための補正値のマップデータであり、マップデータＭＬ２は、縦方向（Ｙ方向）の画像歪みを補正するための補正値のマップデータである。マップデータＭＬ１の複数の補正値は、左画像ＰＬの複数の画素値にそれぞれ対応しており、マップデータＭＬ２の複数の補正値は、左画像ＰＬの複数の画素値にそれぞれ対応している。画像補正部２１は、例えば、左画像ＰＬにおける複数の画素値の位置を、マップデータＭＬ１における複数の補正値に応じてそれぞれ横方向に移動させるとともに、マップデータＭＬ２における複数の補正値に応じてそれぞれ縦方向に移動させることにより、左画像ＰＬ１を生成するようになっている。

同様に、画像補正部２１は、補正マップデータＭＲを用いて、左画像ＰＲを補正することにより左画像ＰＲ１を生成する。補正マップデータＭＲは、補正値のマップデータであり、フロントガラス１００における右カメラ１１Ｒの前方のガラス部分の光学特性に応じてあらかじめ設定される。補正マップデータＭＲは、マップデータＭＲ１，ＭＲ２を含む。マップデータＭＲ１は、横方向（Ｘ方向）の画像歪みを補正するための補正値のマップデータであり、マップデータＭＲ２は、縦方向（Ｙ方向）の画像歪みを補正するための補正値のマップデータである。マップデータＭＲ１の複数の補正値は、右画像ＰＲの複数の画素値にそれぞれ対応しており、マップデータＭＲ２の複数の補正値は、右画像ＰＲの複数の画素値にそれぞれ対応している。画像補正部２１は、例えば、右画像ＰＲにおける複数の画素値の位置を、マップデータＭＲ１における複数の補正値に応じてそれぞれ横方向に移動させるとともに、マップデータＭＲ２における複数の補正値に応じてそれぞれ縦方向に移動させることにより、右画像ＰＲ２を生成するようになっている。

視差画像生成部２２（図１）は、画像補正部２１により生成された左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像ＰＤを生成するように構成される。視差画像ＰＤは、複数の画素値を含む。複数の画素値のそれぞれは、各画素における視差についての値を示している。言い換えれば、複数の画素値のそれぞれは、３次元の実空間における、各画素に対応する点までの距離に対応している。

物体認識部２３は、左画像ＰＬ１および右画像ＰＲ１と、視差画像生成部２２により生成された視差画像ＰＤとに基づいて、車両１０の前方の物体を認識するように構成される。そして、物体認識部２３は、その認識結果についてのデータを出力するようになっている。

この構成により、画像処理装置１では、補正マップデータＭＬ，ＭＲを用いて、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲを、フロントガラス１００による画像歪みを低減するように補正することにより、左画像ＰＬ１および右画像ＰＲ１を生成する。これにより、画像処理装置１では、左画像ＰＬ１および右画像ＰＲ１の画質を高めることができるようになっている。

ここで、画像補正部２１は、本開示における「画像補正部」の一具体例に対応する。視差画像生成部２２は、本開示における「画像処理部」の一具体例に対応する。例えば、左カメラ１１Ｌは、本開示における「第１の撮像部」の一具体例に対応し、フロントガラス１００における左カメラ１１Ｌの撮像面の前方のガラス部分は、本開示における「第１の光透過部材」の一具体例に対応し、左画像ＰＬは、本開示における「第１の撮像画像」の一具体例に対応し、補正マップデータＭＬは、本開示における「第１の補正マップデータ」の一具体例に対応し、マップデータＭＬ１は、本開示における「第１のマップデータ」の一具体例に対応し、マップデータＭＬ２は、本開示における「第２のマップデータ」の一具体例に対応し、左画像ＰＬ１は、本開示における「第１の画像」の一具体例に対応する。例えば、右カメラ１１Ｒは、本開示における「第２の撮像部」の一具体例に対応し、フロントガラス１００における右カメラ１１Ｒの撮像面の前方のガラス部分は、本開示における「第２の光透過部材」の一具体例に対応し、右画像ＰＲは、本開示における「第２の撮像画像」の一具体例に対応し、補正マップデータＭＲは、本開示における「第２の補正マップデータ」の一具体例に対応し、右画像ＰＲ１は、本開示における「第２の画像」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の画像処理装置１の動作および作用について説明する。

（全体動作概要）
まず、図１を参照して、画像処理装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。処理部２０において、画像補正部２１は、補正マップデータＭＬ，ＭＲを用いて、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲを、フロントガラス１００による画像歪みを低減するように補正することにより、左画像ＰＬ１および右画像ＰＲ１を生成する。視差画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像ＰＤを生成する。物体認識部２３は、左画像ＰＬ１および右画像ＰＲ１と、視差画像生成部２２により生成された視差画像ＰＤとに基づいて、車両１０の前方の物体を認識する。

（詳細動作）
画像補正部２１は、補正マップデータＭＬ，ＭＲを用いて、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲを、フロントガラス１００による画像歪みを低減するように補正することにより、左画像ＰＬ１および右画像ＰＲ１を生成する。具体的には、画像補正部２１は、補正マップデータＭＬ（マップデータＭＬ１，ＭＬ２）を用いて、左画像ＰＬを補正することにより左画像ＰＬ１を生成し、補正マップデータＭＲ（マップデータＭＲ１，ＭＲ２）を用いて、右画像ＰＲを補正することにより右画像ＰＲ１を生成する。

以下に、一例として、画像補正部２１の動作について、左画像ＰＬに対する補正処理を例に挙げて説明する。この例では、画像補正部２１は、説明の便宜上、補正マップデータＭＬのうちのマップデータＭＬ１を用いて、横方向（Ｘ方向）の画像歪みを低減するように左画像ＰＬを補正することにより、左画像ＰＬ１を生成する。

図３は、フロントガラス１００による左画像ＰＬにおける横方向（Ｘ方向）の画像歪みの歪値を示す歪特性Ａ１の一例を表すものである。図４は、マップデータＭＬ１における補正特性Ａ２の一例を表すものである。図５は、マップデータＭＬ１を用いて補正された後の左画像ＰＬ１における横方向（Ｘ方向）の画像歪みの歪値を示す歪特性Ａ３の一例を表すものである。図６は、車両１０がある車速で走行している場合における、マップデータＭＬ１を用いて補正された後の左画像ＰＬ１における横方向（Ｘ方向）の画像歪みの歪値を示す歪特性Ａ４の一例を表すものである。図３～６において、横軸は左画像ＰＬ，ＰＬ１におけるＸ方向の座標を示し、縦軸は左画像ＰＬ，ＰＬ１におけるＹ方向の座標を示す。図３，５，６は、各座標における横方向の画像歪みの歪値を、等高線を用いて示している。図３，５，６における数字は、画素を単位とした歪値を示す。具体的には、例えば“１”は右方向への１画素分のずれを示し、“２”は右方向への２画素分のずれを示す。また、例えば、“－１”は左方向への１画素分のずれを示し、“－２”は左方向への２画素分のずれを示す。図３，５，６において、網掛部は、歪値の絶対値が“１”以上の領域を示す。同様に、図４は、各座標における横方向の画像歪みに対する補正値を、等高線を用いて示している。図４における数字は、画素を単位とした補正値を示す。図４において、網掛部は、補正値の絶対値が“１”以上の領域を示す。なお、図３に示した歪特性Ａ１は、説明の便宜上準備した疑似的な特性であり、実際の歪特性Ａ１はより複雑な特性になり得る。

図３に示したように、この例では、フロントガラス１００により、左画像ＰＬの左上の歪領域Ｄ１において画像歪みが生じるとともに、左画像ＰＬの右下の歪領域Ｄ２において画像歪みが生じる。歪領域Ｄ１における歪値は、ガウシアン形状の歪分布を有し、歪値の最大値は“６”である。歪領域Ｄ２における歪値は、矩形状の歪分布を有する。すなわち、歪領域Ｄ２の外周部では歪値の変化量が大きく、歪領域Ｄ２の内部では歪値は一定である。歪領域Ｄ２における歪値の最大値は“６”である。

このようなフロントガラス１００による画像歪みを低減するため、画像補正部２１には、あらかじめ、図４に示した補正特性Ａ２を有するマップデータＭＬ１が記憶されている。この例では、マップデータＭＬ１には、左上において、歪領域Ｄ１に対応する位置に補正領域Ｃ１を設けるとともに、右下において、歪領域Ｄ２に対応する位置に補正領域Ｃ２を設けている。補正領域Ｃ１における補正値は、歪領域Ｄ１における歪値とほぼ同じであり、補正値の最大値は“６”である。補正領域Ｃ２は、歪領域Ｄ２を含み、歪領域Ｄ２より広く設定される。この例では、この補正領域Ｃ２における補正値の最大値は“３”であり、歪領域Ｄ２における歪値の最大値（“６”）の半値である。

画像補正部２１は、左画像ＰＬに対して、マップデータＭＬ１を用いて補正を行う。例えば、図３に示したように、左画像ＰＬの歪領域Ｄ１では、歪値が正の値を有しているので、左画像ＰＬにおける画素値の位置が右方向にずれている。よって、画像補正部２１は、左画像ＰＬにおける、この歪領域Ｄ１に対応する補正領域Ｃ１での画素値の位置を、図４に示したマップデータＭＬ１の補正領域Ｃ１の補正値を用いて、画素単位で、その補正値の分だけ左方向にずらすように補正を行う。同様に、図３に示したように、左画像ＰＬの歪領域Ｄ２では、画素値の位置が右方向にずれているので、画像補正部２１は、左画像ＰＬにおける、この歪領域Ｄ２を含む補正領域Ｃ２での画素値の位置を、図４に示したマップデータＭＬ１の補正領域Ｃ２の補正値を用いて、画素単位で、その補正値の分だけ左方向にずらすように補正を行う。これにより、図５に示したように、補正後の左画像ＰＬ１における歪特性Ａ３では、歪領域Ｄ１における画像歪みはほぼ解消し、歪領域Ｄ２における歪値は低減する。すなわち、歪領域Ｄ２では、図３，５に示したように、歪値の絶対値の最大値は“６”から“３”に低減される。

上述したように、車両１０が走行すると、例えば風圧などにより車両１０の車体がゆがみ、フロントガラス１００とステレオカメラ１１との間の相対的な位置関係がずれることがあり得る。この場合には、図３に示した歪特性Ａ１において、例えば、歪領域Ｄ１，Ｄ２の位置がずれ得る。この場合でも、図６に示したように、補正後の左画像ＰＬ１における歪特性Ａ４では、歪領域Ｄ１，Ｄ２における歪値は低減する。すなわち、歪領域Ｄ１では、図３，６に示したように、歪値の絶対値の最大値は“６”から“１”程度に低減される。また、歪領域Ｄ２では、図３，６に示したように、歪値の絶対値の最大値は“６”から“３”に低減される。

この例では、画像補正部２１は、補正マップデータＭＬのうちのマップデータＭＬ１を用いて、横方向（Ｘ方向）の画像歪みを低減するように左画像ＰＬを補正したが、さらに、補正マップデータＭＬのうちのマップデータＭＬ２を用いて、縦方向（Ｙ方向）の画像歪みを低減するように左画像ＰＬを補正する。また、画像補正部２１は、補正マップデータＭＲのうちのマップデータＭＲ１を用いて、横方向（Ｘ方向）の画像歪みを低減するように右画像ＰＲを補正し、補正マップデータＭＲのうちのマップデータＭＲ２を用いて、縦方向（Ｙ方向）の画像歪みを低減するように右画像ＰＲを補正する。このようにして、画像補正部２１は、左画像ＰＬおよび右画像ＰＲに対して補正処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成する。

そして、視差画像生成部２２は、画像補正部２１が生成した左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像ＰＤを生成する。

ここで、例えば、歪特性Ａ１は、本開示における「歪特性」および「第１の歪特性」の一具体例に対応する。歪領域Ｄ２は、本開示における「歪領域」および「第１の歪領域」の一具体例に対応する。補正領域Ｃ２は、本開示における「補正領域」および「第１の補正領域」の一具体例に対応する。

このように、画像処理装置１では、補正マップデータＭＬを用いて、左画像ＰＬを、フロントガラス１００による画像歪みを低減するように補正することにより、左画像ＰＬ１を生成した。これにより、画像処理装置１では、左画像ＰＬ１における画像歪みを低減することができるので、画質を高めることができる。同様に、画像処理装置１では、補正マップデータＭＲを用いて、右画像ＰＲを、フロントガラス１００による画像歪みを低減するように補正することにより、右画像ＰＲ１を生成した。これにより、画像処理装置１では、右画像ＰＲ１における画像歪みを低減することができるので、画質を高めることができる。

特に、画像処理装置１では、マップデータＭＬ１を用いて横方向（Ｘ方向）の画像歪みを低減するように左画像ＰＬを補正し、マップデータＭＬ２を用いて縦方向（Ｙ方向）の画像歪みを低減するように左画像ＰＬを補正した。また、マップデータＭＲ１を用いて横方向の画像歪みを低減するように右画像ＰＲを補正し、マップデータＭＲ２を用いて縦方向の画像歪みを低減するように右画像ＰＲを補正した。これにより、画像処理装置１では、左画像ＰＬ１および右画像ＰＲ１のそれぞれにおける、横方向の画像歪みおよび縦方向の画像歪みを低減することができるので、画質を高めることができる。その結果、画像処理装置１では、左画像ＰＬ１および右画像ＰＲ１の間の、ある被写体の縦方向の位置のずれが低減されるので、視差画像生成部２２が視差画像ＰＤを生成する際に、対応点を検出しやすくすることができる。また、画像処理装置１では、左画像ＰＬ１におけるその被写体の横方向の位置のずれが低減されるとともに、右画像ＰＲ１におけるその被写体の横方向の位置のずれが低減されるので、その被写体の視差を精度よく得ることができる。その結果、画像処理装置１では、視差画像ＰＤの精度を高めることができる。

また、画像処理装置１では、フロントガラス１００により、例えば左画像ＰＬにおいて、歪値の変化量が大きい外周部を有する歪領域Ｄ２が生じる場合に、補正マップデータＭＬのマップデータＭＬ１において、その歪領域Ｄ２を含み、その歪領域Ｄ２より広い補正領域Ｃ２を設けるようにした。そして、補正領域Ｃ２における補正値の絶対値を、歪領域Ｄ２の内部における歪値の絶対値よりも小さい値に設定した。具体的には、この例では、補正領域Ｃ２における補正値の絶対値を、歪領域Ｄ２の内部における歪値の絶対値の半値と同じ値に設定した。右画像ＰＲについても同様である。これにより、画像処理装置１では、例えば、フロントガラス１００とステレオカメラ１１との間の相対的な位置関係が変化した場合でも、図３，６に示したように、左画像ＰＬ１および右画像ＰＲ１における画像歪みを低減することができるので、画質を高めることができる。

すなわち、仮に、図７に示すように、フロントガラス１００による左画像ＰＬの歪特性Ａ１とほぼ同様の補正特性Ａ５を有するマップデータＭＬ１を用いた場合には、画像歪みの低減が不十分になる場合があり得る。図８は、このマップデータＭＬ１を用いて補正された後の左画像ＰＬ１における歪特性Ａ６の一例を表すものであり、図９は、車両１０がある車速で走行している場合における、このマップデータＭＬ１を用いて補正された後の左画像ＰＬ１における歪特性Ａ７の一例を表すものである。例えば、フロントガラス１００とステレオカメラ１１との間の相対的な位置関係が維持されている場合には、図８に示したように、歪領域Ｄ１，Ｄ２における画像歪みはほぼ解消する。しかしながら、フロントガラス１００とステレオカメラ１１との間の相対的な位置関係が変化した場合には、図９に示したように、大きな画像歪みが残るおそれがある。この例では、歪領域Ｄ２における、歪値の絶対値の最大値は“６”である。

一方、画像処理装置１では、マップデータＭＬ１において、歪領域Ｄ２を含み、歪領域Ｄ２より広い補正領域Ｃ２を設け、補正領域Ｃ２における補正値の絶対値を、歪領域Ｄ２における歪値の絶対値よりも小さい値に設定した。これにより、例えば、フロントガラス１００とステレオカメラ１１との間の相対的な位置関係が変化した場合でも、図３，６に示したように、左画像ＰＬ１および右画像ＰＲ１における画像歪みを低減することができるので、画質を高めることができる。

（補正マップデータの生成方法）
次に、補正マップデータＭＬのマップデータＭＬ１を例に挙げて、補正マップデータの生成方法について詳細に説明する。なお、補正マップデータＭＬのマップデータＭＬ２、補正マップデータＭＲのマップデータＭＲ１、補正マップデータＭＲのマップデータＭＲ２についても同様である。

図１０は、マップデータＭＬ１の生成方法の一例を表すものである。マップデータＭＬ１の生成に先立ち、フロントガラス１００による左画像ＰＬにおける横方向（Ｘ方向）の画像歪みの歪値を示す歪特性Ａ１（図３）が、あらかじめ準備される。マップデータＭＬ１は、この歪特性Ａ１に基づいて、この例ではパーソナルコンピュータなどの情報処理装置９０を用いて以下のように生成される。

まず、情報処理装置９０は、フロントガラス１００による歪特性Ａ１に基づいて、ラプラシアンフィルタ処理を行うことによりラプラシアンデータＡ８を生成する（ステップＳ１１）。ラプラシアンフィルタ処理は、歪特性Ａ１が示すデータに対して２次微分を行う処理である。情報処理装置９０は、このラプラシアンフィルタ処理を行うことにより、エッジの勾配値についてのマップデータであるラプラシアンデータＡ８を生成する。

図１１は、図３に示した歪特性Ａ１に基づいて生成されたラプラシアンデータＡ８の一例を表すものである。この例では、ラプラシアンデータＡ８では、左上における、歪領域Ｄ１に対応する領域Ｒ１において、勾配値が“１”程度になっている。すなわち、図３に示した歪特性Ａ１における歪領域Ｄ１での歪値はガウシアン形状の歪分布を有しているので、勾配値は小さい値になる。なお、勾配値が“１”程度の領域は、ガウシアン形状の歪分布における中腹付近の領域に対応している。また、ラプラシアンデータＡ８では、右下における、歪領域Ｄ２に対応する領域Ｒ２において、勾配値が“６”程度になっている。すなわち、図３に示した歪特性Ａ１における歪領域Ｄ２での歪み値は、矩形状の歪分布を有しているので、歪領域Ｄ２の外周部において勾配値が大きい値になり、歪領域Ｄ２の内部において勾配値が“０”程度になる。

次に、情報処理装置９０は、歪特性Ａ１およびラプラシアンデータＡ８に基づいて、中間マップデータＭＬ１Ａを生成する（ステップＳ１２）。

図１２は、このステップＳ１２における処理の一具体例を表すものである。図１３は、図１２に示した処理の一例を表すものである。

まず、情報処理装置９０は、ラプラシアンデータＡ８において、ウィンドウＷを初期位置に設定する（ステップＳ２１）。この例では、図１３に示したように、ウィンドウＷ（ウィンドウＷ１）は、初期位置に設定される。この例では、初期位置は、ラプラシアンデータＡ８の左上の角付近である。ウィンドウＷは、後述するように、ラプラシアンデータＡ８内において順次移動され、それぞれの位置において、以下に説明する処理が行われる。

次に、情報処理装置９０は、ラプラシアンデータＡ８において、ウィンドウＷ内のすべての座標で勾配値がしきい値ＴＨ以下であるかどうかを確認する（ステップＳ２２）。

ステップＳ２２において、ウィンドウＷ内のすべての座標で勾配値がしきい値ＴＨ以下である場合（ステップＳ２２において“Ｙ”）には、情報処理装置９０は、ウィンドウＷは、ラプラシアンデータＡ８において、勾配値がしきい値ＴＨより大きい領域に囲まれているかどうかを確認する（ステップＳ２３）。

ステップＳ２３において、ウィンドウＷは、勾配値がしきい値ＴＨより大きい領域に囲まれていない場合（ステップＳ２３において“Ｎ”）には、情報処理装置９０は、歪特性Ａ１における、ウィンドウＷの代表座標ＷＣでの歪値に基づいて、中間マップデータＭＬ１Ａにおけるその代表座標ＷＣでの値を生成する（ステップＳ２４）。代表座標ＷＣは、例えばウィンドウＷの中心座標にすることができる。そして、ステップＳ２９に進む。

また、ステップＳ２３において、ウィンドウＷは、勾配値がしきい値ＴＨより大きい領域に囲まれている場合（ステップＳ２３において“Ｙ”）には、情報処理装置９０は、歪特性Ａ１における、ウィンドウＷの代表座標ＷＣでの歪値の半値に基づいて、中間マップデータＭＬ１Ａにおけるその代表座標ＷＣでの値を生成する（ステップＳ２５）。そして、ステップＳ２９に進む。

ステップＳ２２において、ウィンドウＷ内のすべての座標で勾配値がしきい値ＴＨ以下ではない場合（ステップＳ２２において“Ｎ”）には、ラプラシアンデータＡ８において、ウィンドウＷには、勾配値がしきい値ＴＨより大きい領域があるので、情報処理装置９０は、歪特性Ａ１における、勾配値がしきい値ＴＨより大きい領域での歪値の平均値ＡＶＧを算出する（ステップＳ２６）。そして、情報処理装置９０は、その平均値ＡＶＧの半値に基づいて、中間マップデータＭＬ１ＡにおけるそのウィンドウＷの代表座標ＷＣでの値を生成する（ステップＳ２７）。そして、ステップＳ２８に進む。

そして、情報処理装置９０は、ラプラシアンデータＡ８の全領域において、ウィンドウＷの設定を終了したかどうかを確認する（ステップＳ２８）。ウィンドウＷの設定が終了していない場合（ステップＳ２８において“Ｎ”）には、情報処理装置９０は、ラプラシアンデータＡ８におけるウィンドウＷの位置を変更し（ステップＳ２９）、ステップＳ２２に戻る。そして、ラプラシアンデータＡ８の全領域において、ウィンドウＷを設定するまで、ステップＳ２２～Ｓ２９の動作を繰り返す。

ステップＳ２９において、ウィンドウＷの設定を終了した場合（ステップＳ２９において“Ｙ”）には、このフローは終了する。

例えば、図１３に示したように、ウィンドウＷが初期位置に設定されている場合には、そのウィンドウＷ（ウィンドウＷ１）内のすべての座標で勾配値はしきい値ＴＨ（例えば“３”程度）以下である（ステップＳ２２において“Ｙ”）。このウィンドウＷ１は、勾配値がしきい値ＴＨより大きい領域に囲まれていない（ステップＳ２３において“Ｎ”）。よって、情報処理装置９０は、図３に示した歪特性Ａ１における、ウィンドウＷ１の代表座標ＷＣ（代表座標ＷＣ１）での歪値と同じ値を、中間マップデータＭＬ１Ａにおけるその代表座標ＷＣ１での値として採用する（ステップＳ２４）。

また、例えば、図１３に示したように、ウィンドウＷが領域Ｒ１に設定されている場合には、そのウィンドウＷ（ウィンドウＷ２）内のすべての座標で勾配値はしきい値ＴＨ以下である（ステップＳ２２において“Ｙ”）。このウィンドウＷ１は、勾配値がしきい値ＴＨより大きい領域に囲まれていない（ステップＳ２３において“Ｎ”）。よって、情報処理装置９０は、図３に示した歪特性Ａ１における、ウィンドウＷ２の代表座標ＷＣ（代表座標ＷＣ２）での歪値（この例では“６”）と同じ値を、中間マップデータＭＬ１Ａにおけるその代表座標ＷＣ２での値として採用する（ステップＳ２４）。

また、例えば、図１３に示したように、ウィンドウＷが領域Ｒ２の端部を挟むように設定されている場合には、そのウィンドウＷ（ウィンドウＷ３）内のすべての座標で勾配値はしきい値ＴＨ以下ではない（ステップＳ２２において“Ｎ”）。この場合、ラプラシアンデータＡ８において、ウィンドウＷ３には、勾配値がしきい値ＴＨより大きい領域がある。よって、情報処理装置９０は、図３に示した歪特性Ａ１における、勾配値がしきい値ＴＨより大きい領域での歪値の平均値ＡＶＧ（この例では“６”）を算出し、その平均値ＡＶＧの半値（この例では“３”）と同じ値を、中間マップデータＭＬ１ＡにおけるそのウィンドウＷ３の代表座標ＷＣ（代表座標ＷＣ３）での値として採用する（ステップＳ２６，Ｓ２７）。

また、例えば、図１３に示したように、ウィンドウＷが領域Ｒ２の内部に設定されている場合には、そのウィンドウＷ（ウィンドウＷ４）内のすべての座標で勾配値はしきい値ＴＨ以下である（ステップＳ２２において“Ｙ”）。このウィンドウＷ４は、勾配値がしきい値ＴＨより大きい領域に囲まれている（ステップＳ２３において“Ｎ”）。よって、情報処理装置９０は、図３に示した歪特性Ａ１における、ウィンドウＷ４の代表座標ＷＣ（代表座標ＷＣ４）での歪値（この例では“６”）の半値（この例では“３”）と同じ値を、中間マップデータＭＬ１Ａにおけるその代表座標ＷＣ４での値として採用する（ステップＳ２５）。

このようにして、情報処理装置９０は、歪特性Ａ１およびラプラシアンデータＡ８に基づいて、中間マップデータＭＬ１Ａを生成する。

そして、図１０に示したように、情報処理装置９０は、中間マップデータＭＬ１Ａに対して、マップデータの全領域を平滑化するローパスフィルタ処理を行うことにより、マップデータＭＬ１を生成する（ステップＳ１３）。

このようにして、情報処理装置９０は、フロントガラス１００による左画像ＰＬにおける横方向（Ｘ方向）の画像歪みについての歪特性Ａ１に基づいてマップデータＭＬ１を生成する。同様に、情報処理装置９０は、フロントガラス１００による左画像ＰＬにおける縦方向（Ｙ方向）の画像歪みについての歪特性Ａ１に基づいてマップデータＭＬ２を生成し、フロントガラス１００による右画像ＰＲにおける横方向の画像歪みについての歪特性Ａ１に基づいてマップデータＭＲ１を生成し、フロントガラス１００による右画像ＰＲにおける縦方向の画像歪みについての歪特性Ａ１に基づいてマップデータＭＬ２を生成する。その結果、補正マップデータＭＬ（マップデータＭＬ１，ＭＬ２）が準備されるとともに、補正マップデータＭＲ（マップデータＭＲ１，ＭＲ２）が準備される。

［効果］
以上のように本実施の形態では、補正マップデータを用いて、フロントガラスによる左画像での画像歪みを低減するように左画像を補正するようにしたので、画質を高めることができる。同様に、補正マップデータを用いて、フロントガラスによる右画像での画像歪みを低減するように右画像を補正するようにしたので、画質を高めることができる。

本実施の形態では、フロントガラスにより、例えば左画像において、歪値の変化量が大きい外周部を有する歪領域が生じる場合に、マップデータにおいて、その歪領域を含み、その歪領域より広い補正領域を設けるとともに、その補正領域における補正値を、歪領域の内部における歪値よりも小さい値に設定した。右画像についても同様である。これにより、例えば、フロントガラスとステレオカメラとの間の相対的な位置関係が変化した場合でも、左画像および右画像における画像歪みを低減することができるので、画質を高めることができる。

以上、いくつかの実施の形態および変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記実施の形態では、ステレオカメラ１１が車両１０の前方を撮像するようにしたが、これに限定されるものではなく、例えば、車両１０の側方や後方を撮像してもよい。この場合でも、処理部２０は、左画像ＰＬおよび右画像ＰＲを、ステレオカメラ１１の前方の光透過部材による画像歪みを低減するように補正することができる。

例えば、上記実施の形態では、図１に示したように、左カメラ１１Ｌおよび右カメラ１１Ｒを有するステレオカメラ１１を設けたが、これに限定されるものではない。これに代えて、単一のカメラを設けてもよい。この場合でも、画像補正部は、そのカメラの撮像画像を、フロントガラス１００による画像歪みを低減するように補正することができる。この場合、処理部は、例えば、補正された撮像画像に含まれる被写体の画像の大きさに基づいて、その被写体までの距離を算出することができる。

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

１…画像処理装置、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０…処理部、２１…画像補正部、２２…視差画像生成部、２３…物体認識部、ＡＶＧ…平均値、Ａ１，Ａ３，Ａ４，Ａ６，Ａ７…歪特性、Ａ２，Ａ５…補正特性、Ａ８…ラプラシアンデータ、Ｃ１，Ｃ２…補正領域、Ｄ１，Ｄ２…歪領域、ＭＬ，ＭＲ…補正マップデータ、ＭＬ１，ＭＬ２，ＭＲ１，ＭＲ２…マップデータ、ＰＤ…視差画像、ＰＩＣ…ステレオ画像、ＰＬ，ＰＬ１…左画像、ＰＲ，ＰＲ１…右画像、ＴＨ…しきい値、Ｗ…ウィンドウ、ＷＣ…代表座標。

Claims (5)

1. 第１の撮像部により生成された第１の撮像画像を、複数の補正値を含む第１の補正マップデータを用いて、前記第１の撮像部の撮像面の前方に設けられた第１の光透過部材による画像歪みを低減するように補正することにより第１の画像を生成する画像補正部と、
   前記第１の画像に基づいて所定の画像処理を行う画像処理部と
   を備え、
   前記第１の光透過部材による、前記第１の撮像画像における各位置での歪値を含む歪特性において、前記歪値の変化量が所定の変化量よりも大きい外周部を有する歪領域がある場合に、前記第１の補正マップデータは、前記歪領域を含み、前記歪領域より広い補正領域を有し、
   前記補正領域における前記補正値は、前記歪特性における前記歪領域の内部での前記歪値より小さい
   画像処理装置。
2. 前記第１の撮像画像は複数の画素値を含み、
   前記第１の補正マップデータの前記複数の補正値は、前記第１の撮像画像の前記複数の画素値にそれぞれ対応し、
   前記画像補正部は、前記第１の撮像画像における前記複数の画素値の位置を、前記第１の補正マップデータにおける前記複数の補正値に応じてそれぞれ移動させることにより、前記第１の画像を生成する
   請求項１に記載の画像処理装置。
3. 前記歪特性は、第１の方向の画像歪みの前記歪値である第１の歪値を含む第１の歪特性を含み、
   前記第１の補正マップデータは、前記第１の方向の画像歪みについての複数の第１の補正値を含む第１のマップデータを含み、
   前記第１の歪特性において、前記第１の歪値の変化量が前記所定の変化量よりも大きい第１の外周部を有する第１の歪領域がある場合に、前記第１のマップデータは、前記第１の歪領域を含み、前記第１の歪領域より広い第１の補正領域を有し、
   前記第１の補正領域における前記第１の補正値は、前記第１の歪特性における前記第１の歪領域の内部の前記第１の歪値よりも小さい
   請求項１または請求項２に記載の画像処理装置。
4. 前記歪特性は、前記第１の方向と交差する第２の方向の画像歪みの前記歪値である第２の歪値を含む第２の歪特性を含み、
   前記第１の補正マップデータは、前記第２の方向の画像歪みについての複数の第２の補正値を含む第２のマップデータを含み、
   前記第２の歪特性において、前記第２の歪値の変化量が前記所定の変化量よりも大きい第２の外周部を有する第２の歪領域がある場合に、前記第２のマップデータは、前記第２の歪領域を含み、前記第２の歪領域より広い第２の補正領域を有し、
   前記第２の補正領域における前記第２の補正値は、前記第２の歪特性における前記第２の歪領域の内部の前記第２の歪値よりも小さい
   請求項３に記載の画像処理装置。
5. 前記画像補正部は、さらに、前記第１の撮像部と並設された第２の撮像部により生成された第２の撮像画像を、複数の補正値を含む第２の補正マップデータを用いて、前記第２の撮像部の撮像面の前方に設けられた第２の光透過部材における画像歪みを低減するように補正することにより第２の画像を生成し、
   前記画像処理部は、前記第１の画像および前記第２の画像に基づいて前記所定の画像処理を行い、
   前記所定の画像処理は、前記第１の画像および前記第２の画像に基づいて視差画像を生成する処理である
   請求項１から請求項４のいずれか一項に記載の画像処理装置。

Images