JP6136248B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

撮影対象物までの距離を計測できるステレオカメラが利用されている。例えば、自動車に搭載されたステレオカメラ（以下「車載ステレオカメラ」という。）により、車両前方の撮影対象物までの距離を計測して、自動車を制御する技術が実用化されている。

車載ステレオカメラを利用した自動車の制御技術の一例について説明する。まず、自動車に搭載された制御装置が、車載ステレオカメラにより撮影された撮影画像に基づいて、撮影対象物までの距離の情報を含む距離画像を生成する。次に、制御装置が、当該距離画像内の障害物を認識する。次に、制御装置が、自動車の衝突防止や車間距離の制御等の目的で、運転者への警告、ブレーキ、及びステアリング等の制御を行う。

ステレオカメラにより、撮影対象物までの距離を正しく計測するためには、２つのカメラが正確に配置されていなければならない。しかしながら、カメラの組付公差もなく、２つのカメラを厳密に平行に配置することは非常に困難である。そのため、ステレオカメラが撮影した撮影画像を、画像処理により補正する技術が利用されている。

撮影画像を補正する技術に関する文献として、特許文献１が知られている。特許文献１には、ステレオカメラの経時的な位置ずれを補正できる校正装置が開示されている。

しかしながら、撮影画像を複数回補正すると、補正後の画像の画質が低下する。

本発明は、上記に鑑みてなされたものであって、補正後の画像の画質の低下を抑える画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、１以上の撮影部により撮影された撮影画像を補正する補正式Ａを記憶する記憶部と、１以上の前記撮影画像から、前記撮影画像を補正する補正式Ｂを算出する算出部と、前記補正式Ｂに前記補正式Ａを代入した後、所定の次数より高い項を削除することにより合成補正式を生成する式生成部と、前記合成補正式により前記撮影画像を補正する補正部とを備える。

また、本発明の画像処理装置は、１以上の撮影部により撮影された撮影画像を補正する補正式Ａを記憶する記憶部と、前記撮影画像を前記補正式Ａによって補正する補正部と、１以上の前記撮影画像から、前記撮影画像を補正する補正式Ｂを算出する算出部と、前記補正式Ｂと前記補正式Ａとを合成することにより合成補正式を生成する式生成部とを備え、前記式生成部は、前記合成補正式を前記補正式Ａと同様の形式に修正し、前記記憶部は、修正された前記合成補正式を前記補正式Ａに上書きして前記記憶部に記憶する。

また、本発明の画像処理方法は、１以上の撮影部により撮影された１以上の撮影画像から、前記撮影画像を補正する補正式Ｂを算出するステップと、前記補正式Ｂと、記憶部に記憶された補正式Ａとを合成して合成補正式を生成するステップと、前記合成補正式を前記補正式Ａと同様の形式に修正するステップと、修正された前記合成補正式前記補正式Ａに上書きして前記記憶部に記憶するステップとを含む。

また、本発明のプログラムは、コンピュータを、１以上の撮影部により撮影された１以上の撮影画像から、前記撮影画像を補正する補正式Ｂを算出する算出部と、前記補正式Ｂと、記憶部に記憶された補正式Ａとを合成して合成補正式を生成し、前記合成補正式を前記補正式Ａと同様の形式に修正し、修正された前記合成補正式を前記補正式Ａに上書きして前記記憶部に記憶する式生成部、として機能させる。

本発明によれば、補正後の画像の画質の低下を抑える画像処理装置、画像処理方法、及びプログラムを提供できるという効果を奏する。

図１は、本実施の形態の画像処理装置の構成の一例を示す図である。 図２は、本実施の形態の画像処理装置の第１撮影部、及び第２撮影部を説明するための図である。 図３は、本実施の形態の画像処理装置の歪み補正の一例について説明するための図である。 図４は、本実施の形態の画像処理装置の歪み補正、及び位置補正の一例について説明するための図である。 図５は、本実施の形態の画像処理装置の歪み補正、及び位置補正を１回で行う補正の一例について説明するための図である。 図６は、本実施の形態の画像処理装置が利用するＭ推定法の重み関数の一例（式（１５））を示す図である。 図７は、本実施の形態の画像処理装置が利用するＭ推定法の重み関数の一例（式（１６））を示す図である。 図８は、本実施の形態の画像処理装置の補正方法の一例について説明するためのフローチャートである。 図９は、本実施の形態の画像処理装置がプログラムを実行するためのハードウェアの構成の一例である。

以下に添付図面を参照して、画像処理装置、画像処理方法、及びプログラムの実施の形態を詳細に説明する。

図１は、本実施の形態の画像処理装置１０視差算出システムの構成の一例を示す図である。本実施の形態の画像処理装置１０は、第１撮影部１、第２撮影部２、記憶部３、算出部４、式生成部５、補正部６、及び視差算出部７を備える。

第１撮影部１、及び第２撮影部２は、撮影対象物を撮影するステレオカメラである。以下、第１撮影部１が撮影した撮影画像を「第１撮影画像」という。また、第２撮影部２が撮影した撮影画像を「第２撮影画像」という。なお、第１撮影部１、及び第２撮影部２は、画像処理装置１０の外部にあってもよい。

ここで、第１撮影部１、及び第２撮影部２によるステレオカメラ、及びステレオカメラの距離計測原理について説明する。図２は、本実施の形態の画像処理装置１０の第１撮影部１、及び第２撮影部２を説明するための図である。

図２の例では、焦点距離ｆ、光学中心Ｏ_０、撮像面Ｓ_０の第１撮影部１がｚ軸を光軸方向として配置されている。また、焦点距離ｆ、光学中心Ｏ_１、撮像面Ｓ_１の第２撮影部２がｚ軸を光軸方向として配置されている。第１撮影部１、及び第２撮影部２は、ｘ軸に対して平行に、距離Ｂ（基線長）だけ離れた位置に配置される。

第１撮影部１の光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａは、直線Ａ−Ｏ_０と撮像面Ｓ_０の交点であるＰ_０に像を結ぶ。一方、第２撮影部２では、同じ被写体Ａが、撮像面Ｓ_１上の位置Ｐ_１に像を結ぶ。

ここで、第２撮影部２の光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面Ｓ_１との交点をＰ_０’とする。また、Ｐ_０’とＰ_１の距離をｐとする。距離ｐは、同じ被写体の像を二台のカメラで撮影した画像上での位置のずれ量（以下、「視差」という。）を表す。三角形Ａ−Ｏ_０−Ｏ_１と、三角形Ｏ_１−Ｐ_０’−Ｐ_１は相似である。そのため、ｄ＝Ｂ×ｆ／ｐである。すなわち、基線長Ｂ、焦点距離ｆ、及び視差ｐから、被写体Ａまでの距離ｄを求めることができる。

図１に戻り、記憶部３は、第１撮影画像を補正する補正式（以下、「第１補正式Ａ」という。）を記憶する。また、記憶部３は、第２撮影画像を補正する補正式（以下、「第２補正式Ａ」という。）を記憶する。本実施の形態の画像処理装置１０では、第１補正式Ａと第２補正式Ａを異なる式であるとして区別している。しかしながら、第１補正式Ａと第２補正式Ａは同一の式でもよい。

ここで、第１補正式Ａについて説明する。第１補正式Ａは、例えば、第１撮影部１のレンズの収差により生じる第１撮影画像の歪みを補正する式である。本実施の形態の画像処理装置１０は、第１補正式Ａ（第２補正式Ｂ）を用いた補正を、ステレオカメラ（第１撮影部１、及び第２撮影部２）の組み付け時から継続して行う。すなわち、第１補正式Ａ（第２補正式Ｂ）を用いた補正は、ステレオカメラ稼動時において通常的に行われる補正を意味するものとする。第１補正式Ａは、例えば、次式（１）、及び（２）で表される。

ここで、ｘは、補正前の第１撮影画像のｘ座標である。また、ｙは、補正前の第１撮影画像のｙ座標である。ｘ’は、補正後の第１撮影画像のｘ座標である。また、ｙ’は、補正後の第１撮影画像のｙ座標である。なお、式（１）、及び（２）は、ｘ、ｙに関する３次式となっている。しかしながら、式（１）、及び（２）の次数は３次に限られない。

上記では、第１補正式Ａについて説明したが、第２補正式Ａについても同様である。

算出部４は、第１撮影画像と第２撮影画像とから、第１撮影画像を補正する補正式（以下「第１補正式Ｂ」という。）を算出する。また、算出部４は、第１撮影画像と第２撮影画像とから、第２撮影画像を補正する補正式（以下「第２補正式Ｂ」という。）を算出する。なお、第１補正式Ｂは、第１撮影画像のみから算出してもよい。同様に、第２補正式Ｂは、第２撮影画像のみから算出してもよい。本実施の形態の画像処理装置１０では、第１補正式Ｂと第２補正式Ｂを異なる式であるとして区別している。しかしながら、第１補正式Ｂと第２補正式Ｂは同一の式でもよい。

第１撮影画像、及び第２撮影画像（２枚の撮影画像）から、補正式を算出する場合は、後述の視差算出部７が算出する視差に関する座標のずれ等を補正する補正式を算出することができる。第１撮影画像、又は第２撮影画像（１枚の撮影画像）から、補正式を算出する場合は、カメラの経年劣化等に起因する撮影画像のずれ等を補正する補正式を算出することができる。本実施の形態の画像処理装置１０では、第１補正式Ｂ（第２補正式Ｂ）を用いた補正は、ステレオカメラ（第１撮影部１、及び第２撮影部２）の経時的な位置ずれが起こった際に始める補正を意味するものとする。

ここで、第１補正式Ｂについて説明する。第１補正式Ｂは、例えば、次式（３）、及び（４）で表される。

ここで、ｘ’は、補正前の第１撮影画像のｘ座標である。また、ｙ’は、補正前の第１撮影画像のｙ座標である。ｘ”は、補正後の第１撮影画像のｘ座標である。また、ｙ”は、補正後の第１撮影画像のｙ座標である。なお、式（３）、及び（４）は、ｘ’、ｙ’に関する２次式となっている。しかしながら、式（３）、及び（４）の次数は２次に限られない。

上記では、第１補正式Ｂについて説明したが、第２補正式Ｂについても同様である。

なお、式（３）は、式（１）によって補正した後の座標（ｘ’，ｙ’）に適用することを想定している。すなわち、第１補正式Ａにより座標を（ｘ，ｙ）から（ｘ’，ｙ’）に変換し、更に、第１補正式Ｂにより座標を（ｘ’，ｙ’）から（ｘ”，ｙ”）に変換することを想定している。このような場合について以下に説明する。

図３は、本実施の形態の画像処理装置１０の歪み補正の一例について説明するための図である。補正Ａは、第１撮影部１（第２撮影部２）のレンズの収差による第１撮影画像（第２撮影画像）の歪みの補正である。しかしながら、第１撮影部１（第２撮影部２）の経時変化による要因等で、第１撮影画像（第２撮影画像）の座標のずれが生じることがある。このときは、補正Ａの後に、更に、当該経時変化による要因による座標のずれを修正するための補正Ｂが必要になる。

図４は、本実施の形態の画像処理装置１０の歪み補正、及び位置補正の一例について説明するための図である。図４の例は、補正Ａ（歪み補正）の後に、更に補正Ｂ（位置補正）を行う場合の例である。

このように、様々な要因により撮影画像を補正する必要があるが、その都度、撮影画像を補正すると、撮影画像の画質が劣化する。また、撮影画像の補正時間が長くなる。これを防ぐためには、補正の回数をなるべく減らす必要がある。図５は、本実施の形態の画像処理装置１０の歪み補正、及び位置補正を１回で行う補正の一例について説明するための図である。図５の例では、図４の補正Ａ、及びＢを一回の補正で行う場合の例である。本実施の形態の画像処理装置１０は、式生成部５により補正回数を削減する。

図１に戻り、式生成部５は、第１補正式Ｂに、第１補正式Ａを代入した式に基づいて、第１補正式Ａ及び第１補正式Ｂが合成された補正式（以下「第１合成補正式」という。）を生成する。また、式生成部５は、第２補正式Ｂに、第２補正式Ａを代入した式に基づいて、第２補正式Ａ及び第２補正式Ｂが合成された補正式（以下「第２合成補正式」という。）を生成する。

ここで、第１合成補正式について説明する。上述の第１補正式Ａ、及び第１補正式Ｂから、第１合成補正式を生成する場合について説明する。式生成部５は、第１補正式Ｂに、第１補正式Ａを代入して、次式（５）、及び（６）を得る。

式生成部５は、式（５）の次数が３次以上の項を削除することにより、次式（７）を得る。また、式生成部５は、式（６）の次数が３次以上の項を削除することにより、次式（８）を得る。

なお、式生成部５が削除する項は、３次以上に限られない。画像処理装置１０において、許される誤差の範囲や、画像処理装置１０で扱える次数の制限等に応じて、任意に決定してよい。この方法は、高い次数の項を破棄しても、画像補正上での影響が小さいと考えてよい場合に有用である。

なお、式生成部５は、記憶部３から読み出した第１補正式Ａ（第２補正式Ａ）に修正を加えてから、第１補正式Ｂ（第２補正式Ｂ）に代入してもよい。例えば、第１補正式Ａ（第２補正式Ａ）が、レンズの収差による歪み補正を行うための補正式であった場合に、第１撮影部１（第２撮影部２）の経年劣化等により、より歪みがひどくなっている場合等があるためである。なお、第１補正式Ａ（第２補正式Ａ）は変更せずに、第１補正式Ｂ（第２補正式Ｂ）に当該補正を反映してもよい。

上記では、第１合成補正式について説明したが、第２合成補正式についても同様である。

次に、第１合成補正式を生成するための第１補正式Ａ及び第１補正式Ｂの合成についてのもう１つの例を説明する。第１補正式Ｂに、第１補正式Ａを代入した式が、次式（９）、及び（１０）であったとする。

このとき、式生成部５は、式（９）、及び（１０）を満たすいくつかの点（ｘ，ｙ）、及び（ｘ”，ｙ”）の組を算出する。例えば、（ｘ，ｙ，ｘ”，ｙ”）＝（０，０，１，０），（１００，０，１０５，１），（０，１００，２，９９），（１００，１００，１０１，９９），・・・のようにデータを算出する。

式生成部５は、当該データを用いて、例えば、最小二乗法により第１合成補正式に近似する。例えば、第１合成補正式の形は、次式（１１）、及び（１２）で表される。

なお、第１合成補正式の式（１１）、及び（１２）の式の形は、任意に決定してよい。式生成部５は、最小二乗法により、式（１１）、及び（１２）に含まれる項の係数ｄを決定する。

ここで、最小二乗法について説明する。（ｘ”，ｙ”）＝（ｘ_１”，ｙ_１”），（ｘ_２”，ｙ_２”），・・・，（ｘ_ｎ”，ｙ_ｎ”）が得られているとする。また、これらの座標を満たす式を、次式（１３）の形で近似するとする。

このとき、次式（１４）で表される残差平方和Ｊを求める。

最小二乗法は、残差平方和Ｊが最小になるようにして、式（１３）の係数を決定する近似方法である。

式生成部５が、いくつかの座標のデータに基づいて、最小二乗法により補正式を生成する場合に、当該データが、撮影画像全体に渡っており、偏りがない場合は適切な補正式が得られる。

なお、最小二乗法に、所定の重み関数（ｗｅｉｇｈｔ関数）によるＭ推定法を適用することにより、所定の目的に応じて、近似の精度を向上させることができる。Ｍ推定法を適用した最小二乗法では、例えば、次式（１５）で表される残差平方和Ｊを使用する。

式（１５）のｗｅｉｇｈｔ関数は、ノイズであると考えられる誤差の大きい箇所の近似式への影響を小さくする関数の一例である。図６は、本実施の形態の画像処理装置１０が利用するＭ推定法の重み関数の一例（式（１５））を示す図である。例として、誤差許容範囲を１としている。

ｗｅｉｇｈｔ関数のその他の例としては、次式（１６）がある。

式（１６）のｗｅｉｇｈｔ関数は、画像中央領域では値が大きく、画像周辺領域に向かって値が小さくなっていく。なお、ｗｉｄｔｈは、画像の幅である。また、座標原点は、画像の中心とする。図７は、本実施の形態の画像処理装置１０が利用するＭ推定法の重み関数の一例（式（１６））を示す図である。例として、ｗｉｄｔｈを６４０としている。

式（１６）のｗｅｉｇｈｔ関数により、重みが大きい画像中央領域での近似誤差を小さくできる。式（１６）のｗｅｉｇｈｔ関数は、画像周辺領域での近似精度を下げてしまうが、画像中央領域での近似精度を高めたい場合に有効である。

上記では、最小二乗法、及びＭ推定法について説明した。しかしながら、式生成部５が、補正式を近似する方法は、最小二乗法及びＭ推定法に限られない。

図１に戻り、補正部６は、通常は、第１補正式Ａ（第２補正式Ａ）による第１撮影画像（第２撮影画像）の補正を行う。補正部６は、第１撮影部１（第２撮影部２）の経年劣化等の理由により第１補正式Ｂ（第２補正式Ｂ）で補正することが必要になると判定した場合、記憶部３に記憶された第１補正式Ａ（第２補正式Ａ）を第１補正式Ａ’（第２補正式Ａ‘）としての第１合成補正式（第２合成補正式）と置き換える。そして、補正部６は、当該第１合成補正式（第２合成補正式）により第１撮影画像（第２撮影画像）を補正する。

本実施の形態の画像処理装置１０における「置き換え」とは、第１合成補正式（第２合成補正式）のパラメータ（項の係数）を、第１補正式Ａ（第２補正式Ａ）のパラメータが記憶されているメモリ空間のアドレスと同一のアドレスに「上書き」することを示している。これにより、不必要なメモリ空間の確保が不要となる。ただし、第１合成補正式（第２合成補正式）のパラメータの記憶方法は、この方法には限られない。例えば、新たなメモリ空間上に第１合成補正式（第２合成補正式）のパラメータを記憶し、補正部６が参照する補正式の参照アドレスを、当該新たなメモリ空間上のアドレスに「変更する」方法でもよい。

補正式が置き換えられた後は、補正部６は、第１補正式Ａ（第２補正式Ａ）による補正に代えて、第１合成補正式（第２合成補正式）による補正を通常的に行う。このように補正式の置き換えを行うことによって補正回数が減り、処理時間の増大を防止することができる。

なお、補正部６による補正のタイミングは、第１撮影部１（第２撮影部２）が、第１撮影画像（第２撮影画像）を取得する度に、リアルタイムに行ってもよい。

また、補正式の置き換えは、置き換え前の補正式を使用して画像を補正している最中では置き換えないようにする。１枚の画像の中で２種類の補正が混在してしまうためである。

以降、更なる第１撮影部１（第２撮影部２）の経年劣化等の理由により補正することが必要になると判定した場合、算出部４は、第１補正式Ｂ’、及び第２補正式Ｂ’を作成する。式生成部５による式生成の処理、及び補正部６による置き換えの処理が再度繰り返されることとなる。

視差算出部７は、補正された第１撮影画像、及び補正された第２撮影画像から視差を算出する。画像処理装置１０は、当該視差を利用して、撮影画像の座標の視差の情報を含む視差画像の生成や、ステレオカメラの距離計測原理を利用して、撮影画像の座標の距離の情報を含む距離画像の生成を行う。

図８は、本実施の形態の画像処理装置１０の補正方法の一例について説明するためのフローチャートである。画像処理装置１０の補正方法は、第１撮影部１であっても第２撮影部２であっても同じである。そのため、以下では、第１撮影部１と第２撮影部２とを区別することなく単に撮影部として説明する。

撮影部は、撮影画像を撮影する（ステップＳ１）。補正部６は、記憶部３から補正式Ａを呼び出す（ステップＳ２）。補正部６は、現状の補正手段である補正式Ａにより撮影画像を補正する（ステップＳ３）。補正部６は、ステップＳ３の補正により得られた補正画像に基づいて、当該補正画像を更に補正する必要があるか否かを判定する（ステップＳ４）。なお、ステップＳ４の具体的な判定方法は、例えば、補正部６が、同一の被写体を第１撮影画像及び第２撮影画像で比較（２台のカメラによる撮影画像で比較）し、当該被写体が上下に１ｐｉｘ以上ずれているか否か等により判定する。或いは、補正部６は、１台のカメラによる撮影画像だけから、経時的な影響等によって変化したレンズ歪みを検出する等で判定してもよい。しかしながら、補正部６によるステップＳ４の具体的な判定方法は、これらの方法に限られない。

更に補正する必要がない場合（ステップＳ４、Ｎｏ）は、ステップＳ９に進む。更に補正する必要がある場合（ステップＳ４、Ｙｅｓ）は、どのように補正するべきかを表す補正式Ｂを生成する（ステップＳ５）。補正部６は、当該補正式Ｂと、既に呼び出している補正式Ａの情報から合成補正式を生成する（ステップＳ６）。補正部６は、当該合成補正式を使用して撮影画像を補正する（ステップＳ７）。なお、このときは、補正式Ａによって補正されていた画像に、補正式Ｂによる補正を行なってもよい。撮影部により次に撮影される画像は、より改善した補正（合成補正式による補正）をかけるため、合成補正式を補正式Ａに置き換えて（記録して）おく（ステップＳ８）。このようにして、補正式Ａは最適な状態に修正される。補正部６は、補正した撮影画像を出力する（ステップＳ９）。なお、合成補正式により補正式Ａを置き換えた後にも、更に補正したほうがよい状況になることもある。その場合、画像処理装置１０は、ステップＳ４でＹｅｓとなる場合の処理を再度行うことにより、記憶部３の補正式Ａを最適な状態に保つことができる。

なお、上述の説明では、ステレオカメラ（第１撮影部１、及び第２撮影部２）により撮影される撮影画像（第１撮影画像、及び第２撮影画像）の補正を例にして説明した。しかしながら、撮影部の数は２台に限られない。撮影部の数は１以上の任意の台数でもよい。

次に、本実施の形態の画像処理装置１０のハードウェア構成の一例について説明する。図９は、本実施の形態の画像処理装置１０がプログラムを実行するためのハードウェアの構成の一例である。本実施の形態の画像処理装置１０は、制御部１１、通信Ｉ／Ｆ部１２、主記憶部１３、及び補助記憶部１４を備える。制御部１１、通信Ｉ／Ｆ部１２、主記憶部１３、及び補助記憶部１４は、バス１５を介して互いに接続されている。

制御部１１は、補助記憶部１４から主記憶部１３に読み出されたプログラムを実行する。主記憶部１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶部１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や光学ドライブ等である。通信Ｉ／Ｆ部１２は、ネットワークに接続するためのインタフェースである。

本実施の形態の画像処理装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また、本実施の形態の画像処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の画像処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供、又は配布するように構成してもよい。

また、本実施の形態の画像処理装置１０のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態の画像処理装置１０で実行されるプログラムは、上述した各機能ブロック（算出部４、式生成部５、補正部６、及び視差算出部７）を含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御部１１が上記記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶部１３上にロードされる。すなわち、上記各機能ブロックは、主記憶部１３上に生成される。

なお、上述した各部（算出部４、式生成部５、補正部６、及び視差算出部７）の一部、又は全部を、ソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

以上のように、本実施の形態の画像処理装置１０によれば、複数の要因による補正が必要な場合でも、式生成部５により補正の回数を抑えることができる。これにより、補正する度に発生する可能性のある誤差や画像情報の削除が累積しないため、補正後の画像の画質の低下を抑えることができる。

１ 第１撮影部
２ 第２撮影部
３ 記憶部
４ 算出部
５ 式生成部
６ 補正部
７ 視差算出部
１０ 画像処理装置
１１ 制御部
１２ 通信Ｉ／Ｆ部
１３ 主記憶部
１４ 補助記憶部
１５ バス

特開２０１２−０５８１８８号公報

Claims (9)

1. １以上の撮影部により撮影された撮影画像を補正する補正式Ａを記憶する記憶部と、
   １以上の前記撮影画像から、前記撮影画像を補正する補正式Ｂを算出する算出部と、
   前記補正式Ｂに前記補正式Ａを代入した後、所定の次数より高い項を削除することにより合成補正式を生成する式生成部と、
   前記合成補正式により前記撮影画像を補正する補正部と
   を備える画像処理装置。
2. １以上の撮影部により撮影された撮影画像を補正する補正式Ａを記憶する記憶部と、
   １以上の前記撮影画像から、前記撮影画像を補正する補正式Ｂを算出する算出部と、
   前記補正式Ｂに前記補正式Ａを代入した式を満たすデータを用いて、最小二乗法により近似することにより合成補正式を生成する式生成部と
   前記合成補正式により前記撮影画像を補正する補正部と
   を備える画像処理装置。
3. 前記式生成部は、前記最小二乗法に、所定の重み関数によるＭ推定法を適用する
   請求項２に記載の画像処理装置。
4. １以上の撮影部により撮影された撮影画像を補正する補正式Ａを記憶する記憶部と、
   前記撮影画像を前記補正式Ａによって補正する補正部と、
   １以上の前記撮影画像から、前記撮影画像を補正する補正式Ｂを算出する算出部と、
   前記補正式Ｂと前記補正式Ａとを合成することにより合成補正式を生成する式生成部とを備え、
   前記式生成部は、前記合成補正式を前記補正式Ａと同様の形式に修正し、
   前記記憶部は、修正された前記合成補正式を前記補正式Ａに上書きして記憶する
   画像処理装置。
5. 前記合成補正式は多項式であり、
   前記式生成部は、前記合成補正式の所定の次数より高い項を削除することにより、前記合成補正式を前記補正式Ａと同様の形式に修正する
   請求項４に記載の画像処理装置。
6. １以上の撮影部により撮影された１以上の撮影画像から、前記撮影画像を補正する補正式Ｂを算出するステップと、
   前記補正式Ｂと、記憶部に記憶された補正式Ａとを合成して合成補正式を生成するステップと、
   前記合成補正式を前記補正式Ａと同様の形式に修正するステップと、
   修正された前記合成補正式を前記補正式Ａに上書きして前記記憶部に記憶するステップと
   を含む画像処理方法。
7. 前記合成補正式は多項式であり、
   前記修正するステップは、前記合成補正式の所定の次数より高い項を削除することにより、前記合成補正式を前記補正式Ａと同様の形式に修正する
   請求項６に記載の画像処理方法。
8. コンピュータを、
   １以上の撮影部により撮影された１以上の撮影画像から、前記撮影画像を補正する補正式Ｂを算出する算出部と、
   前記補正式Ｂと、記憶部に記憶された補正式Ａとを合成して合成補正式を生成し、前記合成補正式を前記補正式Ａと同様の形式に修正し、修正された前記合成補正式を前記補正式Ａに上書きして前記記憶部に記憶する式生成部、
   として機能させるプログラム。
9. 前記合成補正式は多項式であり、
   前記式生成部は、前記合成補正式の所定の次数より高い項を削除することにより、前記合成補正式を前記補正式Ａと同様の形式に修正する
   請求項８に記載のプログラム。

Images