JP7802840B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 - Google Patents

Description

本発明は、複数の画像から視差を算出する画像処理装置に関する。

複数の画像を取得して３次元情報を算出するときに使う手法として、ブロックマッチング手法がある。この手法では、まず、異なる視点から撮影された二つの画像（以下、それぞれＡ画像、Ｂ画像と呼ぶ）に対して、Ａ画像に任意の領域１を基準画像として設定し、Ｂ画像に領域２を参照画像として設定し、領域２の位置を変えて最も領域１に似た領域２の探索を行う。そして、領域１と領域２の位置のズレから三角測量の原理により距離を算出する。なお、探索では異なる画像の領域間の相違度（または類似度）を表す相関値が利用され、似た領域の判定が行われる。この位置のズレを視差と呼び、三角測量等の公知の手法を利用することで距離情報を取得できる。

また、通常のブロックマッチング手法では整数画素単位でしか視差を算出できない。視差をさらに精度よく求めるためには、一般にサブピクセル推定手法が用いられる。これは相関値を関数にフィッティングすることで、小数画素単位で視差を算出する手法である。

Ａ画像とＢ画像では画角による影響や露光時間のずれなどの影響で、同じ物体の輝度値が違う値になってしまうことがある。この輝度値のずれを補正するような前処理は実装されることもあるが、補正しきれないレベルであったり、何らかの影響で補正値とずれたりすることがある。Ａ画像とＢ画像との間に輝度値のずれがある状態でサブピクセル推定手法を行うと、理想状態とは異なる相関値が算出され、関数のフィッティングを間違えた結果、誤った視差が算出される。

視差の算出精度の低下に対して、特許文献１ではＡ画像とＢ画像の少なくとも一方にフィルタ処理を行う方法が公開されている。この手法では１度目の視差算出の後、視差に応じた変位量だけＡ画像とＢ画像を相対的に変位させる。その後で再度視差算出を行っている。

特許第４９４１５６５号

特許文献１に開示された方法では、Ａ画像とＢ画像に輝度値のずれがある場合、１度目の視差算出を間違えて正しくフィルタ処理を行えない恐れがある。その結果、算出された視差にも誤差を含む恐れがある。

そこで本発明は、Ａ画像とＢ画像に輝度値のずれがある場合にも、高精度に視差を算出することが可能な画像処理装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、第１の画像と第２の画像とから視差値を算出する画像処理装置であって、前記第１の画像の特定の領域を基準画像、前記第２の画像の特定の領域を参照画像と設定する画像設定手段と、第１の移動量に基づいて前記基準画像を移動した移動基準画像と、第２の移動量に基づいて前記参照画像を移動した移動参照画像と、を生成する移動画像生成手段と、前記移動基準画像と前記移動参照画像との相関値を算出する相関値算出手段と、前記相関値に基づいて前記第１の移動量と前記第２の移動量とを特定し、当該特定された前記第１の移動量と前記第２の移動量とに基づいて前記視差値を算出する視差算出手段と、前記第１の移動量と前記第２の移動量を変更する移動量変更手段と、を有し、前記移動量変更手段は、前記第１の移動量と前記第２の移動量のいずれか１つを小数画素単位とする、ことを特徴とする。

本発明によれば、高精度に視差を算出することが可能な画像処理装置を提供することができる。

第１の実施形態の画像処理装置を備えた撮像装置の説明図 第１の実施形態の撮像素子が受光する光束の説明図 輝度値のずれが無い状態でサブピクセル推定手法の説明図 輝度値のずれがある状態でサブピクセル推定手法の説明図 第１の実施形態の画像処理装置の説明図 第１の実施形態の画像設定部の説明図 第１の実施形態の画像設定部の説明図 第２の実施形態の撮像装置の説明図 第１の実施形態の移動画像生成部の説明図

本発明について、実施形態、図面を用いて詳細に説明する。本発明は各実施例に記載された内容に限定されない。また、各実施形態を適宜組み合わせても良い。

＜第１の実施形態＞
（装置構成）
図１は、本発明の実施形態に係る撮像装置の構成を概略的に示す図である。

図１（Ａ）において、撮像装置１００は、画像処理装置１１０と撮像部１２０を備える。

撮像部１２０は、撮像素子１２１、光学系１２２を備える。画像処理装置１１０は論理回路を用いて構成することができる。また画像処理装置１１０の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

光学系１２２は、撮像装置１００の撮影レンズであり、被写体の像を撮像素子１２１上（撮像素子上）に形成する機能を有する。光学系１２２は複数のレンズ群（不図示）および絞り（不図示）等から構成され、撮像素子１２１から所定距離離れた位置に射出瞳１２３を有する。なお、本明細書中では、ｚ軸を光学系１２２の光軸１３０と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。

撮像素子１２１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。光学系１２２を介して撮像素子１２１上（撮像素子上）に結像した被写体像は、撮像素子１２１により光電変換され、被写体像に基づく画像信号を生成する。

図１（Ｂ）は、撮像素子１２１のｘｙ断面図である。撮像素子１２１は、２行×２列の画素群１５０を複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置され、構成されている。

図１（Ｃ）は、画素群１５０のＩ－Ｉ’断面を模式的に示した図である。各画素は受光層１８２と導光層１８１から構成される。受光層１８２には、受光した光を光電変換するための２つの光電変換部（第１の光電変換部１６１、第２の光電変換部１６２）が配置される。導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１８３、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。また、各画素には不図示の配線が設けられており、各画素は配線を介して画像信号（出力信号）を画像処理装置１１０に送ることができる。図１（Ｂ）及び（Ｃ）は、１つの瞳分割方向（ｘ軸方向）に２分割された光電変換部の例であるが、仕様に応じて、２つの瞳分割方向（ｘ軸方向およびｙ軸方向）に分割された光電変換部を複数備える撮像素子が用いられる。瞳分割方向及び分割数については任意である。

図２は、光軸１３０と撮像素子１２１の交点（中心像高）から見た、光学系１２２の射出瞳１２３を示す。光電変換部１６１及び光電変換部１６２には、それぞれ射出瞳１２３の異なる領域である第１の瞳領域２１０を通過した第１の光束及び第２の瞳領域２２０を通過した第２の光束が入射する。各画素における光電変換部１６１及び光電変換部１６２は入射した光束を光電変換することで、それぞれＡ画像（第１の画像）及びＢ画像（第２の画像）に対応する画像信号を生成することができる。生成された画像信号は画像処理装置１１０に伝送される。

図２には第１の瞳領域２１０の重心位置（第１の重心位置２１１）、及び第２の瞳領域２２０の重心位置（第２の重心位置２２１）が示されている。本実施形態においては、第１の重心位置２１１は、射出瞳１２３の中心から第１の軸２００に沿って偏心（移動）している。一方、第２の重心位置２２１は、第１の軸２００に沿って、第１の重心位置２１１とは逆の方向に偏心（移動）している。第１の重心位置２１１と第２の重心位置２２１とを結ぶ方向を瞳分割方向と呼ぶ。また、第１の重心位置２１１と第２の重心位置２２１との重心間距離が基線長２３０となる。

（画像処理装置の説明）
画像処理装置の構成
本実施形態の画像処理装置１１０について説明する。画像処理装置１１０は複数の画像情報を取得し、画像間の視差を算出する。

まず、検出される視差に輝度値のずれが及ぼす影響について説明する。まず、Ａ画像とＢ画像との間に輝度値のずれが無い状態での一般的なサブピクセル推定の様子を、図３を用いて説明する。以降の説明では、Ａ画像とＢ画像は同じ濃淡を有する画像で視差が＋０．１画素あるものと仮定する。図３（Ａ）は撮像装置１００を用いて取得した中央付近に暗領域のラインパターンを有する被写体のＡ画像３１０、基準画像３１１及びＢ画像３２０、参照画像３２１との位置関係を示した図である。図３（Ｂ）は、基準画像３１１に対して設定された参照画像を移動させて基準画像３１１と参照画像の相関値を示している。なお、ここでの相関値は差の二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を想定しており、値が小さいほど相関が高く、値が大きいほど相関が低い。参照画像の位置を０、＋１、－１画素だけ移動させたときの相関値Ｓ（０），Ｓ（１），Ｓ（－１）を二次関数でフィッティングを行うと形状は曲線３３０となる。曲線３３０において最小値の位置は＋０．１画素であり、Ａ画像とＢ画像の視差である＋０．１画素と一致している。

次に、Ａ画像とＢ画像との間に輝度値のずれがある状態での一般的なサブピクセル推定の様子を、図４を用いて説明する。図４（Ａ）は図３（Ａ）と同じ被写体のＡ画像３１０、基準画像３１１及びＢ画像４２０、参照画像４２１との位置関係を示した図である。ここで、Ｂ画像４２０はＡ画像３１０に比べ全体的に輝度が低くなっている。図４（Ｂ）は、基準画像３１１に対して設定された参照画像を移動させて基準画像３１１と参照画像の相関値を示している。参照画像の位置を０、＋１、－１画素だけ移動させたときの相関値Ｓ（０），Ｓ（１），Ｓ（－１）を二次関数でフィッティングを行うと形状は曲線４３０となる。曲線４３０において最小値の位置は＋０．３画素であり、Ａ画像とＢ画像の視差である＋０．１画素と一致しない。

このように、Ａ画像とＢ画像との間に輝度値のずれがある状態で相関値の値が真値からずれたまま関数へのフィッティングを行うと、算出される視差にも誤差を含んでしまう。

本件では関数へのフィッティングを行わずに、基準画像と参照画像を小数画素単位で移動させた画像をそれぞれ生成し、その画像同士で相関値を算出することでこの誤差を低減することができる。

図５（Ａ）は、本発明の実施形態に係る画像処理装置１１０の構成を概略的に示す図である。図５（Ａ）において、画像処理装置１１０は、画像設定部１１１、移動画像生成部１１２、相関値算出部１１３、計算終了判断部１１４、移動量変更部１１５、視差計算部１１６を備える。

図５（Ｂ）は、本実施形態の画像処理装置１１０の動作を表すフローチャートである。本実施形態に係る画像処理が開始されると、処理はステップＳ５１０に移行する。

ステップＳ５１０では、撮像装置１００を用いて撮影を行い、Ａ画像とＢ画像を含む画像組を生成・取得し、取得した画像を本体メモリ（不図示）に記憶させる。

ステップＳ５１０にて取得した画像に対し、主として光学系１２２のヴィネッティングに起因して生じる光量バランスの崩れを補正する処理を行っても構わない。具体的には、予め撮像装置１００が輝度一定の面光源を撮影した結果に基づき、画像の輝度値が画角に依らず略一定値になるように補正することで、光量バランスを補正することができる。また、例えば撮像素子１２１にて生じる光ショットノイズ等の影響を低減するために、取得した画像にバンドパスフィルタやローパスフィルタなどのフィルタ処理を施しても構わない。または、計算コストを軽減するために画像を縮小しても良い。

ステップＳ５２０は、画像設定部１１１にて行う。図６はステップＳ５２０の処理フローを詳細化したフローチャートである。

まず図６（Ａ）のフローについて説明する。

ステップＳ５２１Ａで基準画像を設定する方法について図７（Ａ）を用いて説明する。図７（Ａ）にはＡ画像７１０Ａが示される。ステップＳ５２１ＡではＡ画像７１０Ａ上において、注目画素７２０とその近傍画素を含む部分領域を抜き出して、基準画像７１１として設定する。これによりＡ画像７１０Ａの特定の領域を基準画像７１１として設定したことになる。

ステップＳ５２２Ａで参照画像を設定する方法について図７（Ｂ）を用いて説明する。図７（Ｂ）にはＢ画像７１０Ｂが示される。ステップＳ５２２ＡではＢ画像７１０Ｂ上において、基準画像７１１と同じ面積（画像サイズ）の領域を抜き出して参照画像７１２として設定する。これによりＢ画像７１０Ｂの特定の領域を参照画像７１２として設定したことになる。例えば、基準画像の位置から所定量ずれた位置を参照画像として設定しても良い。所定量の具体例としては０．１画素などである。または基準画像の位置と同じ位置を参照画像として設定しても良い。つまりＡ画像７１０Ａに対する基準画像７１１と同じ座標を、Ｂ画像７１０Ｂに対する参照画像７１２の座標として設定しても良い。

ステップＳ５３０は、移動画像生成部１１２にて行う。ステップＳ５３０は、基準画像と参照画像を基準画像移動量と参照画像移動量分移動させ、移動基準画像と移動参照画像を生成する。移動基準画像と移動参照画像の生成について、図９を用いて説明する。図９（Ａ）のＡ画像７１０Ａ、基準画像７１１、注目画素７２０は図７（Ａ）と同様である。基準画像７１１をｘ軸方向に０．１画素分移動させた画像を移動基準画像９１１とする。図９（Ｂ）のＢ画像７１０Ｂ、参照画像７１２は図７（Ｂ）と同様である。参照画像７１２をｘ軸方向に－０．１画素分移動させた画像を移動参照画像９１２とする。

基準画像と参照画像の移動は公知のどのような方法を利用して計算されても良い。例えば、窓関数を適応する方法や周波数空間で位相成分を回転させる方法などがある。以下では、画像を補間する方法について説明する。

画素位置（ｘ、ｙ）の輝度値をＩ（ｘ、ｙ）とする。この時、（Δｘ、Δｙ）移動したときの輝度値Ｉ（ｘ＋Δｘ、ｙ＋Δｙ）を考える。線形補間で生成するとＩ（ｘ＋Δｘ、ｙ＋Δｙ）は数式１で算出できる。

また、バイリニア補間、バイキュービック補間の場合も上記と同様の考え方で近傍画素の画素値を利用することで輝度値Ｉ（ｘ＋Δｘ、ｙ＋Δｙ）を算出することができる。

このような計算を基準画像および参照画像の全画素で行うことで移動基準画像と移動参照画像を生成することができる。

この時、参照画像移動量と基準画像移動量はいかなる値でもよく、二次元方向に移動させても良い。参照画像移動量と基準画像移動量が各次元で１画素以下である方が、画像の補間誤差を低減することができるため望ましい。

参照画像移動量が基準画像移動量と絶対値が同じであり、符号が反転した値であると移動によって生じた画像の補正誤差が基準画像と参照画像とで同程度になるため後述するステップＳ５４０を高精度に行うことができる。

また、従来のサブピクセル推定手法を行って、サブピクセル視差を算出してから基準画像移動量と参照画像移動量を決めても良い。具体的には基準画像移動量と参照画像移動量の差がサブピクセル視差になっていても良い。この場合、視差の真値に近い値を設定でき、効率的である。

また、近傍画素の算出済みの視差値から基準画像移動量と参照画像移動量を決めても良い。具体的には基準画像移動量と参照画像移動量の差が近傍画素のサブピクセル視差になっていても良い。この場合、視差の真値に近い値を設定でき、効率的である。

ステップＳ５４０は、相関値算出部１１３にて行う。ステップＳ５４０は、移動基準画像と移動参照画像の相関値を算出する。

相関値は、基準画像４１１と参照画像候補４１２の相関度を評価できればよく、公知のどのような方法を利用して計算されても良い。例えば、ＳＳＤやＳＡＤ、ＮＣＣを用いることもできる。

ステップＳ５５０は、計算終了判断部１１４にて行う。ステップＳ５５０は、ステップＳ５４０での相関値の計算を終了するか否かを判断する。

例えば、ステップＳ５３０での基準画像移動量と参照画像移動量の差が所定の値の範囲外である時に、所定の条件を満たしたとして、相関値の計算を終了すると判断しても良い。光学系によって視差の生じる範囲が限られるため、その範囲で所定の値を設定する。具体的には、視差の生じる範囲がプラスマイナス３画素の場合に、マイナス３画素からプラス３画素の範囲の相関値の計算を行ったら相関値の計算を終了する。

また、ステップＳ５４０で算出された相関値が前回算出された相関値よりも大きく（相関が低く）、前回の相関値が最小（相関が高い）となっている時に、所定の条件を満たしたとして、相関値の計算を終了すると判断しても良い。つまり、前回算出した相関値より今回算出した相関値の方が、相関が低いときに、相関値の計算を終了すると判断しても良い。この時はより少ない回数で計算を終了することができ、効率的である。

また、ステップＳ５４０で算出された相関値が所定の値よりも相関が高い時に計算を終了すると判断しても良い。この時はより少ない回数で計算を終了することができ、効率的である。

ステップＳ５６０は、移動量変更部１１５にて行う。ステップＳ５６０は、基準画像移動量と参照画像移動量の変更を行う。なお、この時少なくとも１回は基準画像移動量と参照画像移動量のいずれか一つが小数画素単位となるように基準画像移動量と参照画像移動量を変更する。

なお、基準画像移動量の変更量と参照画像移動量の変更量は別々の値でもよく、またいかなる値でも良い。変更後の参照画像移動量が基準画像移動量と絶対値が同じであり、符号が反転した値であると移動によって生じた誤差が基準画像と参照画像とで同程度になるためステップＳ５４０を高精度に行うことができ、精度が上がる。

例えば、所定の変更量分、基準画像移動量および参照画像移動量を変更しても良い。具体的には、所定の変更量を０．１画素とした場合、１回目の移動量は基準画像移動量を－０．１画素、参照画像移動量を＋０．１画素とし、２回目の移動量は基準画像移動量を－０．２画素、参照画像移動量を＋０．２画素とする。３回目以降も同様である。

または、ステップＳ５４０で算出した相関値のうち、最も相関が高い時の基準画像移動量と参照画像移動量の差を算出し、その値の近傍となるように基準画像移動量と参照画像移動量の変更を行っても良い。例えば、最も相関が高い基準画像移動量と参照画像移動量の差が０．５画素の場合に、基準画像移動量と参照画像移動量の差が０．４画素や０．６画素となるよう基準画像移動量と参照画像移動量の変更を行う。この場合、視差の真値に近い値を基準画像移動量と参照画像移動量として設定でき、効率的である。

また、基準画像移動量や参照画像移動量が１．０画素未満や－１．０画素超の場合を例に挙げたが、１．０画素以上や－１．０画素以下となる場合もある。例えば、基準画素移動量が１．６画素、参照画像移動量が－１．７画素の場合に、視差値は３．３画素となる。

ステップＳ５７０は、視差計算部１１６にて行う。ステップＳ５７０は、移動基準画像と移動参照画像の相関値から視差を算出する。

具体的には相関値の内で最も相関が高くなる時の基準画像移動量と参照画像移動量を算出し、基準画像移動量と参照画像移動量の差を視差として算出する。

（変形例１）
上記では、ステップＳ５２０にて参照画像があらかじめ規定される例を述べたが、ブロックマッチングを行って整数画素単位で基準画像とマッチングする位置に参照画像を設定しても良い。つまり、基準画像に対応する位置をＢ画像７１０Ｂの画像上から探索し、参照画像として設定しても良い。この場合のフローを図６（Ｂ）に示す。

ステップＳ５２２Ｂで、ブロックマッチングを行い、参照画像の移動量を決定する方法について図７（Ｃ）を用いて説明する。Ｂ画像７１０Ｂ上において、基準画像７１１と同じ面積（画像サイズ）の領域を抜き出して参照画像候補７１３として設定する。

その後、Ｂ画像７１０Ｂ上で参照画像候補７１３を抜き出す位置を移動させて、各移動量（各位置）における参照画像候補７１３と基準画像７１１との相関値を算出する。これにより、各移動量に対応する相関値データ列からなる相関値を算出する。

相関値データ列から最も相関が高くなる移動量を算出し、その移動量を参照画像の移動量として設定する。

この際に、参照画像候補７１３の移動方向はいかなる方向でも良い。また、２次元的に移動をさせても良い。望ましくは、瞳分割方向と同じ方向（本実施形態ではｘ軸方向）に移動をさせると効率的に相関が高くなる移動量を算出することができる。

また、相関値は、基準画像７１１と参照画像候補７１３の相関度を評価できればよく、公知のどのような方法を利用して計算されても良い。例えば、差の二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や差の絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いることもできる。また、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を用いることもできる。

ステップＳ５２３Ｂでは、基準画像の位置からステップＳ５２２Ｂで求めた移動量分ずらした位置を参照画像として設定する。

この例の場合、視差の真値に近い位置を参照画像として設定することができるためステップＳ５４０を高精度に行うことができる。

（変形例２）
また、ステップＳ５２０は近傍画素の算出済みの視差値から参照画像を設定しても良い。この場合のフローを図６（Ｃ）に示す。

ステップＳ５２２Ｃでは、近傍画素の視差値を探索する。その視差値を四捨五入した値を参照画像の移動量として設定する。

ステップＳ５２３Ｃでは、基準画像の位置からステップＳ５２２Ｃで求めた移動量分ずらした位置を参照画像として設定する。

この例の場合、変更例１で述べたブロックマッチングの処理をせずに視差の真値に近い位置を参照画像として設定することができるため、効率的かつステップＳ５４０を高精度に行うことができる。

関数へのフィッティングは、輝度値が線形に変化しているという仮定に基づき、基準画像と参照画像の一部の組み合わせで算出した相関値を基に視差の算出を行うため、輝度値のずれがある場合に算出した視差の誤差が大きくなる。対して本件は、関数へのフィッティングを行わず、基準画像と参照画像をそれぞれ移動させて移動基準画像と移動参照画像を生成して相関値を算出する。そして複数算出した相関値からもっとも相関の高い相関値に基づき視差の算出を行うため、輝度値のずれがあっても高精度に視差の算出を行うことができる。

＜第２の実施形態＞
以下、図を参照しながら本発明の第２の実施形態について詳細に説明する。なお、本実施の形態に記載されている構成要素は、あくまで例示に過ぎず、本発明の範囲は本実施形態に記載されている構成要素に限定されることはない。

（装置構成）
図８は、本発明の実施形態に係る画像処理装置の構成を概略的に示す図である。なお、図８では、図１で説明した構成と同一の部分については、図１の番号と同じ番号を付して説明を省略する。

図８において、撮像装置８００は、画像処理装置１１０と撮像部８２０を備える。

撮像部の構成
撮像部８２０は、２つの撮像素子８２１と８２２，２つの光学系８２３と８２４を備える。光学系８２３および８２４は、撮像装置８００の撮影レンズであり、被写体の像を撮像素子８２１または８２２上に形成する機能を有する。光学系８２３および８２４は複数のレンズ群（不図示）および絞り（不図示）等から構成され、撮像素子８２１または８２２から所定距離離れた位置に射出瞳８２５または８２６を有する。この時、光学系８２３と８２４の光軸はそれぞれ８４１と８４２である。

光学系の位置関係などのパラメータを事前に校正しておくことで正確に画像間の視差を算出することができる。またそれぞれの光学系でレンズ歪みの補正を行うことでも正確に画像間の視差を算出することができる。

本実施形態では距離に応じた視差を有するＡ画像とＢ画像を取得する光学系が２つであるが、３つ以上の光学系とそれに対応する撮像素子から構成されたステレオカメラで構成されてもよい。

本実施形態の撮像装置では、基線長の設計自由度が向上し、測距分解能を向上することができる。その際にカメラ間のセンサ感度の差異や露光時間の差異があっても高精度に視差を算出することができる。

本発明は、測距装置の他に、コンピュータプログラムをも包含する。本実施形態のコンピュータプログラムは、距離あるいは視差量の算出のために、コンピュータに所定の工程を実行させるものである。本実施形態のプログラムは、測距装置またはそれを備えるデジタルカメラ等の撮像装置のコンピュータにインストールされる。インストールされたプログラムがコンピュータによって実行されることにより上記の機能が実現され、高速で高精度な視差の算出が可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００ 撮像装置
１１０ 画像処理装置
１２０ 撮像部
１２１ 撮像素子
１２２ 光学系
１２３ 射出瞳
１３０ 光軸

Claims (19)

1. 第１の画像と第２の画像とから視差値を算出する画像処理装置であって、
   前記第１の画像の特定の領域を基準画像、前記第２の画像の特定の領域を参照画像と設定する画像設定手段と、
   第１の移動量に基づいて前記基準画像を移動した移動基準画像と、第２の移動量に基づいて前記参照画像を移動した移動参照画像と、を生成する移動画像生成手段と、
   前記移動基準画像と前記移動参照画像との相関値を算出する相関値算出手段と、
   前記相関値に基づいて前記第１の移動量と前記第２の移動量とを特定し、当該特定された前記第１の移動量と前記第２の移動量とに基づいて前記視差値を算出する視差算出手段と、
   前記第１の移動量と前記第２の移動量を変更する移動量変更手段と、
   を有し、
   前記移動量変更手段は、前記第１の移動量と前記第２の移動量のいずれか１つを小数画素単位とする、
   ことを特徴とする画像処理装置。
2. 前記視差算出手段は、前記相関値を算出した前記第１の移動量と前記第２の移動量の差を前記視差値として算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記移動画像生成手段は、前記第１の移動量と前記第２の移動量の絶対値が同じであり、移動方向が逆として、前記移動基準画像と前記移動参照画像とを生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像設定手段は、前記基準画像に対応する前記参照画像の位置を前記第２の画像上から整数画素単位で探索し、前記参照画像として設定する、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記移動画像生成手段は、前記相関値を関数にフィッティングして前記基準画像に対応する前記参照画像の位置を前記視差値として推定し、推定した前記視差値を前記第１の移動量と前記第２の移動量の前記視差値とし、前記移動基準画像と前記移動参照画像とを生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記画像設定手段は、算出済みの近傍画素の前記視差値に基づき、前記第２の画像の特定の領域を前記参照画像として設定する、
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記移動画像生成手段は、算出済みの近傍画素の前記視差値に基づいて、前記移動基準画像と前記移動参照画像とを生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記移動画像生成手段は、
   前記第１の移動量が小数画素の場合に前記基準画像の各画素における近傍画素の画素値を利用して前記移動基準画像を生成し、
   前記第２の移動量が小数画素の場合に前記参照画像の各画素における近傍画素の画素値を利用して前記移動参照画像を生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
9. 計算終了判断手段をさらに備え、
   前記計算終了判断手段は、所定の条件を満たす際に前記視差算出手段を実行する、
   ことを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記移動量変更手段は、所定の変更量に基づき前記第１の移動量および前記第２の移動量を変更する、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記移動量変更手段は、少なくとも２つの前記相関値のうち、最も相関が高い前記相関値を算出した前記第１の移動量と前記第２の移動量の差に近い値となるように前記第１の移動量および前記第２の移動量を変更する、
    ことを特徴とする請求項９に記載の画像処理装置。
12. 前記計算終了判断手段は、前記所定の条件が前記第１の移動量と前記第２の移動量の差が所定の値の範囲外である、
    ことを特徴とする請求項９に記載の画像処理装置。
13. 前記計算終了判断手段は、前記所定の条件が前回までに算出した前記相関値より、今回算出した前記相関値の方の相関が低い、
    ことを特徴とする請求項９に記載の画像処理装置。
14. 撮像手段と請求項９に記載の画像処理装置とを備えた撮像装置。
15. 前記撮像手段は、光学系と撮像素子を備え
    前記光学系は、被写体の像を前記撮像素子上に形成し、
    前記撮像素子は、前記第１の画像を生成するための第１の光電変換部と、前記第２の画像を生成するための第２の光電変換部とを複数備える、
    ことを特徴とする請求項１４に記載の撮像装置。
16. 前記撮像手段は、
    第１の撮像素子と、
    被写体の像を前記第１の撮像素子上に形成する第１の光学系と
    第２の撮像素子と、
    被写体の像を前記第２の撮像素子上に形成する第２の光学系と
    を備え、
    前記第１の撮像素子にて前記第１の画像を取得し、前記第２の撮像素子にて前記第２の画像を取得する、
    ことを特徴とする請求項１４に記載の撮像装置。
17. 第１の画像と第２の画像とからＣＰＵが視差値を算出する画像処理方法であって、
    前記第１の画像の特定の領域を基準画像、前記第２の画像の特定の領域を参照画像と設定する画像設定工程と、
    第１の移動量に基づいて前記基準画像を移動した移動基準画像と、第２の移動量に基づいて前記参照画像を移動した移動参照画像と、を生成する移動画像生成工程と、
    前記移動基準画像と前記移動参照画像との相関値を算出する相関値算出工程と、
    前記相関値に基づいて前記第１の移動量と前記第２の移動量とを特定し、当該特定された前記第１の移動量と前記第２の移動量とに基づいて視差値を算出する視差算出工程と、を有し、
    前記第１の移動量と前記第２の移動量を変更する移動量変更工程と、
    前記移動量変更工程は、前記第１の移動量と前記第２の移動量のいずれか１つを小数画素単位とする、
    ことを特徴とする画像処理方法。
18. 請求項１７に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
19. 請求項１７に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。