JP6016567B2 - 相関演算装置、撮像装置、相関演算方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、複数の信号の相関を計算する方法に関し、特に複数の視差画像間の位相差を計算する技術に関するものである。

従来、撮像装置に多く用いられているいわゆる位相差によるピント検知システムにおいては２つの視差像を得た後にそれらの位相差を計算することでピント検知を行ってきた。一方、近年では２つ以上の視差像を取得するシステムが多く提案されそれらの信号を用いたシステムも提案されている。

例えば、特許文献１では物体からの光束を対物レンズの瞳上の異なる複数の領域を通過する光束に分割し、これら複数の視差像から視差像加算光強度分布を求めた後、コントラスト信号に基づいてピント検知を行うピント検知システムが開示されている。

特許文献２では結像光学系の異なる瞳領域を通過した光束による像（＝視差像）に対応する信号列対を抽出し、この信号列対の位相のずれを検出することによりいわゆる位相差に基づいてピント検知を行うピント検知システムが開示されている。

特開平７−１９９０５２号公報 特開２００７−１１３１４号公報

しかしながら、上述の特許文献に開示された従来技術では、相関を得るために多くの時間を要したり、ノイズの高い状況で不適切な結果を得てしまう可能性がある。すなわち特許文献１に開示された発明では、計算量が多くなりやすく、計算時間が多大になりやすい。一方で、特許文献２に開示された発明では、多数の視差像を得ておきながら、１対の（２つの）信号列間の相関のみを計算するのでノイズが高い状況では不適切な結果に陥りやすい。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ノイズが高い状態においても、高速に複数の信号間の相関を得ることが出来る相関演算装置を提供することである。

本発明に係わる相関演算装置は、基線長方向が同一な異なる複数の視差画像を角度および位置の２次元光線空間像として展開する２次元光線空間像生成手段と、前記２次元光線空間像を予め設定された角度に加算処理を行うことで射影変換する射影手段と、前記射影変換を施した像に対するコントラスト検出を行った結果に基づいて、前記複数の視差画像の間の相関の最大値を算出する相関演算手段と、を備えることを特徴とする。
また、本発明に係わる相関演算装置は、基線長方向が同一な異なる複数の視差画像を角度および位置の２次元光線空間像として展開する２次元光線空間像生成手段と、前記２次元光線空間像を予め設定された角度に最大値を検出することで射影変換する射影手段と、前記射影変換を施した像に対する積分値算出を行った結果に基づいて、前記複数の視差画像の間の相関の最大値を算出する相関演算手段と、を備えることを特徴とする。
また、本発明に係わる相関演算装置は、基線長方向が同一な異なる複数の視差画像を角度および位置の２次元光線空間像として展開する２次元光線空間像生成手段と、前記２次元光線空間像を予め設定された角度に最小値を検出することで射影変換する射影手段と、前記射影変換を施した像に対する積分値算出を行った結果に基づいて、前記複数の視差画像の間の相関の最大値を算出する相関演算手段と、を備えることを特徴とする。

本発明によれば、ノイズが高い状態においても、高速に複数の信号間の相関を得ることが可能となる。

本発明の実施形態の撮像装置の電気的構成を示すブロック図。 撮影光学系の要部を説明する図。 ２次元光線空間生成手段の動作を具体的に説明する図。 本発明の第１の実施形態の動作を示すフローチャート、像の模式図および光線との対応を示す図。 射影変換および射影角度と像の関係を説明する図。 射影変換および射影角度と像の関係を説明する図。 射影変換を説明する図。 本発明の第２の実施形態を説明する図。

以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。図１において、カメラ１およびレンズ２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系（撮影レンズ）３ 、撮像素子６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ８、表示部９を含み、制御系は、カメラシステム制御回路５、操作検出部１０、およびレンズシステム制御回路１２、レンズ駆動部１３を含む。レンズ駆動部１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。

撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に光学像として結像する光学処理系である。撮像素子６の表面（撮像素子上）にはマイクロレンズが格子状に配置されており、いわゆるマイクロレンズアレイ（以下、ＭＬＡ）を形成している。ＭＬＡは本実施形態において、瞳分割手段を構成する。ＭＬＡの機能や配置の詳細については図３を用いて後述する。後述するように、撮像素子６からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系３が調整され、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６近傍に被写体像が結像される。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像信号を生成することができる。また、本実施形態の要部である、２次元光線空間像生成手段、射影手段、フィルタ手段および相関演算手段等を含めることもできる。本実施形態ではこれらの要素はカメラシステム制御回路５内に配置する場合を想定している。

メモリ８は実際の記憶部に加えて記録に必要な処理回路を備えている。メモリは、記録部へ出力を行うとともに、表示部９に出力する像を生成、保存する。また、メモリ８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。

カメラシステム制御回路２５は撮像の際のタイミング信号などを生成して出力する。外部操作に応答して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズボタンの押下を操作検出部１０が検出して、撮像素子６の駆動、画像処理部７の動作、メモリ８の圧縮処理などを制御する。さらに表示部９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。

制御系における光学系の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２はレンズ駆動部１３を適切に制御する。さらにレンズシステム制御回路１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にレンズ駆動部１３を介してブレ補正レンズを適切に制御する。

図２は、本実施形態における撮影光学系の要部を説明する図である。本実施形態においては、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施形態では、角度情報の取得のために撮影光学系３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素を対応させている。

図２（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示す図である。図２（ｂ）は撮像素子の画素とＭＬＡの対応を示す模式図である。図３（ｃ）はＭＬＡによってＭＬＡ下に設けられた画素が特定の瞳領域と対応づけられる（特定の瞳領域に制限される）ことを示す図である。

図２（ａ）に示すように撮像素子６上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系３の結像面近傍になるように配置されている。図２（ａ）は撮像装置の横からと、正面からＭＬＡを見た状態を示しており、撮像装置正面から見るとＭＬＡのレンズが撮像素子６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡを構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。実際の大きさについては図２（ｂ）を用いて説明する。

図２（ｂ）は図２（ａ）の装置正面からの図を一部拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方ＭＬＡを構成する各マイクロレンズは太い円２０で示した。図２（ｂ）から明らかなようにマイクロレンズ１つに対して複数の画素が割り当てられており、図２（ｂ）の例では、５行x５列＝２５個の画素が１つのマイクロレンズに対して設けられている。すなわち各マイクロレンズの大きさは画素の大きさの５倍×５倍の大きさである。

図２（ｃ）は撮像素子６を、マイクロレンズの光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図２（ｃ）の２０−ａ、２０−ｂ、２０−ｃ、２０−ｄ、２０−ｅはそれぞれ撮像素子６の画素（１つの光電変換部）を示している。一方、図２（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図２（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図２（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図２（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図２（ｃ）の画素２０−ａ、２０−ｂ、２０−ｃ、２０−ｄ、２０−ｅは図２（ｂ）の２０−ａ、２０−ｂ、２０−ｃ、２０−ｄ、２０−ｅとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、ＭＬＡ２０によって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２０−ａと領域３０−ａが、画素２０−ｂと領域３０−ｂが、画素２０−ｃと領域３０−ｃが、画素２０−ｄと領域３０−ｄが、画素２０−ｅと領域３０−ｅがそれぞれ対応している。すなわち画素２０−ａには撮影光学系３の射出瞳面上の領域３０−ａを通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子６上の位置関係から角度の情報を取得することが可能となる。

ここで後ほどの説明を簡単にするために記号を導入する。図２（ｃ）に示すように、撮像素子６の画素ピッチをΔｘ、角度分解能をΔθとする。さらに角度の分割数をＮθ（図２の例ではＮθ＝５）とする。画素ピッチは撮像素子６の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Ｎθで決定される。すなわち、物理的な構造（撮像素子６およびＭＬＡ２０の構造）のみによってこれらのパラメータは決定される。

本実施形態に示した撮影光学系を利用して、３つ以上の視差画像間の相関を求める処理について図３、図４、図５、図６及び図７を用いて説明する。ただし、２つの視差画像間の相関にももちろん同様に利用することができる。

図３は２次元光線空間生成手段の動作を具体的に説明する図である。図４を用いて後述するように本実施形態ではまず画像の相関を計算する基線長方向を決定する（基線長方向決定）。その後、その基線長方向に視差の異なる視差画像を得る。

図３は、図２（ｃ）と同じように撮像素子６を切断した図であり、切断方向はマイクロレンズの光軸および前述の基線長方向を含むように設定している。この場合、図３においては上下方向が光軸方向となるようにしている。すなわち横方向は基線長方向の空間的な広がりと対応している。

図２を用いて説明した様に本実施形態の撮像素子６においては、一つのマイクロレンズに対して複数の画素が対応しており、且つ、それぞれの画素は瞳面上で特定の領域と関連付けられている。すなわち図３において１−ａのような標記のうち、前の数字は基線長方向の位置（空間的な位置）を、後ろの英文字は瞳領域と対応している。この対応関係は図２の例と同一である。なお、以下では、「視差」という言葉を使うが、本実施形態における視差とは異なる瞳面上の領域を通過した光束ということと同義である。

図３に示すように、本実施形態においては、撮像素子６で得られた信号列（１−ａ，１−ｂ，１−ｃ，１−ｄ，１−ｅ，２−ａ，２−ｂ，…という並び）を位置と視差の２次元像になるように並び替えを行う。センサで信号を取得した状態では、位置と視差の情報が入り混じった１次元ベクトルの状態にある。これを図３に示すように一方の軸を視差ａ，ｂ，ｃ，ｄ，ｅ、他方の軸を位置１，２，３，…，ｎとなるように並び替えを行い２次元の行列状に並び替える。この操作はＬｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａと通称される、位置と角度の情報を取得可能な撮像装置で得られる情報のうち、基線長方向の２次元Ｌｉｇｈｔ Ｆｉｅｌｄデータを２次元光線空間像として展開する操作に相当する。なお、通常、Ｌｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａでは位置２次元、角度２次元の４次元光線空間情報が得られ、４Ｄ Ｌｉｇｈｔ Ｆｉｅｌｄデータが取得される。

本実施形態では、撮像素子６にＭＬＡを適当に設けることで視差像を取得可能な例を示した。しかし、図３に示すように本実施形態の要部は視差と位置の２次元光線空間像を展開することにあるので、多眼カメラなどの他の形態で視差像を得るような場合においても本実施形態の方法を適用することが出来る。

図４は本実施形態の要部を説明する図であり、図４（ａ）は本実施形態の相関演算手段の具体的動作を説明するフローチャート、図４（ｂ）、（ｃ）、（ｄ）はある被写体像を異なるピント状態で捉えた時の像の様子を示す図である。図４（ｅ）は図４（ｂ）、（ｃ）、（ｄ）と対応するピント位置や光線の状態を説明する図である。

図４（ａ）を参照して、相関演算手段全体と本実施形態明の要部の動作を、順をおって具体的に説明する。

ステップＳ１で、本実施形態の相関演算手段の動作が開始する。撮像装置においては、像の相関を利用したいわゆるオートフォーカス動作の開始と対応する。

ステップＳ２で基線長方向を決定する。基線長方向は視差の異なる像を得た時の視差の方向から任意に決定することが出来る。図２で説明した光学系においては縦方向または横方向にとることが一般的である。斜め方向にとっても良い。この基線長方向はユーザーの指示または機器に予め設定された値を用いる。一般の被写体は縦線または横線が存在することが多いので、縦方向または横方向にとればよい。

ステップＳ３で視差・位置の２次元像を生成する。これは図３を用いて説明した動作に対応する。

ステップＳ４からステップＳ７はループを形成しており、射影角度（後ほどステップＳ５で射影変換を行う場合の角度。図５および図６を用いて角度を具体的に説明する。）を変化させながら像の変換を繰り返す。射影角度の範囲は後述するように、いわゆる位相差に基づくピント検知システムの位相差量に対応している。位相差に基づくピント検知システムで位相差を計算する範囲が設定されているように本システムにおいても予め射影角度の範囲やそのステップが与えられている。例えば１５ｄｅｇ刻みで±７５ｄｅｇの範囲などと設定すれば良い。

ステップＳ５では射影変換を行う。この操作により図３を用いて説明した２次元 Ｌｉｇｈｔ Ｆｉｅｌｄデータが１次元の像として変換される。具体的な変換の方法は図５から図７を用いて後述する。

ステップＳ６では射影変換で得られた１次元の像に対してフィルタ処理を行う。例えば積分処理やコントラスト検知等が対応する。具体的な射影変換とフィルタ処理の組合せについては後述する。このフィルタ処理の結果が、その射影角度に対する相関の評価値となる。

ステップＳ８ではステップＳ４からステップＳ７のループで求められた射影角度と相関の評価値から相関が最大となる位置を検知する。具体的にはピークまはたボトムを検知して相関最大の位置とする。ここでの処理も射影変換およびフィルタ処理と対応するので合わせて後述する。

ステップＳ９で動作を終了する。

図４（ａ）に示したフローチャートのステップＳ３の動作が２次元光線空間像生成手段、ステップＳ５が射影手段、ステップＳ６がフィルタ手段、ステップＳ８が相関演算手段のそれぞれの具体的な動作に対応する。

図４（ｂ）、（ｃ）、（ｄ）はある被写体像を異なるピント状態で捉えた時の像の様子を示しており、図４（ｅ）と対応している。図４（ｂ）、（ｃ）、（ｄ）において白で示した画素は明るい画素を、黒で示した画素は暗い画素を示している。説明を簡単にするために白／黒の２値で示しているが、実際のセンサ信号は適当な諧調を有している。

また、図４（ｂ）、（ｃ）、（ｄ）は図３で説明した２次元光線空間生成手段が生成した像の状態をしており、その横軸は視差、縦軸は位置である。ここでは位置は１から１６までの値をとっている。これは説明を簡易にするための便宜的な大きさである。実際の処理においては位置方向の大きさはいわゆる視野長に対応しているので、画像の像倍率や撮影時のレンズの焦点距離などに応じて適当に設定すれば良い。

図４（ｅ）は図３の上段と同じように撮像素子６を切断した図であり、切断方向はマイクロレンズの光軸および前述の基線長方向を含むように設定している。ただし光軸方向を図４（ｅ）では横方向に設定している。図１と同じような配置にある。

図４（ｅ）には光軸方向に異なる面を３つ記載してそれぞれ２０ｂ，２０ｃ，２０ｄとした。本実施形態の撮像装置においては、ＭＬＡ上に結像するように光学系が設定されているので、面を円弧で図示している。実際の撮像素子は２０ｃの下にあって撮像した場合を考える。つまり２０ｃには実際のＭＬＡが存在しているが、２０ｂ，２０ｄは仮想的に考えている。図４（ｅ）の２０ｂ３，２０ｃ３，２０ｄ３はそれぞれＭＬＡ２０ｂ、２０ｃ，２０ｄのうち図４（ｅ）の真ん中（＝３番目）のマイクロレンズを示している。

図４（ｅ）の仮想ＭＬＡ２０ｂにピントを合わせて撮像した時に得られる像が図４（ｂ）に、ＭＬＡ２０ｃにピントを合わせて撮像した時に得られる像が図４（ｃ）に、ＭＬＡ２０ｄにピントを合わせて撮像した時に得られる像が図４（ｄ）に、それぞれ対応している。

また、図４（ｅ）に引かれた線は光線を示しており、１−ａ，１−ｂ，という標記は図３と同様に前の数字は基線長方向の位置（空間的な位置）を、後ろの英文字は瞳領域と対応している。図３では撮像素子に対して同様の標記をしたが、図４では図３で示した撮像素子が捉える光線（主光線）を示している。

ＭＬＡ２０ｃにピントを合わせて撮像した場合を考える。いわゆるピントが合っている状態にあるので瞳面上のどの領域を通ってきても同じ像を得ている状態にある。例えば、中央のマイクロレンズ２０ｃ３が物体の明るい場所（例えば輝点）に対応している場合は、光線３−ａ，３−ｂ，３−ｃ，３−ｄ，３−ｅはいずれも高い輝度を持った信号として観察される。同様にマイクロレンズ２０ｃ３が物体上の黒い場所（光をあまり放たない点）に対応している場合は、光線３−ａ，３−ｂ，３−ｃ，３−ｄ，３−ｅはいずれも低い輝度を持った信号として観察される。このため視差によらず同じ像が得られている状態にあり、これを模式的に示したのが図４（ｃ）である。視差方向（図４（ｃ）では横方向）には同じ像が並んでいることが分かる。

次に、ＭＬＡ２０ｂにピントを合わせて撮像した場合を考える。いわゆるピントが合っていない状態（＝ボケ状態）にあるので瞳面上の通過領域によって異なる像が得られている状態にある（視差によって位相差が生じている状態）。例えば、中央のマイクロレンズ２０ｂ３が物体の明るい場所（例えば輝点）に対応している場合は、光線１−ａ，２−ｂ，３−ｃ，４−ｄ，５−ｅはいずれも高い輝度を持った信号として観察される（ピントが合っている時と違って、位置方向がずれている）。同様にマイクロレンズ２０ｃ３が物体上の黒い場所（光をあまり放たない点）に対応している場合は、光線１−ａ，２−ｂ，３−ｃ，４−ｄ，５−ｅはいずれも低い輝度を持った信号として観察される。これを模式的に示したのが図４（ｂ）である。視差方向（図４（ｂ）では横方向）には同じ像が、位置方向（図４（ｂ）では縦方向）にずれながら存在していることが分かる。

ＭＬＡ２０ｄにピントを合わせた場合の詳細な説明は割愛するが、ＭＬＡ２０ｂにピントを合わせた場合と反対方向に位置がずれていき、図４（ｄ）のような像になることが分かる。

図４（ｂ）、（ｃ）、（ｄ）、（ｅ）を用いて説明した様に、２次元光線空間像においてはピントのずれが角度として表現されている。

図５から図７を用いて射影手段の動作について説明する。図４（ａ）で説明した様に射影角度を変化させながら射影変換を行う。前述したように２次元光線空間像においてはピントのずれが角度に対応しているので、これはピント状態を変化させた時の信号の状態を観察することと同義になる。

図５（ａ）は射影変換として射影方向に重なった画素値を加算処理しながら射影する例を示している。また射影する信号は図４（ｂ）に示した信号を例として用いた。加算による射影（いわゆるラドン変換）を行っているので、明るい画素の数に対応する輝度が加算信号として得られている。なお、図５（ａ）の例では２値化して示しているので輝度の積算値は、白で示した画素の数と同義になっている。２値ではなく諧調を持っている場合はそれらの積算値となる。図５（ａ）の例では、説明を簡単にするために射影角度は−４５ｄｅｇ，０ｄｅｇ，４５ｄｅｇの３つを図示した。

図５（ｂ）は図５（ａ）で射影された信号を、射影角度と得られた１次元信号という形で図示したものである。図５（ｂ）において縦方向は射影角度に対応しており、ぞれぞれの１次元信号は縦軸に輝度、横軸に位置となるように図５（ａ）の射影変換後の信号を示した。

図５（ｂ）を見ると射影角度によって異なる信号が得られていることが分かる。また、図５（ｂ）の例では射影角度−４５ｄｅｇで最も高いコントラストを示していることが分かる（コントラスト検出）。これは前述した様に射影角度がピントのずれと対応しているので、この像においては−４５ｄｅｇの角度が最もピントの良い像が得られる射影角度となることが分かる。光学系との対応を考えると、図４（ｂ）において、１−ａ，２−ｂ，３−ｃ，４−ｄ，５−ｅに相似な信号がならぶようなＭＬＡ２０ｃ面にピントがあるということになる。

射影角度を従来の位相差に基づくピント検知システムに対応させるためには、
Δｐ＝ｔａｎθ …（１）
とすればよいことは明らかである。ただしθは射影角度、Δｐは位相差で単位はピクセルである。ただし、ここでのピクセルとは２次元光線空間像の位置方向のピクセル単位に対応しており、撮像素子６の画素ピッチではない。すなわち本実施形態の光学系においては撮像素子６に対して、基線長方向に５倍の大きさを持つ画素になる。

図６は別のピント状態の信号として図４（ｃ）の信号について、図５と同じ変換を行った様子を示した図である。図６（ａ）および図６（ｂ）はそぞれぞれ図５（ａ）および図５（ｂ）と対応している。処理している元の信号が異なるのみである。

図６の例では射影角度０ｄｅｇでコントラスト最大の信号が得られており、ピント状態の異なる信号によってコントラスト最大となる射影角度が変化することが理解できる。

コントラスト検知の詳細については本実施形態の要部ではないのでここでは省略するが適当な帯域通過フィルタと積分器によって実現することが可能である。

図５、図６および式（１）を用いて説明した様に、射影角度を変えながら信号を処理することでピント検知を行うことが出来るが、式（１）に示すように従来の位相差と角度の対応はｔａｎ関数で結ばれており、線形の対応関係にない。このため、従前の説明においては射影角度は１５ｄｅｇ刻みで±７５ｄｅｇの範囲というような例を挙げたが、位相差が均等な刻みとなるように射影角度は不均一のピッチとすることもできる。特にｔａｎ関数の特質から、角度が大きくなると急激に対応する位相差が大きく変化するので、大きな角度の時は細かく角度を設定すれば良い。

図５および図６の例においては、射影変換として加算、フィルタ処理としてコントラスト検知、相関最大位置検出として最大値検出を使っている。別の処理方法も可能であるので下に表１として示した。

表１のＮｏ．１と示した処理方法が図５、図６で説明した例である。他の方法として射影時に射影方向に重なった画素のうち最大値を射影する方法を用いることも出来る（表１のＮｏ．２に対応する）。この射影を行った場合の例を図７（ａ）に示した。図７で用いている射影する前の信号は図４（ｂ）の２次元光線空間像である。ピントが合う方向に射影された場合（図７（ａ）の例では−４５ｄｅｇ）、輝点および黒い個所が重なって観察されるので、最大値を射影しても基本的には元と同じ信号が得られる。一方で、他の方向に射影をした場合は、輝点が広がって見えるために多くの位置で輝点が観測されてしまう。すなわち、射影後の信号を積分して算出した時に、その値（積分値）が最小となる角度が相関最大であると判断することが出来る。

さらに他の方法として射影時に射影方向に重なった画素のうち最小値を射影する方法を用いることも出来る（表１のＮｏ．３に対応する）。この射影を行った場合の例を図７（ｂ）に示した。ピントが合う方向に射影された場合（図７（ｂ）の例では−４５ｄｅｇ）、輝点黒い個所が重なって観察されるので、最小値を射影しても基本的には元と同じ信号が得られる。一方で、他の方向に射影をした場合は、黒い個所が広がって見えるために多くの位置で輝点がおおわれて黒い個所が観測されてしまう。すなわち、射影後の信号を積分した時に、その値が最大となる角度が相関最大であると判断することが出来る。

表１に示した処理はどれも比較的計算量が少なく、繰り返しや収束計算を伴わずに実施することが出来る。このため高速なピント検出動作が可能となる。

また、本実施形態に示した相関計算手段によれば、１対の信号（一般的には視差の異なる２つの信号であり、図４（ｂ）の２つの列の信号を適当に選択した信号の組み）から相関を求める場合に比べ、多くの視差の信号を一度に扱える。そのため、ガウス分布に従うような誤差（例えば熱的な雑音など）に対してロバストに処理することが出来る。これは撮像装置においては暗くてセンサのＳ／Ｎが悪い状態においてもピント検知が可能であることに対応する。

本実施形態によれば、ノイズが高い状態においても、高速に複数の信号間の相関を得ることが出来る相関計算手段を提供することが可能であり、暗い場面でも適切に撮影可能な撮像装置を実現することが出来る。

（第２の実施形態）
以下、図８を参照して、本発明の第２の実施形態による相関計算手段について説明する。

図８（ａ）は本実施形態の全体のシステム構成を説明する図、図８（ｂ）はある焦点状態での画像を示す図、図８（ｃ）は図８（ｂ）と同じ画像の焦点状態を変更した画像を示す図、図８（ｄ）は本実施形態のフローチャートを示している。

図８（ａ）において、１０１は撮像装置を、１０２は情報処理装置を、１０３は情報処理装置１０２に接続された表示装置をそれぞれ示している。本実施形態において、その要部である２次元光線空間像生成手段、射影手段、フィルタ手段および相関演算手段は情報処理装置１０２が備えている。撮像装置１０１は視差像を得ることが可能な撮像装置である。例えば、第１の実施形態に示したような形態である。

撮像装置１０１では視差のある画像が取得され、それらの情報が格納されたファイルが生成される。情報処理装置１０２と直接の接続または記録媒体を介して前述のファイルを情報処理装置１０２に移動させることが出来る。しかし、本実施形態としては上記のような構成に限らず、図１のカメラ１内のカメラシステム制御回路５、画像処理部７によって２次元光線空間像生成手段、射影手段、フィルタ手段および相関演算手段を実現してもよい。このとき、撮像素子６から得られた画像信号を、相関演算手段の演算結果に応じた結像面にピント位置が来るようにリフォーカスした画像がカメラシステム制御部５及び画像処理部７により生成される。生成された画像は、表示媒体である表示部９に表示される、あるいは記録媒体であるメモリ８に記録される。

情報処理装置１０２において、適当な現像処理が施され、出力画像を得る。出力画像を生成する方法については、例えば特開２００７−００４４７１号公報等に開示されているが、本実施形態の要部ではないのでここでは詳述しない。Ｌｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａと通称される撮像装置で得られた画像は、視差を利用して撮影後のピント調整が可能である（いわゆるリフォーカス）。情報処理装置１０２を用いてユーザーが望む位置にリフォーカスを行う場合を考える。

図８（ｂ）および図８（ｃ）は情報処理装置１０２に表示される画像（ウィンドウ）を模式的に示した図である。１１０はウィンドウの枠（画像の範囲）を示している。

まず、情報処理装置１０２はユーザーに適当な位置（例えば撮像素子６がもともと配置された位置）で現像された像を提示する。これを図８（ｂ）に示した。この時ユーザーが撮影したいと思っていた主被写体が１２０ａで１３０ａは主要な被写体とは思っていなかったが、撮影時にピントが合ってしまった被写体とする。この時主被写体１２０ａはいわゆるピンボケの状態にあるので、コントラストが低く品位の低い像が得られている。一方で被写体１３０ａはコントラストが高い状態にある。

図８（ｃ）はリフォーカス後の画像を示している。図８（ｃ）の１２０ｂ，１３０ｂはそれぞれ図８（ｂ）の１２０ａ，１３０ａと対応している。すなわち１２０ｂは主被写体であり、１３０ｂは本来狙っていなかった被写体である。

図８（ｂ）において画像内の主被写体１２０ａにピントを合わせたいと思ったユーザーは画面上の１２０ａをクリックする（指定する）。情報処理装置１０２はその箇所に相関計算を行う範囲（相関の演算領域：これは第１の実施形態での視野長に対応している）を設定し、図８（ｄ）に示す処理を施す。図８（ｄ）で得られた画像を表示すると図８（ｃ）のような表示状態になる。

ここで、図８（ｄ）を用いて本実施形態の動作を説明する。ステップＳ１０１でいわゆるリフォーカス動作を開始する。例えば前述した様に、ユーザーがピントを合わせたい箇所をクリックした場合などが対応する。

ステップＳ１０２では、相関計算を行うブロックを呼び出す。これは第１の実施形態の図４（ａ）の動作を呼び出すことに対応する。第１の実施形態で示したように３つ以上の視差像が得られているシステムにおいて、第１の実施形態で示した相関計算手段は、２次元光線空間像の生成、射影変換、フィルタ、ピーク／ボトム検知を行うことにより相関が最大となるピント位置を得ることが出来る。

ステップＳ１０３では、ステップＳ１０２で示した面で現像処理を施し、出力画像を得る。ステップＳ１０４では、ステップＳ１０３で得られた画像を表示装置１０３に対して出力する。

ステップＳ１０２で相関が最大となる面を求めて、当該現像面での画像を表示することで、クリックした箇所のピントがあった像を得ることが可能となる。すなわち図８（ｃ）において主被写体１２０ｂはコントラストが高い像、その他の被写体１３０ｂはコントラストの低い像となり、撮影者の意図に沿った画像を得ることが出来る。

本実施形態においても第１の実施形態に示したものと同じメリットが得られる。すなわち、ノイズが高い状態においても、高速に複数の信号間の相関を得ることが出来る相関計算手段を提供することが可能であり、暗い画像に対して適切にリフォーカス可能な情報処理装置を実現することが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

Claims (14)

1. 基線長方向が同一な異なる複数の視差画像を角度および位置の２次元光線空間像として展開する２次元光線空間像生成手段と、
   前記２次元光線空間像を予め設定された角度に加算処理を行うことで射影変換する射影手段と、
   前記射影変換を施した像に対するコントラスト検出を行った結果に基づいて、前記複数の視差画像の間の相関の最大値を算出する相関演算手段と、
   を備えることを特徴とする相関演算装置。
2. 基線長方向が同一な異なる複数の視差画像を角度および位置の２次元光線空間像として展開する２次元光線空間像生成手段と、
   前記２次元光線空間像を予め設定された角度に最大値を検出することで射影変換する射影手段と、
   前記射影変換を施した像に対する積分値算出を行った結果に基づいて、前記複数の視差画像の間の相関の最大値を算出する相関演算手段と、
   を備えることを特徴とする相関演算装置。
3. 基線長方向が同一な異なる複数の視差画像を角度および位置の２次元光線空間像として展開する２次元光線空間像生成手段と、
   前記２次元光線空間像を予め設定された角度に最小値を検出することで射影変換する射影手段と、
   前記射影変換を施した像に対する積分値算出を行った結果に基づいて、前記複数の視差画像の間の相関の最大値を算出する相関演算手段と、
   を備えることを特徴とする相関演算装置。
4. 前記２次元光線空間像の角度および位置の空間的な方向を決定する基線長方向決定手段をさらに備え、前記２次元光線空間像生成手段は、前記基線長方向決定手段が定めた基線長方向の角度および位置の２次元光線空間像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の相関演算装置。
5. 撮影レンズを介して入射される被写体の光学像を光電変換して画像信号を出力する撮像素子とを含む撮像装置において、
   前記撮像素子上の各画素に入射する前記被写体の光学像の光束を前記撮影レンズの複数の異なる瞳領域からの光束にそれぞれ制限する瞳分割手段と、
   請求項１乃至４の何れか１項に記載の相関演算装置と、
   を備えることを特徴とする撮像装置。
6. 前記画像信号の画像内の領域から演算領域を指定する指定手段をさらに備え、
   前記相関演算手段は、前記指定手段で指定された演算領域に対応する前記複数の視差画像の間の相関を求めることを特徴とする請求項５に記載の撮像装置。
7. 前記相関演算手段の演算結果に応じて前記画像信号を現像処理し、出力画像を生成する生成手段をさらに備えることを特徴とする請求項５または６に記載の撮像装置。
8. 前記生成手段によって生成された出力画像を表示媒体に表示する表示手段をさらに備えることを特徴とする請求項７に記載の撮像装置。
9. 前記生成手段によって生成された出力画像を記録媒体に記録する記録手段をさらに備えることを特徴とする請求項７または８に記載の撮像装置。
10. 基線長方向が同一な異なる複数の視差画像を角度および位置の２次元光線空間像として展開する２次元光線空間像生成ステップと、
    前記２次元光線空間像を予め設定された角度に加算処理を行うことで射影変換する射影ステップと、
    前記射影変換を施した像に対するコントラスト検出を行った結果に基づいて、前記複数の視差画像の間の相関の最大値を算出する相関演算ステップと、
    を有することを特徴とする相関演算方法。
11. 基線長方向が同一な異なる複数の視差画像を角度および位置の２次元光線空間像として展開する２次元光線空間像生成ステップと、
    前記２次元光線空間像を予め設定された角度に最大値を検出することで射影変換する射影ステップと、
    前記射影変換を施した像に対する積分値算出を行った結果に基づいて、前記複数の視差画像の間の相関の最大値を算出する相関演算ステップと、
    を有することを特徴とする相関演算方法。
12. 基線長方向が同一な異なる複数の視差画像を角度および位置の２次元光線空間像として展開する２次元光線空間像生成ステップと、
    前記２次元光線空間像を予め設定された角度に最小値を検出することで射影変換する射影ステップと、
    前記射影変換を施した像に対する積分値算出を行った結果に基づいて、前記複数の視差画像の間の相関の最大値を算出する相関演算ステップと、
    を有することを特徴とする相関演算方法。
13. 請求項１０乃至１２のいずれか１項に記載の相関演算方法の手順が記述されたコンピュータで実行可能なプログラム。
14. コンピュータに、請求項１０乃至１２のいずれか１項に記載の相関演算方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。