以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下の実施形態では、本発明をデジタルカメラ等の撮像装置に適用した場合について説明するが、本発明は以下の実施形態で説明する画像処理を実行する画像処理装置や情報処理装置、電子機器等に幅広く適用可能である。
<<第1の実施形態>>
図1は本実施形態に係る撮像素子を有する撮像装置の構成例を示すブロック図である。撮像光学系(結像光学系)の先端に配置された第1レンズ群101は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第2レンズ群103は、絞り兼用シャッタ102と一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)を有する。第3レンズ群105は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子107は、例えば2次元CMOS(相補型金属酸化膜半導体)フォトセンサと周辺回路からなり、撮像光学系の結像面に配置される。
ズームアクチュエータ111は、不図示のカム筒を回動することで、第1レンズ群101および第2レンズ群103を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ114は、第3レンズ群105を光軸方向に移動させて焦点調節動作を行う。
被写体照明用の電子フラッシュ115は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するLED(発光ダイオード)を備えた照明装置が用いられる。AF補助光源116(オートフォーカス補助光源)は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。
カメラ本体部の制御部を構成するCPU121(中央演算処理装置)は、種々の制御を司る制御中枢機能をもつ。CPU121は、演算部、ROM(リード・オンリー・メモリ)、RAM(ランダム・アクセス・メモリ)、A(アナログ)/D(デジタル)コンバーター、D/Aコンバーター、通信インターフェイス回路等を有する。CPU121はROMに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、AF制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。
電子フラッシュ制御回路122はCPU121の制御指令に従い、撮影動作に同期して電子フラッシュ115を点灯制御する。補助光源駆動回路123はCPU121の制御指令に従い、焦点検出動作に同期してAF補助光源116を点灯制御する。撮像素子駆動回路124は撮像素子107の撮像動作を制御するとともに、取得した撮像信号をA/D変換してCPU121に送信する。画像処理回路125はCPU121の制御指令に従い、撮像素子107により取得した画像のガンマ変換、カラー補間、JPEG(Joint Photographic Experts Group)圧縮等の処理を行う。
フォーカス駆動回路126はCPU121の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動し、第3レンズ群105を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路128はCPU121の制御指令に従い、絞りシャッタアクチュエータ112を駆動し、絞り兼用シャッタ102の開口径を制御する。ズーム駆動回路129はCPU121の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ111を駆動する。
表示部131はLCD(液晶表示装置)等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部132は操作スイッチとして、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をCPU121に出力する。フラッシュメモリ133はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。本実施形態では、撮像素子107により撮像され、画像処理回路125により処理された画像データとして複数の視点画像やそれらを撮像素子107内や画像処理回路125内で合成した合成画像を表示部131やフラッシュメモリ133に表示・記録する。
[撮像素子]
本実施形態における撮像素子の画素と副画素の配列の概略図を図2に示す。図2の左右方向をx軸方向とし、上下方向をy軸方向とし、x軸方向およびy軸方向に直交する方向(紙面に垂直な方向)をz軸方向と定義する。図2は、本実施形態の2次元CMOSセンサー(撮像素子)の画素(撮像画素)配列を4列×4行の範囲で、副画素配列を8列×4行の範囲で示したものである。
本実施形態では、図2に示した2列×2行の画素群200は、第1色のR(赤)の分光感度を有する画素200Rが左上の位置に配置されている。また、第2色のG(緑)の分光感度を有する画素200Gが右上と左下の位置に配置されている。また、第3色のB(青)の分光感度を有する画素200Bが右下の位置に配置されている。さらに、各画素は、x軸方向に2分割(Nx分割)、y軸方向に1分割(Ny分割)された分割数2(分割数NLF=Nx×Ny)の第1副画素201と第2副画素202(第1副画素から第NLF副画素)の複数の副画素により構成されている。副画素はそれぞれ、焦点検出信号を出力する焦点検出画素としての機能を有する。
図2に示す例では、4列×4行の画素(8列×4行の副画素)を面上に多数配置することで、撮像素子107から、以下の画像を取得可能である。すなわち、表示部131での表示やフラッシュメモリ133への記録などにも用いる撮像画像(合成画像)および分割数2(分割数NLF)の複数の視点画像を生成するための入力画像を取得可能である。本実施形態の撮像素子では、画素の周期Pを約5μm(マイクロメートル)とし、画素数Nを横6720列×縦4480行=約3010万画素とする。また、副画素の列方向周期PSを約2.5μmとし、副画素数NSを横13440列×縦4480行=約6020万画素とする。
図2に示す撮像素子107における1つの画素200Gを、撮像素子の受光面側(+z側)から見た場合の平面図を図3(A)に示す。図3(A)の紙面に垂直な方向にz軸を設定し、手前側をz軸の正方向と定義する。また、z軸に直交する上下方向にy軸を設定して上方をy軸の正方向とし、z軸およびy軸に直交する左右方向にx軸を設定して右方をx軸の正方向と定義する。図3(A)にてa-a切断線に沿って、-y側から見た場合の断面図を図3(B)に示す。
図3(A)および、図3(B)に示すように、画素200Gは、各画素の受光面側(+z軸方向)に入射光を集光するためのマイクロレンズ305が形成されている。さらに、x軸方向に2分割(Nx分割)、y軸方向に1分割(Ny分割)された分割数2(分割数NLF)の第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)の複数の光電変換部が形成されている。第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)が、それぞれ、第1副画素201と第2副画素202(第1副画素から第NLF副画素)に対応する。
第1光電変換部301と第2光電変換部302は、2つの独立したpn接合フォトダイオードであり、p型ウェル層300と2つに分割された第1光電変換部301(n型層)と第2光電変換部302(n型層)から構成される。必要に応じて、イントリンシック層を挟み、pin構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ305と、第1光電変換部301および第2光電変換部302との間に、カラーフィルタ306が形成される。必要に応じて、各画素や各光電変換部などで、カラーフィルタ306の分光透過率を変えても良いし、カラーフィルタを省略しても構わない。
画素200Gに入射した光はマイクロレンズ305が集光し、さらにカラーフィルタ306で分光された後に、第1光電変換部301と第2光電変換部302がそれぞれ受光する。第1光電変換部301と第2光電変換部302では、受光量に応じて電子とホール(正孔)が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源(不図示)に接続されたp型ウェル層を通じて撮像素子の外部へ排出される。第1光電変換部301と第2光電変換部302に蓄積された電子は、転送ゲートを介して、静電容量部(FD)に転送されて電圧信号に変換される。
図4は、撮像素子107における画素構造と瞳分割との対応関係を示す概略的な説明図である。図4には、図3(A)に示した画素構造のa-a線での切断面を、+y軸方向から見た場合の断面図と、結像光学系の射出瞳面を、-z軸方向から見た図を示す。図4では、射出瞳面の座標軸と対応を取るために、断面図にてx軸とy軸を図3に示す状態とは反転させて示している。
撮像素子107は、撮影レンズ(結像光学系)の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳400を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。
2×1分割された第1瞳部分領域501と第2瞳部分領域502(Nx×Ny分割された第1瞳部分領域から第NLF瞳部分領域)は、概ね光学的に共役な関係になっている。詳細には、各々が、第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)の受光面と、マイクロレンズによって、概ね光学的に共役な関係になっている。そして、第1副画素201と第2副画素202(第1副画素から第NLF副画素)で、それぞれ、受光可能な瞳領域である。第1副画素201の第1瞳部分領域501は、瞳面上で+X側に重心が偏心しており、第2副画素202の第2瞳部分領域502は、瞳面上で-X側に重心が偏心している。
また、瞳領域500は、2×1分割された第1光電変換部301と第2光電変換部302(Nx×Ny分割された第1光電変換部から第NLF光電変換部)を全て合わせた受光面と、マイクロレンズによって、概ね光学的に共役な関係になっている。そして、第1副画素201と第2副画素202(第1副画素から第NLF副画素)を全て合わせた画素200G全体での受光可能な瞳領域である。
図5に、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図5(A)はマイクロレンズの光軸に平行な断面での光強度分布を示す。図5(B)はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約1~2μm程度であり、これに対してマイクロレンズの集光スポットが約1μm程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図4の第1瞳部分領域501と第2瞳部分領域502は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布(瞳強度分布)となる。
図6に、光の入射角に依存した受光率分布(瞳強度分布)例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図6に実線で示すグラフ線L1は、図4の第1瞳部分領域501のx軸に沿った瞳強度分布を表す。グラフ線L1で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図6に破線で示すグラフ線L2は、第2瞳部分領域502のx軸に沿った瞳強度分布を表す。グラフ線L2で示す受光率は、グラフ線L1とは反対(左右対称的)に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。
本実施形態の撮像素子と瞳分割との対応関係を示した概略図を図7に示す。第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)が、それぞれ、第1副画素201と第2副画素202(第1副画素から第NLF副画素)に対応する。撮像素子の各画素において、2×1分割された第1副画素201と第2副画素202(Nx×Ny分割された第1副画素から第NLF副画素)は、それぞれ結像光学系の第1瞳部分領域501と第2瞳部分領域502の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すLFデータ(入力画像)が取得される。
LFデータから、画素毎に2×1分割された第1副画素201と第2副画素202の中から特定の副画素の信号を選択することで、結像光学系の第1瞳部分領域501と第2瞳部分領域502の中の特定の瞳部分領域に対応した視点画像を生成できる。例えば、画素毎に、第1副画素201の信号を選択することで、結像光学系の第1瞳部分領域501に対応した画素数Nの解像度を有する第1視点画像を生成できる。他の副画素でも同様である。
また、LFデータ(入力画像)から、画素毎に、2×1分割された第1副画素201と第2副画素202(Nx×Ny分割された第1副画素から第NLF副画素)の信号を全て合成することで、画素数Nの解像度を有する撮像画像を生成することができる。
以上のように本実施形態の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、LFデータ(入力画像)を取得することができる。
[デフォーカス量と像ずれ量の関係]
本実施形態の撮像素子により取得されるLFデータ(入力画像)から生成される第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)のデフォーカス量と、像ずれ量との関係について、以下に説明する。
図8は、第1視点画像と第2視点画像のデフォーカス量と、第1視点画像と第2視点画像との間の像ずれ量について概略的に示す関係図である。撮像面600には撮像素子(不図示)が配置され、図4、図7の場合と同様に、結像光学系の射出瞳が、第1瞳部分領域501と第2瞳部分領域502に2×1分割される。
デフォーカス量dは、その大きさ|d|が被写体像の結像位置から撮像面600までの距離を表す。被写体像の結像位置が撮像面600よりも被写体側にある前ピン状態では、負符号(d<0)とし、これとは反対の後ピン状態では正符号(d>0)として向きを定義する。被写体像の結像位置が撮像面(合焦位置)にある合焦状態では、d=0である。図8に示す被写体801の位置は、合焦状態(d=0)に対応する位置を示しており、被写体802の位置は前ピン状態(d<0)に対応する位置を例示する。以下では、前ピン状態(d<0)と後ピン状態(d>0)とを併せて、デフォーカス状態(|d|>0)という。
前ピン状態(d<0)では、被写体802からの光束のうち、第1瞳部分領域501(または第2瞳部分領域502)を通過した光束は、いったん集光した後、光束の重心位置G1(またはG2)を中心として幅Γ1(またはΓ2)に広がる。この場合、撮像面600上でボケ像となる。ボケ像は、撮像素子に配列された各画素部を構成する第1副画素201(または第2副画素202)により受光され、第1視点画像(または第2視点画像)が生成される。よって、第1視点画像(または第2視点画像)は、撮像面600上の重心位置G1(またはG2)にて、幅Γ1(またはΓ2)をもった被写体像(ボケ像)の画像データとしてメモリに記憶される。
被写体像の幅Γ1(またはΓ2)は、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね比例して増加する。同様に、第1視点画像と第2視点画像との間の被写体像の像ずれ量を「p」と記すと、その大きさ|p|はデフォーカス量dの大きさ|d|の増加に伴って増加する。例えば、像ずれ量pは光束の重心位置の差「G1-G2」として定義され、その大きさ|p|は、|d|が増加するのに伴い、概ね比例して増加する。なお、後ピン状態(d>0)では、第1視点画像と第2視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。
したがって、本実施形態では、第1視点画像と第2視点画像、または、第1視点画像と第2視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第1視点画像と第2視点画像との間の像ずれ量の大きさが増加する。
[リフォーカス処理]
本実施形態では、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)のデフォーカス量と像ずれ量の関係性を用いて、撮像画像に対して、撮影後に、フォーカス位置を修正(変更)するリフォーカス処理を行う。本実施形態では、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)を用いたシフト合成処理によるリフォーカス処理を行う。なお、リフォーカス処理に加え、特許文献1に開示されているように、像ずれ差分量分布を算出し、像ずれ差分量分布に応じた先鋭化と平滑化によって先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ/アンシャープ制御を行ってもよい。
以下、本実施形態の撮像素子により取得されたLFデータ(入力画像)から、撮影後に、フォーカス位置やボケ感が修正された処理画像(出力画像)を生成する画像処理方法について、図9を用いて説明する。図9は、有効被写体領域を考慮したリフォーカス処理の概略図を示す。図9は、入力となる多視点画像をもとに、有効被写体領域の判定を行い、有効被写体領域から所定像ずれ量を算出し、リフォーカス処理を行う。有効被写体領域の判定を行うことにより、ユーザーからの指示を受けることなく、リフォーカスの効果が得られる被写体を高精度に検出し、リフォーカスを実施することが可能となる。なお、図9の処理は、CPU121と画像処理回路125によって実行される。
[多視点画像と撮像画像]
図9のステップS1で、本実施形態の撮像素子により取得されたLFデータ(入力画像)から、結像光学系の異なる瞳部分領域毎に、複数の視点画像を生成し、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像(合成画像)を生成する。
ステップS1において、まず、本実施形態の撮像素子により取得されたLFデータ(入力画像)を入力する。もしくは、予め本実施形態の撮像素子により撮影され、記録媒体に保存されているLFデータ(入力画像)を用いても良い。
ステップS1において、次に、結像光学系の異なる瞳部分領域毎に、第1視点画像と第2視点画像(第1視点画像から第N
LF視点画像)を生成する。LFデータ(入力画像)をLFとする。また、LFの各画素信号内での列方向i
S(1≦i
S≦Nx)番目、行方向j
S(1≦j
S≦Ny)番目の副画素信号を、k=Nx(j
S-1)+i
S(1≦k≦N
LF)として、第k副画素信号とする。結像光学系の第k瞳部分領域に対応した、列方向i番目、行方向j番目の第k視点画像Ik(j、i)を、式(1)により生成する。
本実施形態は、Nx=2、Ny=1、NLF=2のx軸方向2分割の例である。図2に例示した画素配列に対応したLFデータ(入力画像)から、画素毎に、x軸方向2分割された第1副画素201と第2副画素202(Nx×Ny分割された第1副画素から第NLF副画素)の中から特定の副画素の信号を選択する。よって、結像光学系の第1瞳部分領域501と第2瞳部分領域502(第NLF瞳部分領域)の中の特定の瞳部分領域に対応した、画素数Nの解像度を有するベイヤー配列のRGB信号である第1視点画像と第2視点画像(第NLF視点画像)を生成する。
ここで、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)の瞳ずれによるシェーディングについて説明する。図10に、撮像素子の周辺像高における第1光電変換部301が受光する第1瞳部分領域501、第2光電変換部302が受光する第2瞳部分領域502、および結像光学系の射出瞳400の関係を示す。尚、図4と同じ部分は同じ符号を付して示す。第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)が、それぞれ、第1副画素201と第2副画素202(第1副画素から第NLF副画素)に対応する。
図10(A)は、結像光学系の射出瞳距離Dlと撮像素子の設定瞳距離Dsが同じ場合である。この場合は、第1瞳部分領域501と第2瞳部分領域502により、結像光学系の射出瞳400が、概ね、均等に瞳分割される。これに対して、図10(B)に示した結像光学系の射出瞳距離Dlが撮像素子の設定瞳距離Dsより短い場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳400が、不均一に瞳分割されてしまう。同様に、図10(C)に示した結像光学系の射出瞳距離Dlが撮像素子の設定瞳距離Dsより長い場合も、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳400が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第1視点画像と第2視点画像の強度も不均一になり、第1視点画像と第2視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、RGB毎に生じる。
必要に応じて、各視点画像のシェーディングを改善するために、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)に、それぞれ、RGB毎に、シェーディング補正処理(光学補正処理)を行っても良い。また、必要に応じて、キズ補正処理や、飽和処理、デモザイキング処理などを行っても良い。
図9のステップS1において、次に、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像(合成画像)を生成する。列方向にi番目、行方向にj番目の撮像画像I(j、i)を、式(2)により生成する。
本実施形態は、Nx=2、Ny=1、NLF=2のx軸方向2分割の例である。図2に例示した画素配列に対応した入力画像から、画素毎にx軸方向2分割された第1副画素201と第2副画素202の信号を全て合成し、画素数Nの解像度を有するベイヤー配列のRGB信号である撮像画像を生成する。必要に応じて、シェーディング補正処理、キズ補正処理、飽和処理、デモザイキング処理などを行っても良い。図11に、本実施形態のデモザイキング処理された撮像画像を例示する。中央に人物(人形)が配置され、左側に細かい市松模様の平板が手前から奥に渡って傾斜して配置されている。
以上のように本実施形態では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域毎に、複数の視点画像を生成する。そして、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。しかしこれに限らず、本実施形態も他の実施形態も、公知の技術により複数の視点画像及びそれらの合成画像を取得できるものであれば適用出来る。例えば特開2011-22796号公報のように、複数の視点の異なるカメラをまとめて撮像素子107とみなす構成でもよい。また、図1の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ(一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる)、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク(ゲイン変調素子)を撮影光学系の光路中に挿入する方法も利用できる。
[コントラスト分布]
図9のステップS2で、本実施形態の撮像画像(合成画像)と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域毎に抽出して、コントラスト分布を生成する。本実施形態のコントラスト分布は、視点画像間の差に応じた調整が行われる。
ステップS2において、まず、ベイヤー配列のRGB信号である撮像画像I(j、i)から、位置(j,i)ごとに、各色RGBの色重心を一致させて、撮像輝度信号Yを、式(3A)により生成する。同様に、ベイヤー配列のRGB信号である第k視点画像Ik(k=1~N
LF)から、第k視点輝度信号Ykを、式(3B)により生成する。
ステップS2において、次に、空間周波数の高周波成分を抽出する2次元バンドパスフィルタを用いて、撮像輝度信号Y(j,i)から、撮像高周波信号dY(j,i)を式(4A)より生成する。2次元バンドパスフィルタを{F
BPF(j
BPF、i
BPF)|-n
BPF≦j
BPF≦n
BPF、-m
BPF≦i
BPF≦m
BPF}とする。同様に、第k視点輝度信号Yk(j,i)(k=1~N
LF)から、第k視点高周波信号dYk(j,i)を式(4B)より生成する。
本実施形態は、Nx=2、Ny=1、NLF=2のx軸方向2分割の例である。x軸方向(瞳分割方向)の1次元フィルタFx(iBPF)と、y軸方向(瞳分割方向と直交する方向)の1次元フィルタFy(jBPF)との直積により、2次元バンドパスフィルタを構成する例を示す。すなわち、2次元バンドパスフィルタをFBPF(jBPF、iBPF)=Fy(jBPF)×Fx(iBPF)とする。瞳分割方向であるx軸方向の1次元フィルタFx(iBPF)には、x軸方向の空間周波数の高周波成分を抽出するため、例えば、0.5×[1、2、0、-2、-1]+1.5×[1、0、-2、0、1]などの1次元バンドパスフィルタを用いることができる。
ここで、1次微分型フィルタ[1、2、0、-2、-1]と2次微分型フィルタ[1、0、-2、0、1]を組み合わせた混合型フィルタとしている。一般的に、微分型フィルタ処理を行うと、フィルタ処理後の信号において、正符号から負符号に変化する部分に0点が存在するため、絶対値演算と組み合わせることにより、空間周波数の高周波成分が含まれる領域に節が生じてしまう場合がある。節が発生する位置は、微分型フィルタの微分の次数により異なる。よって、本実施形態では、1次微分型フィルタと2次微分型フィルタ(一般には、異なる次数の微分型フィルタ)を組み合わせた混合型フィルタを用いることで、節の発生を抑制している。
必要に応じて、[1、2、0、-2、-1]などの1次微分型フィルタ、[1、0、-2、0、1]などの2次微分型フィルタ、高次微分型フィルタや、より一般的な1次元バンドパスフィルタを用いても良い。瞳分割方向と直交する方向であるy軸方向の1次元フィルタFy(jBPF)には、y軸方向の高周波ノイズを抑制するため、例えば、[1、1、1、1、1]や[1、4、6、4、1]などの高周波カット(ローパス)フィルタを用いることができる。必要に応じて、x軸方向とy軸方向のいずれの方向に対しても、空間周波数の高周波成分を抽出するバンドパスフィルタ処理を行っても良い。本実施形態では、2つの1次元フィルタの直積で構成される2次元バンドパスフィルタを例示したが、これに限定されず、一般的な2次元バンドパスフィルタを用いることができる。
ステップS2において、次に、Y
0>0として、撮像高周波信号dY(j,i)を、撮像輝度信号Y(j,i)により規格化した、規格化撮像高周波信号dZ(j,i)を、式(5A)により生成する。同様に、第k視点高周波信号dYk(j,i)(k=1~N
LF)を、第k視点輝度信号Yk(j,i)により規格化した、規格化第k視点高周波信号dZk(j,i)を、式(5B)により生成する。分母のY
0>0との最大値判定は、0割を防止するためである。必要に応じて、式(5A)、式(5B)での規格化前に、撮像輝度信号Y(j,i)、第k視点輝度信号Yk(j,i)に対して、高周波カット(ローパス)フィルタ処理を行い、高周波ノイズを抑制しても良い。
ステップS2において、次に、低輝度閾値Ymin、コントラスト最大閾値Cmax、指数γとして、撮像コントラスト分布C(j,i)を、式(6A)により生成する。式(6A)の1行目で、撮像輝度信号Y(j,i)が、低輝度閾値Yminより小さい場合、撮像コントラスト分布C(j,i)の値が0に設定される。式(6A)の3行目で、規格化撮像高周波信号dZ(j,i)が、コントラスト最大閾値Cmaxより大きい場合、撮像コントラスト分布C(j,i)の値が1に設定される。それ以外の場合は、式(6A)の2行目で、撮像コントラスト分布C(j,i)は、規格化撮像高周波信号dZ(j,i)をコントラスト最大閾値Cmaxで規格化してγ乗した値に設定される。
以上のように、撮像コントラスト分布C(j,i)は、[0,1](0以上1以下)の範囲内の値をとる。C(j,i)の値が、0に近いとコントラストが低く、1に近いとコントラストが高いことを示す。撮像コントラスト分布C(j,i)の0から1までのトーンカーブを調整するためにγ乗されている。低コントラスト側での変化を緩やかに、高コントラスト側での変化を急峻にするために、指数γは1.5以上2.5以下が望ましい。必要に応じて、定義域[0,1]から値域[0,1]への関数F:[0,1]→[0,1]を用いて、合成関数F(C(j,i))を撮像コントラスト分布としても良い。同様に、第k視点コントラスト分布Ck(j,i)(k=1~N
LF)を、式(6B)により生成する。
本実施形態の撮像コントラスト分布C(j,i)の分布例を図12に、第1視点コントラスト分布C1(j,i)の分布例を図13に、第2視点コントラスト分布C2(j,i)の分布例を図14に、それぞれ、例示する。図12から図14に示す分布例では、右側の[0、1]の範囲のグレースケール表示にてコントラストの高低の指標を表している。1近傍の白い部分はx軸方向の空間周波数の高周波成分が多く、高コントラストな領域を示し、0近傍の黒い部分はx軸方向の空間周波数の高周波成分が少なく、低コントラストな領域を示している。
本実施形態における複数の視点画像(第1視点画像と第2視点画像)間の視差と、遠近競合やオクルージョンとの関係を、図15を用いて説明する。図15において、撮像面600に本実施形態の撮像素子(不図示)が配置され、図4、図7、図8と同様に、結像光学系の射出瞳が、第1瞳部分領域501と第2瞳部分領域502に2分割される。
図15(A)は、被写体q1の合焦像p1に、手前の被写体q2のボケ像Γ1+Γ2が重なって撮影され、撮影画像において遠近競合が生じている例である。この例を、結像光学系の第1瞳部分領域501を通過する光束と、第2瞳部分領域502を通過する光束に、それぞれ、分けたものを、図15(B)、図15(C)に示す。
図15(B)では、被写体q1からの光束は、第1瞳部分領域501を通過して、合焦状態で像p1に結像し、手前の被写体q2からの光束は、第1瞳部分領域501を通過して、デフォーカス状態でボケ像Γ1に広がり、撮像素子の各画素の第1副画素201で受光される。第1副画素201の受光信号から、第1視点画像が生成される。第1視点画像では、被写体q1の像p1と手前の被写体q2のボケ像Γ1が重ならずに、異なる位置で撮影される。第1視点画像において、複数の被写体(被写体q1と被写体q2)の間で、遠近競合やオクルージョンが生じていない例である。
一方、図15(C)では、被写体q1からの光束は、第2瞳部分領域502を通過し、合焦状態で像p1に結像する。そして、手前の被写体q2からの光束は、第2瞳部分領域502を通過し、デフォーカス状態でボケ像Γ2に広がり、撮像素子の各画素の第2副画素202で受光される。第2副画素202の受光信号から、第2視点画像が生成される。第2視点画像では、被写体q1の像p1と手前の被写体q2のボケ像Γ2が重なって撮影される。第2視点画像において、複数の被写体(被写体q1と被写体q2)の間で、遠近競合やオクルージョンが生じている例である。
図15の例は、撮影画像において遠近競合やオクルージョンが生じている領域近傍では、撮影画像を構成する第1視点画像と第2視点画像とで遠近競合やオクルージョンが生じている状態が異なる。すなわち、第1視点画像と第2視点画像間の差が大きくなる可能性が高いことを示している。したがって、複数の視点画像間の差が大きい領域を検出することにより、遠近競合やオクルージョンが発生している可能性が高い領域を推定することができる。
本実施形態の第1視点コントラスト分布C1(j,i)と第2視点コントラスト分布C2(j,i)の差分量分布C1(j,i)-C2(j,i)を図16に例示する。図16に示す分布例では、右側の[-1、1]の範囲のグレースケール表示にて、第1視点画像のコントラストと第2視点画像のコントラスト間の差(第1視点コントラスト分布と第2視点コントラスト分布の差分量)の大小の指標を表している。図16のグレースケールにおいて、値が0近傍の灰色部分は、第1視点画像のコントラストと第2視点画像のコントラスト間の差が小さい領域を示している。一方、図16のグレースケールにおいて、値が1近傍の白い部分は、第1視点画像のコントラスト値が1に近く、第2視点画像のコントラスト値が0に近いことを示している。また、図16のグレースケールにおいて、値が-1近傍の黒い部分は、第2視点画像のコントラスト値が1に近く、第1視点画像のコントラスト値が0に近いことを示している。
図16において、第1視点画像のコントラストと第2視点画像のコントラスト間の差が大きい白い領域、又は、黒い領域として、人物(人形)の胴体と、市松模様の平板とで、遠近競合やオクルージョンを生じている領域が、検出されている。また、遠近競合やオクルージョンを生じている領域以外に、第1視点画像と第2視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出されている。例えば、デフォーカス状態の被写体エッジ部のように、高いコントラストが保たれたまま像ずれ量が大きい領域など、第1視点画像と第2視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出されている。これらの検出領域では、第1視点画像と第2視点画像とで、空間周波数成分が大きく異なる被写体像が、それぞれ、撮影されている。そのため、第1視点画像と第2視点画像を合わせた撮像画像では、これらの検出領域は、空間周波数成分が大きく異なる複数の被写体像が混成している領域である。
これらの空間周波数成分が異なる複数被写体像の混成領域に、先鋭化や平滑化などの画像処理を強く行うと、画質品位が低下する場合がある。したがって、本実施形態では、第1視点コントラスト分布と第2視点コントラスト分布の差分量分布の絶対値|C1(j,i)-C2(j,i)|を用いて、空間周波数成分が異なる複数被写体像の混成領域の検出を行う。そして、検出された混成領域での先鋭化や平滑化などの画像処理を抑制して行う。これにより、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。
本実施形態では、ステップS2において、次に、空間周波数成分が異なる複数被写体像の混成領域を検出するために、コントラスト差分量分布を生成する。詳細には、第1視点コントラスト分布C
1(j,i)と第2視点コントラスト分布C
2(j,i)から、式(7A)により、コントラスト差分量分布C
DIFF(j,i)を生成する。次に、式(7B)により、撮像コントラスト分布C(j,i)に、コントラスト差分量分布C
DIFF(j,i)を、かけ合わせる。これにより、空間周波数成分が異なる複数被写体像の混成領域での値を0近傍に抑制した補正コントラスト分布M
CON(j,i)を生成する。
コントラスト差分量分布CDIFF(j,i)は、[0、1]の範囲の分布で、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では0の値に近づく。また、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では1の値に近づく分布である。補正コントラスト分布MCON(j,i)は、撮像コントラスト分布C(j,i)に、コントラスト差分量分布CDIFF(j,i)を、かけ合わせた分布であり、よって、空間周波数成分が異なる複数被写体像の混成領域での値を0近傍に抑制した分布である。
本実施形態の補正コントラスト分布MCON(j,i)の分布例を図17に、例示する。図17に示す分布例では、右側の[0、1]の範囲のグレースケール表示にてコントラストの高低の指標を表している。1近傍の白い部分はx軸方向の空間周波数の高周波成分が多く、高コントラストな領域を示し、0近傍の黒い部分はx軸方向の空間周波数の高周波成分が少なく、低コントラストな領域を示している。図12に示した撮像コントラスト分布C(j,i)に対して、第1視点コントラスト分布C1(j,i)と第2視点コントラスト分布C2(j,i)の差分量分布の絶対値|C1(j,i)-C2(j,i)|が大きい領域でのコントラスト値が抑制されている。
本実施形態では、コントラスト差分量分布CDIFF(j,i)として、第1視点コントラスト分布と第2視点コントラスト分布の差分量分布の絶対値|C1(j,i)-C2(j,i)|に対して単調減少な線形関数を用いた。しかしこれに限られるものではなく、必要に応じて、より一般的な関数を用いても良い。
以上のように本実施形態では、撮像画像と複数の視点画像から、視点画像毎のコントラスト間の差に応じて、補正コントラスト分布MCON(j,i)を生成する。本実施形態のコントラスト分布は、視点画像毎のコントラスト間の差が大きい領域より、コントラスト間の差が小さい領域の方が大きい。また、本実施形態のコントラスト分布は、所定の空間周波数帯域における撮像画像の空間周波数成分が少ない領域より、空間周波数成分が多い領域の方が大きい。また、本実施形態のコントラスト分布は、撮像画像の輝度が低い領域より、輝度が高い領域の方が大きい。
2回目以降の処理で、補正コントラスト分布MCON(j,i)の生成を省略し、処理時間を短縮するために、以下を行うことが望ましい。すなわち、生成された補正コントラスト分布MCON(j,i)を、記録される画像データと関連付けてフラッシュメモリ133等の記録媒体などに記録することが望ましい。
[像ずれ量分布]
図9のステップS3において、補正コントラスト分布MCON(j,i)の値が所定値以上である各位置(j,i)で、第1視点画像と第2視点画像(複数の視点画像)から、第1視点画像と第2視点画像の相関(信号の一致度)に基づき像ずれ量分布を生成する。なお、本実施形態はこれに限らず、補正コントラスト分布MCON(j,i)の値に関係なく各視点画像に基づき像ずれ量分布を生成してもよい。
ステップS3では、まず、ベイヤー配列のRGB信号である第1視点画像I1から、式(3B)により生成された第1視点輝度信号Y1に対して、瞳分割方向(列方向)に、1次元バンドパスフィルタ処理を行い、第1焦点検出信号dYAを生成する。また、第2視点画像I2から、式(3B)により生成された第2視点輝度信号Y2に対して、瞳分割方向(列方向)に、1次元バンドパスフィルタ処理を行い、第2焦点検出信号dYBを生成する。1次元バンドパスフィルタとしては、例えば、1次微分型フィルタ[1、5、8、8、8、8、5、1、-1、-5、-8、-8、-8、-8、-5、-1]などを用いることができる。必要に応じて、1次元バンドパスフィルタの通過帯域を調整しても良い。
ステップS3では、次に、補正コントラスト分布MCON(j,i)の値が所定値以上の各位置(j,i)において、第1焦点検出信号dYAと第2焦点検出信号dYBを相対的に瞳分割方向(列方向)にシフトさせ、信号の一致度を表す相関量を算出する。所定値とは、例えば、0.2とする。そして、相関量に基づいて像ずれ量分布MDIS(j,i)を生成する。一方、補正コントラスト分布MCON(j,i)の値が所定値(例えば、0.2)未満である各位置(j,i)は、像ずれ量の算出から除外する。像ずれ量の検出を、高コントラストで、かつ、遠近競合やオクルージョンが生じていない領域に限定することにより、像ずれ量の検出精度を高精度化し、処理を高速化することができる。
位置(j,i)を中心として、行方向j
2(-n
2≦j
2≦n
2)番目、瞳分割方向である列方向i
2(-m
2≦i
2≦m
2)番目の第1焦点検出信号をdYA(j+j
2、i+i
2)、第2焦点検出信号をdYB(j+j
2、i+i
2)とする。シフト量をs(-n
s≦s≦n
s)として、各位置(j,i)での相関量COR
EVEN(j,i、s)を、式(8A)により算出し、相関量COR
ODD(j,i、s)を、式(8B)により算出する。
相関量CORODD(j,i、s)は、相関量COREVEN(j,i、s)に対して、第1焦点検出信号dYAと第2焦点検出信号dYBのシフト量を半位相-1シフトずらした相関量である。
相関量COREVEN(j,i、s)と相関量CORODD(j,i、s)から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量分布MDIS(j,i)を生成する。
補正コントラスト分布MCON(j,i)の値が所定値(例えば、0.2)未満であり、像ずれ量の算出から除外された領域は、MDIS(j,i)=0とする。必要に応じて、0以外の値を設定しても良い。
本実施形態の像ずれ量分布MDIS(j,i)の分布例を図18に、例示する。図18では、補正コントラスト分布MCON(j,i)の値が所定値0.2以上で、像ずれ量が算出されている領域は、右側の[-6、6]の範囲のグレースケール表示にて、第1視点画像と第2視点画像との間の像ずれ量を1ピクセル単位で表している。マイナス(-)符号の黒側の部分は、前ピン状態の領域を、0付近の灰色の部分は、合焦近傍の領域を、プラス(+)符号の白側の部分は、後ピン状態の領域を、示している。また、図18の分布例の表示では、補正コントラスト分布MCON(j,i)の値が所定値0.2未満で、像ずれ量の算出から除外され、MDIS(j,i)=0と設定された領域に関しては、灰色で表示している。
以上のように本実施形態では、複数の視点画像から、像ずれ量分布MDIS(j,i)を生成する。
2回目以降の処理で、像ずれ量分布MDIS(j,i)の生成を省略し、処理時間を短縮するために、生成された像ずれ量分布MDIS(j,i)を、記録される画像データと関連付けてフラッシュメモリ133等の記録媒体などに記録することが望ましい。
必要に応じて、像ずれ量分布MDIS(j,i)に、位置(j,i)と撮像レンズ(結像光学系)の絞り値、射出瞳距離などに応じた変換係数をかけて、視点画像内の被写体のデフォーカス量の分布を示すデフォーカス量分布に変換しても良い。
[有効被写体領域を考慮した所定像ずれ量の算出]
次に、図9のステップS4からS7において、所定像ずれ量pの算出を行う。所定像ずれ量pは、リフォーカス処理、つまり、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)を用いたシフト合成処理を行う際の、第1視点画像と第2視点画像のシフト量に相当する。
特許文献1では、リフォーカス処理により修正を行いたい像ずれ量を、ユーザーが所定像ずれ量として設定する必要がある。そのため、複数のLFデータに対して処理をする場合に、ユーザーが1枚ずつリフォーカス効果を確認し、リフォーカス処理により修正を行いたい像ずれ量を、所定像ずれ量として指定する必要がある。
また、特許文献2では、縮小画像に対して被写体検出を行い、被写体が検出された領域から算出されたデフォーカス量をもとに、リフォーカス処理を行っている。これにより、ユーザーからの指示なしに、リフォーカス処理が行えるが、リフォーカス可能範囲外に存在する被写体に対しても、リフォーカス処理を行ってしまう可能性がある。また、特許文献2では遠近競合やオクルージョンの影響を考慮していないため、被写体によっては画質品位が低下する可能性がある。
本実施形態では、リフォーカス処理により効果が得られる被写体が存在する有効被写体領域を判定し、有効被写体領域から所定像ずれ量を算出することにより、ユーザーからの指示を受けることなく、リフォーカスの効果が得られる被写体を高精度に検出し、リフォーカスを実施することが可能となる。
有効被写体領域の判定は、リフォーカスの効果が得られる有効領域の判定結果と、被写体が存在する被写体領域の判定結果をもとに行う。以下、図9を用いて、有効被写体領域の判定から、有効被写体領域をもとに所定像ずれ量を算出するまでの処理を説明する。
最初に、図9のステップS4において、高コントラスト、かつ、リフォーカス可能範囲の領域を含む、リフォーカス処理の効果が得られる有効領域の判定を行う。
次に、図9のステップS5において、被写体検出処理を行い、被写体が存在する被写体領域の判定を行う。
図9のステップS6では、図9のステップS4、S5での判定結果をもとに、有効被写体領域の判定を行う。有効被写体領域とは、リフォーカス処理の効果が得られる有効領域であり、かつ、被写体が存在する被写体領域である領域を意味する。つまり、有効被写体領域の判定により、リフォーカス処理の効果が得られる被写体を検出することができる。
図9のステップS7では、ステップS6で判定した有効被写体領域の補正コントラスト分布MCON(j,i)と像ずれ量分布MDIS(j,i)をもとに、所定像ずれ量の算出を行う。これにより、リフォーカス処理の効果が期待できる被写体に対して、リフォーカス処理を行うのに適した所定像ずれ量を算出することができる。
以下、図9のステップS4からS7の詳細な手順について説明する。
最初に、図9のステップS4を、図19を用いて説明する。図19は、図9のステップS4に示す有効領域の判定の処理のフローチャートである。
図19のステップS401において、入力画像を複数の領域に分割する。例えば、本実施形態では、画素数が横6720列×縦4480行であるため、一例として横650列×縦650行の領域を、横方向に10ブロック、縦方向に6ブロックで分割する。なお、分割サイズは、この大きさのブロックに限らず、任意の大きさで良い。また、全画素領域に対して端から端までブロックを敷き詰めても、本実施形態のように画素領域の一部領域に対して、ブロックを敷き詰めてもよい。本実施形態で分割したブロックは後述の図20に実線で図示している。
図19のS402において、図19のステップS401で分割した領域に対して、それぞれ高コントラスト領域判定を行う。高コントラスト領域判定は、図17に示した補正コントラスト分布MCON(j,i)を用いて判定を行う。例えば、分割された横650列×縦650行の領域それぞれに対して、補正コントラスト分布MCON(j,i)の平均値を算出し、算出された領域のコントラスト平均値がある所定値以上の場合、その領域を高コントラスト領域と判定する。
高コントラスト領域判定を行った結果の一例を図20に示す。図20は、図17に示したコントラスト分布に重ねて、分割した領域を実線の枠で、高コントラスト領域と判定された領域を「OK」の文字で示している。図20において、横10ブロック、縦6ブロックの領域分割がなされ、コントラスト平均値が所定値以上の領域が、高コントラスト領域と判定され、「OK」の文字が示されている。
なお、本実施形態では、領域毎に補正コントラスト分布MCON(j,i)の平均値を算出して、領域のコントラスト平均値が所定値以上かを判定しているが、高コントラスト領域判定の方法は、この方法に限らない。例えば、領域に含まれるコントラスト値が所定値以上の画素の割合をもとに、高コントラスト領域判定を行ってもよい。また、領域におけるコントラスト値が所定値以上の画素に対してグルーピングを行い、グルーピングした画素が所定値以上の広さ(画素数)となる場合に、その領域が高コントラスト領域であると判定してもよい。
次に、図19のステップS403からS406において、リフォーカス可能範囲の判定を行う。最初にS403において、分割した領域の像ずれ量分布MDIS(j,i)から像ずれ量のヒストグラムを算出する。
本実施形態では、像ずれ量分布を[-6、6]の範囲で作成しているため、下記のように分類して、それぞれの範囲の像ずれ量を示す画素の出現頻度を算出する。一例として、像ずれ量範囲[-6、-3]を示す前ピンのリフォーカス可能範囲外、(-3、-1)を示す前ピンのリフォーカス可能範囲内、[-1、1]を示すリフォーカス判定不能領域。また、像ずれ量範囲(1、3)を示す後ピンのリフォーカス可能範囲内、[3、6]を示す後ピンのリフォーカス可能範囲外の5種類に分類を行う。
本実施形態では、後述のシフト合成処理によるリフォーカスにおいて、所定像ずれ量pに最も近い偶数peを用いて画素シフトを実施するため、ここでは、2画素シフトを実施する像ずれ量の範囲(-3、-1)、(1、3)をリフォーカス可能範囲内と定義した。
なお、リフォーカス可能範囲内の定義は、上記定義に限らず、実施するリフォーカス処理により、効果が得られる像ずれ量の範囲であればいずれでもよい。
次に、図19のステップS404において、図19のステップS403で作成したヒストグラムをもとに、リフォーカス可能範囲内の像ずれ量を示す画素が所定数以上含まれる場合に、リフォーカス可能範囲内領域と判定する。
また、図19のステップS405において、ステップS404の処理でリフォーカス可能範囲内と判定されず、リフォーカス可能範囲外を示す所定値範囲の像ずれ量を示す画素が所定数以上含まれる場合に、リフォーカス可能範囲外領域と判定する。
また、図19のステップS406において、ステップS404、S405の処理でリフォーカス可能範囲内と、リフォーカス範囲外のいずれにも判定されなかった領域は、リフォーカス判定不能領域と判定する。
ここでの判定不能領域は、コントラストが得られず、像ずれ量が算出できない領域のことを指す。例えば、人物の目にはコントラストがあるため、像ずれ量を算出できるが、人物の頬はコントラストがないため、像ずれ量を算出できない。このような場合、人物の目に設定された分割領域は、リフォーカス可能範囲内と判定される一方で、人物の頬に設定された分割領域は、リフォーカス判定不能領域と判定される。
なお、本実施形態では、像ずれ量算出から除外された画素を、像ずれ量0として像ずれ量分布を作成している。この方法により、後述の像ずれ量分布を補正コントラスト分布MCONで重みづけ加算をして所定像ずれ量pを算出する際に、コントラストがなく像ずれ量が算出できない画素の影響を受けずに所定像ずれ量pを算出することができる。一方で、上記のリフォーカス判定不能領域内には、コントラストがなく像ずれ量が算出できない領域に加え、高コントラストで合焦状態である領域も含まれている。そのため、この方法に限らず、コントラストがなく像ずれ量が算出できない領域には無効値を入力し、コントラストがなく像ずれ量が算出できない領域と、高コントラストで合焦している領域とを区別してもよい。このとき、像ずれ量が無効値の領域をフォーカス判定不能領域と設定し、像ずれ量が[-1、1]の範囲を示す領域を合焦判定領域と設定してもよい。また、合焦判定領域を用いて、後述の図23のステップS54の検出被写体合焦判定を行ってもよい。
なお、被写体によっては1つの分割領域内に、前ピンのリフォーカス可能範囲内の像ずれ量を示す画素が所定数以上含まれ、かつ、後ピンのリフォーカス可能範囲外の像ずれ量を示す画素が所定数以上含まれる場合がある。例えば、奥行き方向に複数の人物が並び、ピント位置が2人の間に存在するような場合が考えられる。
このとき、分割領域内に2人の人物が入ってしまうと、前ピンを示す像ずれ量と、後ピンを示す像ずれ量が分割した領域内に混在してしまい、後述の図9のステップS7における所定像ずれ量算出において誤差原因となってしまう。そのため、図19のステップS403とS404の間に、ヒストグラムから分割領域の信頼性を評価するステップを設けてもよい。
例えば、上で述べたように、前ピンを示す像ずれ量の画素と、後ピンを示す像ずれ量の画素がそれぞれ所定数以上、分割領域内に存在する場合、信頼性が低いと判定する。
また、像ずれ量が算出されているものの、ノイズの影響が大きく像ずれ量の信頼性が低い場合についても、前ピンを示す像ずれ量の画素と、後ピンを示す像ずれ量の画素がそれぞれ所定数以上存在するかを判定することで確認ができる。
以上の方法により、信頼性が低いと判定された分割領域を所定像ずれ量の算出に用いると、誤差原因となってしまうため、信頼性が低い分割領域を、リフォーカス可能範囲外の領域と判定することで、所定像ずれ量の算出から除外することができる。
以上、図19のステップS403からS406の処理によって、リフォーカス可能範囲を判定した結果の一例を図21に示す。図21には、図20と同様に、分割した領域が実線の枠で示されている。図21には、図19のステップS404でリフォーカス可能範囲内と判定された分割領域には「OK」が示されている。また、図19のステップS405でリフォーカス可能範囲外と判定された分割領域には「NG」が示されている。また、図19のステップS406でリフォーカス判定不能領域と判定された分割領域は空欄となっている。
次に、図19のステップS407からS409において、分割領域が、有効分割領域、無効分割領域、ブランク分割領域のいずれかを判定する。
最初に、図19のステップS407において、有効分割領域の判定を行う。有効分割領域は、図19のステップS402で高コントラストと判定され、かつ、図19のステップS404でリフォーカス可能範囲内と判定された分割領域を指す。
一例として、有効分割領域は、図20で「OK」と示され、かつ、図21で「OK」と示されている分割領域が該当する。
有効分割領域は、高コントラスト、かつ、リフォーカス可能範囲で、リフォーカス処理により効果が得られる分割領域に該当する。
図19のステップS408では、無効分割領域の判定を行う。無効分割領域は、図19のステップS405でリフォーカス可能範囲外領域と判定された分割領域に該当する。
無効分割領域は、リフォーカス可能範囲外(上で述べた信頼性を評価するステップで信頼性が低いと判定された分割領域を含む)で、所定像ずれ量の算出に用いると誤差原因となってしまう分割領域が該当する。
図19のステップS409では、ブランク分割領域の判定を行う。ブランク分割領域は、有効分割領域にも、無効分割領域にも該当しない分割領域を指す。
図19のステップS407からS409で判定した結果を、図22に示す。図22には、点線の枠で分割領域が示され、有効分割領域と判定された領域には「OK」が、無効分割領域と判定された領域には「NG」が示されている。また、ブランク分割領域は空欄となっている。
図19のステップS410では、有効分割領域、無効分割領域、ブランク分割領域の判定結果をもとに、有効領域の判定を行う。有効領域は、有効分割領域を少なくとも1つ以上含み、無効分割領域は含まない、複数の分割領域から構成される。このとき、ブランク分割領域は含んでいても、含んでいなくてもよい。
一例として、図22に実線の枠により領域811~813を示している。領域811は、9つの分割領域から構成され、そのうち8つが有効分割領域、1つがブランク分割領域となっている。そのため、領域811は有効領域と判定される。また、領域812は、6つの有効分割領域、1つのブランク分割領域、2つの無効分割領域から構成され、無効分割領域を含んでいるため、有効領域とはならない。また、領域813は、3つの有効分割領域、2つのブランク分割領域、4つの無効分割領域から構成され、無効分割領域を含んでいるため、有効領域とはならない。
このように、有効領域は、1つ以上の有効分割領域を含むことによりリフォーカス処理により効果が得られる領域となるように設定される。また、有効領域は、無効分割領域を含まないように設定されているため、有効領域を用いることで、誤差原因を排除して所定像ずれ量の算出を行うことができる。
本実施形態では、有効領域の判定のために、補正コントラスト分布MCONと、像ずれ量分布MDISをあらかじめ用意したが、分布は生成せずに、分割領域毎にコントラスト値と像ずれ量を算出しながら順次処理を進めてもよい。
また、有効分割領域と、無効分割領域とは別に、ブランク分割領域を設け、有効分割領域と、ブランク分割領域から有効領域を定義している。これにより、被写体の一部が高コントラストで、一部にコントラストがなく像ずれ量が算出できないような場合にも、被写体に対して有効領域を設定することができる。
なお、図22の一例では、横3ブロック、縦3ブロックの枠を定義しているが、有効領域判定を行う領域は、このサイズに限らない。また、形状も正方形に限らず、横5ブロック、縦3ブロックといった長方形に設定してもよい。
次に、図9のステップS5において、被写体領域の判定を行う。図23は、図9のステップS5に示す被写体領域の判定の処理のフローチャートである。
本実施形態における被写体領域の判定は、図19に示した有効領域の判定と同様に、入力画像を複数の分割領域に分割して実施する。図23のステップS51において、入力画像を複数の分割領域に分割する。
図23のステップS52では、隣接して配置される複数の分割領域(隣接する2以上の分割領域のセット)に対して被写体検出処理を行う。例えば横3ブロック、縦3ブロックの枠を入力画像端から順番に設定し、被写体検出を実施する。
なお、被写体検出は、図19のステップS402で判定した高コントラスト領域を少なくとも1つ含む領域に対して行ってもよい。検出対象領域が高コントラスト領域を含むことにより、像ずれ量が算出可能な被写体に限定して検出することができる。
なお、被写体検出は、あらかじめ人の顔や目を設定して検出を行っても、ユーザーが被写体を決定するような入力インターフェイスを設けて、ユーザーが設定した被写体を検出してもよい。例えば、ユーザーが特定の人物の顔を入力し、入力された人物の顔を検出してもよい。
また、被写体検出は、簡易的に、補正コントラスト分布MCON(j,i)を用いて、コントラスト平均値が高い分割領域を選択してもよい。
また、被写体検出は、図19のS403で行ったように、像ずれ量分布MDIS(j,i)からヒストグラムを作成し、リフォーカス可能範囲内の像ずれ量を示す画素の出現頻度が高い分割領域を選択してもよい。
図23のステップS53において、被写体が検出された領域を被写体領域として判定を行う。
図24に図23のステップS53で被写体領域の判定を行った結果の一例を示す。図24では、人物(人形)を検出した被写体領域901と902が示されている。
次に、図23のステップS54において、検出された被写体が合焦状態であるかを判定する検出被写体合焦判定を行う。図23のステップS53で検出された被写体に対して、被写体領域内に少なくとも1つの高コントラスト領域が含まれる場合は、高コントラスト領域を用いて、後述の所定像ずれ量pを算出し、検出被写体が合焦状態であるかを判定する。また、被写体領域内に高コントラスト領域が1つも含まれない場合は、コントラストがなく像ずれ量の算出ができない被写体と判断し、検出被写体候補から除外してもよい。また、検出被写体合焦判定により、検出被写体が合焦状態であると判定された場合は、リフォーカス処理が不要と判断し、図9のS6からS8の処理を行わずに終了する。また、複数の被写体が検出され、合焦状態であると判定された被写体と、非合焦状態であると判定された被写体とが存在する場合は、ユーザーにそのことを通知し、リフォーカス処理を実施するかをユーザーに選択させてもよい。以下、被写体領域901及び902は、非合焦状態であるものとして説明を進める。
次に、図9のステップS6において、有効被写体領域の判定を行う。有効被写体領域は、リフォーカス効果が得られる有効領域、かつ、被写体が写っている被写体領域で定義される領域を指す。
図25に、有効被写体領域の判定結果の一例を示す。図25は、図22に示した有効領域の判定結果と、図24に示した被写体領域の判定結果をもとに判定された有効被写体領域である。図24に示された被写体領域901、902に対応する図22の領域811、812のうち、領域811は有効領域と判定されているのに対し、領域812は有効領域ではない。そのため、図22の領域811及び図24の被写体領域901に対応している図25の領域1001が、有効被写体領域と判定される。
なお、ここでは、有効領域の判定結果と、被写体領域の判定結果をもとに、有効被写体領域の決定を行ったが、被写体領域に対して、有効分割領域を1つ以上含み、かつ、無効分割領域を含まないことを判定してもよい。
また、被写体領域の判定を行い、有効分割領域を1つ以上含むことを判定し、無効分割領域が含まれる場合は無効分割領域を除いた分割領域を有効被写体領域と判定してもよい。
一例として、図22に示した領域812において、上段中央と、中段左のブロックが無効分割領域と判定されているため、これらのブロックを除いた7ブロックを有効被写体領域と判定し、所定像ずれ量の算出を行う。
なお、ここでは、有効被写体領域が1つに決まるような例を示したが、被写体によっては、図9のステップS6の有効被写体領域の判定処理において、2以上の有効被写体領域が判定されてしまう場合がある。
このように、2以上の有効被写体領域が存在する場合は、いずれの被写体に対してリフォーカス処理を行えばよいか、ユーザーの意図を判定することが難しいため、後述のシフト合成処理を実施しない、もしくは、所定像ずれ量を0に設定する。
なお、2以上の有効被写体領域が存在する場合に、それぞれの有効被写体領域で、後述の方法でシフト合成処理に用いる画素シフト量peの算出を行い、すべての画素シフト量peが同じである場合は、シフト合成処理を実施してもよい。
これは、シフト合成処理の効果が画素シフト量peの値に大きく依存するため、すべての有効被写体領域において、同じ画素シフト量peが算出されていれば、どの被写体に対してもリフォーカス効果が得られるためである。
このとき、所定像ずれ量は、すべての有効被写体領域の平均値をとってもよい。また、有効被写体領域のうち、最もコントラスト平均値が高い有効被写体領域を選択してもよい。また、それぞれの有効被写体領域のコントラスト平均値、もしくは、被写体検出確率により、それぞれの有効被写体領域の所定像ずれ量を重みづけ加算して、所定像ずれ量を算出してもよい。
また、2以上の有効被写体領域の画素シフト量peが異なる場合に、後述のシフト合成処理を実施しない、もしくは、所定像ずれ量を0に設定してもよい。
なお、2以上の有効被写体領域が存在する場合に、そのことをユーザーに通知し、ユーザー指示に従って2以上の有効被写体領域のうちの1つを選択してもよい。この場合、選択された有効被写体領域について、後述するS7における所定像ずれ量の算出が行われる。
なお、ユーザーに2以上の有効被写体領域が存在することを表示する際に、それぞれの有効被写体領域の像ずれ量、または、画素シフト量peをもとにグルーピングを行い表示してもよい。
なお、2以上の有効被写体領域が存在し、撮影時のオートフォーカス枠(オートフォーカスのための焦点検出領域)を示す情報を取得できる場合は、オートフォーカス枠に最も近い有効被写体領域を選択してもよい。この場合、選択された有効被写体領域について、後述するS7における所定像ずれ量の算出が行われる。オートフォーカス枠に近い有効被写体領域を選択することにより、よりユーザーが狙っていた被写体に近い有効被写体領域を用いてリフォーカス処理を行うことができる。
次に、図9のステップS7において、所定像ずれ量の算出を行う。所定像ずれ量の算出は、図9のステップS6で判定した有効被写体領域の像ずれ量分布MDIS(j,i)を補正コントラスト分布MCON(j,i)で重みづけ加算して、有効被写体領域の像ずれ量の加重平均を算出することにより行われる。
像ずれ量を単純平均するのではなく、コントラスト値で重みづけして加重平均を算出することにより、より高コントラスト箇所で、信頼性が高く、リフォーカス処理を実施したい箇所に対してリフォーカス処理を行える所定像ずれ量を算出することができる。
なお、分割領域のサイズを大きく設定し、リフォーカス可能範囲の像ずれ量を広く設定した場合、有効被写体領域内において、画素シフトが異なる箇所が混在する場合がある。
例えば、人物が奥行き方向に並んでいて、有効被写体領域内に2人の人物が存在している。手前の人物では2画素シフトが望ましいのに対し、奥の人物では4画素シフトが望ましいといった場合である。
このとき、有効被写体領域内のピント位置に近い人物のみを抽出して所定像ずれ量を算出してもよい。これは、ピント位置が既にユーザーが意図する被写体の近くにいる確率が高いためである。また、それぞれの被写体でコントラスト平均値を算出し、コントラストが高い被写体を選択してもよい。
また、有効被写体領域を画素シフト量に応じて分割し、それぞれの分割した有効被写体領域を表示部131に表示し、ユーザーがいずれかの分割した有効被写体領域を選択してもよい。
最後に、図9のステップS8において、図9のステップS7で算出した所定像ずれ量をもとに、有効被写体領域の像ずれを小さくするように複数の視点画像をシフト合成するリフォーカス処理を行うことにより、リフォーカス画像を生成する。ステップS8では、ステップS7で算出した所定像ずれ量をもとに行うシフト合成処理に加え、特許文献1に開示されているように、像ずれ差分量分布を算出し、像ずれ差分量分布に応じた先鋭化と平滑化によって先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ/アンシャープ制御を行ってもよい。
以上説明したように、第1の実施形態によれば、撮像装置は、撮像画像のコントラスト分布に対してコントラストを低下させる補正を行うことにより補正コントラスト分布を生成する(図9のステップS2)。この時、撮像装置は、所定の撮影範囲に対応し相互に視点が異なる複数の視点画像の間のコントラスト差が大きい位置ほど大きな補正を行う。また、撮像装置は、複数の視点画像の間の像ずれ量分布を生成する(図9のステップS3)。そして、撮像装置は、補正コントラスト分布及び像ずれ量分布に基づいて有効領域を判定し(図9のステップS4)、撮影範囲において被写体が存在する被写体領域を検出する(図9のステップS5)。そして、撮像装置は、被写体領域であると共に有効領域でもある領域を有効被写体領域として判定する(図9のステップS6)。
これにより、被写体が存在する被写体領域のうちのリフォーカス処理の対象として適した有効被写体領域を判定することが可能となる。
なお、上の説明では、撮像装置は、補正コントラスト分布及び像ずれ量分布の両方に基づいて有効被写体領域の判定を行ったが、補正コントラスト分布及び像ずれ量分布のうちの一方にのみ基づいて有効被写体領域の判定を行ってもよい。例えば、撮像装置は、像ずれ量分布に基づいて、像ずれが第1の程度よりも小さい領域(リフォーカス可能範囲内領域)を含むように有効被写体領域を判定してもよい。或いは、撮像装置は、補正コントラスト分布に基づいて、コントラストが所定の程度よりも高い領域(高コントラスト領域)を含むように有効被写体領域を判定してもよい。
ここで言う「程度」の大小は、必ずしも像ずれ量分布及び補正コントラスト分布における数値そのものの大小と一致するとは限らない。「程度」と数値との関係は、像ずれ量分布及び補正コントラスト分布の構成に応じて適宜定まるものである。例えば、図18に示す像ずれ量分布の構成によれば、(-3、-1)の範囲に含まれる数値は[-6、-3]の範囲に含まれる数値よりも大きいが、前者の方が後者よりも小さい像ずれに対応する。そのため、図19のステップS403~S404では、リフォーカス可能範囲内領域を判定するために、[-6、-3]よりも数値的に大きい(-3、-1)の範囲内の画素が、リフォーカス可能範囲内の像ずれ量を示す画素として扱われている。
また、本実施形態では、有効被写体領域を考慮して算出した所定像ずれ量をもとに、リフォーカス処理を行ったが、特許文献1に開示されているように、本実施形態で算出した所定像ずれ量を用いて、コントラスト分布および像ずれ量分布に応じた先鋭化または、平滑化の画像処理のみを実施しても良い。
<<その他の実施形態>>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。