JP6080417B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、撮影後に画像の合焦距離を変更することのできる画像データを取り扱うことのできる撮像装置、画像処理装置、及び画像処理方法に関する。

近年、デジタルカメラの中でもライトフィールドカメラという分野のカメラが注目されている。このカメラで撮影された画像は、撮影後に合焦距離（結像面、リフォーカス面）を変えたリフォーカス画像を作り出すことができるため、あとから色々な合焦位置を選択したり、撮影時のユーザーミスによるピンボケを無くす事が期待されている。

一方、デジタルカメラで撮影した画像を表示する際に、インデックス表示という機能がある。これは、画像を縮小して一覧表示し、ユーザーが意図する画像を見つけやすくするための機能である。ところが、このライトフィールドカメラで撮影した画像は、後からどこにでも焦点を合わせる事が可能である半面、撮影時点において、ユーザーが注目したい人物などに必ずしも焦点が合っているとは限らない。特にインデックス表示の状態では、例えば、焦点が合っていない人では、誰が写っているかを判断することができず、ユーザーが画像選択に困る場合がある。

ライトフィールドカメラでの撮影時においては、上述したような被写体の顔が認識できない問題を解決する方法が特許文献１に記載されている。この特許文献１の方法では、被写界深度が変わる設定を実施した後に、予備撮影の為にレンズ位置を数回変更し、予備撮影結果から顔認識を行って撮影を行う。

特開２００９−０６５３５６号公報 特許第２９６３９９０号公報 特開２０００−０２０６９１号公報

しかしながら、特許文献１は撮影時に顔認識を行う方法を開示しているが、画像の再生時において上記課題を解決する方法を開示するものではない。

本発明は上記の問題点に鑑み、ライトフィールドカメラで撮影された画像データにおいて、画像データに含まれる被写体が容易に識別可能な撮像装置、画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮像素子で撮像された、リフォーカス処理を施すことで再構成画像を生成可能な画像データを取得する取得手段と、前記画像データに前記リフォーカス処理を行って被写体が検出されるリフォーカス面における再構成画像を生成する画像生成手段と、前記撮像素子で撮像された画像データを記録すると共に、前記被写体が検出されるリフォーカス面の再構成画像に基づく画像の画像データを補助情報として前記画像データに関連付けて記録する記録手段と、を有する。

本発明によれば、ライトフィールドカメラで撮影された画像データにおいて、画像データに含まれる被写体が容易に識別可能にすることができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図。 実施形態に係る撮像素子の画素とマイクロレンズアレイとの位置関係を説明する図。 実施形態に係る撮影レンズと、撮像素子の画素と、マイクロレンズアレイとの位置関係を説明する図。 実施形態に係る撮影レンズの瞳領域と受光画素の対応関係を説明する図。 実施形態に係るリフォーカス画像生成光線の通過領域を説明する図。 実施形態に係る補助情報としての顔の位置情報及び顔の相対サイズ情報を説明する図。 実施形態に係る本画像撮影後の記録動作を示すフローチャート。 実施形態に係る本画像のインデックス表示動作を示すフローチャート。 実施形態に係るインデックス表示例を示す図。 第３の実施形態に係るデジタルカメラ１の概略構成図。 撮影画面の分割説明図。 第３の実施形態に係る撮像処理及び復元処理を示すフローチャート。 （ａ）撮影モードにおいて第１のスイッチがＯＦＦの場合のファインダー像の説明図、（ｂ）第１のスイッチがＯＮの場合のファインダー像の説明図。 図１２のＳ１１０における復元処理の詳細を示すフローチャート。 （ａ）第３の実施形態に係る、撮影モードにおいて第１のスイッチがＯＦＦの場合に表示部４に表示される画像の説明図、（ｂ）第３の実施形態に係る、第１のスイッチがＯＮの場合に表示部４に表示される画像の説明図、（ｃ）第３の実施形態に係る、復元後の画像の説明図。 第４の実施形態に係るデジタルカメラ１の概略構成図。 第４の実施形態に係る撮像処理及び復元処理を示すフローチャート。 （ａ）第４の実施形態に係る、撮影モードにおいて第１のスイッチがＯＦＦの場合に表示部４に表示される画像の説明図、（ｂ）第４の実施形態に係る、第１のスイッチがＯＮの場合に表示部４に表示される画像の説明図、（ｃ）第４の実施形態に係る、復元後の画像の説明図。 第４の実施形態に係る、復元後の画像の説明図（主被写体が検出されなかった場合）。 本発明を適用可能な光学系を示す図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。図１に示す構成において、撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は複数のマイクロレンズ１０２０から構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。撮像素子１０３はＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される光電変換素子であり、入射光を光電変換して画像信号を出力する。複数のマイクロレンズ１０２０それぞれに対して複数の画素が対応するように２次元に配置することで、マイクロレンズ１０２０で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換することができる。

アナログ信号処理回路（ＡＦＥ）１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路（ＤＦＥ）１０５は、アナログ信号処理回路１０４から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。

画像処理回路１０６はデジタル信号処理回路１０５から出力された画像信号に対して所定の画像処理や、ライトフィールドカメラ特有の任意の仮想結像面に焦点を合わせるリフォーカス演算（現像処理）を施す。さらに画像処理回路１０６は、現像した画像の中から被写体を検出する被写体検出機能、検出される被写体が特定の被写体であるか否かを認識する認識機能を有する。本実施形態では、被写体検出の例として人物の顔を判定する顔判定機能、被写体認識機能として後述するメモリ回路１０７中の顔データベースと照合して誰の顔かを認識する顔認識機能を有するものとするが、これに限られない。さらに、再生時のインデックス表示時には、記録回路１０８から本画像を読み出し、所定のリフォーカスパラメタで現像を行い、縮小（サムネール化）する機能も持つ。メモリ回路１０７は、例えばフラッシュメモリなどの不揮発性メモリであり、人物の顔と名前を対にして記憶する顔データベース情報が格納されている。記録回路１０８は画像処理回路１０６から出力された画像信号（本画像）、及び、本画像に関連した後述する補助情報を記録保持するメモリカード等の記録媒体である。

制御回路１０９は撮像素子１０３や画像処理回路１０６等、撮像装置１００全体を統括的に駆動制御する。操作回路１１０は撮像装置１００に備え付けられた操作部材からの信号を受け付け、制御回路１０９に対してユーザーの命令を入力する。表示回路１１１は撮影後の画像やライブビュー画像、各種設定画面、本画像、現像画像、記録回路１０８に記録された補助情報等を表示する。さらに表示回路１１１は、後述するように、補助情報が画像の場合、その画像の一部を切り抜いて表示する事ができる。さらに補助情報が文字データの場合は、文字を表示画面上に重畳して表示する事ができる。

次に、本実施形態の撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２及び撮像素子１０３の位置関係について説明する。

図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から見た図である。複数の分割画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。１つのマイクロレンズの後方にある複数の分割画素２０１をまとめて画素配列２００と定義する。なお、本第１の実施形態では画素配列２００は、５行５列の計２５個の分割画素２０１により構成されているものとする。

図３は、撮影レンズ１０１から出射した光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から見た図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射し、中央のマイクロレンズ１０２０を通過した光は、後方の対応する分割画素ｐ１〜ｐ５でそれぞれ結像する。

図４（ａ）は、図３で示した撮影レンズ１０１の光の通過領域と、撮像素子１０３の受光領域の様子をさらに詳しく説明するために、撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は、１つのマイクロレンズ１０２０とその後方に配置された画素配列２００を光軸Ｚ方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ１０２０の後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影レンズ１０１の瞳領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳領域ａ１１から出射した光は、マイクロレンズ１０２０の後方にある画素配列２００のうち、画素ｐ１１に結像する。これと同様に、瞳領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ１０２０の後方にある画素配列２００の中の画素ｐ１１に結像する。

ここで、画面内の任意の被写体位置に対応した焦点位置（リフォーカス面）を算出する方法について述べる。図４で説明したように、画素配列２００の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（１）は、ある画素配列２００の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５１及びａ１２〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２００に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（２）は、ある画素配列２００の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５４及びａ１５〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２００に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を施し、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。

次に、撮影レンズ１０１、マイクロレンズアレイ１０２及び撮像素子１０３の構成によって取得された撮像データに対して行う、任意に設定した焦点位置（リフォーカス面）での画像の再構成処理について説明する。

図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズ１０１のどの瞳分割領域から出射され、どのマイクロレンズ１０２０へ入射するかを光軸Ｚに対して垂直方向から見た図である。ここで、撮影レンズ１０１の瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ１０２上のマイクロレンズ１０２０の位置を座標（ｘ’，ｙ’）とする。更に、撮影レンズ１０１からマイクロレンズアレイ１０２までの距離をＦ、撮影レンズ１０１からリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定でき、あるいはシーン判別、被写体検出などに応じて設定できる。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ１０２上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（３）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズ１０１の瞳領域に関して積分したものとなるため、式（４）のようになる。

式（４）において、α、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光が入射するマイクロレンズ１０２０の位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２００から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。

以下、本実施形態における補助情報の形式を説明する。撮像時、画像処理回路１０６は撮像素子１０３から出力された画像信号（ライトフィールド情報）から本画像を記録回路１０８へ記録する。このとき、さらに画像データ（付加画像）及び文字データ（付加情報）を生成し、これを本画像に対する補助情報とする。ここでは、撮影時の補助情報の生成動作について、図１と、図７のフローチャートとを用いて説明する。

まずは、補助情報として画像データを生成、記録する方法について説明する。Ｓ６００で本画像の撮影を行う。撮影時、撮像素子１０３から出力された画像信号は、ＡＦＥ１０４でアナログ信号処理され、ＤＦＥ１０５でデジタル信号処理が施される。デジタル信号処理の後、画像処理回路１０６を通って本画像は記録回路１０８へ記録される。以下の処理は、制御回路１０９が制御する。

本画像の記録が終了すると、補助情報の生成と記録を行う。Ｓ６０１で、制御回路１０９は画像処理回路１０６でリフォーカスを行うためのリフォーカス係数を初期値に設定する。初期値は最も近景にフォーカスが合う値とする。

Ｓ６０２では、制御回路１０９がリフォーカス係数が最も遠景にフォーカスが合う値になったかを監視し、リフォーカス係数が最も遠景を示す値に達していれば、処理を終了する。そうでなければＳ６０３へ移行する。Ｓ６０３では、制御回路１０９はリフォーカス係数を一定量遠景方向に変化させる。その後、制御回路１０９はそのリフォーカス係数で現像を行うよう画像処理回路１０６に現像を指示する。

Ｓ６０４では、画像処理回路１０６は、Ｓ６０３で指定されたリフォーカス係数で現像した画像（再構成画像）に対して被写体判定処理、例えば顔判定処理を行う。顔判定の結果、現像した画像中に顔が存在すると判定されれば、Ｓ６０５へ移り、顔が存在すると判定されなければＳ６０２に処理を戻す。Ｓ６０５では、制御回路１０９は顔判定後の処理を制御する。具体的には、制御回路１０９は画像処理回路１０６に指示し、判定された顔に合焦した現像画像をＪＰＥＧにして本画像と関連付けて、付加画像として記録回路１０８に保存するよう指示する。同じ顔が判定された現像画像が複数ある場合に、その顔に最も合焦した現像画像を保存するが、保存する現像画像の特定方法としては、顔と判定された位置について前述した相関演算により焦点位置を検出することによりリフォーカス係数を特定する手法を用いる。また、これに限らず、エッジ検出、顔判定の信頼度等から顔に最も合焦している現像画像を特定してもよい。この場合、順次生成される現像画像についてエッジの評価値、顔判定の信頼度等を比較し、大きい値をとる現像画像をメモリ回路１０７に残していけばよい。その後、Ｓ６０２の処理に戻って、上述した処理を繰り返す。

図７に示す例では、補助情報として付加画像（画像データ）を保存する場合について説明したが、補助情報として付加情報を保存してもよい。ここで、付加情報とは、顔が判定された画像を生成した際のリフォーカス係数の値、本画像上での顔の位置情報、本画像サイズに対する顔の相対サイズ情報などが挙げられる。

顔の位置情報とは、本画像の左上を原点とし、顔が、右方向、下方向にどの程度進めた位置に出現するかを数値化したものである。これを図６を用いて説明する。５０１は本画像全体を表す。５００は顔判定された顔を表す。また、本画像全体の幅と高さをそれぞれＷ、Ｈとし、顔の幅と高さをそれぞれWface、Hfaceとする。更に、原点Ｏから顔の開始位置までの横方向の距離をDxとし、原点から顔の開始位置までの縦方向の距離をDyとすると、相対サイズ情報の相対幅は（Wface／Ｗ）で求め、相対高さは（Hface／Ｈ）で求める。また、位置情報の横方向相対距離は（Dx／Ｗ）で求め、縦方向相対距離は（Dy／Ｈ）で求める。これらの付加情報をデータファイルにし、本画像と関連させて記録回路１０８で保持するよう指示する。

次に、図８、図９を参照して、記録回路１０８から記録した本画像と補助情報（付加画像、付加情報）を読みだしてライトフィールド画像のインデックス表示を表示回路１１１に対して行う場合について説明する。

図９（ａ）において８０１は表示画面であり、表示回路１１１の一部である。８０２で示す矩形画像は本画像を縮小したサムネール画像である。ユーザーが操作回路１１０に対してインデックス表示を指示すると、操作回路１１０は制御回路１０９に対して、インデックス表示の指示を行う。インデックス表示の指示を受けて画像処理回路１０６は記録回路１０８から本画像を読み出し、縮小してサムネール画像を生成する。このサムネール画像を表示回路１１１に渡し、表示画面８０１にインデックス画面を構築する。８０３は複数のサムネールから１つのサムネール画像を選択する際のカーソルであり、表示回路１１１によって描画される。８０４は本画像に記録された人物Ａ、８０５は同様に記録された人物Ｂである。本画像を特定のリフォーカス係数で現像すると被写界深度が浅く、すべての被写体に焦点が合うものではない。図９（ａ）に示す例では、実線で描かれた人物Ａには焦点が合っているのに対し、点線で描かれた人物Ｂには焦点が合っておらず、ボケた状態である事を示している。

図８のＳ７０１で、ユーザーは、操作回路１１０に対してカーソル８０３を動かす指示を行い、対象となるサムネール画像を選択する。サムネール画像が選択された状態を図９（ｂ）に示す。

Ｓ７０２で制御回路１０９は、選択されたサムネール画像に関連する補助情報の検索を画像処理回路１０６に指示する。画像処理回路１０６は、図９（ｂ）で選択されたサムネール画像の本画像に関連した補助情報を記録回路１０８から検索する。Ｓ７０３において、検索結果として人物Ａと人物Ｂの夫々に焦点があった付加画像または付加情報（顔の相対位置、相対サイズ）が得られた場合、制御回路１０９は人物Ａと人物Ｂを、選択されたサムネール画像の近傍に同時に表示する。ここでは、顔にフォーカスがあった付加画像と顔の相対位置を示す付加情報から、表示回路１１１に顔の領域だけを切り出して、夫々８１１、８１２に示すように表示する。このように表示することで、ユーザーは被写界深度の浅い本画像のサムネール画像を見ながらも、誰が写っているかを容易に確認することができる。

次に、付加画像をそのまま縮小して表示する場合について説明する。これを図９（ｃ）に示す。図９（ｂ）の場合と同様に制御回路１０９は８２１、８２２に示すような画像を、選択されたサムネール画像の付近に表示するよう表示回路１１１に指示する。画像８２１はリフォーカス係数１で現像した画像であり、人物Ａに焦点が合っている。また画像８２２はリフォーカス係数２で現像した画像であり、人物Ｂに焦点が合っている。このように表示することで、ユーザーはサムネール画像と、被写体の顔それぞれに焦点が合った画像を複数枚並べて閲覧することが可能である。

上記の通り第１の実施形態によれば、本画像と関連づけて補助情報を記録しておき、記録した補助情報から得られる、本画像に含まれる顔に合焦した画像を、選択されたサムネール画像の近辺に表示する。これにより、ユーザーが意図した被写体の画像を選択し易くすることができる。

本実施形態では、Ｓ６０３にて画面内に存在する各被写体を特定し、各被写体に合焦した画像を得るために、リフォーカス係数を最も近景（広角側）に合焦される値から一定量ずつ遠景に合焦される値に変化させて複数の現像画像を生成した。しかしこれに限らず、例えば前述した相関演算などで求まる画面内の各位置の焦点位置情報（距離マップ）から各被写体の焦点位置を推定し、各被写体が合焦する複数のリフォーカス係数の候補を決定し、Ｓ６０３で振る複数のリフォーカス係数としてもよい。また、この複数のリフォーカス係数の候補に基づいてＳ６０３で振るリフォーカス係数の一定量を決めてもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、上述した第１の実施形態において画像処理回路１０６が顔判定した際に、メモリ回路１０７に保存された顔・名称データベースを利用して、さらに画像処理回路１０６が顔認識を実施し、人物名を本画像と関連させて記録させる。

このため、本第２の実施形態においては、図１において、メモリ回路１０７に、顔の特徴と名前とを関連付けたデータベースを保持させておく。そして、図７のＳ６０５において、画像処理回路１０６が、あるリフォーカス係数で現像した画像に対し顔判定ができれば、引き続き画像処理回路１０６はその顔について、メモリ回路１０７の顔・名称データベースに問い合わせ、顔認識を行う。そして、画像処理回路１０６が問い合わせた結果の人物の名前を、第１の実施形態で説明した、本画像に対する顔の付加画像、または、付加情報とともに補助情報とし、この補助情報を先に記録した本画像と関連付けて記録回路１０８に記録する。これ以外の処理は、第１の実施形態で上述した処理と同様であるため、説明を省略する。

なお、本第２の実施形態のように、補助情報として顔・名称データベースから取得した名前情報と、本画像に対しての相対位置、相対サイズ情報がある場合、図９（ｄ）に示すような表示を行うことが可能である。即ち、ユーザーが選択したサムネールに対して、制御回路１０９は記録回路１０８から本画像を読み出し、所定のリフォーカス係数で現像するように画像処理回路１０６に指示を出す。この場合、現像画像は人物Ａには焦点が合っているが、人物Ｂには焦点が合っていない。そのため、制御回路１０９は現像画像に対してフォーカスが合っていない人物Ｂ８３１の顔に対して、付加情報から名前を取得し、名前情報を画像に重畳するように表示回路１１１に指示する。このように表示することでユーザーは被写界深度の浅い画像のサムネール画像でフォーカスが合っていない顔に対し、顔のおおよその位置に名前を文字として重畳されたサムネール画像を閲覧することができる。これにより、ユーザーが意図した被写体の画像を選択し易くすることができる。

上述した第１及び第２の実施形態では、撮像装置により顔判定及び記録処理を行う場合について説明したが、本発明はこれに限るものではない。例えば、リフォーカス処理が可能な画像データを生成する撮像装置から出力された画像データを用いて、外部画像処理装置により、図６〜図９により説明した上記処理を行うことによっても、本発明の目的を達成することができる。

また、上記各実施形態では、被写体判定処理に用いる画像として、各リフォーカス係数における再構成画像を用いた。しかし、画角全体の被写体が確認できる画像として、各マイクロレンズ内の一部の画素を集めた画像を用いて被写界深度の深い画像を生成し、被写体検出に用いるなどしても良い。

図２０を用いて、本実施形態に適用可能な光学系の例について説明する。図２０は、物体（被写体）からの光線が撮像素子１０３上に結像する状態を模式的に示した図である。図２０（ａ）は図３で説明した光学系と対応しており、撮影レンズ１０１の結像面近傍にマイクロレンズアレイ１０２を配置した例である。図２０（ｂ）は撮影レンズ１０１の結像面よりも物体寄りにマイクロレンズアレイ１０２を配置した例である。図２０（ｃ）は撮影レンズ１０１の結像面よりも物体から遠い側にマイクロレンズアレイ１０２を配置した例である。

図２０において、１０３は撮像素子を、１０２はマイクロレンズアレイを、３１から３５は図３で用いた瞳領域ａ１〜ａ５を、５１は物体平面を、５１ａ，５１ｂは物体上の適当な点を、５２は撮影レンズの瞳平面を、６１、６２、７１，７２，７３，８１，８２，８３，８４はマイクロレンズアレイ１０２上の特定のマイクロレンズをそれぞれ示している。図２０（ｂ）および図２０（ｃ）に示した１０３ａは仮想的な撮像素子を、１０２ａは仮想的なマイクロレンズアレイを示している。これらは、図２０（ａ）との対応関係を明確にするために参考に示した。また、物体上の点５１ａから出て瞳平面上の領域３１および３３を通過する光束を実線で、物体上の点５１ｂから出て瞳平面上の領域３１および３３を通過する光束を破線で図示した。

図２０（ａ）の例では、図３でも説明したように、撮影光学系１０１の結像面近傍にマイクロレンズアレイ１０２を配置することで、撮像素子１０３と撮影レンズ１０１の瞳平面５２が共役の関係にある。さらに、物体平面５１とマイクロレンズアレイ１０２が共役の関係にある。このため物体上の点５１ａから出た光束はマイクロレンズ６１に、５１ｂを出た光束はマイクロレンズ６２に到達し、領域３１から３５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図２０（ｂ）の例では、マイクロレンズアレイ１０２で撮影レンズ１０１からの光束を結像させ、その結像面に撮像素子１０３を設ける。このように配置することで、物体平面５１と撮像素子１０３は共役の関係にある。物体上の点５１ａから出て瞳平面上の領域３１を通過した光束はマイクロレンズ７１に到達し、物体上の点５１ａから出て瞳平面上の領域３３を通過した光束はマイクロレンズ７２に到達する。物体上の点５１ｂから出て瞳平面上の領域３１を通過した光束はマイクロレンズ７２に到達し、物体上の点５１ｂから出て瞳平面上の領域３３を通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、仮想的な撮像面１０３ａ上の位置に並べなおせば、図２０（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図２０（ｃ）の例では、マイクロレンズアレイ１０２で撮影レンズ１０１からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子１０３を設ける。このように配置することで、物体平面５１と撮像素子１０３は共役の関係にある。物体上の点５１ａから出て瞳平面上の領域３１を通過した光束はマイクロレンズ８２に到達し、物体上の点５１ａから出て瞳平面上の領域３３を通過した光束はマイクロレンズ８１に到達する。物体上の点５１ｂから出て瞳平面上の領域３１を通過した光束はマイクロレンズ８４に到達し、物体上の点５１ｂから出て瞳平面上の領域３３を通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図２０（ｂ）と同様に、仮想的な撮像面１０３ａ上の位置に並べなおせば、図２０（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図２０ではマイクロレンズアレイ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適切なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

＜第３の実施形態＞
近年、ぼけ（焦点ずれ）が発生した劣化画像を復元する技術が開発されている。特許文献２の画像復元装置は、撮影光学系中にパターン化された絞りを設け、観測画像を取得し、観測画像を絞りのパターンに基づいて解析することで、距離画像及びピントの合った合焦画像を求めている。

また、特許文献３は、ぶれやぼけが発生した劣化画像を高品位の画像に復元する方法を開示している。理想画像をｆ（ｘ、ｙ）、劣化画像をｇ（ｘ、ｙ）、画像の劣化関数をｈ（ｘ、ｙ）とすると、劣化画像ｇ（ｘ、ｙ）は
ｇ（ｘ、ｙ）＝∫∫ｈ（ｘ−ｘ’、ｙ−ｙ’）ｆ（ｘ’、ｙ’）ｄｘ’ｄｙ’ （５）
と表される。ここで、理想画像ｆ（ｘ、ｙ）のフーリエ変換をＦ（ｕ、ｖ）、劣化画像ｇ（ｘ、ｙ）のフーリエ変換をＧ（ｕ、ｖ）、画像の劣化関数ｈ（ｘ、ｙ）のフーリエ変換をＨ（ｕ、ｖ）とすると、式（５）は
Ｇ（ｕ、ｖ）＝Ｈ（ｕ、ｖ）Ｆ（ｕ、ｖ） （６）
と書き表せる。理想画像は式（６）を変形することにより
Ｆ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｈ（ｕ、ｖ） （７）
と書き表せる。

このように、特許文献３は、撮像装置の特性情報等に基づいて劣化関数ｈ（ｘ、ｙ）を生成し、この劣化関数に基づいて復元画像ｆ（ｘ、ｙ）を生成する方法を開示している。しかし、撮影された画像全体に対して復元処理が行われるため、主被写体にピントが合っている被写界深度の浅い画像を得ることが困難であった。

そこで、第３の実施形態では、撮像画像に含まれる特定の被写体の焦点ずれを補正する技術を提供する。

図１０は、第３の実施形態に係るデジタルカメラ１の概略構成図である。図１０において、撮影レンズ２は、被写体光をイメージセンサ３に結像するためのレンズであり、イメージセンサ３に対して所定の位置に固定されている。本実施形態の撮影レンズ２は焦点調節機構を有していないため、デジタルカメラ１を小型化することが可能となっている。また、図１０においては、撮影レンズ２は単レンズで図示されているが、実際には、レンズ性能を満足するために複数のレンズから構成されている。

デジタルカメラ１は、デジタルカメラ１全体を制御するＣＰＵ７、及びピントのぼけた（焦点ずれを伴う）画像を画像処理にて復元する（焦点ずれを補正する）ＡＳＩＣ(Application Specific Integrated Circuit)６を備える。デジタルカメラ１はまた、復元された画像を表示する表示部４（液晶ディスプレイなど）、イメージセンサ３にて撮像された画像を記録するメモリ８、及び撮影者が撮影動作を指示するトリガー部９を備える。

トリガー部９は、撮影者が撮影動作を実行するための２段階のスイッチで構成され、１段目の押下で第１のスイッチがＯＮになり、２段目の押下で第２のスイッチがＯＮになるように構成されている。

デジタルカメラ１はまた、主被写体を指定する機能を兼ね備えたファインダー部５を備える。ファインダー部５は、レンズを介して光学的に被写体を観察するための光学ファインダーと、光学ファインダーを介して被写体を観察している撮影者の注視位置を検出する視線検出器とを含む。また、光学ファインダーは、例えば対物レンズ、接眼レンズ、及び像変換手段であるポロプリズムからなる実像ファインダーであり、対物レンズの像面には高分子分散型液晶表示素子が配設されている。

図１１は、撮影画面の分割説明図である。図１１に示すように、撮影画面は例えば８×１０のブロックに分割されている。視線検出器によって撮影者の注視位置が検出されると、ＣＰＵ７は、画面を分割する複数のブロックの中から注視位置を含むブロックを特定する。そして、ＣＰＵ７は、注視位置を含むブロックを示す情報を、撮影者がピントを合わせたい主被写体を示す情報（主被写体情報）としてメモリ８に記録する。

次に、図１２を参照して、第３の実施形態に係る撮像処理及び復元処理について説明する。不図示の電源スイッチによりデジタルカメラ１の電源がＯＮにされると、本フローチャートの処理が開始する。

Ｓ１０１で、ＣＰＵ７は、デジタルカメラ１の動作モードとして撮影モードが選択されているか否かを判定する。撮影モードが選択されていない（画像再生モードが選択されている）場合、処理はＳ１０２に進み、撮影モードが選択されている場合、処理はＳ１０３に進む。

Ｓ１０２で、ＣＰＵ７は、メモリ８に記録された画像データを読み出す。その後、処理はＳ１０９に進む（Ｓ１０９における処理は後述する）。

Ｓ１０３で、ＣＰＵ７は、トリガー部９の第１のスイッチの状態を確認する。第１のスイッチがＯＮである場合、処理はＳ１０４に進み、そうでない場合、処理はＳ１０１に戻る。

ここで、図１３（ａ）及び図１５（ａ）を参照して、撮影モードにおいて第１のスイッチがＯＦＦの場合のファインダー部５及び表示部４の表示状態について説明する。図１３（ａ）は、撮影モードにおいて第１のスイッチがＯＦＦの場合のファインダー像の説明図である。ファインダー部５を覗く撮影者には、被写体ａ、被写体ｂ、及び被写体ｃが観察されている。本実施形態の光学ファインダーは、光路中にピント板を配設していないため、撮影者にはピントの合った鮮明な被写体像が観察される。同時に、表示部４には、図１５（ａ）に示すように、撮影レンズ２を介してイメージセンサ３にて撮影された画像が表示される。本実施形態の撮影レンズ２はイメージセンサ３に対して所定の位置に固定され、焦点調節が行われないため、撮影レンズ２に対してイメージセンサ３と共役な位置にない被写体に対してはピントのぼけた被写体像が撮影される。図１５（ａ）では、最も近距離にある被写体ａが最もぼけ（焦点ずれの度合い）が小さく、最も遠距離にある被写体ｃが最もぼけが大きい。

第１のスイッチがＯＮになると、Ｓ１０４で、ＣＰＵ７は、ファインダー部５に含まれる視線検出器を動作させて、撮影画面中の主被写体の位置を検出する。視線検出器は、撮影者の目を照明する照明デバイスと、撮影者の目にて反射した光を受光するレンズ系及びイメージセンサとから構成されている。撮影者の視線を検出する方法としては、任意の公知の方法を利用可能であり、一例として、特開平２−２６４６３２号公報に開示されている方法を利用可能である。撮影者の注視位置が検出されると、ＣＰＵ７は、画面を分割する複数のブロックの中から注視位置を含むブロックを特定する。後述する復元処理においては、この特定されたブロックに含まれる被写体が、撮影者がピントを合わせたい主被写体として扱われる。

Ｓ１０５で、ＣＰＵ７は、ファインダー部５に設けられた表示素子を用いて、視線検出器により検出された注視位置を含むブロック（即ち、主被写体の位置）を示す画像をファインダー像に重畳させて表示する。図１３（ｂ）は、第１のスイッチがＯＮの場合のファインダー像の説明図であり、主被写体の位置としてブロック３５が選択されていることを示す枠画像が表示されている。同時に、表示部４には、図１５（ｂ）に示すように、撮影レンズ２を介してイメージセンサ３にて撮影された画像に主被写体の位置を示す枠画像が重畳して表示される。即ち、イメージセンサ３にて撮影された画像上に、ピントを合わせたい主被写体の位置としてブロック３５が選択されていることを示す枠画像が表示される。

Ｓ１０６で、ＣＰＵ７は、トリガー部９の第２のスイッチの状態を確認する。第２のスイッチがＯＮである場合、処理はＳ１０７に進み、そうでない場合、処理はＳ１０１に戻る。

Ｓ１０７で、ＣＰＵ７は、撮影レンズ２及びイメージセンサ３を用いて画像を撮像する。Ｓ１０８で、ＣＰＵ７は、撮影された画像を表す画像データを、Ｓ１０４で検出された最新の主被写体の位置（ブロック番号）を示す情報（主被写体情報）と共にメモリ８に記録する。主被写体情報は、例えば画像データのヘッダ部に格納されてもよい。

Ｓ１０９で、ＣＰＵ７は、不図示の設定ボタンによりデジタルカメラ１が画像の復元処理を実行するモードに設定されているか否かを確認する。画像の復元処理を実行するモードに設定されている場合、処理はＳ１１０に進み、そうでない場合、処理はＳ１１１に進む。

Ｓ１１０で、ＣＰＵ７は、Ｓ１０８でメモリ８に記録した画像データ及び主被写体情報に基づいて画像の復元処理を行う。或いは、処理がＳ１０２を経由した場合は、ＣＰＵ７は、Ｓ１０２で読み出した画像データ及び主被写体情報に基づいて画像の復元処理を行う。

ここで、図１４を参照して、Ｓ１１０における復元処理の詳細について説明する。Ｓ１２１で、ＣＰＵ７は、処理対象の画像データに関連する画像情報を取得する。Ｓ１２２で、ＣＰＵ７は、取得した画像情報の中に主被写体情報が含まれているか否かを判定する。主被写体情報が含まれている場合、処理はＳ１２４に進み、そうでない場合、処理はＳ１２３に進む。

例えば、Ｓ１０４において視線検出器が撮影者の注視位置を検出するのに失敗して主被写体が検出されなかった場合は、画像情報に主被写体情報が含まれない。そこで、Ｓ１２３で、ＡＳＩＣ６は、処理対象の画像データに基づいて主被写体を判定する。具体的には、例えば、ＡＳＩＣ６は、画像に含まれる人物の顔を検出し、検出された顔を主被写体として設定する。

なお、本実施形態における顔検出には、公知の顔検出技術を利用できる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

Ｓ１２４及びＳ１２５で、ＡＳＩＣ６は、処理対象の画像データの復元処理を実行する（即ち、ＡＳＩＣ６は、主被写体情報が示す被写体（或いは、Ｓ１２３で判定された主被写体）の焦点ずれを補正するように画像データを加工する）。具体的には、Ｓ１２４で、ＡＳＩＣ６は、画像において主被写体情報が示す被写体と同等の（実質的に同じ）度合いの焦点ずれを伴う領域を復元領域として設定する。そして、Ｓ１２５で、ＡＳＩＣ６は、設定された復元領域について、焦点ずれを補正するように画像データを加工する。

復元処理は、デジタルカメラ１の光学特性情報等に基づいて劣化関数ｈ（ｘ、ｙ）を生成し、この劣化関数を用いて前述の式（７）に基づいて実行される。このとき、主被写体と同等の度合いの焦点ずれを伴う復元領域は、主被写体に対する劣化関数ｈ（ｘ、ｙ）に対して所定の差異に収まる劣化関数を有した領域として特定される。例えば劣化関数ｈ（ｘ，ｙ）が点像分布関数であった場合、所定の差異に収まるとは半値幅の差が所定値以内であることにより判定できる。

本実施形態では、図１５（ｂ）に示すように、主被写体情報はブロック３５を示している。そこで、ＡＳＩＣ６は、ブロック３５を含む、ブロック３５の領域の被写体と同等にぼけている（即ち、同等の度合いの焦点ずれを伴う）被写体ｂが存在する領域を復元領域として設定する。復元後の画像は、例えば図１５（ｃ）に示すように、被写体ａと被写体ｃはぼけたままで、被写体ｂのみにピントが合った画像となる。また、Ｓ１２３において顔が主被写体として設定された場合、顔だけでなく人物全体が同等にぼけていると考えられるので、復元後の画像は、人物全体にピントの合った画像となる。このように、本実施形態によれば、撮像画像に含まれる特定の被写体の焦点ずれが補正される。

図１２に戻り、Ｓ１１１で、ＣＰＵ７は、復元後の画像を、例えば図１５（ｃ）に示すように表示部４に表示する。或いは、処理がＳ１０９からＳ１１１へジャンプした場合は、ＣＰＵ７は、復元されていない画像を表示部４に表示する。

以上説明したように、本実施形態によれば、デジタルカメラ１は、画像の撮像時に、画像データと共に主被写体情報をメモリ８に記録する。そして、デジタルカメラ１は、画像の復元処理を実行する際に、主被写体情報が示す被写体と同等の（実質的に同じ）度合いの焦点ずれを伴う領域について、焦点ずれを補正するように画像データを加工する。これにより、撮像画像に含まれる特定の被写体の焦点ずれを補正することが可能となり、例えば、主被写体にピントが合っている被写界深度の浅い画像を得ることが可能となる。また、画像の撮像時に主被写体情報が記録されるので、撮影者が実際に意図した主被写体を示す主被写体情報を得られる可能性が向上する。

なお、本実施形態では、ファインダー部５の一部が光学ファインダーで構成されている例を示したが、液晶、又はＥＬ(Electro-Luminescence)素子等で構成された電子ビューファインダーでも構わない。また、本実施形態においては、静止画像の画像復元処理について説明したが、動画の場合でも同様に本実施形態を適用可能である。

＜第４の実施形態＞
第３の実施形態では、視線検出器により主被写体が判定された。第４の実施形態では、主被写体の判定に関する変形例について説明する。これ以外にも第３の実施形態と若干の相違が存在するが、これについては以下で詳述する。

図１６は、第４の実施形態に係るデジタルカメラ１の概略構成図である。図１６において図１０と同様の構成要素には同一の符号を付し、その説明を省略する。デジタルカメラ１は、トラックボール１０を備える。トラックボール１０は、デジタルカメラ１本体に食い込む方向に２段階押下することが可能となっている。トラックボール１０は、１段目の押下で第１のスイッチがＯＮになり、２段目の押下で第２のスイッチがＯＮになるように構成されている。また、１段目の押下でトラックボール１０は回転可能となり、撮影者はトラックボール１０を回転させることにより、ピントを合わせたい主被写体の位置を指定することが可能である。

図１７は、第４の実施形態に係る撮像処理及び復元処理を示すフローチャートである。図１７において、図１２と同様の処理が行われるステップには同一の符号を付し、図１２との相違点についてのみ説明する。不図示の電源スイッチによりデジタルカメラ１の電源がＯＮにされると、本フローチャートの処理が開始する。

Ｓ１０１及びＳ１０３の処理は、第３の実施形態（図１２）と同様である。但し、本実施形態では、表示部４には図１８（ａ）に示す画像が表示されるものとする。本実施形態の撮影レンズ２はイメージセンサ３に対して所定の位置に固定され、焦点調節が行われないため、撮影レンズ２に対してイメージセンサ３と共役な位置にない被写体に対してはピントのぼけた被写体像が撮影される。図１８（ａ）の例では、最も近距離にある被写体ａが最もぼけが小さく、それよりも遠距離にある被写体ｂ及び被写体ｃはぼけが大きくなって撮影されている。

Ｓ１０２の処理は、第３の実施形態（図１２）と同様である。但し、Ｓ１０２の次はＳ２０１の処理が実行される。Ｓ２０１で、ＣＰＵ７は、Ｓ１０２で読み出した画像データに関連する画像情報をメモリ８から読み出し、この画像データが既に復元済みであるか否かを判定する。復元済みである場合、処理はＳ２０４に進み、そうでない場合、処理はＳ１１０に進む。

一方、撮影モードにおいて第１のスイッチがＯＮになった場合、トラックボール１０は回転可能となる。Ｓ２０２で、ＣＰＵ７は、トラックボール１０の回転を検出して、回転に応じた位置のブロックを特定する。本実施形態では、この特定されたブロックに含まれる被写体が、撮影者がピントを合わせたい主被写体として扱われる。

Ｓ１０５及びＳ１０６の処理は、第３の実施形態（図１２）と同様である。但し、本実施形態では、表示部４には図１８（ｂ）に示す画像が表示されるものとする。即ち、本実施形態では、ブロック３８に含まれる被写体が主被写体である。撮影画面の分割方法は、第３の実施形態と同様である（図１１参照）。撮影者は、表示部４に表示される枠画像を見ながらトラックボール１０を回転させることにより、ピントを合わせたい主被写体を指定することができる。

Ｓ１０７及びＳ１１０の処理は、第３の実施形態（図１２及び図１４）と同様である。但し、処理がＳ１０７を経由してＳ１１０に到達した場合、第３の実施形態と異なりこの時点では画像データ及び主被写体情報はメモリ８に記録されていない（不図示の一時メモリに記録されている）。そこで、ＣＰＵ７及びＡＳＩＣ６は、この一時メモリから画像データ及び主被写体情報を読み出して復元処理を実行する。

本実施形態では、図１８（ｂ）に示すように、主被写体情報はブロック３８を示している。そこで、ＡＳＩＣ６は、ブロック３８を含む、ブロック３８の領域の被写体と同等にぼけている（即ち、同等の（実質的に同じ）度合いの焦点ずれを伴う）被写体ｂ及び被写体ｃが存在する領域を復元領域として設定する。復元後の画像は、例えば図１８（ｃ）に示すように、被写体ａはピントのぼけた状態で、撮影者の意図した被写体ｃ、及び被写体ｃとほぼ同じ被写体距離にある被写体ｂにピントが合った画像となる。同じ被写体距離にある被写体に対して復元処理を実行することにより、違和感のない画像が得られる。

また、例えば図１４のＳ１２３において顔が検出されず、主被写体が判定されなかった場合、ＡＳＩＣ６は、画像の全領域を復元領域として設定する。この場合、復元後の画像は、例えば図１９に示すよう、被写体ａ、被写体ｂ、及び被写体ｃ全てにピントの合った画像になる。

図１７に戻り、Ｓ２０３で、ＣＰＵ７は、復元された画像データ及び復元情報（この画像データが復元処理を適用済みであることを示す情報）をメモリ８に記録する。次いで、Ｓ２０４で、ＣＰＵ７は、復元された画像を表示部４に表示する。

以上説明したように、本実施形態によれば、トラックボール１０により主被写体の指定が行われる。また、第３の実施形態と異なり、復元後の画像データがメモリ８に記録される。更に、何らかの理由により主被写体情報が取得されず、且つ、顔検出等による主被写体の判定も行われなかった場合、画像の全領域の焦点ずれが補正される。

なお、本実施形態では、主被写体を指定する方法としてトラックボール１０を１段押下後に回転させることにより指定する例を示した。しかしながら、トラックボールの回転を許可する別のスイッチを設け、トラックボールを１段押下させることなく主被写体を指定可能なようにデジタルカメラ１を構成してもよい。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (23)

1. 撮像素子で撮像された、リフォーカス処理を施すことで再構成画像を生成可能な画像データを取得する取得手段と、
   前記画像データに前記リフォーカス処理を行って被写体が検出されるリフォーカス面における再構成画像を生成する画像生成手段と、
   前記撮像素子で撮像された画像データを記録すると共に、前記被写体が検出されるリフォーカス面の再構成画像に基づく画像の画像データを補助情報として前記画像データに関連付けて記録する記録手段と、
   を有することを特徴とする画像処理装置。
2. 前記補助情報は、前記被写体が検出されるリフォーカス面の再構成画像を縮小した画像の画像データであることを特徴とする請求項１に記載の画像処理装置。
3. 前記補助情報は、前記被写体が検出されるリフォーカス面の再構成画像を生成するときに用いた前記リフォーカス処理のリフォーカス係数、検出された顔の前記再構成画像における位置情報、及び前記再構成画像のサイズに対する顔の相対サイズ情報の少なくともいずれかを含むことを特徴とする請求項１に記載の画像処理装置。
4. 前記記録手段により記録された、前記撮像素子で撮像された画像データに基づくサムネール画像と、前記補助情報に基づいて、前記被写体が検出されるリフォーカス面の再構成画像のサムネール画像とを表示する表示手段を更に有することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記記録手段により記録された、前記撮像素子で撮像された画像データに基づくサムネール画像と、前記補助情報に基づいて、前記被写体が検出されるリフォーカス面の再構成画像から切り出した顔の画像とを表示する表示手段を更に有することを特徴とする請求項２または３に記載の画像処理装置。
6. 顔の特徴と名称とを関連付けた情報を保持した記憶手段を更に有し、
   前記画像生成手段は、前記被写体に対応する名称を、前記記憶手段に保持された情報から取得し、
   前記記録手段は、前記取得した名称を、前記補助情報に含めることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記記録手段により記録された、前記撮像素子で撮像された画像データに基づくサムネール画像と、前記名称とを表示する表示手段を更に有することを特徴とする請求項６に記載の画像処理装置。
8. 前記画像生成手段は、複数のリフォーカス面における再構成画像をそれぞれ生成し、生成された複数の再構成画像のうち被写体に合焦した再構成画像を用いて前記補助情報を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像生成手段は、前記撮像素子で撮像された画像データの画面内の各位置における焦点位置情報に基づいて前記被写体に合焦した再構成画像を特定することを特徴とする請求項８に記載の画像処理装置。
10. 前記画像生成手段は、前記撮像素子で撮像された画像データの画面内の各位置における焦点位置情報に基づいて、再構成画像を生成する複数のリフォーカス面を決定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
11. 入射光を光電変換して画像データを出力する、２次元に配置された複数の画素から成る前記撮像素子と、
    撮影レンズと前記撮像素子との間に配置され、予め決められた数の画素から成る前記撮像素子の複数の領域それぞれに対応する複数のマイクロレンズと、
    を有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記撮像素子で撮像された、前記取得手段により取得される画像データは、ライトフィールドデータであることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記リフォーカス処理は、仮想的な撮像面である前記リフォーカス面に基づいて、前記画像データの画素を並べかえる処理を含むことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記リフォーカス処理は、仮想的な撮像面である前記リフォーカス面に基づいて、前記画像データの画素を加算する処理を含むことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 撮像素子で撮像された、リフォーカス処理を施すことで再構成画像を生成可能な画像データを取得する取得手段と、
    前記画像データから複数のリフォーカス面における再構成画像をそれぞれ生成する画像生成手段と、
    前記撮像素子で撮像された画像データを記録すると共に、前記画像生成手段により生成された複数の再構成画像のうち被写体に合焦した再構成画像を用いて生成した補助情報を前記画像データに関連付けて記録する記録手段と、
    を有することを特徴とする画像処理装置。
16. 撮像素子で撮像された、リフォーカス処理を施すことで再構成画像を生成可能な画像データを取得する取得手段と、
    前記撮像素子で撮像された画像データの画面内の各位置における焦点位置情報に基づいて、再構成画像を生成する複数のリフォーカス面を決定し、該複数のリフォーカス面それぞれで前記画像データから再構成画像を生成する画像生成手段と、
    前記撮像素子で撮像された画像データを記録すると共に、被写体が検出されるリフォーカス面の前記再構成画像の前記被写体に関する補助情報を前記画像データに関連付けて記録する記録手段と、
    を有することを特徴とする画像処理装置。
17. 撮像素子で撮像された、リフォーカス処理を施すことで再構成画像を生成可能な画像データを取得する取得手段と、
    前記画像データに前記リフォーカス処理を行って被写体が検出されるリフォーカス面における再構成画像を生成する画像生成手段と、
    前記被写体が検出されるリフォーカス面における再構成画像と、前記画像データから生成されるあるリフォーカス面の再構成画像とを共に表示する表示手段と、
    を有することを特徴とする画像処理装置。
18. 画像処理装置が実行する画像処理方法であって、
    撮像素子で撮像された、リフォーカス処理を施すことで再構成画像を生成可能な画像データを取得する取得工程と、
    前記画像データに前記リフォーカス処理を行って被写体が検出されるリフォーカス面における再構成画像を生成する画像生成工程と、
    前記撮像素子で撮像された画像データを記録すると共に、前記被写体が検出されるリフォーカス面の再構成画像に基づく画像の画像データを補助情報として前記画像データに関連付けて記録する記録工程と、
    を有することを特徴とする画像処理方法。
19. 画像処理装置が実行する画像処理方法であって、
    撮像素子で撮像された、リフォーカス処理を施すことで再構成画像を生成可能な画像データを取得する取得工程と、
    前記画像データから複数のリフォーカス面における再構成画像をそれぞれ生成する画像生成工程と、
    前記撮像素子で撮像された画像データを記録すると共に、前記画像生成工程により生成された複数の再構成画像のうち被写体に合焦した再構成画像を用いて生成した補助情報を前記画像データに関連付けて記録する記録工程と、
    を有することを特徴とする画像処理方法。
20. 画像処理装置が実行する画像処理方法であって、
    撮像素子で撮像された、リフォーカス処理を施すことで再構成画像を生成可能な画像データを取得する取得工程と、
    前記撮像素子で撮像された画像データの画面内の各位置における焦点位置情報に基づいて、再構成画像を生成する複数のリフォーカス面を決定し、該複数のリフォーカス面それぞれで前記画像データから再構成画像を生成する画像生成工程と、
    前記撮像素子で撮像された画像データを記録すると共に、被写体が検出されるリフォーカス面の前記再構成画像の前記被写体に関する補助情報を前記画像データに関連付けて記録する記録工程と、
    を有することを特徴とする画像処理方法。
21. 画像処理装置が実行する画像処理方法であって、
    撮像素子で撮像された、リフォーカス処理を施すことで再構成画像を生成可能な画像データを取得する取得工程と、
    前記画像データに前記リフォーカス処理を行って被写体が検出されるリフォーカス面における再構成画像を生成する画像生成工程と、
    前記被写体が検出されるリフォーカス面における再構成画像と、前記画像データから生成されるあるリフォーカス面の再構成画像とを共に表示する表示工程と、
    を有することを特徴とする画像処理方法。
22. コンピュータに、請求項１８乃至２１のいずれか１項に記載の画像処理方法の各工程を実行させるためのプログラム。
23. 請求項２２に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。