JP6362433B2 - 画像処理装置およびその制御方法、プログラム - Google Patents

Description

本発明は、撮影された画像から被写体を検索し、検索結果である被写体像に焦点を合わせた画像を生成する画像処理装置とその制御方法に関するものである。

近年、ライトフィールド（以下、ＬＦと略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上に配置したマイクロレンズアレイによって入射光を分割することで、複数の方向の光を撮影して光線情報を得ることができる。以下では、ＬＦカメラにより撮影された画像をＬＦ画像といい、画像データをＬＦデータという。撮影後にＬＦデータに係る光線の強度とその入射方向に基づいて所定の計算処理を実行することによって、任意の視点での画像や、任意の位置と被写界深度で焦点を合わせた画像を再構築できる。すなわち、記録されたデータに演算処理を施すことにより、撮影後に視点や焦点位置、被写界深度を変更した画像を再構築できることがＬＦカメラの利点である。この再構築処理をＬＦ画像の現像処理と呼ぶことにする。

ＬＦ画像を表示する際には、予め定められたデフォルトのフォーカス位置に焦点を合わせて現像処理を行うことが一般的である。例えば、デフォルトのフォーカス位置として、ＬＦ画像を前回表示した時の設定情報を記憶しておき、次回に設定情報を利用することが行われる。また、人物等の被写体を検索条件として指定し、被写体認識やメタデータを利用して指定された被写体の画像を検索する画像検索（被写体検索）が一般に行われている。特許文献１には、画像検索結果の提示方法が開示されている。

特開２０１０−０８６１９４号公報

上述のように、前回の表示時のフォーカス位置等をデフォルトとして、その位置に焦点を合わせて現像してＬＦ画像が表示されるが、被写体検索の結果としてＬＦ画像を表示する場合には、このような設定では問題がある。図１６（Ａ）はＬＦ画像例を示す。これはデフォルトの状態として、３つの被写体１２１，１２２，１２３のうち、被写体１２２に対して焦点が合った状態である。よって、デフォルトのフォーカス位置に焦点を合わせて現像を行ったとしても、検索対象として指定した被写体（例えば、被写体１２３）に対して焦点が合っているとは限らない。そのため、ユーザは改めてフォーカス位置を調整しながら検索対象の被写体を探す必要がある。例えば、図１６（Ｂ）のＬＦ画像例に示すように、検索対象である被写体１２３に焦点を合わせる調整操作をユーザが行う必要があるので、操作が煩雑であった。

また、特許文献１に開示の先行技術は、検索対象のオブジェクトを強調する枠線の形状や色を変更するものであり、表示する画像のフォーカス位置については考慮されていなかった。
本発明は、撮影された画像内の被写体に対して焦点を合わせる合焦位置を変更可能な画像データを処理する画像処理装置において、検索対象の被写体に焦点を合わせることで、ユーザの利便性を向上させることを目的とする。

上記課題を解決するために、本発明の画像処理装置は、検索対象の被写体像を含む画像から、前記検索対象の被写体の特徴量を取得する取得手段と、合焦状態を変更可能な複数のライトフィールドデータのそれぞれから、パンフォーカスに対応する所定の被写界深度の複数の第１画像を生成する第１画像生成手段と、前記第１画像生成手段により生成された前記複数の第１画像のそれぞれを解析して、前記取得手段により取得された前記検索対象の被写体の特徴量に基づき、前記検索対象の被写体のデータが含まれるライトフィールドデータを前記複数のライトフィールドデータから検索する検索手段と、前記検索手段により検索されたライトフィールドデータから、前記所定の被写界深度の第１画像よりも被写界深度が浅く、前記検索対象の被写体に合焦した第２画像を生成する第２画像生成手段と、を備える。

本発明によれば、検索対象の被写体に焦点を合わせることで、ユーザの利便性が向上する。

ＬＦカメラ内部の構成例（Ａ）および（Ｂ）を示す模式図である。 マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示した模式図である。 マイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。 イメージセンサ１３に入射する光線の情報を説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 本発明の実施形態に係る画像表示装置の概略を表すブロック図である。 図８の被写体検索部の概略を表すブロック図である。 図８の被写体検索部の処理例を説明するフローチャートである。 図８の表示用画像生成部の概略を表すブロック図である。 図８の表示用画像生成部の処理例を説明するフローチャートである。 本発明の第２実施形態に係る表示用画像生成部の処理例を説明するフローチャートである。 本発明の第３実施形態に係る表示用画像生成部の処理例を説明するフローチャートである。 本発明の第４実施形態に係る表示用画像生成部の処理例を説明するフローチャートである。 ＬＦ画像例を示す図である。 パンフォーカス画像例およびユーザへの通知処理例を示す図である。

以下、添付図面を参照して、本発明の各実施形態について詳細に説明する。本発明の実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラについて説明する。

図１は、ＬＦカメラの概略構成を例示する。撮像光学系を構成する撮像レンズ１１を通過してマイクロレンズアレイ１２に入射した被写体からの光は、イメージセンサ１３によって光電変換されて電気信号が得られる。なお、ここで得られた撮像データはＬＦデータである。

撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は交換可能であり、撮像装置１０の本体部に装着して使用する。ユーザは撮像レンズ１１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ１２は、微小レンズ（マイクロレンズ）を格子状に配列して構成されており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２を構成する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割した光をイメージセンサ１３に出力する。撮像部を構成するイメージセンサ１３は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素が対応するように配置される。イメージセンサ１３の各画素には各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度（光線情報）を検出することができる。また、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向（方向情報）が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように、撮像装置１０は光線情報と方向情報を取得し、光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置や視点での画像データを生成できる。この光線情報および方向情報はＬＦデータに含まれる。この場合のフォーカス位置は、撮影後にユーザが所望の画像領域に焦点を合わせることが可能な焦点位置である。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射する光線は、その進行方向に応じてイメージセンサ１３上の異なる位置で受光され、撮像レンズ１１の形状に相似形となる被写体の像がマイクロレンズ毎に結像する。

図４は、イメージセンサ１３に入射する光線の情報を説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系を（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。すると、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。
各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加え、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）が記録される。

次に、撮像後のリフォーカス演算処理について説明する。図５は、リフォーカス演算処理を説明するための模式図である。図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ、ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。

また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。

従って、この（２）式からリフォーカス演算処理を行うことで、任意の焦点（リフォーカス面）に設定した画像を再構築することができる。

続いて、撮像後の被写界深度の調整処理について説明する。上記リフォーカス演算の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データ毎に重み付け係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成したい場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み付け係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。従って、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。このような処理を行うことで、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像の生成も可能となる。以上のように、実際に取得したＬＦデータ（光線情報）に基づいて、撮影後に画像の被写界深度を調整することができる。

［第１実施形態］
図８は本発明の実施形態に係る画像表示装置１００の構成例を概略的に示すブロック図である。
ＬＦ画像記憶部１０１はＬＦカメラによって撮影されたＬＦ画像のデータを受信してメモリに記憶する。またＬＦ画像記憶部１０１は、記憶したＬＦデータを、ＬＦ画像現像部１０３からの要求に応じて送信する。ＬＦデータについては、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等によって画像表示装置と接続されたＬＦカメラから直接受信してもよいし、ＳＤカード等の記憶メディアに保存されたＬＦデータを読み込んでもよい。

検索条件受信部１０２は、操作部によりユーザが指定した被写体の検索条件を受信し、被写体検索部１０４へ送信する。検索条件の指定については、検索対象の画像を入力することにより行う方法がある。あるいは、予め登録しておいた画像からユーザ操作で選択して指定する方法でもよい。

ＬＦ画像現像部１０３は、ＬＦ画像記憶部１０１からＬＦデータを読み出し、所定の演算処理を施す。所定の演算処理とは、ＬＦ画像の現像に必要な処理であり、被写体検索部１０４、奥行きマップ生成部１０５、表示用画像生成部１０６からの要求に応じて処理が行われる。

被写体検索部１０４は、ＬＦ画像記憶部１０１に記憶されている全ての画像の中から検索条件受信部１０２より受信した、被写体の検索条件に合致する画像を検索する。被写体検索部１０４の詳細については後述する。奥行きマップ生成部１０５は表示用画像生成部１０６からの要求に応じて距離情報生成処理を実行する。ＬＦ画像の各画素における距離情報の生成により奥行マップが作成される。画像内の奥行に対応する距離情報は、２つ以上の異なる視点での画像を生成し、生成した複数の画像の位置ズレを検出することによって算出できる。表示用画像生成部１０６は表示用画像データを生成する。表示用画像生成部１０６の詳細については後述する。画像表示部１０７は表示用画像生成部１０６によって生成された画像データにしたがって画面上に画像表示する。

ユーザ調整値受信部１０８は、操作部によりユーザが指定したフォーカス位置の情報（指定された座標情報）を受信し、表示用画像生成部１０６へ送信する。フォーカス位置とは、撮影されたＬＦ画像に対して焦点を合わせるべき合焦位置に相当する。フォーカス位置の指定については、ポインティングデバイスやタッチパネル等を利用して、焦点を合わせたい被写体の位置をユーザが指定する方法がある。あるいは、スライドバー等を利用してユーザが指定する方法がある。

次に被写体検索部１０４を詳細に説明する。図９は被写体検索部１０４を主とする構成の概略を表すブロック図である。被写体検索部１０４は、検索用画像生成部２０１と特徴量比較部２０２を備える。

検索用画像生成部２０１は、ＬＦ画像現像部１０３に対し、ＬＦ画像記憶部１０１より取得したＬＦデータの現像を依頼する。ＬＦ画像は現像時に焦点位置を変更可能であるが、特定の位置に焦点を合わせて現像した画像を用いて被写体検索を行う場合には、焦点の合っていない場所の被写体（暈けている被写体）を検出することができない。例えば、図１６（Ａ）に示す状態では、被写体１２１や１２３の検出が困難である。そこで、検索用画像生成部２０１は被写界深度を最大とし、画像内の全ての被写体に焦点が合った画像（パンフォーカス画像）の生成をＬＦ画像現像部１０３に依頼する。ＬＦ画像現像部１０３は、被写体検索用の画像データとしてパンフォーカス画像データを生成する。図１７（Ａ）はパンフォーカス画像例を示し、被写体１２１，１２２，１２３の全てに焦点が合っている。
特徴量比較部２０２は、検索条件受信部１０２および検索用画像生成部２０１から受信した画像を解析して被写体を検出する。特徴量比較部２０２は、検出した被写体の特徴量を算出して比較する。特徴量比較部２０２が処理する画像データは、ＬＦ画像現像部１０３により現像済の画像データである。このため、被写体像の抽出および特徴量の算出においては、ＪＰＥＧ（Joint Photographic Experts Group）画像等を対象にした公知の方法を用いることができる。

図１０は被写体検索部１０４が行う処理例を説明するフローチャートである。以下の処理は画像処理装置の制御部を構成するＣＰＵ（中央演算処理装置）がメモリからプログラムを読み出して実行することにより実現される。

被写体検索部１０４はまず、検索条件受信部１０２より、検索条件を指定する画像データを受信する（Ｓ３０１）。次に被写体検索部１０４は、受信した画像データから被写体像について特徴量を算出する（Ｓ３０２）。Ｓ３０３とＳ３０８との間にあるＳ３０４からＳ３０７、およびＳ３０９のステップについては反復処理が実行される。被写体検索部１０４はＬＦ画像記憶部１０１よりＬＦ画像を順次取得し（Ｓ３０４）、ＬＦ画像現像部１０３にパンフォーカス画像の現像を依頼する（Ｓ３０５）。被写体検索部１０４は、ＬＦ画像現像部１０３によって現像されたパンフォーカス画像を取得し、当該画像の被写体像を検出して特徴量を算出する（Ｓ３０６）。被写体検索部１０４は、Ｓ３０６で算出した特徴量が、検索条件として指定された被写体の特徴量と一致するか否かを判定する（Ｓ３０７）。これらの特徴量が一致した場合、Ｓ３０９に処理を進め、特徴量が一致しない場合、Ｓ３０８からＳ３０３へと進んで処理を続行する。
Ｓ３０９で被写体検索部１０４は、被写体の特徴量が一致すると判定した、該当するＬＦ画像のファイルの識別子と、該当する被写体像の座標情報を表示用画像生成部１０６へ通知する。そしてＳ３０８からＳ３０３へと進み、全てのＬＦ画像について処理を終えるまで続行する。

次に、表示用画像生成部１０６を詳細に説明する。図１１は表示用画像生成部１０６を主とする構成例の概略を示すブロック図である。表示用画像生成部１０６は、フォーカス座標決定部４０１、フォーカス位置決定部４０２、画像生成部４０３を備える。
フォーカス座標決定部４０１は、被写体検索部１０４およびユーザ調整値受信部１０８からの座標情報に対して座標情報選択処理を行う。フォーカス座標決定部４０１は、被写体検索部１０４またはユーザ調整値受信部１０８から、焦点を合わせるべき被写体が写っている画像（被写体像）の座標情報を受信し、いずれか一方をフォーカス位置決定部４０２へ送信する。フォーカス座標決定部４０１が送信する座標情報については、表示対象としている画像が被写体検索の結果であるか否かによって決定される。すなわち、表示対象の画像が被写体検索の結果である場合には、フォーカス座標決定部４０１は被写体検索部１０４より受信した座標情報をフォーカス位置決定部４０２へ送信する。表示対象の画像が被写体検索の結果でない場合には、ユーザ調整値受信部１０８より受信した座標情報がフォーカス位置決定部４０２へ送信される。

フォーカス位置決定部４０２は、フォーカス座標決定部４０１より受信した座標情報を奥行きマップ生成部１０５へ送信する。奥行きマップ生成部１０５は、距離情報生成処理によって作成した奥行きマップに基づいて、受信した座標情報に該当する距離情報を返信する。フォーカス位置決定部４０２は、座標情報に該当する距離情報を奥行きマップ生成部１０５から取得して画像生成部４０３へ送信する。画像生成部４０３は、フォーカス位置決定部４０２より受信した距離情報を、現像時に使用するフォーカス位置の情報としてＬＦ画像現像部１０３へ送信し、ＬＦ画像の現像を依頼する。ＬＦ画像現像部１０３によって現像された画像のデータは、画像生成部４０３が画像表示部１０７へ送信する。これにより、所望の被写体に焦点の合った画像が画像表示部１０７の画面上に表示される。

図１２は表示用画像生成部１０６が行う処理例を説明するフローチャートである。フォーカス座標決定部４０１は、ユーザ調整値受信部１０８および被写体検索部１０４より、焦点を合わせる座標情報（フォーカス座標）を取得する（Ｓ５０１）。次にフォーカス座標決定部４０１は、現在の表示モードが被写体検索結果の表示モードであるか否かを判定する（Ｓ５０２）。被写体検索結果の表示モードである場合、Ｓ５０３に処理を進め、被写体検索結果の表示モードでない場合、Ｓ５０４に移行する。

Ｓ５０３でフォーカス座標決定部４０１は、被写体検索部１０４より受信した情報の示す検索対象の座標をフォーカス座標に設定する。またＳ５０４でフォーカス座標決定部４０１は、ユーザ調整値受信部１０８より受信した情報の示す座標をフォーカス座標に設定する。Ｓ５０３またはＳ５０４の次にＳ５０５へ処理を進め、フォーカス位置決定部４０２は、フォーカス座標決定部４０１より受信した座標情報を奥行きマップ生成部１０５へ送信する。つまり、Ｓ５０３またはＳ５０４で設定されたフォーカス座標を奥行きマップ生成部１０５へ送信した後、フォーカス位置決定部４０２は、フォーカス座標に対応する距離情報を取得し、画像生成部４０３に送信する。画像生成部４０３は、Ｓ５０５で取得した距離情報をＬＦ画像現像部１０３へ送信する（Ｓ５０６）。ＬＦ画像現像部１０３は、Ｓ５０３またはＳ５０４で設定された座標に対して焦点を合わせた画像を現像し、画像生成部４０３は現像後の画像データを取得して画像表示部１０７へ送信する。これにより例えば、図１６（Ｂ）に示すように、検索結果である被写体１２３に対して焦点を合わせた画像が画像表示部１０７の画面上に表示される。

本実施形態では、被写体検索の結果としてＬＦ画像を表示する場合、検索対象である被写体に焦点の合った画像が検索結果として画像表示される。よって、被写体検索の際にユーザが手動操作でフォーカス位置を調整する必要がなくなる。すなわち、検索対象の被写体に焦点を合わせたＬＦ画像を表示することにより、ユーザの利便性が向上する。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態では、被写体検索の結果として複数の被写体が検出された場合に、検出された被写体の全てに焦点を合わせて表示する処理が実行される。例えば、被写体検索の条件が複数指定された場合や、被写体検索の結果として兄弟等のように似た人が複数写っているＬＦ画像が検出された場合、検出された被写体の全てに焦点を合わせた状態で画像表示が行われる。なお、本実施形態にて第１実施形態の場合と同様の部分については既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を説明する。このような省略の仕方は後述の実施形態でも同じである。

被写体検索部１０４Ａは、被写体検索の結果として検出された全ての被写体像の座標情報を表示用画像生成部１０６Ａへ送信する。表示用画像生成部１０６Ａは、被写体検索部１０４Ａにより検出された全ての被写体に対して焦点が合うように被写界深度を設定し、ＬＦ画像を現像する。図１７（Ａ）は、３つの被写体１２１，１２２，１２３に対して焦点を合わせた画像を例示する。

図１３は表示用画像生成部１０６Ａが行う処理例を説明するフローチャートである。表示用画像生成部１０６Ａはまず、ユーザ調整値受信部１０８および被写体検索部１０４Ａより、焦点を合わせるべき座標情報を取得する（Ｓ７０１）。ここで、取得する座標情報については複数存在することが有り得る。次に最も手前の被写体までの距離情報（Ｎと記す）が無限遠で初期化され（Ｓ７０２）、最も奥側の被写体まで距離情報（Ｆと記す）がゼロで初期化される（Ｓ７０３）。次に現在の表示モードが被写体検索結果の表示モードであるか否かについて判定される（Ｓ７０４）。判定の結果、被写体検索結果の表示モードである場合、Ｓ７０５へ処理を進め、そうでない場合にはＳ７１２へ移行する。

Ｓ７０５とＳ７１１との間にあるＳ７０６からＳ７１０の処理は反復処理として実行される。表示用画像生成部１０６Ａは、検出された全ての被写体Ｐに対して距離情報（Ｄと記す）を奥行きマップ生成部１０５から取得する（Ｓ７０６）。Ｓ７０７は、距離情報ＤをＦと比較し、ＤがＦより大きいか否かを判定する処理である。ＤがＦより大きい場合、すなわち被写体Ｐが検出された被写体の中で最も遠くに位置する場合にはＳ７０８に処理を進め、ＦをＤで更新する処理（Ｄの値をＦに代入する処理）が実行される。他方、ＤがＦ以下の場合にはＳ７０９に移行する。

Ｓ７０９は、距離情報ＤをＮと比較し、ＤがＮより小さいか否かを判定する処理である。ＤがＮより小さい場合、すなわち被写体Ｐが検出された被写体の中で最も手前に位置する場合、Ｓ７１０に処理を進め、ＮをＤで更新する処理（Ｄの値をＮに代入する処理）が実行される。Ｓ７１０の処理後、または、ＤがＮ以上である場合には、Ｓ７１１に進んで、次の被写体に対して処理を続行する。全て被写体に対してＳ７０６からＳ７１０の処理が終了すると、Ｓ７１６に移行する。

Ｓ７０４からＳ７１２に進んだ場合、表示用画像生成部１０６Ａは、ユーザ調整値の座標をフォーカス座標に設定した後、フォーカス座標に対応する距離情報Ｄを奥行きマップ生成部１０５から取得する（Ｓ７１３）。Ｓ７１４で距離情報ＮがＤで更新され（Ｄ値がＮに代入される）、Ｓ７１５で距離情報ＦがＤで更新される（Ｄ値がＦに代入される）。そして、Ｓ７１６に移行する。

Ｓ７１６で表示用画像生成部１０６Ａは、ＦおよびＮの各値からフォーカス範囲を決定する。つまり、焦点を合わせる範囲は、Ｎ値からＦ値までの距離情報に対応する範囲であり、表示用画像生成部１０６Ａは、フォーカス位置および被写界深度をＬＦ画像現像部１０３へ通知し、ＬＦ画像の現像を依頼する。表示用画像生成部１０６Ａは、現像された画像、つまり検出された複数の被写体に対して焦点を合わせた画像のデータを取得して画像表示部１０７へ送信する。これにより、画像表示部１０７は複数の被写体に対して焦点を合わせた画像を表示する。
本実施形態によれば、被写体検索結果として複数の被写体が検出された場合に、検出された全ての被写体に対して焦点の合った画像を表示することができる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。第２実施形態では、検索結果として検出された複数の被写体に対して焦点を合わせることが可能であることを前提として表示用画像を生成する処理を説明した。しかし、ＬＦ画像において、撮影に使用したレンズの性能や撮影内容によって、全ての被写体に対して焦点を合わせることができるとは限らない。そこで、本実施形態では被写体検索の結果として検出された被写体に対して焦点を合わせることができない場合に通知処理を行う。すなわち、表示用画像生成部１０６Ｂは、被写体検索の結果として検出された被写体に対して焦点を合わせることができない場合、その旨を通知する画像を生成する。この画像は、現像処理された画像に重畳されることにより、１つの表示用画像が生成される。

図１４は表示用画像生成部１０６Ｂが行う処理例を説明するフローチャートである。Ｓ５０１からＳ５０６の処理については図１２にて説明した通りであり、以下では、相違点であるＳ９０１およびＳ９０２を説明する。

Ｓ５０６の処理後、表示用画像生成部１０６Ｂは、検出された被写体に対して合焦可能であるか否かを判定する（Ｓ９０１）。検出された被写体に対して合焦可能であれば、当該被写体に焦点を合わせた画像の表示処理が行われる。また、検出された被写体に対して合焦可能でない場合、Ｓ９０２に処理を進め、表示用画像生成部１０６Ｂは該当する被写体に対して合焦できない旨を通知する画像を生成して、この画像を現像された画像に重畳する処理を行う。図１７（Ｂ）は、Ｓ９０２で生成される画像例を示す。画像表示部１０７の画面内の表示領域１３０には、検出された被写体に対して合焦可能でない旨のメッセージが表示される。
本実施形態によれば、被写体検索の結果として検出された被写体に対して焦点を合わせることができない場合には、その旨をユーザに通知することができる。

［第４実施形態］
次に、本発明の第４実施形態を説明する。本実施形態では、被写体検索の結果として検出された被写体に焦点を合わせることができない場合にパンフォーカス画像を表示する。表示用画像生成部１０６Ｃは、被写体検索の結果として検出された被写体に焦点を合わせることができない場合、パンフォーカス画像を生成する処理を行う。

図１５は表示用画像生成部１０６Ｃが行う処理を説明するフローチャートである。Ｓ５０１からＳ５０６の処理については図１２で説明した通りであり、以下では、相違点であるＳ１１０１およびＳ１１０２を説明する。
表示用画像生成部１０６Ｃは、Ｓ５０５でフォーカス座標に対応する距離情報を取得した後、被写体に合焦可能であるかどうか、すなわちＳ５０５で有効な距離情報が取得できたかどうかを判定する（Ｓ１１０１）。有効な距離情報が取得できなかった場合、Ｓ１１０２に処理を進め、有効な距離情報が取得できた場合にはＳ５０６に進む。

Ｓ１１０２で表示用画像生成部１０６Ｃは、ＬＦ画像現像部１０３にパンフォーカス画像の現像を要求し、現像されたパンフォーカス画像を取得して画像表示部１０７に送信する。これにより、画像表示部１０７の画面には現像されたパンフォーカス画像が表示される（図１７（Ａ）参照）。
本実施形態によれば、被写体検索の結果として検出された被写体に焦点を合わせることができない場合、被写界深度を最大にしたパンフォーカス画像を表示することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 画像表示装置
１０１ ＬＦ画像記憶部
１０２ 検索条件受信部
１０３ ＬＦ画像現像部
１０４，１０４Ａ 被写体検索部
１０５ 奥行きマップ生成部
１０６，１０６Ａ〜Ｃ 表示用画像生成部
２０１ 検索用画像生成部
２０２ 特徴量比較部
４０１ フォーカス座標決定部
４０２ フォーカス位置決定部
４０３ 画像生成部

Claims (12)

1. 検索対象の被写体像を含む画像から、前記検索対象の被写体の特徴量を取得する取得手段と、
   合焦状態を変更可能な複数のライトフィールドデータのそれぞれから、パンフォーカスに対応する所定の被写界深度の複数の第１画像を生成する第１画像生成手段と、
   前記第１画像生成手段により生成された前記複数の第１画像のそれぞれを解析して、前記取得手段により取得された前記検索対象の被写体の特徴量に基づき、前記検索対象の被写体のデータが含まれるライトフィールドデータを前記複数のライトフィールドデータから検索する検索手段と、
   前記検索手段により検索されたライトフィールドデータから、前記所定の被写界深度の第１画像よりも被写界深度が浅く、前記検索対象の被写体に合焦した第２画像を生成する第２画像生成手段と、を備えることを特徴とする画像処理装置。
2. 前記取得手段は、前記検索対象の被写体像を含む画像を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、ユーザ操作に従い、予め登録された複数の画像から前記検索対象の被写体像を含む画像を取得することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記ライトフィールドデータに係る奥行を示す距離情報を生成する距離情報生成手段をさらに備え、
   前記第２画像生成手段は、前記検索対象の被写体に対応する距離情報を前記距離情報生成手段から取得して、前記検索対象の被写体に合焦した第２画像を生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 操作部により指定された所定の被写体の座標情報を受信する受信手段をさらに備え、
   前記第２画像生成手段は、前記検索手段による検索結果を表示するモードである場合、前記検索手段により検索されたライトフィールドデータに含まれる前記検索対象の被写体に合焦した第２画像を生成し、前記検索手段による検索結果を表示しないモードである場合、前記受信手段が受信した前記座標情報に対応した前記被写体に合焦した第２画像を生成することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第２画像生成手段は、前記検索対象の被写体に複数の被写体が含まれる場合、前記複数の被写体に合焦した被写界深度の第２画像を生成することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第２画像生成手段は、前記検索対象の被写体に対して合焦できない場合、最大の被写界深度の第２画像を生成することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記第２画像生成手段により生成される前記第２画像を表示する表示手段をさらに備え、
   前記第２画像生成手段は、前記検索対象の被写体に対して合焦できない場合、前記検索対象の被写体に対して合焦できない旨を通知する画像を生成し、前記表示手段に表示させる処理を行うことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
9. 撮像光学系を介して被写体からの光を受光する撮像手段をさらに備え、
   前記撮像手段は、複数のマイクロレンズと、前記撮像光学系から前記マイクロレンズを介してそれぞれ入射する光を電気信号に変換して画像に係る光の強度を示す光線情報および光線の方向情報を出力する複数の光電変換手段と、を有しており、
   前記ライトフィールドデータは、前記光線情報および方向情報を含むデータであることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記ライトフィールドデータは、光線強度および光線方向の情報を含むことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 検索対象の被写体像を含む画像から、前記検索対象の被写体の特徴量を取得する取得工程と、
    合焦状態を変更可能な複数のライトフィールドデータのそれぞれから、パンフォーカスに対応する所定の被写界深度の複数の第１画像を生成する第１画像生成工程と、
    前記第１画像生成工程で生成された前記複数の第１画像のそれぞれを解析して、前記取得工程で取得された前記検索対象の被写体の特徴量に基づき、前記検索対象の被写体のデータが含まれるライトフィールドデータを前記複数のライトフィールドデータから検索する検索工程と、
    前記検索工程で検索されたライトフィールドデータから、前記所定の被写界深度の第１画像よりも被写界深度が浅く、前記検索対象の被写体に合焦した第２画像を生成する第２画像生成工程と、を有することを特徴とする画像処理装置の制御方法。
12. コンピュータを請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
    

Images