JP6361228B2 - 画像生成装置、及び画像生成プログラム - Google Patents

Description

本発明は、画像生成装置、及び画像生成プログラムに関する。

画像を検索する装置として、例えば特許文献１に記載されたものがある。この装置においては、ＣＰＵが画像の中から人物の顔などの部分画像を抽出し、抽出した部分画像における目、鼻などの位置や位置関係などを数値化した数値データを算出する。そして、ＣＰＵは、数値データと検索情報に対応する数値データとを比較して画像検索を行う。また、ＣＰＵは、画像の撮影時におけるフォーカス位置（合焦位置）などに基づいて比較対象の部分画像を絞り込む。

特開２００５−８０２１６号公報

しかし、上記した装置は、合焦位置を奥行き方向に変更可能な画像（リフォーカス画像という。）の検索には適しておらず、依然として改善の余地がある。

本発明の態様では、合焦位置を奥行き方向に変更可能なリフォーカス画像に適した画像検索を行うことを目的とする。

本発明の態様によれば、焦点位置を変更した画像を生成可能な画像データに基づいて、奥行き方向の所定の位置の被写体に合焦している画像を生成する画像生成部と、特定の被写体を含む画像を生成可能な画像データを検索する検索部と、を備え、画像生成部は、検索部により検索された画像データに基づいて、特定の被写体に合焦している画像を生成する画像生成装置が提供される。
本発明の態様によれば、焦点位置を変更した画像を生成可能な画像データに基づいて、奥行き方向の所定の位置の被写体に合焦している画像を生成する画像生成処理と、特定の被写体を含む前記画像を生成可能な画像データを検索する検索処理と、をコンピュータに実行させ、画像生成処理は、検索処理により検索された画像データに基づいて、特定の被写体に合焦している画像を生成する画像生成プログラムが提供される。
本発明の第１態様によれば、合焦位置を奥行き方向に変更可能な画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部と、検索対象の被写体に関する付随情報を指定する指定部と、指定部で指定された付随情報に対応する被写体を検索する検索部と、検索部で検索された被写体の奥行き方向の位置に応じて所定の合焦位置の画像データを生成する画像生成部と、を備える画像生成装置が提供される。

本発明の第２態様によれば、合焦位置を奥行き方向に変更可能な一又は複数の画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部と、検索対象の被写体の奥行き方向の位置を指定する指定部と、指定部で指定された位置に対応する被写体を含む画像データを検索する検索部と、を備える画像検索装置が提供される。

本発明の第３態様によれば、コンピュータに、合焦位置を奥行き方向に変更可能な画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出処理と、検索対象の被写体に関する付随情報を指定する指定処理と、指定処理で指定された付随情報に対応する被写体を検索する検索処理と、検索処理で検索された被写体の奥行き方向の位置に応じて所定の合焦位置の画像データを生成する画像生成処理と、を実行させる画像生成プログラムが提供される。

本発明の第４態様によれば、コンピュータに、合焦位置を奥行き方向に変更可能な一又は複数の画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出処理と、検索対象の被写体の奥行き方向の位置を指定する指定処理と、指定処理で指定された位置に対応する被写体を含む画像データを検索する検索処理と、を実行させる画像検索プログラムが提供される。

本発明の態様によれば、合焦位置を奥行き方向に変更可能なリフォーカス画像に適した画像検索を行うことができる。

画像検索・生成装置（画像検索装置）の構成を示すブロック図である。 撮像装置の一例であるライトフィールドカメラにおける光学系部分の概略構成を示す断面図である。 撮像素子の画素配列と入射領域とを説明する図である。 ライトフィールドカメラの構成を示すブロック図である。 画像の再構成を説明する図である。 図１に示す演算部が実行する画像処理を説明するためのフローチャートである。 ライトフィールドカメラと各被写体との距離関係を示す図である。 画像データに付加されるＥＸＩＦ情報の例を示す図である。 記憶部に記憶されている画像の表示例を示す図である。 演算処理部が実行する画像検索・生成処理を説明するためのフローチャートである。 第１実施形態の画像検索画面の表示例を示す図である。 第１実施形態の画像検索画面の表示例を示す図である。 第１実施形態の画像検索画面の表示例を示す図である。 第２実施形態の画像検索画面の表示例を示す図である。 視差を有する画像の表示例を示す図である。 画像検索・生成システムの構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。

＜第１実施形態＞
図１は、画像検索・生成装置１０１の構成を示すブロック図である。図１に示すように、画像検索・生成装置（画像検索装置、画像生成装置）１０１は、撮像装置の一例であるライトフィールドカメラ１、表示装置１０２、キーボード１０３、及びマウス１０４と接続されている。ここで、ライトフィールドカメラ１は、撮像部がカメラに入射する多数の光線をライトフィールド（光線空間）として取得する。そして、ライトフィールドカメラ１は、取得したライトフィールドの情報に対して画像処理を施すことで合焦位置などを奥行き方向に変更したリフォーカス画像を生成する。以下の説明では、三次元空間の光線集合であるライトフィールドの情報を光線情報又はＲＡＷデータという。

画像検索・生成装置１０１は、使用者により指定される情報に基づいて、ライトフィールドカメラ１で撮影された画像データに含まれる被写体を検索し、検索した被写体の奥行き方向の位置に合焦した画像データを生成する。なお、ライトフィールドカメラ１から被写体に向かう方向を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。

画像検索・生成装置１０１は、例えば、パーソナルコンピュータで実現される。この画像検索・生成装置１０１は、図１に示すように、演算処理部１１０及び記憶部１２０を有している。演算処理部１１０は、画像データの検索及び生成に関する制御を司る。記憶部１２０は、ライトフィールドカメラ１で取得されたＲＡＷデータや、このＲＡＷデータから生成される画像データ（この画像データに付加される付随情報を含む）などを記憶する。なお、本実施形態では、画像データに付加される付随情報はＥＸＩＦ情報(Exchangeable Image file Format)である。ＥＸＩＦ情報には、例えば、画像データごとに付加される撮影シーンの情報（ポートレート、風景など）、画像データ中の被写体ごとに付加される、被写体の種別（種類）を示す被写体種別データ、画像データ中の被写体ごとに付加される、個々の被写体を識別するための被写体識別データ、被写体ごとに付加される、被写体の合焦位置の情報（つまりライトフィールドカメラ１から被写体までの距離を示す距離データ）が含まれる（後述する図８参照）。また、被写体識別データには、被写体の特徴点や被写体の名称などが含まれる。

被写体の特徴点とは、被写体が同一の被写体であるか異なる被写体であるかを識別するための被写体の特徴的な情報のことをいう。例えば、被写体が人物の場合における人物の顔の形、目の形、目と鼻の位置関係などの情報が特徴点とされ、また、被写体が建物である場合における建物の色や形状などの情報が特徴点とされる。

演算処理部１１０は、図１に示すように、表示制御部１１１、画像入力部１１２、操作制御部１１３、及び演算部１１４を有している。表示制御部１１１は、例えば液晶表示ディスプレイのような表示装置１０２の表示画面５００に、使用者が画像データの検索を行うための画像検索画面（図１１〜図１３参照）を表示する制御を行う。画像検索画面は、使用者が画像を検索するときに用いるグラフィカルユーザインタフェイス（ＧＵＩ）である。また、表示制御部１１１は、複数の画像データに含まれる複数の被写体を検出し、検出した複数の被写体の画像データを切り出す。そして、表示制御部１１１は、切り出した複数の被写体の画像データに基づく画像を、表示装置１０２の表示画面５００の第１表示領域（被写体一覧を表示するための第１表示領域５０１；図１１参照）に表示する制御を行う。

また、表示制御部１１１は、使用者によるマウス１０４などの操作（例えばドラッグアンドドロップ操作）によって、第１表示領域に表示されている複数の被写体の画像データに基づく画像を、表示装置１０２の表示画面５００の第２表示領域（検索対象の被写体を表示するための第２表示領域５０２；図１１参照）に移動させる制御を行う。また、表示制御部１１１は、使用者によるマウス１０４などの操作（例えばドラッグアンドドロップ操作）によって、複数の被写体の画像データに基づく画像の奥行き方向の表示位置を変更する制御を行う。

画像入力部１１２は、ライトフィールドカメラ１と接続されることにより、このライトフィールドカメラ１に記憶されているＲＡＷデータ及び画像データ（付随情報を含む）を入力する。この画像入力部１１２は、ライトフィールドカメラ１から入力したＲＡＷデータ及び画像データ（付随情報を含む）を記憶部１２０における画像データ記憶領域に記憶する。なお、画像入力部１１２は、インターネットなど通信ネットワーク（図示せず）を通じてＲＡＷデータなど（ＲＡＷデータ、画像データ）を取得し、取得したＲＡＷデータなどを記憶部１２０における画像データ記憶領域に記憶することも可能である。

操作制御部１１３は、使用者が操作可能な操作部を構成するキーボード１０３及びマウス１０４と接続される。この操作制御部１１３は、使用者によるキーボード１０３やマウス１０４の操作に応じて情報を入力し、その情報を表示制御部１１１や演算部１１４に出力する。

演算部１１４は、図１に示すように、画像生成部１１４ａ、検出部１１４ｂ、指定部１１４ｃ、及び検索部１１４ｄを備えている。画像生成部１１４ａは、ライトフィールドカメラ１からＲＡＷデータを取得した際に（図６のステップＳ１参照）、ＲＡＷデータに基づいて合焦位置が異なる複数の画像データを生成する。また、画像生成部１１４ａは、合焦位置が異なる複数の画像データに対して、色信号処理（色調補正）、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する。また、画像生成部１１４ａは、後述する検索部１１４ｄが検索条件に対応する被写体（検索対象の被写体）を含む画像データを検索した際に（図１０のステップＳ１９参照）、ＲＡＷデータに基づいて検索部１１４ｄで検索された被写体の奥行き方向の位置に合焦した画像データを生成する。

検出部１１４ｂは、ライトフィールドカメラ１からＲＡＷデータを取得した際に（図６のステップＳ１参照）、画像生成部１１４ａがＲＡＷデータに基づいて生成した画像データ中の１つ又は複数の被写体（以下、登録対象の被写体という。）を検出する。また、検出部１１４ｂは、検出した登録対象の被写体の特徴点を抽出する。そして、検出部１１４ｂは、抽出した登録対象の被写体の特徴点と、記憶部１２０に記憶されている１つ又は複数の画像データに含まれる複数の被写体の特徴点とを順次照合して、検出した登録対象の被写体と同じ被写体を含む画像データが記憶部１２０内に存在するか否かを判定する。

検出部１１４ｂは、登録対象の被写体と同じ被写体を含む画像データが記憶部１２０内に存在しないと判定した場合は、登録対象の被写体を含む画像データのＥＸＩＦ情報に新たな被写体種別データ及び被写体識別データを被写体ごとに付加する。一方、検出部１１４ｂは、登録対象の被写体と同じ被写体を含む画像データが記憶部１２０内に存在すると判定した場合は、登録対象の被写体を含む画像データのＥＸＩＦ情報に、記憶部１２０内の画像データに付加されているＥＸＩＦ情報の被写体種別データ及び被写体識別データと同じデータを被写体ごとに付加する。なお、検出部１１４ｂは、登録対象の被写体を含む画像データのＥＸＩＦ情報に、画像データごとの撮影シーンの情報も付加する。

また、検出部１１４ｂは、登録対象の被写体の奥行き方向の位置（被写体の合焦位置）を検出する。検出部１１４ｂは、登録対象の被写体を含む画像データのＥＸＩＦ情報に、登録対象の被写体の奥行き方向の位置を示す距離データ（合焦位置）を被写体ごとに付加する。演算部１１４は、ＲＡＷデータとともに、ＥＸＩＦ情報が付加された画像データを記憶部１２０に記憶する。

指定部１１４ｃは、使用者が画像データを検索する際に、画像データの検索条件を指定する。具体的には、操作制御部１１３は、使用者が画像データを検索するためにキーボード１０３やマウス１０４の操作に合わせて入力する情報を演算部１１４に出力する。指定部１１４ｃは、操作制御部１１３からの情報を入力し、入力した情報を画像データの検索条件として指定する。検索条件は、上述した被写体種別データ（人物、家、木、山など）、被写体識別データ（被写体の特徴点、被写体の名称）、及び被写体の奥行き方向の位置のうちの少なくともいずれか１つの情報である。

検索部１１４ｄは、記憶部１２０に記憶されている画像データの中から、指定部１１４ｃで指定された検索条件に対応する被写体を含む画像データを検索する。なお、表示制御部１１１は、検索部１１４ｄの画像検索結果である画像の一覧を表示装置１０２の表示画面５００に表示する。

なお、演算処理部１１０における表示制御部１１１、画像入力部１１２、操作制御部１１３、及び演算部１１４（画像生成部１１４ａ、検出部１１４ｂ、指定部１１４ｃ、検索部１１４ｄ）のそれぞれの構成は、ＣＰＵ（Central Processing Unit）などの制御装置が記憶部１２０に記憶されている制御プログラム（画像生成プログラム、画像検索プログラム）に従って実行する処理又は制御に相当する。

記憶部１２０には、ＲＡＷデータ及び画像データ（付随情報）を記憶するための画像データ記憶領域が形成されている。また、記憶部１２０には、表示制御部１１１による画像検索画面などの表示に必要な各種情報が記憶されている。また、記憶部１２０には、上記したように、演算処理部１１０における表示制御部１１１、画像入力部１１２、操作制御部１１３、及び演算部１１４の処理を実行させるための制御プログラム（画像生成プログラム、画像検索プログラム）なども記憶されている。

次に、図１に示したライトフィールドカメラ１の構成について説明する。図２は、撮像装置の一例であるライトフィールドカメラ１における光学系部分の概略構成を示す断面図である。なお、図２において、紙面の右方向（光軸方向）をＸ軸とし、Ｘ軸と直交する紙面の上方向をＺ軸とし、Ｘ軸及びＺ軸と直交する紙面の裏から表に向かう方向をＹ軸としている。また、図２は、ライトフィールドカメラ１における光学系部分を光軸を含む面で切断したときの断面図である。

なお、ライトフィールドカメラ１の代表的な機能としては、撮影後の後処理によって焦点距離を変更した画像を生成するリフォーカス機能がある。従って、ライトフィールドカメラ１はリフォーカスカメラとも呼ばれる。

本実施形態のライトフィールドカメラ１は、その光学系部分として、撮影光学系（結像光学系）１１及びマイクロレンズアレイ１２を備えている。なお、図２には、ライトフィールドカメラ１における光学系部分以外の構成である撮像素子２０についても示している。

撮影光学系１１は、複数のレンズ群で構成される単焦点レンズである。撮影光学系１１は、被写体からの光束をその焦点面（結像面）近傍に結像する。また、撮影光学系１１は、撮影時に絞り値（Ｆ値）を制御する開口絞り（不図示）を備えている。なお、絞り値は撮影後の画像の再構成によって変更することができるため、開口絞りの開口径は固定でもよい。図２に示すように、撮影光学系１１の焦点面近傍にマイクロレンズアレイ１２と撮像素子２０とが順に配置されている。

マイクロレンズアレイ１２は、正のパワーを有した複数のマイクロレンズ（正レンズ）が二次元状に配置された構成となっている。なお、図２に示すマイクロレンズアレイ１２においては、３つのマイクロレンズだけがＺ軸方向に配されているが、実際はＺ軸方向及びＹ軸方向に多数のマイクロレンズが配されている。

撮像素子２０は、マイクロレンズアレイ１２の後側（撮影光学系１１の反対側）に若干の間隔をおいて配置されている。この撮像素子２０は、マイクロレンズアレイ１２の各マイクロレンズを通過した光束を複数の光電変換素子で受光し、各々の光電変換素子が受光した光束を光電変換して複数の画素信号を生成する。複数の光電変換素子はマトリックス状に配列され、各々の光電変換素子が画素を形成する。本実施形態では、撮像素子２０は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)などの二次元固体撮像素子で構成されている。

図２の部分拡大図に示す例では、複数のマイクロレンズ１２ａ，１２ｂ，１２ｃの各々の後側に複数個ずつ画素が配列されている。具体的には、マイクロレンズ１２ａの後側に３つの画素２１ａ，２１ｂ，２１ｃが配列され、マイクロレンズ１２ｂの後側に３つの画素２２ａ，２２ｂ，２２ｃが配列され、マイクロレンズ１２ｃの後側に３つの画素２３ａ，２３ｂ，２３ｃが配列されている。

３つの画素２１ａ，２１ｂ，２１ｃがマイクロレンズ１２ａに対応する画素２１であり、３つの画素２２ａ，２２ｂ，２２ｃがマイクロレンズ１２ｂに対応する画素２２であり、３つの画素２３ａ，２３ｂ，２３ｃがマイクロレンズ１２ｃに対応する画素２３である。なお、図２の部分拡大図では、各マイクロレンズ１２ａ，１２ｂ，１２ｃに対応する画素として３つの画素を示しているが、実際はＺ軸方向及びＹ軸方向に多数の画素が配列されている（後述する図３参照）。

次に、図２を参照してライトフィールドカメラ１によるライトフィールドの取得について簡単に説明する。図２において、Ａの位置にある被写体が撮影光学系１１によってマイクロレンズアレイ１２の位置に焦点を結ぶものとする。被写体上の点Ａ１からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｃで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｂで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ａで受光される。

同様に、被写体上の点Ａ２からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｃで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｂで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ａで受光される。

さらに、被写体上の点Ａ３からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｃで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｂで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ａで受光される。このように、Ａの位置にある被写体からの光線は、マイクロレンズ１２ａ，１２ｂ，１２ｃの後側に位置する撮像素子２０の画素で受光されることによって明るさと進行方向とが光線情報として取得される。

マイクロレンズ１２ａ，１２ｂ，１２ｃそれぞれに対応する３つの画素のうち、下側の画素２１ｃ，２２ｃ，２３ｃの画素信号で生成される画像は、部分領域１１ａを通過した光線による像である。また、真中の画素２１ｂ，２２ｂ，２３ｂの画素信号で生成される画像は、部分領域１１ｂを通過した光線による像である。また、上側の画素２１ａ，２２ａ，２３ａの画素信号で生成される画像は、部分領域１１ｃを通過した光線による像である。例えば各マイクロレンズに対応する画素数がＮ個である場合、マイクロレンズに対して同じ位置にある画素の画素値を配列して構成されるＮ個の再構成画像は、撮影光学系１１をＮ個の部分領域に分割して取得されるＮ個のステレオ画像群を形成する。

図３は、撮像素子２０の画素配列と入射領域とを説明する図である。なお、図３では図２のＸ軸方向から撮像素子２０を観察した様子を示す。図３に示す撮像素子２０において、画素が配列された領域を画素領域２００という。画素領域２００には例えば１０００万個以上もの画素がマトリックス状に配列されている。画素領域２００における円形の領域は、１つのマイクロレンズを通過した光線が入射する領域である。従って、円形の領域は、複数のマイクロレンズごとに複数形成される。これらの領域を入射領域２０１，２０２・・・という。なお、マイクロレンズは例えば５８６×４４０個配置される。ただし、このような配置数は一例であって、これよりも多い数でも少ない数でもよい。図３に示す例では、１つのマイクロレンズの直径は１３画素分となっている。ただし、このような画素数分に限定されるわけではない。

上述したように、ライトフィールドカメラ１は、すべてのマイクロレンズから入射領域における同じ位置（入射領域内におけるＹ軸方向及びＺ軸方向の同じ位置）にある画素の画素値を抽出して再構成する。このようにして得られた再構成画像群は、撮影光学系１１の異なる部分領域から被写体を観察した画像群に相当する。従って、これらの再構成画像群においては、部分領域の位置と被写体までの距離に応じた視差を有する。例えば、図３に示すように、入射領域２０１における画素２０１ａと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像と、入射領域２０１における画素２０１ｂと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像とで視差を有する。

図４は、ライトフィールドカメラ１の構成を示すブロック図である。図４に示すライトフィールドカメラ１は、撮像部１０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及びシステム制御部７０を備える。撮像部１０は、撮影光学系１１、マイクロレンズアレイ１２、駆動制御部１３、撮像素子２０、及び駆動部２１を有している。撮影光学系１１及びマイクロレンズアレイ１２は、図２において説明したため、図４においては説明を省略する。

撮像素子２０の撮像面には、例えばベイヤー配列のカラーフィルタアレイが配置されている。撮像素子２０は、撮影光学系１１及びマイクロレンズアレイ１２を通過した光束を入射する。撮像素子２０は、入射した光束を光電変換してアナログ信号の各画素の画素信号を生成する。撮像部１０において、不図示のアンプがアナログ信号の各画素の画素信号を所定の利得率（増幅率）で増幅する。また、不図示のＡ／Ｄ変換部がアンプにより増幅されたアナログ信号の各画素の画素信号をデジタル信号の各画素の画素信号に変換する。そして、撮像部１０は、デジタル信号の各画素の画素信号からなるＲＡＷデータを画像処理部３０に出力する。上記したライトフィールドカメラ１が取得する光線情報は、撮像部１０から出力されるＲＡＷデータで特定される。

駆動制御部１３は、撮影光学系１１が備える開口絞りの開口径調節を行うために、システム制御部７０から送信される制御情報に基づいて開口絞りの駆動制御を実行する。駆動部２１は、システム制御部７０からの指示信号に基づいて設定される撮像条件で撮像素子２０の駆動を制御する制御回路である。撮像条件としては、例えば、露光時間（シャッター速度）、フレームレート、ゲインなどがあげられる。

ここで、露光時間とは、撮像素子２０の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。また、ゲインとは、画素信号を増幅するアンプの利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子２０の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子２０が光をとらえる能力を表す値となる。

画像処理部３０は、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。画像処理部３０が生成する画像データには、静止画、動画、ライブビュー画像の画像データが含まれる。ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部１０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。

画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して所定の画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。具体的には、画像処理部３０は、次に示す画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。

図５は、画像の再構成を説明する図である。図５に示すように、画像処理部３０は、画素領域２００における各入射領域２０１，２０２・・・に対して同じ位置にある画素２０１ａ，２０２ａ・・・の画素値（画素信号が示す値）を抽出する。画像処理部３０は、抽出した画素値を並べ直して再構成画像データ４００ａを生成する。各入射領域２０１，２０２・・・に対応する画素数がＮ個である場合、Ｎ個の再構成画像データが生成される。

画像処理部３０は、Ｎ個の再構成画像データ群を所定の焦点距離に合わせて所定量だけ平行移動させる。そして、画像処理部３０は、平行移動後のＮ個の再構成画像データ群を加算平均する。これにより、所定の焦点距離に設定された画像データが生成される。移動量に応じた奥行きに存在する被写体は像の位置が合うのでシャープな輪郭の像が形成される。移動量に応じた奥行きに存在しない被写体の像はぼける。なお、上記した画像処理は一例であって、画像処理部３０は上記した画像処理とは異なる画像処理を実行することにより、任意の焦点距離に設定された画像データを生成してもよい。例えば、画像処理部３０は、撮像素子２０の各画素が取得する光線を所定の演算を行うことによって算出する。そして、画像処理部３０は、算出した光線を所定の焦点距離に設定した仮想的な画像面に投影することにより、所定の焦点距離に設定された画像データを生成する。

本実施形態においては、画像処理部３０は、最も手前の被写体に合焦した画像データ、最も奥の被写体に合焦した画像データ、中間位置の被写体に合焦した画像データなど、焦点位置（焦点距離）が異なる複数の画像データを生成する。

画像処理部３０は、ワークメモリ４０をワークスペースとして、任意の焦点に設定された画像データに対して種々の画像処理を施す。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像データを生成する。また、画像処理部３０は、ＲＧＢ画像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。

ワークメモリ４０は、画像処理部３０による画像処理が行われる際にＲＡＷデータや画像データなどを一時的に記憶する。表示部５０は、撮像部１０で撮像された画像や各種情報を表示する。この表示部５０は、例えば液晶表示パネルなどで構成された表示画面５１を有している。なお、表示部５０に表示される画像には、静止画、動画、ライブビュー画像が含まれる。

操作部５５は、使用者によって操作されるレリーズスイッチ（静止画の撮影時に押されるスイッチ）、動画スイッチ（動画の撮影時に押されるスイッチ）、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。

システム制御部７０は、ライトフィールドカメラ１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Central Processing Unit）を有する。システム制御部７０は、画像処理部３０で生成された画像データを表示部５０に出力させて、表示部５０の表示画面５１に画像（ライブビュー画像、静止画、動画）を表示させる制御を行う。また、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させ、表示部５０の表示画面５１に画像を表示させる制御を行う。

また、システム制御部７０は、撮像素子２０の撮像面（画素領域２００）において所定の撮像条件（露光時間、フレームレート、ゲインなど）で撮像を行わせるために、所定の撮像条件を指示する指示信号を駆動部２１に対して出力する。また、システム制御部７０は、画像処理部３０に所定の制御パラメータ（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行させるために、制御パラメータを指示する指示信号を画像処理部３０に出力する。また、システム制御部７０は、ＲＡＷデータを記録部６０に出力させて、記録部６０にＲＡＷデータを記録させる制御を行う。また、システム制御部７０は、画像処理部３０で生成された画像データを記録部６０に出力させて、記録部６０に画像データを記録させる制御を行う。なお、システム制御部７０は、上記の制御の他に、撮影光学系１１に備えられた開口絞りの開口径調節などの制御も行う。

次に、画像検索・生成装置１０１における演算処理部１１０の演算部１１４が実行する画像処理について説明する。図６は、図１に示す演算部１１４が実行する画像処理を説明するためのフローチャートである。なお、ライトフィールドカメラ１が画像検索・生成装置１０１に接続されることにより、ライトフィールドカメラ１の記録部６０に記録されたＲＡＷデータがライトフィールドカメラ１に出力され、画像入力部１１２を介して記憶部１２０の画像データ記憶領域に記憶される。

図６に示す処理において、演算部１１４の画像生成部１１４ａは、記憶部１２０の画像データ記憶領域に記憶されたＲＡＷデータを取得する（ステップＳ１）。そして、画像生成部１１４ａは、取得したＲＡＷデータに基づいて所定の合焦位置（焦点距離、焦点位置）の画像データを生成する（ステップＳ２）。ここで、画像生成部１１４ａは、画像処理部３０がＲＡＷデータに基づいて画像データを生成する方法（図５参照）と同様の方法を用いて、所定の合焦位置の画像データを生成する。

具体的には、上述したように、画像生成部１１４ａは、図５で説明したように、画素領域２００における各入射領域に対して同じ位置にある画素の画素値を抽出し、抽出した画素値を再構成して複数個の再構成画像データ群を生成する。そして、画像生成部１１４ａは、複数個の再構成画像データ群を所定の合焦位置に合わせて平行移動させ、平行移動後の複数個の再構成画像データ群を加算平均する。これにより、所定の合焦位置に設定された画像データが生成される。ステップＳ２において、画像生成部１１４ａは、すべての被写体に対して合焦したパンフォーカスの画像データを生成する。また、ステップＳ２で生成される画像データは、静止画、動画、ライブビュー画像の画像データが含まれる。

図７は、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ４との距離関係を示す図である。図７に示す例では、ライトフィールドカメラ１はカメラ位置ｄ０に位置している。また、被写体である人物Ｏ１は合焦位置ｄ１に位置している。また、被写体である人物Ｏ２は合焦位置ｄ２に位置し、被写体である木Ｏ３は合焦位置ｄ３に位置し、被写体である家Ｏ４は合焦位置ｄ４に位置している。なお、図７において、ライトフィールドカメラ１から被写体Ｏ１〜Ｏ４に向かう方向（矢印の方向）を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。画像生成部１１４ａは、ステップＳ２において、例えば各合焦位置ｄ１〜ｄ４における４つの画像データを生成する。

次に、画像生成部１１４ａは、ステップＳ２で生成した所定の合焦位置の画像データに対して、色信号処理（色調補正）、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する（ステップＳ３）。なお、画像生成部１１４ａにより実行される各種画像処理は、上述した画像処理部３０により実行される各種画像処理と同様である。

また、検出部１１４ｂは、生成した画像データ（例えばパンフォーカスの画像データ）から１つ又は複数の被写体を検出する（ステップＳ４）。本実施形態では、検出部１１４ｂは、人物の被写体に対しては、公知の顔検出機能を用いて被写体の検出を行う。また、検出部１１４ｂは、人物以外の被写体に対しては、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の領域の境界を特定して被写体を検出する。なお、検出部１１４ｂは、移動する被写体（移動被写体）に対しては、時系列的に得られる複数の画像データを比較して移動被写体を検出してもよい。また、検出部１１４ｂは、顔検出に加えて、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を被写体として検出してもよい。

また、検出部１１４ｂは、検出した登録対象の被写体の特徴点を抽出する。そして、検出部１１４ｂは、抽出した登録対象の被写体の特徴点と、記憶部１２０に記憶されている１つ又は複数の画像データに含まれる複数の被写体の特徴点とを順次照合して、検出した登録対象の被写体と同じ被写体を含む画像データが記憶部１２０内に存在するか否かを判定する（ステップＳ５）。そして、検出部１１４ｂは、その判定結果に基づいて、画像データにＥＸＩＦ情報を被写体ごとに付加する。

図８は、画像データに付加されるＥＸＩＦ情報の例を示す図である。なお、図８に示すＥＸＩＦ情報は、ライトフィールドカメラ１が図７に示す距離関係の被写体Ｏ１〜Ｏ４を撮像したときのＲＡＷデータに基づいて生成された画像データ（例えばＪＰＥＧ形式の画像データ）のＥＸＩＦ情報である。図８に示す例において、検出部１１４ｂは、登録対象の被写体Ｏ１，Ｏ２と同じ被写体を含む画像データが記憶部１２０内に存在する場合は、登録対象の被写体Ｏ１，Ｏ２を含む画像データのＥＸＩＦ情報に、記憶部１２０内の画像データに付加されているＥＸＩＦ情報の被写体種別データ（図８中「人物」）及び被写体識別データ（図８中「Ｘ、ａａ」「Ｙ、ｂｂ」）と同じデータを被写体Ｏ１，Ｏ２ごとにそれぞれ付加する。

ここで、図８の「Ｘ」は人物Ｏ１の名称（例えば人物Ｏ１の名前、愛称）を示し、「ａａ」は人物Ｏ１の特徴点の情報を示す。また、「Ｙ」は人物Ｏ２の名称（例えば人物Ｏ２の名前、愛称）を示し、「ｂｂ」は人物Ｏ１の特徴点の情報を示す。

また、図８に示す例において、検出部１１４ｂは、登録対象の被写体Ｏ３，Ｏ４と同じ被写体が記憶部１２０内に存在しない場合は、登録対象の被写体Ｏ３，Ｏ４を含む画像データのＥＸＩＦ情報に新たな被写体種別データ（図８中「木」「家」）及び被写体識別データ（図８中「ｃｃ」「ｄｄ」）を被写体ごとにそれぞれ付加する。ここで、図８の「ｃｃ」は木Ｏ３の特徴点の情報を示す。また、「ｄｄ」は家Ｏ４の特徴点の情報を示す。なお、図８において、木Ｏ３及び家Ｏ４には名称が付加されていないが、解析部１１４ｂは自動的に又は使用者による操作に応じて木Ｏ３及び家Ｏ４に名称を付加してもよい。

なお、検出部１１４ｂは、登録対象の被写体を含む画像データのＥＸＩＦ情報に、画像データごとの撮影シーンの情報も付加する。解析部１１４ｂは、公知のシーン認識技術により撮影シーンを判定し、判定した撮影シーンを画像データにＥＸＩＦ情報として登録する。図８に示す例では、撮影シーンの情報として「ポートレート」が登録されている。

次に、検出部１１４ｂは、登録対象の被写体までの距離（合焦位置、焦点距離）を検出する（ステップＳ６）。例えば、検出部１１４ｂは、複数の再構成画像データ（例えば入射領域における２つの特定位置の画素の画素値から構成される再構成画像データ）における各被写体の視差を検出し、検出した視差に基づいて各被写体までの距離を算出する。

図８に示す例では、検出部１１４ｂは、ライトフィールドカメラ１から人物Ｏ１までの距離をｄ１と検出し、ライトフィールドカメラ１から人物Ｏ２までの距離をｄ２と検出し、ライトフィールドカメラ１から木Ｏ３までの距離をｄ３と検出し、ライトフィールドカメラ１から家Ｏ４までの距離をｄ４と検出する。検出部１１４ｂは、被写体Ｏ１〜Ｏ４を含む画像データのＥＸＩＦ情報に、各被写体Ｏ１〜Ｏ４までの距離を示す距離データを被写体Ｏ１〜Ｏ４ごとに付加する。その後、演算部１１４は、ＲＡＷデータとともに、ＥＸＩＦ情報が付加された画像データを記憶部１２０に記憶する（ステップＳ７）。なお、ＲＡＷデータと画像データとは、演算部１１４により関連付けられて記憶部１２０に記憶される。

次に、第１実施形態に係る演算処理部１１０による画像検索・生成処理について説明する。図９は、記憶部１２０に記憶されている画像６０１〜６０３の表示例を示す図である。図９（１）に示す画像６０１には、人物Ｏ１と人物Ｏ２と木Ｏ３と家Ｏ４とが写っている。なお、画像６０１は、ライトフィールドカメラ１が図７に示す距離関係の被写体Ｏ１〜Ｏ４を撮像したときの画像である。従って、画像６０１のＥＸＩＦ情報は図８に示す内容となっている。図９（２）に示す画像６０２には、人物Ｏ１と人物Ｏ２と山Ｏ５とが写っている。図９（２）に示すように、画像６０２において、人物Ｏ２が最も手前側に位置しており、人物Ｏ１は人物Ｏ２よりも奥側に位置しており、山Ｏ５が最も奥側に位置している。図９（３）に示す画像６０３には、木Ｏ３と山Ｏ５とが写っている。図９（３）に示すように、画像６０３において、木Ｏ３が手前側に位置しており、山Ｏ５が奥側に位置している。なお、図９（１）及び（２）に示す画像６０１，６０２は、撮影シーンが「ポートレート」であり、図９（３）に示す画像６０３は、撮影シーンが「風景」である。

図１０は、演算処理部１１０が実行する画像検索・生成処理を説明するためのフローチャートである。図１０に示す処理において、使用者によるキーボード１０３やマウス１０４の操作に応じて、制御プログラム（例えば画像検索・生成を行うためのアプリケーションソフトウェア）が起動されると、表示制御部１１１は、画像検索画面を記憶部１２０から読み出して表示装置１０２の表示画面５００に表示させる（ステップＳ１１）。

図１１〜図１３は、第１実施形態の画像検索画面の表示例を示す図である。表示制御部１１１は、ステップＳ１１において、図１１（１）に示すような画像検索画面を表示装置１０２の表示画面５００に表示する。

次に、表示制御部１１１は、画像データ（ＥＸＩＦ情報が付加された画像データ）を記憶部１２０から読み出して取得し、演算部１１４は、ＲＡＷデータ及び画像データ（ＥＸＩＦ情報が付加された画像データ）を記憶部１２０から読み出して取得する（ステップＳ１２）。図９に示す例では、画像６０１〜６０３に対応する画像データが表示制御部１１１によって読み出され、画像６０１〜６０３に対応するＲＡＷデータ及び画像データが演算部１１４によって読み出される。

表示制御部１１１は、複数の画像データに含まれる複数の被写体を検出し、検出した複数の被写体の画像データ（例えば被写体種別データ、被写体識別データ、距離データが付加された被写体の画像データ）を切り出す。そして、表示制御部１１１は、切り出した複数の被写体の画像データに基づく画像を、表示装置１０２の表示画面５００の第１表示領域５０１に一覧表示する（ステップＳ１３）。図１１（１）に示す例では、表示制御部１１１は、複数の画像６０１〜６０３に含まれる複数の被写体Ｏ１〜Ｏ５を検出し、検出した被写体Ｏ１〜Ｏ５の画像データを切り出す。そして、表示制御部１１１は、切り出した複数の被写体Ｏ１〜Ｏ５の画像データに基づく画像を第１表示領域５０１に一覧表示する。このとき、表示制御部１１１は、被写体ごとに付加される被写体識別データ（特徴点、名称）に基づいて、複数の画像データに別々に存在する同一の被写体を識別する。そして、表示制御部１１１は、同一の被写体については１つの画像だけを第１表示領域５０１に表示する。

使用者は、検索対象の被写体を指定する場合は、被写体の画像に対してマウス１０４のドラッグアンドドロップ操作を行うことにより、第１表示領域５０１に一覧表示されている被写体の画像の中から検索対象の被写体の画像を選択し、選択した被写体の画像を第２表示領域５０２に移動させる。なお、第２表示領域５０２は、検索対象の被写体を表示するための表示領域である。

このような使用者によるマウス１０４の操作に応じて、演算部１１４の指定部１１４ｃは、第２表示領域５０２に移動された被写体を検索対象の被写体として特定する。具体的には、指定部１１４ｃは、操作制御部１１３からの情報に基づいて、被写体が第２表示領域５０２に移動されたことを認識する。また、指定部１１４ｃは、第２表示領域５０２に移動された被写体の画像データに付加されている被写体識別データに基づいて被写体を識別する。そして、指定部１１４ｃは、識別した被写体の被写体識別データ（特徴点、名称）を検索対象の被写体として指定（設定）する。

また、使用者によるマウス１０４の操作に応じて、表示制御部１１１は、第１表示領域５０１に表示されている被写体の画像を第２表示領域５０２に移動表示させる。図１１（２）に示す例では、人物Ｏ１の画像と人物Ｏ２の画像とが第１表示領域５０１から第２表示領域５０２に移動されている。この場合、画像の検索条件として、人物Ｏ１及び人物Ｏ２の画像を含む画像が指定されたことになる。

表示制御部１１１は、検索対象の被写体が指定されたか否か（つまり、被写体の画像が第２表示領域５０２に移動されたか否か）を判定する（ステップＳ１４）。表示制御部１１１は、検索対象の被写体が指定されていないと判定した場合は、処理を終了する。一方、表示制御部１１１は、検索対象の被写体が指定されたと判定した場合は、操作制御部１１３からの情報に基づいて、画像検索画面の右上に配置されている詳細指定ボタン５０３が押されたか否か（マウス１０４でクリックされたか否か）を判定する（ステップＳ１５）。

表示制御部１１１は、詳細指定ボタン５０３が押されたと判定した場合は、図１２（３）に示すように、第１表示領域５０１を消去し、第２表示領域５０２を拡大し、さらに検索対象の被写体の画像を斜め上から俯瞰したときの俯瞰図３００を第２表示領域５０２に表示する（ステップＳ１６）。図１２（３）に示す例では、俯瞰図３００上に人物Ｏ１及び人物Ｏ２の画像が奥行き方向の中心位置付近に並んで表示されている。

使用者は、画像の検索条件として、複数の検索対象の被写体における奥行き方向の相対位置（ある被写体が他の被写体よりも奥行き方向の手前側か奥側か）を指定することができる。具体的には、使用者は、被写体の画像に対してマウス１０４のドラッグアンドドロップ操作を行うことにより、俯瞰図３００上における複数の検索対象の被写体のいずれか一方又は双方の奥行き方向の位置を移動させる。このような使用者によるマウス１０４の操作に応じて、表示制御部１１１は、俯瞰図３００上における検索対象の被写体の奥行き方向の表示位置を変更する（ステップＳ１７）。

図１２（４）に示す例では、使用者によるマウス１０４の操作によって、人物Ｏ１の画像が人物Ｏ２の画像よりも奥行き方向の手前側（近距離側）の位置に移動されている。これにより、画像の検索条件として、人物Ｏ１及び人物Ｏ２の画像を含み、かつ、人物Ｏ１の画像が人物Ｏ２の画像よりも手前側に位置していることが指定されたことになる。指定部１１４ｃは、複数の検索対象の被写体における奥行き方向の相対位置も検索条件として指定（設定）する。

使用者は、画像の検索条件を指定した後に、画像の検索条件に適合した画像の検索を実行する場合は、画像検索画面の右下に配置されている検索ボタン５０４を押す（マウス１０４でクリックする）。検索部１１４ｄは、操作制御部１１３からの情報に基づいて、検索ボタン５０４が押されたか否か（マウス１０４でクリックされたか否か）を判定する（ステップＳ１８）。なお、使用者は、複数の検索対象の被写体における奥行き方向の位置を元の位置に戻したい場合は、図１２（４）に示す画像検索画面の右下に配置されている「元に戻す」ボタン５０５（検索ボタン５０４の横に配置されているボタン）をマウス１０４でクリックする。

検索部１１４ｄは、検索ボタン５０４が押されたと判定した場合は、画像検索を実行する（ステップＳ１９）。すなわち、検索部１１４ｄは、記憶部１２０に記憶されている画像データの中から、指定部１１４ｃにより指定された検索条件に適合する画像データを検索する。また、画像生成部１１４ａは、検索条件に対応する合焦位置及び被写界深度の範囲の画像データを生成する（ステップＳ２０）。なお、被写界深度とは、焦点が合っているように見える被写体の焦点距離の範囲のことをいう。具体的には、画像生成部１１４ａは、検索条件が人物Ｏ１及び人物Ｏ２を含むことである場合は、例えば図１３（５）に示すように、合焦位置は人物Ｏ１の合焦位置ｄ１と人物Ｏ２の合焦位置ｄ２との中間の位置ｄＡとし、また被写界深度の範囲が人物Ｏ１の合焦位置ｄ１と人物Ｏ２の合焦位置ｄ２とを含む範囲（位置ｄ１１から位置ｄ１２までの範囲）である画像データを生成する。これにより、使用者が確認したい被写体を直ちに表示させることができる。

そして、表示制御部１１１は、図１３（６）に示すように、検索部１１４ｄによる画像検索結果の画像（検索条件に適合する画像データに基づく画像）を、画像検索結果を表示するための第３表示領域５０６に表示する（ステップＳ２１）。図１３（６）に示す例では、画像検索の結果として、図９（１）に示した画像６０１が表示されている。この画像６０１は、人物Ｏ１及び人物Ｏ２の画像を含み、かつ、人物Ｏ１の画像が人物Ｏ２の画像よりも手前側に位置している画像である。

その後、表示制御部１１１は、使用者によるマウス１０４の操作によって画像検索結果としての画像が選択されたか否かを判定する（ステップＳ２２）。画像が選択されたと判定した場合は、表示制御部１１１は、選択された画像を表示画面５００に表示する（ステップＳ２３）。

なお、画像生成部１１４ａは、ステップＳ２０において検索条件に応じた合焦位置及び被写界深度の画像データを生成する処理を行わずに、表示制御部１１１は、所定の合焦位置の画像をサムネイル表示してもよい。そして、画像生成部１１４ａは、ステップＳ２２において使用者により画像が選択されたときに、検索条件に応じた合焦位置及び被写界深度の画像データを生成し、表示制御部１１１が、その画像データに基づく画像を表示してもよい。なお、サムネイル表示される所定の合焦位置の画像としては、例えば、ステップＳ１２で取得された画像データ（パンフォーカスの画像データ）に基づく画像でもよく、また検索条件で指定された被写体（複数の被写体が指定された場合は複数の被写体のいずれか）に合焦した画像でもよい。

また、画像生成部１１４ａは、検索条件に応じた合焦位置及び被写界深度の画像データとして、検索条件として指定されたすべての被写体の位置が被写界深度の範囲内に含まれる画像データを生成していた。しかし、画像生成部１１４ａは、検索条件として指定された複数の被写体のうちのいずれか１つまたは複数の被写体の位置が被写界深度の範囲内に含まれる画像データを生成してもよい。また、画像生成部１１４ａは、検索条件として指定された複数の被写体のうちの最も手前の被写体に合焦した画像データを生成してもよい。

また、画像生成部１１４ａは、検索条件に応じた合焦位置及び被写界深度の画像データとして、パンフォーカスの画像を生成してもよい。また、検索部１１４ｄが検索条件に適合した画像データを検索することができなかった場合は、検索結果なしであることを報知する表示を行ってもよいし、また検索条件に類似する条件に適合した画像データを画像検索結果として表示してもよい。例えば、複数の被写体が検索条件として指定された場合は、そのうちの１つの被写体を含む画像データを画像検索結果として表示してもよい。

以上に説明したように、第１実施形態では、合焦位置を奥行き方向に変更可能な画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部１１４ｂと、検索対象の被写体に関する付随情報（例えばＥＸＩＦ情報）を指定する指定部１１４ｃと、指定部１１４ｃで指定された付随情報に対応する被写体を検索する検索部１１４ｄと、検索部１１４ｄで検索された被写体の奥行き方向の位置に応じて所定の合焦位置の画像データを生成する画像生成部１１４ａとを備える。このような構成によれば、合焦位置を奥行き方向に変更可能な画像に適した画像検索を行うことができ、さらに、検索対象の被写体の奥行き方向の位置に応じた合焦位置の画像データを生成することができる。これにより、使用者は、検索結果の画像が表示されたときに検索対象の被写体を直ちに確認することができる。

また、第１実施形態では、指定部１１４ｃは、付随情報として奥行き方向の位置を指定可能であり、検索部１１４ｄは、指定部１１４ｃで指定された位置に対応する被写体を検索する。このような構成によれば、使用者が検索対象の被写体に対して注目して撮影された画像を検索することができる。例えば、最も注目される主要被写体は最も手前に位置していることが多いので、検索対象の被写体が主要被写体となっている画像を検索することができる。

また、第１実施形態では、指定部１１４ｃは、複数の被写体における奥行き方向の相対位置を指定可能であり、検索部１１４ｄは、指定部１１４ｃで指定された相対位置に対応する複数の被写体を検索し、画像生成部１１４ａは、検出部１１４ｄで検索された複数の被写体のうちの少なくとも一方の奥行き方向の位置に合焦した画像データを生成する。このような構成によれば、より一層、複数の被写体の位置関係に着目した画像検索を行うことができるとともに、その検索結果を反映した画像データを生成することができる。

また、第１実施形態では、指定部１１４ｃは、複数の被写体における奥行き方向の相対位置を指定可能であり、検索部１１４ｄは、指定部１１４ｃで指定された相対位置に対応する複数の被写体を検索し、画像生成部１１４ａは、検出部１１４ｄで検索された複数の被写体の奥行き方向の位置を含む被写界深度の画像データを生成する。このような構成によれば、より一層、複数の被写体の位置関係に着目した画像検索を行うことができるとともに、その検索結果を反映した画像データを生成することができる。

また、第１実施形態では、合焦位置を奥行き方向に変更可能な一又は複数の画像データに含まれる被写体を検出するとともに、検出した被写体の奥行き方向の位置を検出する検出部１１４ｂと、検索対象の被写体の奥行き方向の位置を指定する指定部１１４ｃと、指定部１１４ｃで指定された位置に対応する被写体を含む画像データを検索する検索部１１４ｄとを備える。このような構成によれば、合焦位置を奥行き方向に変更可能な画像に適した画像検索を行うことができる。また、使用者が検索対象の被写体に対して注目して撮影された画像を検索することができる。

また、第１実施形態では、検出部１１４ｂで検出された複数の被写体を表示するとともに、指定部１１４ｃで指定される複数の被写体の相対位置に応じて該複数の被写体の表示位置を変更する表示制御部１１１を備える。このような構成によれば、使用者に対して複数の被写体の相対位置を明示することができ、使用者は複数の被写体の相対位置を確認しつつ検索条件を指定することができる。その結果、検索条件を指定する際の使用者の操作性が向上する。

＜第２実施形態＞
上記した第１実施形態では、検索対象の被写体と検索対象の被写体の位置関係とが検索条件として指定されていた。これに対して、第２実施形態では、文字入力により検索条件が指定される。

図１４は、第２実施形態の画像検索画面の表示例を示す図である。図１４に示すように、第２実施形態の画像検索画面においては、検索条件としての文字を入力する文字入力欄５１０が設けられている。図１４に示す例では、文字入力欄５１０には「人物」という文字が入力されている。

検索部１１４ｄは、文字入力欄５１０に「人物」が入力された場合は、ステップＳ１９において記憶部１２０に記憶されている画像データにおける被写体種別データが「人物」である画像データを検索する。そして、表示制御部１１１は、検索部１１４ｄによる画像検索結果を表示画面５００に表示する（ステップＳ２１）。図１４に示す例では、人物Ｏ１と人物Ｏ２の少なくとも一方を含む画像６０１，６０２が表示されている。

なお、文字入力欄５１０には、例えば、人物Ｏ１の名称である「Ｘ」が入力されたときは、検索部１１４ｄによって人物Ｏ１を含む画像データが検索される。

このように、検索部１１４ｄは文字入力によってもＥＸＩＦ情報（付随情報）に基づいて画像検索を行うことができる。なお、第２実施形態の画像検索と上記した第１実施形態の画像検索とを組み合わせて適用することができる。

図１５は、視差を有する画像の表示例を示す図である。図１５に示す例では、画像６０４においては、人物Ｏ１が左側に表示されている。また、棒Ｏ６が人物Ｏ１の右横に表示されている。また、人物Ｏ２が棒Ｏ６の斜め後ろに表示されている。また、木Ｏ３が右側に表示され、家Ｏ４が中心付近に表示されている。

上記したように、画像生成部１１４ａにより生成される再構成画像データ群は、被写体Ｏ１〜Ｏ４，Ｏ６に対して視差を有する。視差は、ライトフィールドカメラ１に近い被写体ほど大きく、ライトフィールドカメラ１に遠い被写体ほど小さくなる。従って、人物Ｏ１に対する視差が最も大きく、家Ｏ４に対する視差が最も小さい。図１５においては、人物Ｏ１及び棒Ｏ６における視差も示している。ある再構成画像データにおける人物Ｏ１’の位置と、他の再構成画像データにおける人物Ｏ１”の位置とが視差によって異なっている。また、ある再構成画像データにおける棒Ｏ６’の位置と、他の再構成画像データにおける棒Ｏ６”の位置とが視差によって異なっている。なお、図１５には示していないが、人物Ｏ２、木Ｏ３、及び家Ｏ４についても、複数の再構成画像データ間において視差を有する。

このような視差を有する画像データに基づいて、画像生成部１１４ａは、検索対象の被写体の手前に位置し、検索対象の被写体を隠す被写体を削除することができる。すなわち、画像生成部１１４ａは、検索対象の被写体（例えば人物Ｏ２）を隠す被写体（例えば暴俸Ｏ６）を削除し、削除した被写体の領域の画像データを視差を有する画像データで補完する。このような構成によれば、検索対象の被写体をより一層注目させることができる。

＜画像検索・生成システム＞
上記した各実施形態（第１実施形態、第２実施形態）及び変形例では、それぞれスタンドアローンの形態のシステムである。しかし、そのような形態のシステムには限定されない。例えばクライアントサーバシステムなどの通信ネットワークを通じて接続された画像表示システムＳＹＳについて説明する。以下の説明において、上記の第１〜第２実施形態と同一又は同等の構成部分については同一符号を付けて説明を省略または簡略化する。

図１６は、画像合成システムＳＹＳの構成を示すブロック図である。図１６に示すように、この画像表示システムＳＹＳは、クライアント端末１０１Ｂの演算処理部１１０Ｂにおいて、表示制御部１１１、画像入力部１１２、操作制御部１１３、及び通信部１１５を有している。これら表示制御部１１１、画像入力部１１２、及び操作制御部１１３は、図１に示した表示制御部１１１、画像入力部１１２、及び操作制御部１１３に相当する。また、図１６に示す記憶部１２０Ｂは、図１に示した記憶部１２０に相当する。

図１６に示すように、クライアント端末１０１Ｂの演算処理部１１０Ｂは、通信ネットワーク１８０を介してサーバ（画像検索装置、画像生成装置）１０６とデータを送受信する通信部１１５を有している。また、サーバ１０６の演算処理部１６０は、通信ネットワーク１８０を介してクライアント端末１０１Ｂとデータを送受信する通信部１６１を有している。また、演算処理部１６０の演算部１６２は、クライアント端末１０１Ｂからの要求に応じて、クライアント端末１０１Ｂから送信されるＲＡＷデータ及び画像データを記憶部１７０に蓄積する。そして、演算部１６２は、図１に示した演算部１１４と同様に、ＲＡＷデータ及び画像データに基づいて画像検索及び画像生成の制御を実行する。

なお、通信部１１５の構成や、演算処理部１６０における通信部１６１及び演算部１６２の構成は、ＣＰＵなどの制御装置が記憶部１２０Ｂ，１７０に記憶されている制御プログラムに従って処理を実行することにより実現される。

このような構成によれば、クライアント端末１０１Ｂが大容量のデータを記憶しておく必要がなくなり、データ管理を一元化できるなど、コストを低減させることができる。また、クライアント端末１０１Ｂの処理負担も軽減させることができる。

なお、図１６に示す画像表示システムＳＹＳでは、クライアント端末１０１Ｂの表示制御部１１１が表示制御を行っているが、これに限定されない。例えば、クライアント端末１０１Ｂは、ブラウザを備え、ブラウザを用いて図１１等に示すような画像検索画面の表示内容を表示装置１０２に表示させるようにしてもよい。

＜変形例＞
上記した構成においては、演算処理部１１０，１６０が記憶部１２０，１７０に記憶されている複数の画像データに付加されているＥＸＩＦ情報に基づいて、検索条件に対応する被写体を含む画像データの検索、検索条件に対応する画像データの生成、及び検索結果の画像の表示を行っていた。しかし、このような構成に限定されず、演算処理部１１０，１６０が記憶部１２０，１７０に設けられるデータベースに記憶されている情報に基づいて、検索条件に対応する被写体を含む画像データの検索、検索条件に対応する画像データの生成、及び検索結果の画像の表示を行ってもよい。

この場合、データベースには、複数の画像データそれぞれを識別するための画像識別データ（画像ＩＤ）、画像データごとに付加される撮影シーンの情報、各画像データ中の１つ又は複数の被写体の画像データ、各画像データ中の１つ又は複数の被写体の種別を示す被写体種別データ、各画像データ中の１つ又は複数の被写体を識別するための被写体識別データ（特徴点、名称など）、各画像データ中の１つ又は複数の被写体の距離データ（合焦位置の情報）がそれぞれ関連付けられて登録される。

演算処理部１１０，１６０（画像生成部１１４ａ、画像生成部１１４ａに相当する演算部１６２内の処理部）は、ＲＡＷデータを取得した後（ステップＳ１）、取得したＲＡＷデータに基づいて、合焦位置が異なる複数の画像データ（例えばＪＰＥＧ形式の画像データ）を生成する（ステップＳ２，Ｓ３）。演算処理部１１０，１６０（検出部１１４ｂ、検出部１１４ｂに相当する演算部１６２内の処理部）は、ステップＳ２，３で生成された複数の画像データに基づいて１つ又は複数の登録対象の被写体を検出する（ステップＳ４）。このように、演算処理部１１０，１６０が合焦位置の異なる複数の画像データに基づいて被写体を検出するので、被写体がぼけていない画像データを用いて被写体の検出を行うことができ、被写体の検出精度が向上する。

演算処理部１１０，１６０は、ステップＳ４で検出した１つ又は複数の登録対象の被写体の画像データを切り出す。演算処理部１１０，１６０は、１つ又は複数の登録対象の被写体の特徴点を抽出する。演算処理部１１０，１６０は、抽出した１つ又は複数の登録対象の被写体の特徴点と、記憶部１２０内のデータベースに記憶されている複数の被写体の特徴点とを順次照合して、登録対象の被写体と同じ被写体がデータベースに登録されているか否かを判定する。

演算処理部１１０，１６０は、登録対象の被写体と同じ被写体がデータベース内に登録されていない判定した場合は、画像識別データに対応付けて、被写体ごとの新たな被写体種別データ及び被写体識別データをデータベースに登録する。このとき、演算処理部１１０，１６０は、画像識別データに対応付けて、切り出した登録対象の被写体の画像データを被写体ごとに登録するとともに撮影シーンの情報も登録する。

一方、演算処理部１１０，１６０は、登録対象の被写体と同じ被写体がデータベース内に登録されている判定した場合は、画像識別データに対応付けて、既にデータベースに登録されている被写体種別データ及び被写体識別データと同じデータを被写体ごとにデータベースに登録する。このときも、演算処理部１１０，１６０は、画像識別データに対応付けて、切り出した登録対象の被写体の画像データを登録するとともに撮影シーンの情報も登録する。

また、演算処理部１１０，１６０は、１つ又は複数の登録対象の被写体の奥行き方向の位置（被写体までの距離）を検出する（ステップＳ５）。検出部１１４ｂは、画像識別データに対応付けて、１つ又は複数の登録対象の被写体までの距離を示す距離データを被写体ごとにデータベースに登録する。そして、演算処理部１１０，１６０は、画像識別データに対応付けて、ＲＡＷデータ及び画像データを記憶部１２０，１７０の画像データ記憶領域に記憶する（ステップＳ７）。

演算処理部１１０，１６０（表示制御部１１１、表示制御部１１１に相当する演算部１６０内の処理部）は、画像検索画面を表示し（ステップＳ１１）、記憶部１２０，１７０からＲＡＷデータ及び画像データを読み出して取得した後（ステップＳ１２）、データベースに登録されている複数の被写体の画像データを読み出して第１表示領域５０１に一覧表示する（ステップＳ１３）。そして、演算処理部１１０，１６０（表示制御部１１１、表示制御部１１１に相当する演算部１６０内の処理部、指定部１１４ｃ、指定部１１４ｃに相当する演算処理部１６０内の処理部）は、ステップＳ１４〜Ｓ１７の処理を実行する。

演算処理部１１０，１６０は、検索ボタン５０４が押されたと判定した場合は（ステップＳ１８のＹＥＳ）、記憶部１２０内のデータベースに登録されている情報と検索条件として指定された情報とを照合して、記憶部１２０内の画像データ記憶領域に記憶されている画像データの中から検索条件に適合する画像データを検索する（ステップＳ１９）。具体的には、演算処理部１１０，１６０は、検索条件として指定された被写体種別データなど（被写体種別データ、被写体識別データ、距離データ）と合致するデータをデータベース内で検索し、検索条件として指定された被写体種別データなどと合致するデータに対応付けられた画像識別データを選定する。そして、演算処理部１１０，１６０は、画像識別データに対応する画像データ記憶領域内の画像データを検索条件に適合する画像データとして検索する。その後、演算処理部１１０，１６０は、ステップＳ２０〜Ｓ２３の処理を実行する。

このような構成によれば、演算処理部１１０，１６０が予めデータベースに登録されている情報に基づいて検索条件に応じた画像の検索及び画像の生成を行うことができるため、画像の検索及び画像の生成を行う際の処理負担を軽減することができるとともに、画像の検索及び画像の生成を行う際の処理時間も軽減することができる。

なお、上記した変形例において、検索対象の被写体が家族（例えば、父、母、息子、娘）などのように予め定まっている場合は、演算処理部１１０，１６０は、予め複数の被写体の被写体情報（被写体種別データ及び被写体識別データ（特徴点、名称など））をデータベースに登録しておいてもよい。また、演算処理部１１０，１６０は、予めデータベースに登録されている被写体についてだけを検索対象（検索候補）の被写体として指定し、予めデータベースに登録されている被写体の被写体情報だけに基づいて画像検索を行ってもよい。また、演算処理部１１０，１６０は、予めデータベースに登録されている被写体だけを画像検索画面に表示してもよい。また、演算処理部１１０，１６０は、予め複数の被写体の被写体情報（被写体種別データ及び被写体識別データ（特徴点、名称など））をデータベースに登録しておき、被写体識別データから被写体の名称を取得して、ＥＸＩＦ情報に被写体の名称を登録してもよい。

また、データベースは、サーバ１０６の記憶部１７０に設けられる場合に限定されず、クライアント端末１０１Ｂの記憶部１２０Ｂに設けられてもよい。この場合、演算処理部１６０は、クライアント端末１０１Ｂの記憶部１２０Ｂ内のデータベースにアクセスして、画像生成や画像検索などの処理を行う。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。

例えば、上記した各実施形態では、撮像装置の一例としてライトフィールドカメラ１を挙げていたが、これに限定されず、例えば複数のカメラを配置したカメラアレイであってもよい。このようなカメラアレイにおいても視差を有する複数の画像を取得することができる。

また、上記した各実施形態では、演算部１１４（及び演算処理部１６０）は、ライトフィールドカメラ１が撮影したリフォーカス画像を用いて、合焦位置や被写界深度の範囲を変更していた。しかし、演算部１１４（及び演算処理部１６０）は、フォーカスブラケット機能を備えたデジタルカメラ（撮像装置）が撮影した複数の画像を用いて、合焦位置（焦点位置）や被写界深度の範囲を変更することが可能である。すなわち、上記した第１実施形態における「合焦位置を奥行き方向に変更可能な画像データ」には、デジタルカメラ（撮像装置）が合焦位置を変えながら撮像した、合焦位置の異なる複数の画像データに基づいて生成される画像データが含まれる。ここで、フォーカスブラケットとは、連写をしながら合焦位置を変えていき、合焦位置の異なる複数の画像を撮影することをいう。演算部１１４（及び演算処理部１６０）は、使用者によって指定された合焦位置や被写界深度に応じて、合焦位置の異なる複数の画像データを適宜選択し、選択した画像データを合成することにより、合焦位置や被写界深度の範囲を変更することができる。

また、上記した各実施形態では、検出部１１４ｂ（及び演算処理部１６０）が画像データから被写体を検出し、検出した被写体の距離を検出し、画像データに対してＥＸＩＦ情報を被写体ごとに付加していた。しかし、ライトフィールドカメラ１の画像処理部３０がこれらの処理を行い、演算部１１４は、ライトフィールドカメラ１からＥＸＩＦ情報が付加された画像データをＲＡＷデータとともに取得してもよい。

また、上記した各実施形態では、画像生成部１１４ａ（及び演算処理部１６０）がＲＡＷデータに基づいて所定の合焦位置及び被写界深度の範囲の画像データを生成していたが、画像生成部１１４ａ（及び演算処理部１６０）が複数の画像データに対して距離に応じた重みを加えてから平均する加重平均処理を行うことで、所定の合焦位置及び被写界深度の範囲の画像データを生成してもよい。

また、画像生成部１１４ａ（及び演算処理部１６０）が検索対象の被写体を隠す被写体を削除していたが、表示制御部１１１（及び演算処理部１６０）は、その被写体を削除した画像と削除していない画像とを交互に表示するようにしてもよい。また、表示制御部１１１（及び演算処理部１６０）は、検索対象の被写体と、検索対象を隠す被写体とを交互に表示してもよい。この場合、より一層、検索対象の被写体に注目させることができる。また、容易に検索対象の被写体を確認することができる。

また、図４に示す画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。

また、上記した第１実施形態において、カラーフィルタの配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。

また、表示装置１０２は、画像検索画面を含む各種画像を２次元表示していたが３次元表示（３Ｄ表示）してもよい。特に、俯瞰図３００などを表示するときに３次元表示されている場合は、被写体の位置関係などが容易に認識されやすくなる。

また、画像の付随情報（例えば図８参照）の管理方法としては、以下に示す方法が考えられる。（１）上記した第１実施形態の場合のように、演算処理部１１０，１６０が１つの画像データ（パンフォーカスの画像データ）に付随情報を付加する方法である。（２）演算処理部１１０，１６０がステップＳ２において合焦位置の異なる複数の画像データを生成した場合は、それら複数の画像データそれぞれに付随情報（例えば同じ付随情報）を付加する方法である。この場合、複数の画像データのグループを管理するグループ識別情報が複数の画像データそれぞれに付加される。（３）演算処理部１１０，１６０がＲＡＷデータに付随情報を付加する方法である。（４）演算処理部１１０，１６０が画像データやＲＡＷデータとは異なるデータファイル（又はデータフォルダ）を設け、そのデータファイルに付随情報を付加し、そのデータファイルを画像データやＲＡＷデータに関連付ける方法である。この場合、データファイルはテキストファイルとされてもよい。

また、指定部１１４ｃ（及び演算処理部１６０）が検索条件として複数の条件を指定した場合、それらの条件はＡＮＤ条件としていたがＯＲ条件であってもよい。また、指定部１１４ｃ（及び演算処理部１６０）は、複数の被写体の相対位置を検索条件として指定していたが、１つ又は複数の被写体の絶対位置（例えばライトフィールドカメラ１から１００ｍ先の被写体）を指定してもよい。

また、ステップＳ２０において、画像生成部１１４ａ（及び演算処理部１６０）は、検索条件に対応する複数の被写体の合焦位置が異なる場合、検索条件に適合する合焦位置の画像データとして、検索条件に対応する複数の被写体それぞれに合焦した画像データを生成してもよい。この場合、画像生成部１１４ａ（及び演算処理部１６０）は、画像の領域を複数の被写体の領域ごとに分割して、分割した各領域ごとに被写体に合焦した画像データを生成してもよい。また、ステップＳ２０において、画像生成部１１４ａ（及び演算処理部１６０）は、検索条件に対応する複数の被写体の合焦位置が異なる場合、検索条件に適合する合焦位置の画像データとしてパンフォーカスの画像データを生成してもよい。また、ステップＳ２０において、画像生成部１１４ａ（及び演算処理部１６０）は、検索条件として被写体の奥行き方向の位置が指定された場合は、検索された画像データに対して、検索条件として指定された被写体に合焦した画像データを生成し、検索条件として被写体の奥行き方向の位置が指定されていない場合は、検索された画像データに対して、パンフォーカスの画像データを生成してもよい。また、ステップＳ２０において、画像生成部１１４ａ（及び演算処理部１６０）は、検索条件に対応する複数の被写体とは異なる被写体が画像データ内に存在する場合に、パンフォーカス画像を生成してもよい。

また、ステップＳ２０において、画像生成部１１４ａ（及び演算処理部１６０）は、検索条件に対応する複数の被写体とは異なる検索対象外の被写体が画像データ内に存在し、その検索対象外の被写体の奥行き方向の位置が検索条件に対応する複数の被写体の合焦位置の範囲内に存在する場合に、被写界深度の範囲を検索条件に対応する複数の被写体の位置を含む範囲とし、検索対象外の被写体を削除した画像データを生成してもよい。

また、画像検索結果を表示するための第３表示領域５０６において、「焦点位置手前に移動」ボタンと「焦点位置奥側に移動」ボタンとを焦点位置切替ボタンとして設ける。そして、使用者が「焦点位置手前に移動」ボタンをクリックすることにより、画像生成部１１４ａ（及び演算処理部１６０）は、画像検索結果としての画像データの焦点位置を手前に変更し、使用者が「焦点位置奥側に移動」ボタンをクリックすることにより、画像生成部１１４ａ（及び演算処理部１６０）は、画像検索結果としての画像データの焦点位置を奥側に変更する構成でもよい。このとき、焦点位置の切り替えは、被写体単位で行われてもよい。また、検索対象の被写体として複数の被写体が指定された場合に、画像生成部１１４ａ（及び演算処理部１６０）は、焦点位置切替ボタンが使用者によりクリックされる度に、画像データにおける焦点位置を検索対象の位置に順に切り替える構成でもよい。

なお、「合焦位置を奥行き方向に変更可能な画像データ」には、ＲＡＷデータ（光線情報）及びこのＲＡＷデータから画像生成部１１４ａ（演算処理部１６０）によって生成される１つ又は複数の画像データ（例えばパンフォーカスの画像データ、合焦位置の異なる複数の画像データ）が含まれる。

１…ライトフィールドカメラ（撮像装置）、１０１…画像検索・生成装置（画像生成装置、画像検索装置）、１０１Ｂ…クライアント端末、１０２…表示装置（表示部）、１０６…サーバ（画像生成装置、画像検索装置）、１１０，１１０Ｂ…演算処理部、１１１…表示制御部、１１２…画像入力部、１１３…操作制御部、１１４…演算部、１１４ａ…画像生成部、１１４ｂ…検出部、１１４ｃ…指定部、１１４ｄ…検索部、１１５…通信部、１２０，１２０Ｂ…記憶部、１６０…演算処理部、１６１…通信部、１６２…演算部、１７０…記憶部

Claims (7)

1. 焦点位置を変更した画像を生成可能な画像データに基づいて、奥行き方向の所定の位置の被写体に合焦している前記画像を生成する画像生成部と、
   特定の被写体を含む前記画像を生成可能な前記画像データを検索する検索部と、を備え、
   前記画像生成部は、前記検索部により検索された前記画像データに基づいて、前記特定の被写体に合焦している前記画像を生成する画像生成装置。
2. 前記特定の被写体は、奥行き方向の所定の位置に存在する請求項１に記載の画像生成装置。
3. 前記特定の被写体は、複数の被写体である請求項１または請求項２に記載の画像生成装置。
4. 前記複数の被写体の各々は、奥行き方向の各々の位置に存在する請求項３に記載の画像生成装置。
5. 前記複数の被写体に含まれる第１被写体は、前記第１被写体とは異なる第２被写体に比べて奥行き方向の手前に存在している請求項４に記載の画像生成装置。
6. 前記画像生成部は、前記検索部により検索された前記画像データに基づいて、前記複数の被写体に合焦している被写界深度の前記画像を生成する請求項３から請求項５のいずれか一項に記載の画像生成装置。
7. 焦点位置を変更した画像を生成可能な画像データに基づいて、奥行き方向の所定の位置の被写体に合焦している前記画像を生成する画像生成処理と、
   特定の被写体を含む前記画像を生成可能な前記画像データを検索する検索処理と、をコンピュータに実行させ、
   前記画像生成処理は、前記検索処理により検索された前記画像データに基づいて、前記特定の被写体に合焦している前記画像を生成する画像生成プログラム。