JP6693236B2 - 画像処理装置、撮像装置、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。

撮影した画像から任意の焦点位置の画像を生成可能なカメラで撮影した動画データから移動する被写体に追従して焦点位置を合わせた動画データを生成する技術が知られている（特許文献１参照）。従来技術では生成された焦点位置を合わせた動画データの焦点位置を変更することについては考慮されていない。

特開２０１３-１４５３１４号公報

本発明の第１の態様による画像処理装置は、撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定部と、前記設定部で設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成部と、前記生成部で生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更部と、前記第１画像データから主要被写体を検出する検出部と、を備え、前記設定部は、前記検出部で検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、前記被写界深度は、前記主要被写体が前記撮像光学系の光軸方向の第１の位置にあると第１の被写界深度であり、前記主要被写体が前記第１の位置よりも前記撮像光学系に近い第２の位置にあると前記第１の被写界深度よりも深い第２の被写界深度である。
本発明の第２の態様による画像処理装置は、撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定部と、前記設定部で設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成部と、前記生成部で生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更部と、前記第１画像データから主要被写体を検出する検出部と、を備え、前記設定部は、前記検出部で検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、前記撮像光学系の光軸方向の第１の位置にある第１主要被写体と前記第１の位置よりも前記撮像光学系から遠い第２の位置にある第２主要被写体が前記検出部によって検出されると、前記第１主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置を設定し、前記焦点が合う被写体の位置は、前記第１主要被写体から前記撮像部の方向に所定距離だけ離れた位置である。
本発明の第３の態様による画像処理装置は、撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定部と、前記設定部で設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成部と、前記生成部で生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更部と、前記第１画像データから主要被写体を検出する検出部と、前記主要被写体に関する情報を登録する登録部と、を備え、前記設定部は、前記検出部で検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、前記登録部に前記情報が登録されている前記主要被写体が前記検出部で検出されると、前記情報が登録されている前記主要被写体が前記被写界深度内に含まれように前記被写界深度と前記焦点が合う被写体の位置を設定する。
本発明の第４の態様による撮像装置は、第１から第３の態様のいずれかの態様の画像処理装置と、前記撮像部とを備える。
本発明の第５の態様による画像処理プログラムは、撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定ステップと、前記設定ステップで設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成ステップと、前記生成ステップで生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更ステップと、前記第１画像データから主要被写体を検出する検出ステップと、をコンピュータに実行させ、前記設定ステップは、前記検出ステップで検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、前記被写界深度は、前記主要被写体が前記撮像光学系の光軸方向の第１の位置にあると第１の被写界深度であり、前記主要被写体が前記第１の位置よりも前記撮像光学系に近い第２の位置にあると前記第１の被写界深度よりも深い第２の被写界深度である。
本発明の第６の態様による画像処理プログラムは、撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定ステップと、前記設定ステップで設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成ステップと、前記生成ステップで生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更ステップと、前記第１画像データから主要被写体を検出する検出ステップと、をコンピュータに実行させ、前記設定ステップは、前記検出ステップで検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、前記撮像光学系の光軸方向の第１の位置にある第１主要被写体と前記第１の位置よりも前記撮像光学系から遠い第２の位置にある第２主要被写体が前記検出ステップによって検出されると、前記第１主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置を設定し、前記焦点が合う被写体の位置は、前記第１主要被写体から前記撮像部の方向に所定距離だけ離れた位置である。
本発明の第７の態様による画像処理プログラムは、撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定ステップと、前記設定ステップで設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成ステップと、前記生成ステップで生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更ステップと、前記第１画像データから主要被写体を検出する検出ステップと、前記主要被写体に関する情報を登録する登録ステップと、をコンピュータに実行させ、前記設定ステップは、前記検出ステップで検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、前記登録ステップにより前記情報が登録されている前記主要被写体が前記検出ステップで検出されると、前記情報が登録されている前記主要被写体が前記被写界深度内に含まれように前記被写界深度と前記焦点が合う被写体の位置を設定する。

撮像装置の構成図である。 合成対象の像面上の光点からの光束と撮像素子とを模式的に示した断面図である。 撮像装置の動作を示すフローチャートである。 表示部の表示例を示す図である。 撮像装置の第２の実施形態の動作を示すフローチャートである。 撮像装置の第３の実施形態の動作を示すフローチャートである。 撮像装置の第４の実施形態の動作を示すフローチャートである。 （ａ）（ｂ）リフォーカス範囲の表示例である。 表示部における表示の変形例を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。
図１は、撮像装置１０の構成図である。なお、撮像装置１０は、デジタルカメラの例で説明するが、デジタルカメラに限らず、例えばスマートフォン端末、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などであってもよい。

図１に示すように撮像装置１０は、撮像部１１、画像処理部１５、撮像制御部１６、制御部（設定部、生成部、変更部、表示制御部）１７、記録インタフェース１８、表示部１９、操作部２０を備える。さらに、撮像部１１は、撮像光学系１２、マイクロレンズ１３、撮像素子１４を備える。また、記録インタフェース１８を介して記憶媒体である可搬型メモリ２１が装着される。

撮像光学系１２は、被写界からの光束を結像するレンズであり、例えば対物レンズ、フォーカスレンズ、絞り等を含む。マイクロレンズ１３は、撮像光学系１２の結像面近傍の面に二次元状に配列してなる。

撮像素子１４は、個々のマイクロレンズ１３の後側に複数の受光素子（画素）を二次元状に配列してなる。一個のマイクロレンズに複数の受光素子が対応している。撮像素子１４は、結像した被写体光学像による光信号を電気信号に変換して出力する、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。撮像素子１４は、二次元状に配置された画素のそれぞれが複数の光電変換領域を有し、各画素で同じ位置に存在する光電変換領域群の出力から、視点の異なる複数の視差画像を取得することができる。

画像処理部１５は、撮像素子１４が生成した一連の視差画像（撮像画像）を取り込み、その画像を可搬型メモリ２１へ保存する。動画撮影の場合は、動画の一フレームが一連の視差画像に対応し、このような複数のフレームからなる動画を取り込み、可搬型メモリ２１へ保存する。すなわち、可搬型メモリ２１には撮像して得た動画の原画像データが保存される。

撮像制御部１６は、撮像部１１を駆動制御する回路を備えている。この撮像制御部１６は、制御部１７からの指示に応じて撮像素子１４を駆動し、後述のように一連の視差画像を取得する。

記録インタフェース１８は、撮像装置１０に装着された可搬型メモリ２１と制御部１７との間のインタフェースである。この記録インタフェース１８は、制御部１７からの指示に従い、撮像動画や、撮像動画をリフォーカス画像処理したリフォーカス動画を可搬型メモリ２１へ書き込んだり、これらの動画を可搬型メモリ２１から読み込んだりする。可搬型メモリ２１は、撮像動画やリフォーカス動画を記憶する記憶媒体である。

表示部１９は、液晶カラーモニタなどのモニタと、そのモニタに対するユーザ操作を検出するタッチセンサとを備える。このような表示部１９は、制御部１７からの指示に従い動画などを表示すると共に、その動画などに対するユーザ操作の内容を検出して制御部１７へ送信する。

操作部２０は、不図示の電源釦、動画撮影釦、再生釦などの各種の入力スイッチを備える。ユーザは、この操作部２０を介して動画撮影指示などの各種の指示を制御部１７へ入力する。

制御部１７は、不図示のＲＯＭ、ＲＡＭ、ＣＰＵなどを備えたコンピュータである。ＣＰＵは、ＲＯＭに格納されたプログラムを実行することにより撮像装置１０の各部を制御し、動画の撮影や再生を行う。なお、ＲＡＭは、ＣＰＵの動作中に必要となったデータを一時的に格納するメモリである。

撮像装置１０が有する画像合成機能について説明する。本実施形態における画像合成機能は、原画像データから任意像面の画像（いわゆるリフォーカス画像）を作成する機能である。周知のリフォーカス画像の作成方法の例を、図２を参照して説明する。

図２は、合成対象の像面上の光点からの光束と撮像素子１４とを模式的に示した断面図である。図２において、合成対象の像面Ｓ上に設けた光点Ｐを考える。この光点Ｐから撮像素子１４に向かう光の広がり角θは、撮像光学系１２の瞳の大きさ（すなわち撮像光学系１２の絞り値）により規定される。マイクロレンズ１３の絞り値は撮像光学系１２の絞り値と同じかそれより小さくなるように構成されている。従って、この光点Ｐから出射し、あるマイクロレンズ１３に入射した光束は、そのマイクロレンズ１３により被覆されている領域の外には広がらない。

ここで、図２に示すように、光点Ｐからの光束が５つのマイクロレンズ１３（１）〜１３（５）に入射するとすれば、これらのマイクロレンズ１３（１）〜１３（５）に入射した光束３０（１）〜３０（５）の受光面上における入射光量（受光素子３１（１）〜３１（５）の光電変換出力）を積算することにより、光点Ｐからの瞳に制限された全入射量が得られる。すなわち、合成対象の像面Ｓ上の光点Ｐ（合成対象の画素）の光量が得られることになる。

制御部１７は、指定された像面Ｓ上に複数の光点Ｐを設定し、各光点Ｐについて、その光点Ｐからの光束が入射するマイクロレンズ１３を特定する。制御部１７は、特定した各マイクロレンズ１３について、光点Ｐからの光束がどの受光素子３１に入射するかを特定する。制御部１７は、特定した受光素子３１の光電変換出力を積算することにより、光点Ｐの画素値を算出する。複数の光点Ｐの画素値を用いて画像合成してリフォーカス画像を得ることができる。

制御部１７は、任意の像面を指定した画像合成が可能であるが、さらに、任意の被写界深度も設定した画像合成が可能である。図２を参照すると、光点Ｐからの光束の広がりは前段の撮像光学系１２の絞りＦ０で規定される。撮像光学系１２の絞りをＦ０より絞ったＦ１に設定したときの光束の広がりは図２の広がりに比べて狭くなる。そこで、たとえば、図２の光束３０（１）と３０（５）が受光素子３１に到達しないものとして画像合成を行うことにより、被写界深度が図２の場合に比べて深い画像を得ることができる。光点Ｐから広がる光束の全てを用いた画像合成の被写界深度がもっとも深度が浅い画像とすると、外側の幾つかの光束を使用せずに画像処理して得た画像は深度が浅くなるので、外側の光束の省略数に応じた被写界深度を実現することができる。

このように制御部１７は、撮影後の画像処理によって可視化されたリフォーカス画像を生成することができる。また、第１の実施形態の制御部１７は、主要被写体までの距離に応じて、画像の像面位置（焦点位置）と被写界深度を自動的に設定したリフォーカス画像処理を行う。撮像画像が動画である場合、制御部１７は次のような画像処理を行ってリフォーカス画像を生成する。動画は複数枚のフレームで構成され、各フレームは視差画像である。動画を構成する複数枚の視差画像を互いに位置をずらして重み付け合成することにより、リフォーカス条件（被写体距離、絞り値、像面位置）の設定された一フレームのリフォーカス画像を作成する。動画の各フレームについてリフォーカス画像を作成して、リフォーカス動画を作成する。
なお、視差画像とは、図２を参照すると、複数の光点Ｐを通過した光束が複数のマイクロレンズ１３を通過して複数の受光素子３１に入射して得られる画素値を合成した画像である。

以下、第１の実施形態における撮像装置１０の動作を、図３に示すフローチャートを参照して説明する。なお、このフローチャートで示す各処理は、制御部１７が不図示のＲＯＭに格納されたプログラムを実行することにより行われる。

図３のステップＳ１１において、ユーザによる動画撮影釦の押下操作により動画撮影が開始される。撮像によって得られた動画データの各フレームは、撮像素子１４が生成した一連の視差画像（撮像画像）を画像処理部１５が取り込んだもので、リフォーカス画像処理前のフレーム画像である。リフォーカス画像処理前のフレーム画像で構成される動画データは、ＲＡＷデータとして可搬型メモリ２１へ記録される。

ステップＳ１２において、可搬型メモリ２１へ記録され動画データを読み出し、この動画データに含まれる各フレーム画像に対して、主要被写体を検出する。そして、その検出結果に応じて、当該フレーム画像に対して、被写界深度と像面位置とを設定する。被写界の中のたとえば最至近の被写体を主要被写体とすると、その距離に基づいて像面位置と被写界深度を設定する。像面位置は主要被写体までの距離に比例して設定される。距離が遠いほど像面位置が撮像素子から遠い位置となる。また、例えば、主要被写体までの距離が近い場合は、すなわち像面位置が撮像素子から近い位置のときは被写界深度を深く、距離が遠い場合は、すなわち像面位置が撮像素子から遠い位置のときは被写界深度を浅く設定する。このようなリフォーカス画像処理条件を動画像データの各フレームに適用してリフォーカス画像処理を行う。

フレームごとに被写体距離に追従したリフォーカス画像処理条件（像面位置と被写界深度）を適用することにより、複数フレームのそれぞれに適切な像面位置と被写界深度でリフォーカス画像を生成することができる。リフォーカス画像処理が施された動画データはリフォーカス動画データとして可搬型メモリ２１に記録される。

ステップＳ１３において、リフォーカス動画データを可搬型メモリ２１から読み出して、表示部１９に表示する。ユーザは表示されたリフォーカス動画を見て、主要被写体の像面位置や被写界深度が適切かを判断する。表示部１９には、像面位置や被写界深度の調整を開始する場合に操作する調整釦が表示されている。ユーザが像面位置や被写界深度を調整したい場合は、調整釦をタッチ操作する。

ステップＳ１４において、調整釦が操作されたかをタッチセンサにより検出する。調整釦が操作された場合は、ステップＳ１５の処理へ進む。ステップＳ１５において、リフォーカス動画データの各フレームを解析し、解析結果に応じて、撮影時間を横軸にして像面位置および被写界深度を表示部１９にグラフ表示する。図４は、そのグラフの表示例を示す。

各フレームの解析は次のように行うことができる。リフォーカス動画データがＮフレーム枚数の動画データとすると、動画データ解析により、１フレーム目の撮影時刻、２フレーム目の撮影時刻、……、Ｎ−１フレーム目の撮影時刻、Ｎフレーム目の撮影時刻が検出される。また、フレームごとに、主要被写体までの距離に基づき設定された像面位置、被写界深度が検出される。これら、各フレームの撮影時刻に対する像面位置と被写界深度を用いて図４のグラフが作成される。

図４に示すように、グラフ表示領域１９ａは、横軸が撮影時間であり、縦軸が像面位置および被写界深度である。グラフは、リフォーカス動画データの時間経過に伴う各フレームの像面位置と被写界深度の変化を表している。図中の実線は像面位置を示すものであり、図４の例では、撮影時刻ｔａから時刻ｔｂにかけて像面位置がＡ点からＢ点に連続的に変化していることを示している。ここで、Ａ点およびＢ点のフレームをキーフレームと称する。キーフレームは、たとえばフレーム間の像面位置の変化量が所定閾値以上のフレームである。表示部１９はタッチセンサを備えているので、Ａ点もしくはＢ点の位置にユーザがタッチして図中の上下にスライドすることで、Ａ点もしくはＢ点の像面位置を調整することができる。このユーザの調整により、像面位置がＡ点であるキーフレームとＢ点であるキーフレームの間の複数枚のフレームに対する像面位置と被写界深度が連動して調整される。なお、連動して調整されるのはＡ点のキーフレームとＢ点のキーフレームの間のすべてのフレームでなくてもよく、例えばＡ点のキーフレームを調整した際にＡ点のキーフレームの前後の複数のフレームのみが連動して調整されてもよい。また、キーフレームは、フレーム間の像面位置の変化量が所定閾値以上のフレームであるとしたが、撮影時間の所定の時間間隔でキーフレームを設定するようにしてもよい。

さらに、キーフレームに対応して調整窓１９ｂ、１９ｃが表示されている。調整窓１９ｂ、１９ｃには、それぞれ、キーフレームの画像と被写界深度調整用のスライドバーが表示されている。スライドバーを左右にタッチ操作することにより、キーフレームを基準に被写界深度を深くする調整、若しくは浅くする調整を行うことができる。被写界深度は、グラフ表示領域１９ａにおいて点線で表示されており、実線の像面位置との間隔の大/小で被写界深度の深い/浅いを示している。図４の例では、像面位置が近いフレームは被写界深度が深く、像面位置が遠いフレームは被写界深度が浅くなっている。なお、この例ではキーフレームが２点の場合を示したが、キーフレームの数に応じて調整窓を表示する。
なお調整窓の数はキーフレームの数よりも少なくてもよい。例えば、調整窓を一つとして、複数のキーフレームのうちのユーザが調整を行うキーフレームを一つ選択して、その選択されたキーフレームに対応する調整窓だけを表示してもよい。
図４のグラフは、一方の軸を時間軸、他方の軸を像面位置とした直線で示されているが、曲線により像面位置を表示してもよい。また、図４のグラフは、像面位置を表す直線の周囲に被写界深度を表す範囲を表示しているが、像面位置を表す曲線の周囲に被写界深度を表す範囲を表示してもよい。

ユーザによる像面位置および被写界深度の調整が完了すると決定釦１９ｄをタッチ操作する。ステップＳ１５において、決定釦１９ｄのタッチ操作に応答して、制御部１７は、ユーザによって調整された像面位置および被写界深度に基づくリフォーカス画像処理を動画像データの各フレームに対して行う。

そして、ステップＳ１６において、調整後のリフォーカス動画を表示部１９に表示する。ステップＳ１７において、調整後のリフォーカス動画を可搬型メモリ２１に記録する。この場合、調整前のリフォーカス動画も含めて可搬型メモリ２１に記録してもよい。なお、ステップ１４で調整釦が操作されなかった場合は、調整前のリフォーカス動画を可搬型メモリ２１に記録する。また、リフォーカス動画は、ＲＡＷデータとして可搬型メモリ２１へ記録してもよい。また、調整後のキーフレームの撮影時間、像面位置、被写界深度を可搬型メモリ２１に記録してもよい。調整前のリフォーカス動画と調整後のキーフレームの撮影時間、像面位置、被写界深度が記録されていれば、それらから調整後のリフォーカス動画を生成することができる。

第１の実施形態によれば、撮像して得た動画について、リフォーカス画像処理によりリフォーカス画像を作成する際、主要被写体の距離に追従した像面位置と被写界深度をフレーム毎に自動設定することができる。そのため、主要被写体を基にした適切なリフォーカス動画を簡単に生成することが可能である。またリフォーカス画像処理を行った動画の像面位置および被写界深度をユーザの指定に応じて適宜調整することができる。したがって、複数フレームで構成される動画を編集する際、フレームごとに像面位置や被写界深度を設定する必要が無く、編集作業が容易である。

（第２の実施形態）
第２の実施形態について図面を参照して説明する。撮像装置１０の構成は、図１に示した第１の実施形態と同様であるので、その説明を省略する。さらに、制御部１７が実行するフローチャートは、図３に示した第１の実施形態と同様であるので、その説明を省略するが、第２の実施形態では、図３のステップＳ１２の処理が異なる。以下、図３のステップＳ１２に代わる部分のフローチャートについて、図５を参照して説明する。なお、このフローチャートで示す各処理は、制御部１７が不図示のＲＯＭに格納されたプログラムを実行することにより行われる。

ここでは、リフォーカス動画を生成する原画像がＮフレーム枚数の動画データとする。各フレームの像面位置は、当該フレームの画像の中で最も遠方にある被写体を主要被写体とし、主要被写体までの距離に基づいて設定される。被写界深度も主要被写体までの距離に応じて設定される。主要被写体が遠景であるので、被写界深度は深く設定され、全体にピントがあったリフォーカス画像が得られる。各フレームについて、遠景の主要被写体の手前にたとえば人や車などの移動体が入ってきた場合に、移動体を主要被写体と認識して、被写界深度を移動体の距離に基づき設定する。すなわち、被写界深度が浅く設定され、移動体にピントがあった画像が得られる。

図５のフローチャートを参照して説明する。
ステップＳ１２０１において、動画のＮ枚のフレームのそれぞれについて、遠景の被写体を主要被写体と認識して像面位置を設定する。
次に、ステップＳ１２０２において、遠景の像面位置に応じた被写界深度を設定する。具体的には、像面位置が遠くにある場合は、全体にピントが合うように被写界深度を深く設定する。

ステップＳ１２０３において、動画のフレームが全て終了したかを判別する。終了していない場合は、次のフレームについてステップＳ１２０４の判別を行う。即ち、ステップＳ１２０４において、フレームに被写体として移動体が入って来たかを判別する。移動体が入って来ていない場合は、ステップＳ１２０１に戻り、ステップＳ１２０１からステップＳ１２０３の処理を繰り返して遠景に合わせたリフォーカス画像処理を行う。

ステップＳ１２０４で、フレームに移動体が入って来たことが判別された場合は、ステップＳ１２０５に進む。ステップＳ１２０５において、移動体に像面位置を設定する。
次に、ステップＳ１２０６において、移動体の像面位置に応じて被写界深度を設定する。具体的には、人や車などの移動体にピントが合うように被写界深度を浅く設定する。

そして、ステップＳ１２０７において、動画のフレームが全て終了したかを判別する。終了していない場合は、ステップＳ１２０８において、移動体がフレームから出たかを判別する。移動体がフレームから出ていない場合は、ステップＳ１２０５に戻り、ステップＳ１２０５からステップＳ１２０７の処理を繰り返して移動体に合わせたリフォーカス画像処理を行う。

ステップＳ１２０８において、移動体がフレームから出たと判別された場合は、ステップＳ１２０１に戻り、ステップＳ１２０１からステップＳ１２０３の処理を繰り返して遠景に合わせたリフォーカス画像処理を行う。
ステップＳ１２０３またはステップＳ１２０７で、動画のフレームが全て終了した場合はリフォーカス画像処理を終了する。
なお、ユーザによるリフォーカス動画の調整は、図３のステップ１５で説明した第１の実施形態と同様である。

第２の実施形態によれば、撮像して得た動画について、遠景の中に移動体が入ってきた場合に、リフォーカス画像処理により移動体に像面位置および被写界深度を設定できる。すなわち、第２の実施形態の制御部１７（ステップＳ１２０１〜Ｓ１２０８）は、主要被写体である移動体が検出されていないフレームには深い第１の被写界深度を設定し、移動体が検出されたフレームには第１の被写界深度よりも浅い第２の被写界深度を設定する。したがって、移動体の移動に対応した適切な動画を生成することが可能である。また、リフォーカス画像処理を行った動画の像面位置および被写界深度をユーザの指定に応じて適宜調整することができる。

（第３の実施形態）
第３の実施形態について図面を参照して説明する。撮像装置１０の構成は、図１に示した第１の実施形態と同様であるので、その説明を省略する。さらに、制御部１７が実行するフローチャートは、図３に示した第１の実施形態と同様であるので、その説明を省略するが、第３の実施形態では、図３のステップＳ１２の処理が異なる。以下、図３のステップＳ１２に代わる部分のフローチャートについて、図６を参照して説明する。なお、このフローチャートで示す各処理は、制御部１７が不図示のＲＯＭに格納されたプログラムを実行することにより行われる。

第３の実施形態においては、顔認識により人物を主要被写体として認識し、主要被写体が複数検出されたとき、全ての主要被写体にピントが合うように被写界深度を設定してリフォーカス動画を生成する。

図６のステップＳ１２１１において、動画のフレームについて、検出された全ての人物である主要被写体をカバーするように、すなわち全ての人物にピントが合うように像面位置および被写界深度を設定する。具体的には、全ての人物の被写体距離の中間付近に像面位置を設定して、全ての人物にピントが合うような被写界深度を設定する。たとえば、最遠方の人物までの距離と、最至近の人物までの距離との差に基づいて被写界深度を設定することができる。

なお、演劇などの舞台の撮影動画データについては、予め定められた固定的な像面位置および被写界深度を設定してもよい。また、制御部１７が撮像部１１の撮像光学系１２の焦点距離を取得し、第１焦点距離が取得された場合には第１被写界深度を設定し、この第１焦点距離よりも短い第２焦点距離が取得された場合には第１被写界深度よりも浅い第２被写界深度を設定してもよい。具体的には、撮像部１１よりレンズの情報を取得し、焦点距離が短い広角レンズが装着されていた場合は被写界深度を浅く設定する。

ステップＳ１２１２において、全ての人物をカバーするように像面位置および被写界深度の設定が可能であったかを判別する。具体的には、最遠方の人物と最至近の人物との被写体距離差と、設定可能な最も深い被写界深度とを比較し、最遠方の人物と最至近の人物の双方にピントを合わせることができるか否かを判別する。上記設定が可能であったと判別された場合は、次のステップＳ１２１３において、動画のフレームが全て終了したかを判別する。終了していない場合は、ステップＳ１２１１に戻り、次のフレームについて、ステップＳ１２１１からステップＳ１２１２の処理を繰り返して全ての人物をカバーするようにリフォーカス画像処理を行う。
ステップＳ１２１２において、全ての人物をカバーする像面位置および被写界深度の設定が可能ではないと判別された場合は、ステップＳ１２１４の処理へ進む。

ステップＳ１２１４において、最至近の人物を優先して像面位置を設定する。具体的には、最至近の人物に８割、最遠方の人物に２割となる中間付近に像面位置を設定する。そして、ステップＳ１２１５において、設定した像面位置に応じて被写界深度を設定する。例えば、最至近の人物に被写界深度をもっとも深く設定し、最遠方の人物に被写界深度をもっとも浅く設定する。中間位置の人物の被写界深度は人物までの距離に応じた深度に設定する。

なお、ステップＳ１２１４、Ｓ１２１５において、制御部１７は、たとえば人物に関する情報を登録し、フレーム内の人物と予め登録していた人物とを照合して、一致する人物が検出されれば、その人物にピントが合うように被写界深度を設定してもよい。
すなわち、制御部１７（ステップＳ１２１４〜Ｓ１２１５）は、主要被写体に関する情報を登録する登録部を更に備えるように構成し、検出された複数の主要被写体のうち、登録部に情報が登録されている主要被写体を被写界深度内に含めるように被写界深度および像面位置を設定してもよい。これにより、登録された被写体にピントがあった動画を生成することができる。
なお、登録する主要被写体は人物の顔に限定されず、特定の車両、構造物などでもよい。

ステップＳ１２１６において、動画のフレームが全て終了したかを判別する。終了していない場合は、ステップＳ１２１７の処理を行う。

ステップＳ１２１７では、次のフレームにおいて、主要被写体の数や位置が変化したかを判別する。主要被写体の数や位置が変化していないと判別された場合は、ステップＳ１２１４に戻り、ステップＳ１２１４からステップＳ１２１５の処理を繰り返し、次のフレームに対して、手前の主要被写体を優先したリフォーカス画像処理を行う。

ステップＳ１２１７で、主要被写体の数や位置が変化したと判別された場合には、ステップＳ１２１１に戻り、ステップＳ１２１１からステップＳ１２１２の処理を繰り返して全ての主要被写体をカバーするようにリフォーカス画像処理を行う。

ステップＳ１２１３またはステップＳ１２１６で、動画のフレームが全て終了した場合はリフォーカス画像処理を終了する。
なお、ユーザによるリフォーカス動画の調整は、図３のステップ１５で示した第１の実施形態と同様である。

第３の実施形態によれば、撮像して得た動画について、全ての主要被写体をカバーするように像面位置と被写界深度の設定を行ったリフォーカス画像処理を行うことができる。すなわち、制御部１７（ステップＳ１２１１）は、複数の主要被写体が検出された場合には、複数の主要被写体が被写界深度内に含まれるように被写界深度および像面位置を設定する。また、制御部１７（ステップＳ１２１４〜Ｓ１２１５）は、第１距離に位置する第１主要被写体と第１距離よりも遠い第２距離に位置する第２主要被写体が検出された場合には、第１主要被写体が被写界深度内に含まれるように被写界深度および像面位置を設定する。したがって、被写界内の複数の主要被写体にピントがあった適切な動画を生成することが可能である。また、全ての主要被写体のカバーが不可能であった場合には、手前の主要被写体を優先した像面位置と被写界深度を設定してリフォーカス画像処理することにより、被写界内の複数の主要被写体にピントがあった適切な動画を生成することが可能である。さらに、リフォーカス画像処理を行った動画の像面位置および被写界深度をユーザの指定に応じて適宜調整することができる。

（第４の実施形態）
第４の実施形態について図面を参照して説明する。撮像装置１０の構成は、図１に示した第１の実施形態と同様であるので、その説明を省略する。さらに、制御部１７が実行するフローチャートは、図３に示した第１の実施形態と同様であるので、その説明を省略するが、第４の実施形態では、図３のステップＳ１２の処理が異なる。以下、図３のステップＳ１２に代わる部分のフローチャートについて、図７を参照して説明する。なお、このフローチャートで示す各処理は、制御部１７が不図示のＲＯＭに格納されたプログラムを実行することにより行われる。

第４の実施形態においては、撮像して得た動画を撮像シーンに応じてリフォーカス画像処理する。
図７のステップＳ１２２１において、動画撮影時の撮像シーンを判別する。撮像シーンのうち、ポートレート、ペット、料理、子供、クローズアップ、パーティ、キャンドルライトを第１撮像シーンとし、風景、夜景を第２撮像シーンとする。ステップＳ１２２１では、フレームが第１撮像シーンか第２撮像シーンかを判別する。

第１撮像シーンと判別された場合は、ステップＳ１２２２に進み、被写体に応じた、すなわち撮像シーンに応じた像面位置を設定する。そして、ステップＳ１２２３で、被写界深度を浅く設定する。

ステップＳ１２２１で、第２撮像シーンと判別された場合は、ステップＳ１２２４に進み、被写体に応じた像面位置を設定する。そして、ステップＳ１２２５で、被写界深度を深く設定する。

ステップＳ１２２３、またはＳ１２２５の処理の後、ステップＳ１２２６に進み、動画のフレームが全て終了したかを判別する。終了していない場合は、ステップＳ１２２１の処理に戻り、次のフレームについてリフォーカス画像処理を行う。
ステップＳ１２２６で、動画のフレームが全て終了した場合はリフォーカス画像処理を終了する。

第４の実施形態の画像処理装置は、撮影シーンと被写界深度を対応づけたデータテーブルを有する。そして、画像編集時に、ユーザが設定した撮影シーンをフレームごとに認識し、認識した撮影シーンに基づきデータテーブルから最適な被写界深度を得てリフォーカス画像処理を行う。
なお、ユーザによるリフォーカス動画の調整は、図３のステップ１５で示した第１の実施形態と同様である。

第４の実施形態によれば、撮像して得た動画について、撮像シーンに応じて像面位置と被写界深度の設定を行ったリフォーカス画像処理を行うことができる。すなわち、制御部１７（ステップＳ１２２１〜Ｓ１２２６）は、撮像シーンを認識し、ポートレートなどの第１撮像シーンおよび風景などの第２撮像シーンのいずれか一方に分類するシーン認識部を更に備える。例えば、第１撮像シーンでは被写界深度を浅く、第２撮像シーンでは被写界深度を深く設定する。したがって、撮像シーンに応じたリフォーカス動画を簡単に生成することが可能である。また、リフォーカス画像処理を行った動画の像面位置および被写界深度をユーザの指定に応じて適宜調整することができる。

なお、第４の実施形態と同様のリフォーカス画像処理を動画撮影と同時に行ってもよい。すなわち、この変形例の画像処理装置では、動画撮影中に、ユーザが設定した撮影シーンに基づきデータテーブルから最適な被写界深度を得る。そして、フレームに対応づけて被写界深度と像面位置を記憶する。編集再生処理でこれらの像面位置と被写界深度をフレームごとに読み出してリフォーカス画像処理を行う。リフォーカス画像処理の時間が短時間で行える場合は、動画撮影時にリアルタイムでフレームごとにリフォーカス画像処理行ってもよい。

（リフォーカス範囲の表示例）
一般に、複数の被写体がそれぞれ距離を隔てて存在した場合に、これを動画撮影データからリフォーカス画像処理してピントの合った画像を得るには限界がある。以下では、動画撮影時のスルー画像において、リフォーカス画像処理の可能範囲を表示する例を説明する。

図８（ａ）は、リフォーカス範囲の表示例、図８（ｂ）は、その説明図である。図８（ａ）に示すように、動画撮影時のスルー画像として、表示部１９には、被写体Ｏ、Ｐ、Ｑが表示されている。被写体Ｏ、Ｐは、被写体Ｑと識別して色付けして表示されている。これは、被写体Ｏ、Ｐがリフォーカス画像処理の可能範囲にあることを示している。表示部１９の右端には、リフォーカス画像処理の可能範囲を調節する為の操作子１９ｅが表示されている。この操作子１９ｅをタッチして上下にスライドすることによってリフォーカス画像処理の可能範囲を調節する。なお、操作子１９ｅのスライド操作に替えて、レンズ鏡筒のリングを回転することにより、リフォーカス画像処理の可能範囲を調節してもよい。

図８（ｂ）は、撮像光学系１２とその前面に存在する被写体Ｏ、Ｐ、Ｑの位置関係を示す図である。図中、ｒはリフォーカス画像処理の可能範囲を示す。操作子１９ｅを上下にスライドすることによってリフォーカス画像処理の可能範囲ｒは前後に移動する状態になる。例えば、被写体Ｐ、Ｑをリフォーカス画像処理の可能範囲ｒにするように、操作子１９ｅを上下にスライドして調節することができる。この状態では、表示部１９には、被写体Ｐ、Ｑが、被写体Ｏと識別して色付けして表示される。これにより、ユーザは撮影時にリフォーカス画像処理の可能範囲を知ることができる。なお、リフォーカス画像処理が可能であるか否かは、制御部１７において、スルー画像をリアルタイムでリフォーカス画像処理し、被写体Ｏ、Ｐ、Ｑにピントを合わせられるかを判定し、ピントが合わせられる被写体を識別表示する。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）撮像装置１０は、複数のマイクロレンズ１３と複数のマイクロレンズ１３よりも多くの受光素子とを有する撮像素子１４により撮像された第１動画像データが入力される画像処理部１５と、第１動画像データに含まれる複数のフレームに対して、被写界深度と光軸方向の所定範囲内の像面位置とを設定する制御部１７（ステップＳ１２）と、複数のフレームの各々を制御部（設定部）１７で設定された被写界深度を有する像面位置の画像に変換した第２動画像データを出力する制御部１７（ステップＳ１３）と、を備えた。したがって、動画の複数フレームの各々において適切な像面位置と被写界深度を設定したリフォーカス動画が生成される。一フレームずつ像面位置と被写界深度を設定する必要がない。

（２）制御部１７（ステップＳ１２）は、フレームの画像から主要被写体を検出し、主要被写体が被写界深度内に含まれるように被写界深度および像面位置を設定するので、主要被写体を基にした適切な動画を生成することができる。

（３）制御部１７（ステップＳ１２０１〜Ｓ１２０８）は、主要被写体が検出されていないフレームには深い第１の被写界深度を設定し、主要被写体が検出されたフレームには第１の被写界深度よりも浅い第２の被写界深度を設定するので、たとえば主要被写体である移動体の移動に対応した適切な動画を生成することができる。

（４）制御部１７（ステップＳ１２１１）は、複数の主要被写体が検出された場合には、複数の主要被写体が被写界深度内に含まれるように被写界深度および像面位置を設定するので、全ての主要被写体をカバーする適切な動画を生成することができる。

（５）制御部１７（ステップＳ１２１４〜Ｓ１２１５）は、第１距離に位置する第１主要被写体と第１距離よりも遠い第２距離に位置する第２主要被写体が検出された場合には、第１主要被写体が被写界深度内に含まれるように被写界深度および像面位置を設定するので、手前の主要被写体を優先して適切な動画を生成することができる。

（６）制御部１７（ステップＳ１２１４〜Ｓ１２１５）は、主要被写体に関する情報を登録する登録部を更に備え、検出された複数の主要被写体のうち、登録部に情報が登録されている主要被写体を被写界深度内に含めるように被写界深度および像面位置を設定するので、登録された被写体を優先して適切な動画を生成することができる。

（７）制御部１７（ステップＳ１２２１〜Ｓ１２２６）は、フレームについて、撮像シーンを認識し、ポートレートなどの第１撮像シーンおよび風景などの第２撮像シーンのいずれか一方に分類するシーン認識部を更に備える。例えば、第１撮像シーンでは被写界深度を浅く、第２撮像シーンでは被写界深度を深く設定する。したがって、撮像シーンに応じたリフォーカス動画を生成することができる。

次のような変形も本発明の範囲内であり、変形例を上述の実施形態と組み合わせることも可能である。

（表示例の変形例）
図３のステップＳ１５において、既に説明したように、リフォーカス動画データの各フレームを解析し、解析結果に応じて、撮影時間を横軸にして像面位置および被写界深度を表示部１９にグラフ表示する。図４は、この場合の表示例であり、図９は、この表示例の変形例を示す。以下、図９に基づいて説明する。

図９に示すように、グラフ表示領域１９ａには、撮影時間、像面位置、および被写界深度をそれぞれ軸とする３次元のグラフが表示されている。撮影時間（ｘ軸）は、リフォーカス動画データの各フレームの撮影時間を表している。像面位置（ｙ軸）、被写界深度（ｚ軸）は、各フレームの撮影時間における変化をグラフ表示している。図中のＡ点およびＢ点は、像面位置が不連続に変化したことを示している。Ａ点およびＢ点のフレームをキーフレームと称する。

さらに、各キーフレームに対応して調整窓１９ｂ、１９ｃが表示されている。調整窓１９ｂ、１９ｃには、それぞれ、キーフレームの画像、像面位置調整用のスライドバー、被写界深度調整用のスライドバーが表示されている。像面位置調整用のスライドバーを左右にタッチ操作することによりキーフレームを基準に、像面位置を遠く、若しくは近くに調整することができる。また、被写界深度調整用のスライドバーを左右にタッチ操作することによりキーフレームを基準に、被写界深度を深く、若しくは浅く調整を行うことができる。なお、この例ではキーフレームが２点の場合を示したが、キーフレームの数に応じて調整窓を表示すればよい。

ユーザによる像面位置および被写界深度の調整が完了すると決定釦１９ｄをタッチ操作する。決定釦１９ｄのタッチ操作に応答して、制御部１７は、ユーザによって調整された像面位置および被写界深度に基づくリフォーカス画像処理を動画像データ（原画像データ）の各フレームに対して行う。

（その他の変形例）
以上の実施形態の画像処理装置、撮像装置では、各フレームの像面位置と被写界深度を制御部１７が自動的に行うものとして説明した。しかし、手動で像面位置と被写界深度を設定してもよい。たとえば、動画の原画像の全てのフレームについて、デフォルトで設定した像面位置と被写界深度によりリフォーカス画像処理を行ってリフォーカス画像を生成して保存する。保存した特定の像面位置と特定の被写界深度のリフォーカス画像を表示し、図４に示すような編集画面上で一フレームごとに手動で最適な像面位置と被写界深度を設定してもよい。

本発明は、上記の実施形態に限定されるものではなく、本発明の特徴を損なわない限り、本発明の技術思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。また、上述の実施形態と変形例を組み合わせた構成としてもよい。
したがって、本発明は、複数のマイクロレンズ１３と複数のマイクロレンズ１３よりも多くの受光素子３１とを有する撮像素子１４により撮像されて得た第１動画像データを入力する入力ステップと、第１動画像データに含まれる複数のフレームの各々に対して、被写界深度と光軸方向の所定範囲内の像面位置とを設定する設定ステップと、複数のフレームの各々を設定ステップで設定された被写界深度を有する像面位置の画像に変換した第２動画像データを出力する出力ステップとをコンピュータに実行させる画像処理プログラムも含む。

１０ 撮像装置
１１ 撮像部
１２ 撮像レンズ
１３ マイクロレンズ
１４ 撮像素子
１５ 画像処理部
１６ 撮像制御部
１７ 制御部
１８ 記録インタフェース
１９ 表示部
２０ 操作部
２１ 可搬型メモリ

Claims (20)

1. 撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定部と、
   前記設定部で設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成部と、
   前記生成部で生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更部と、
   前記第１画像データから主要被写体を検出する検出部と、を備え、
   前記設定部は、前記検出部で検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、
   前記被写界深度は、前記主要被写体が前記撮像光学系の光軸方向の第１の位置にあると第１の被写界深度であり、前記主要被写体が前記第１の位置よりも前記撮像光学系に近い第２の位置にあると前記第１の被写界深度よりも深い第２の被写界深度である画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記設定部は、前記主要被写体が前記検出部により検出されていない前記第１画像データには第３の被写界深度を設定し、前記主要被写体が前記検出部により検出された前記第１画像データには前記第３の被写界深度よりも浅い第４の被写界深度を設定する画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記設定部は、前記検出部により複数の前記主要被写体が検出された場合には、前記複数の主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置を設定する画像処理装置。
4. 撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定部と、
   前記設定部で設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成部と、
   前記生成部で生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更部と、
   前記第１画像データから主要被写体を検出する検出部と、を備え、
   前記設定部は、前記検出部で検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、
   前記撮像光学系の光軸方向の第１の位置にある第１主要被写体と前記第１の位置よりも前記撮像光学系から遠い第２の位置にある第２主要被写体が前記検出部によって検出されると、前記第１主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置を設定し、前記焦点が合う被写体の位置は、前記第１主要被写体から前記撮像部の方向に所定距離だけ離れた位置である画像処理装置。
5. 撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定部と、
   前記設定部で設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成部と、
   前記生成部で生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更部と、
   前記第１画像データから主要被写体を検出する検出部と、
   前記主要被写体に関する情報を登録する登録部と、を備え、
   前記設定部は、前記検出部で検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、
   前記登録部に前記情報が登録されている前記主要被写体が前記検出部で検出されると、前記情報が登録されている前記主要被写体が前記被写界深度内に含まれように前記被写界深度と前記焦点が合う被写体の位置を設定する画像処理装置。
6. 請求項１から請求項５までのいずれか一項に記載の画像処理装置において、
   撮像光学系の焦点距離を取得する焦点距離取得部を備え、
   前記設定部は、前記焦点距離取得部により第１焦点距離が取得された場合には第５の被写界深度を設定し、前記焦点距離取得部により前記第１焦点距離よりも短い第２焦点距離が取得された場合には前記第５の被写界深度よりも浅い第６の被写界深度を設定する画像処理装置。
7. 請求項１から請求項５までのいずれか一項に記載の画像処理装置において、
   前記第１画像データについて、撮像シーンを認識し第１撮像シーンおよび第２撮像シーンのいずれか一方に分類するシーン認識部を備え、
   前記設定部は、前記第１撮像シーンに分類された前記第１画像データと前記第２撮像シーンに分類された前記第１画像データとで、設定する前記被写界深度および前記焦点が合う被写体の位置を異ならせる画像処理装置。
8. 請求項１から請求項７までのいずれか一項に記載の画像処理装置において、
   前記複数の第１画像データの各々に設定された前記焦点が合う被写体の位置と前記被写界深度とを表示部に表示する表示制御部を備える画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記表示制御部は、一方の軸を時間軸、他方の軸を前記焦点が合う被写体の位置として直線または曲線により前記焦点が合う被写体の位置を前記表示部に表示する画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記表示制御部は、前記焦点が合う被写体の位置を表す直線または曲線の周囲に前記被写界深度を表す範囲を前記表示部に表示する画像処理装置。
11. 請求項８に記載の画像処理装置において、
    前記表示制御部は、前記表示部に時間軸を第１軸、前記焦点が合う被写体の位置を第２軸、前記被写界深度を第３軸とする三次元表示を行う画像処理装置。
12. 請求項８から請求項１１までのいずれか一項に記載の画像処理装置において、
    前記設定部は、設定した前記被写界深度および前記焦点が合う被写体の位置を、前記変更部により変更された焦点が合う被写体の位置と被写界深度との少なくとも一方に再設定し、
    前記表示制御部は、再設定された前記被写界深度および前記焦点が合う被写体の位置により前記表示部の表示を変更する画像処理装置。
13. 請求項１２に記載の画像処理装置において、
    前記設定部は、前記複数の第１画像データのうちの所定第１画像データをキーフレームに設定し、
    前記変更部は、前記設定部により設定された前記キーフレームの前記焦点が合う被写体の位置と前記被写界深度とは異なる焦点が合う被写体の位置と被写界深度との少なくとも一方が変更され、
    前記設定部は、２つのキーフレームの間の第１画像データにおける前記焦点が合う被写体の位置と前記被写界深度を、一方のキーフレームに対する前記変更された焦点が合う被写体の位置と被写界深度との少なくとも一方と、他方のキーフレームに対する前記変更された焦点が合う被写体の位置と被写界深度との少なくとも一方との間で段階的に変化させる画像処理装置。
14. 請求項１３に記載の画像処理装置において、
    前記設定部は、前記被写界深度および前記焦点が合う被写体の位置が変化した第１画像データをキーフレームに設定する画像処理装置。
15. 請求項１から請求項６までのいずれか一項に記載の画像処理装置において、
    前記設定部は、前記検出部による前記主要被写体の検出結果が変化した第１画像データをキーフレームに設定する画像処理装置。
16. 請求項１から請求項１５までのいずれか一項に記載の画像処理装置と、
    前記撮像部と、
    を備える撮像装置。
17. 請求項１６に記載の撮像装置において、
    前記焦点が合う被写体の位置の範囲を報知する報知部を備える撮像装置。
18. 撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定ステップと、
    前記設定ステップで設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成ステップと、
    前記生成ステップで生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更ステップと、
    前記第１画像データから主要被写体を検出する検出ステップと、をコンピュータに実行させ、
    前記設定ステップは、前記検出ステップで検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、
    前記被写界深度は、前記主要被写体が前記撮像光学系の光軸方向の第１の位置にあると第１の被写界深度であり、前記主要被写体が前記第１の位置よりも前記撮像光学系に近い第２の位置にあると前記第１の被写界深度よりも深い第２の被写界深度である画像処理プログラム。
19. 撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定ステップと、
    前記設定ステップで設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成ステップと、
    前記生成ステップで生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更ステップと、
    前記第１画像データから主要被写体を検出する検出ステップと、をコンピュータに実行させ、
    前記設定ステップは、前記検出ステップで検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、
    前記撮像光学系の光軸方向の第１の位置にある第１主要被写体と前記第１の位置よりも前記撮像光学系から遠い第２の位置にある第２主要被写体が前記検出ステップによって検出されると、前記第１主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置を設定し、前記焦点が合う被写体の位置は、前記第１主要被写体から前記撮像部の方向に所定距離だけ離れた位置である画像処理プログラム。
20. 撮像光学系を透過した被写体からの光が入射する複数のマイクロレンズと前記マイクロレンズ毎に複数設けられた受光部とを有する撮像部から出力された第１画像データに対して、前記撮像光学系の光軸方向の焦点が合う被写体の位置と被写界深度とを設定する設定ステップと、
    前記設定ステップで設定された前記焦点が合う被写体の位置と前記被写界深度とを有する複数の第２画像データを複数の前記第１画像データから生成して、前記複数の第２画像データを有する動画データを生成する生成ステップと、
    前記生成ステップで生成された前記動画データの少なくとも一部の第２画像データの前記焦点が合う被写体の位置と前記被写界深度とのうちの少なくとも一方を変更する変更ステップと、
    前記第１画像データから主要被写体を検出する検出ステップと、
    前記主要被写体に関する情報を登録する登録ステップと、をコンピュータに実行させ、
    前記設定ステップは、前記検出ステップで検出された前記主要被写体が前記被写界深度内に含まれるように前記被写界深度と前記焦点が合う被写体の位置とを設定し、
    前記登録ステップにより前記情報が登録されている前記主要被写体が前記検出ステップで検出されると、前記情報が登録されている前記主要被写体が前記被写界深度内に含まれように前記被写界深度と前記焦点が合う被写体の位置を設定する画像処理プログラム。

Images