JP5583242B2 - 画像処理装置およびその制御方法、並びにプログラム - Google Patents

Description

本発明は、撮影された画像のピント状態を指定可能な画像データを再構築する画像処理技術に関するものである。

近年、ライトフィールドカメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上に配置したマイクロレンズアレイによって入射光を分割することで、複数の方向の光を撮影して光線情報を得ることができる。撮影後に光の強度と光の入射方向に基づいて所定の計算処理を実行することによって、任意の焦点距離および被写界深度（以下、ピント情報という）の画像を構築できる。光線情報を利用した撮影後の計算処理により、任意の画像を構築できることがライトフィールドカメラの利点である。

一方、ユーザは画像表示装置の記憶装置に保存された画像ファイルに対し、削除操作などのファイル操作を自由に行うことができる。画像の削除処理時に別の画像を表示する技術が知られている。特許文献１には、多視点画像撮影モードで撮影を行う場合、撮像手段で取得した多視点画像にプロテクトフラグを設定して記録する技術が開示されている。削除操作時に、多視点画像撮影モードで撮影された多視点画像であるかどうかが判断され、撮影した多視点画像のデータがプロテクトされるので、許可なく画像の消去・編集ができなくなる。特許文献２には、撮影後に画像の被写界深度を調整したりボケ具合を調整したりできることが開示されている。

特開２００８−２８９０６５号公報 特開２００９−１５９３５７号公報

しかしながら、ライトフィールドカメラで撮影した画像に対して削除操作を行う際、ユーザによるピント情報の指定が行われて画像データが加工された状態では、所望のピント画像を確認せずに誤ってデータが削除されてしまう可能性がある。
前記特許文献１では、許可なしに多視点画像データの削除を禁止してはいるが、表示中のピント画像がユーザにとって削除時に確認したい画像かどうかを判断してはいない。所望のピント画像を確認せずにユーザが削除してしまわないように防ぐためには、警告後にユーザが別途、所望のピント画像の確認作業を行うことが必要である。
本発明は、ピント状態を指定可能な画像データの削除操作時に、ユーザが所望のピント画像を確認できるようにすることを目的とする。

上記課題を解決するために、本発明に係る装置は、撮影された画像のピント状態を指定した画像データを生成する画像処理装置であって、前記画像のピント状態を指定する操作手段と、前記操作手段によりピント状態が指定された画像データを生成する画像生成手段と、前記画像データの削除操作時に削除確認用の表示データを生成する表示データ生成手段と、前記画像生成手段が生成する画像データと前記表示データ生成手段が生成する表示データを出力する出力手段を備える。前記操作手段の指定によりピント状態が変更された場合、前記画像データの削除操作時に、前記画像生成手段は変更した後のピント状態とは異なる所定のピント状態の画像データを生成する。

本発明によれば、ピント状態を指定可能な画像データの削除操作時に、ユーザが所望のピント画像を確認することができる。

ライトフィールドカメラ内部の構成例（Ａ）および（Ｂ）を示す模式図である。 マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示した模式図である。 マイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。 イメージセンサ１３に入射する光線の情報を説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 画像表示装置の構成例を示すブロック図である。 画像初期表示時の情報判定処理例を示すフローチャートである。 ピント状態の指定時の情報判定処理例を示すフローチャートである。 削除操作時の確認用情報判定処理例を示すフローチャートである。 初期ピント画像表示時の画面例（Ａ）および画像表示中にユーザが削除操作を行う場合に表示される画面例（Ｂ）を示す図である。 ピント情報が指定された画像表示時の画面例（Ａ）および画像表示中にユーザが削除操作を行う場合に表示される画面例（Ｂ）を示す図である。 本発明の第２実施形態を説明するために、削除操作時の確認用情報判定処理例を示すフローチャートである。 パンフォーカス画像表示時の画面例を示す図である。 画像表示中にユーザが削除操作を行う場合に表示される画面例（Ａ）ないし（Ｃ）を示す図である。 第２実施形態の変形例に係る画面例を示す図である。 本発明の第３実施形態に係る装置の構成例を示すブロック図である。

以下、添付図面を参照して、本発明の各実施形態について詳細に説明する。

［第１実施形態］
図１は、ライトフィールドカメラの概略構成を例示する。撮像レンズ１１を通過してマイクロレンズアレイ１２に入射した被写体からの光は、イメージセンサ１３によって光電変換されて電気信号が得られる。なお、ここで得られた撮像データを、ライトフィールドデータ（以下、ＬＦデータという）と呼ぶ。
撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は交換可能であり、撮像装置１０の本体部に装着して使用する。ユーザは撮像レンズ１１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ１２は、微小レンズ（マイクロレンズ）を格子状に配列して構成されており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２を構成する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割した光をイメージセンサ１３に出力する。撮像部を構成するイメージセンサ１３は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素が対応するように配置される。イメージセンサ１３の各画素には各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度（光線情報）を検出することができる。また、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向（方向情報）が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように、撮像装置１０は光線情報と方向情報を取得し、光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置や視点での画像データを生成できる。この光線情報および方向情報はＬＦデータに含まれる。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射する光線は、その進行方向に応じてイメージセンサ１３上の異なる位置で受光され、撮像レンズ１１の形状に相似形となる被写体の像がマイクロレンズ毎に結像する。

図４は、イメージセンサ１３に入射する光線の情報を説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。すると、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。
各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加え、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）が記録される。

次に、撮像後のリフォーカス演算処理について説明する。図５は、リフォーカス演算処理を説明するための模式図である。図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ、ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。

また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。

従って、この（２）式からリフォーカス演算処理を行うことで、任意の焦点（リフォーカス面）に設定した画像を再構築することができる。

続いて、撮像後の被写界深度の調整処理について説明する。上記リフォーカス演算の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データ毎に重み係数を乗じて重みづけを行う。例えば、被写界深度の深い画像を生成したい場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。従って、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。このような処理を行うことで、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像の生成も可能となる。以上のように、実際に取得したＬＦデータ（光線情報）に基づいて、撮影後に画像の被写界深度を調整することができる。

図８は、本実施形態に係る画像表示装置１００の構成例を示すブロック図である。
操作入力部１０１は、ユーザ操作による操作信号の入力に使用する。例えば、ピント情報を指定する操作の場合、操作入力部１０１は指定されたピント情報をピント情報判定部（以下、情報判定部という）１０３へ出力する。ピント情報はピント状態の指定に関係する情報であり、撮像光学系の焦点距離および被写界深度の情報、または撮像装置のレンズ特性や焦点深度などを含む。また、ファイル削除操作の場合、操作入力部１０１は削除時の確認画面表示指示を確認画面生成部１０７および確認用ピント情報判定部（以下、確認用情報判定部という）１０８へ出力する。記憶部１０２は、ＬＦデータ、初期ピント情報および前回表示ピント情報を記憶する。初期ピント情報とは、最初にＬＦデータから画像を構築する際に参照するピント情報であり、本実施形態ではユーザの意図を反映すべく撮影時にユーザ操作で指定される情報、または撮影終了時にユーザ操作で設定される情報とする。但し、初期ピント情報の定義については、これに限らず、撮影時または表示時に自動で画像内の被写体を認識して設定されるピント情報（例えば、ピント合わせが可能な全ての被写体にピントを合わせたパンフォーカスピント情報）としてもよい。

また、前回表示ピント情報とは、前回の画像表示時にユーザによるピント情報の指定が行われた際の最終的なピント情報である。２回目以降の画像表示時には、前回表示ピント情報を参照して画像が再構築されるものとする。本実施形態では、前回表示ピント情報が指定により変更された場合、該情報を記憶部１０２に毎回保存するが、ユーザが保存操作を実行した場合にのみ、前回表示ピント情報を記憶部１０２に保存する形態でもよい。
情報判定部１０３は、操作入力部１０１からの指定ピント情報、および記憶部１０２から取得した初期ピント情報および前回表示ピント情報により、表示画像のピント情報（表示ピント情報）を判定して画像生成部１０４へ出力する。画像生成部１０４は、記憶部１０２から取得したＬＦデータに基づいて、情報判定部１０３から取得した表示ピント情報に従って、上記リフォーカス演算処理および被写界深度調整処理を実施し、画像を再構築する。再構築された画像のデータは表示ピント画像データとして画像合成部１０５へ出力される。画像生成部１０４は、確認用情報判定部１０８から確認用ピント情報の入力があった場合、確認用ピント情報に従ってＬＦデータから画像を再構築し、生成したデータを確認画面生成部１０７へ出力する。

確認画面生成部１０７は、操作入力部１０１から確認画面の表示指示を受信すると確認画面の表示データを生成し、画像合成部１０５へ出力する。画像生成部１０４から確認用ピント画像データの入力があった場合、確認画面生成部１０７は確認用ピント画像データを確認画面に合成する処理を行う。確認用情報判定部１０８は、操作入力部１０１から確認画面の表示指示を受信すると、情報判定部１０３から初期ピント情報および表示ピント情報を取得して確認用ピント情報を判定して画像生成部１０４へ出力する。
画像合成部１０５は、画像生成部１０４から取得した表示ピント画像データと、確認画面生成部１０７から取得した確認画面の表示データを合成した画像データを生成して画像表示部１０６に出力する。なお、画像生成部１０４が、確認用ピント画像データを確認画面生成部１０７に出力せずに、確認用ピント画像データを画像合成部１０５に出力する構成であってもよい。
画像表示部１０６は液晶パネルやプラズマディスプレイなどであり、画像合成部１０５が出力する画像データに従って画像を表示する。なお、画像表示部１０６に代えて外部表示装置を使用する実施形態では、画像データの出力部が設けられる。

図９は、画像初期表示時の情報判定部１０３の処理例を説明するフローチャートである。
情報判定部１０３には、記憶部１０２から初期ピント情報および前回表示ピント情報が入力される（Ｓ１０１）。情報判定部１０３は、前回表示ピント情報の有無を判定する（Ｓ１０２）。前回表示ピント情報がある場合、Ｓ１０３へ移行し、前回表示ピント情報がない場合にはＳ１０４へ移行する。
Ｓ１０３で情報判定部１０３は、前回表示ピント情報を表示ピント情報として設定する。また、Ｓ１０４で情報判定部１０３は、初期ピント情報を表示ピント情報として設定する。Ｓ１０３やＳ１０４の後でＳ１０５に処理を進め、情報判定部１０３は、判定した表示ピント情報を画像生成部１０４へ出力して、処理を終了する。

図１０は、ユーザ操作によるピント情報の指定時における情報判定部１０３の処理例を説明するフローチャートである。
情報判定部１０３には、操作入力部１０１から指定ピント情報が入力される（Ｓ２０１）。指定ピント情報とは、ユーザ操作により新たに指定したピント情報である。情報判定部１０３は、指定ピント情報を表示ピント情報として設定する（Ｓ２０２）。情報判定部１０３は、判定した表示ピント情報を画像生成部１０４へ出力し（Ｓ２０３）、前回表示ピント情報を指定ピント情報により更新する（Ｓ２０４）。そして処理を終了する。

図１１は、ユーザ操作による画像ファイルの削除時における確認用情報判定部１０８の処理例を説明するフローチャートである。
確認用情報判定部１０８には、操作入力部１０１から削除確認画面の表示指示が入力される（Ｓ３０１）。確認用情報判定部１０８は、情報判定部１０３から初期ピント情報および表示ピント情報を取得する（Ｓ３０２）。確認用情報判定部１０８は、現在の表示ピント情報と初期ピント情報が同一であるか否かを判定する（Ｓ３０３）。両ピント情報が同一でないと判定された場合、すなわち初期ピント情報からピント情報が変更されている場合、Ｓ３０４へ移行する。また、両ピント情報が同一であると判定された場合、すなわち初期ピント情報からピント情報が変更されていない場合には処理を終了する。
確認用情報判定部１０８は、初期ピント情報を確認用ピント情報として設定し（Ｓ３０４）、設定した確認用ピント情報を画像生成部１０４へ出力する（Ｓ３０５）。そして処理を終了する。

図１２（Ａ）は、初期ピント情報を反映したピント画像表示時の画面例を示す。初期ピント情報においては、被写体２２にピントが合った状態であり、被写体２１および２３の像については暈けの度合いが大きい状態となるようにピント情報が設定されている。
図１２（Ｂ）は、図１２（Ａ）の画像表示中にユーザが削除操作を行う場合に表示される画面例を示す。この場合、図１１のＳ３０３において表示ピント情報と初期ピント情報が同一であると判断されるため、確認用ピント画像の表示は行われない。つまり、削除確認画面２４は文字列などを含む構成となり、例えば、ユーザに削除の確認を求めるメッセージや操作ボタンオブジェクトなどが提示される。

図１３（Ａ）は、ユーザ操作によって指定された表示ピント情報を反映したピント画像表示時の画面例を示す。表示ピント情報においては、被写体２３にピントが合った状態であり、被写体２１および２２の像については暈けの度合いが大きい状態となるようにピント情報が設定されている。
図１３（Ｂ）は、図１３（Ａ）の画像表示中にユーザが削除操作を行う場合に表示される画面例を示す。この場合、図１１のＳ３０３において表示ピント情報と初期ピント情報が同一でないと判断されるため、初期ピント情報が確認用ピント情報として画像生成部１０４へ出力される。確認画面生成部１０７は、画像生成部１０４にて再構築された確認用ピント画像のデータを受け取ると、削除確認画面２４にて確認用ピント画像、すなわち初期ピント画像のデータを合成して画像合成部１０５へ出力する。これにより、削除確認画面２４は初期ピント画像とメッセージなどの文字列を含む構成となり、ユーザは初期ピント画像を確認できる。

以上に説明した処理は、画像処理装置を構成するコンピュータがメモリから読み出した画像処理プログラムを実行することによっても実現できる。つまり、操作ステップでは、画像のピント状態を指定するピント情報のユーザ操作指示をコンピュータが受け付ける。操作ステップにて画像のピント情報が指定された場合、画像生成部１０４は指定前の（変更した後のピント状態とは異なる）所定のピント情報を用いて画像データを生成する。ユーザが画像データの削除操作を行う時には指定前の所定のピント情報を用いて生成された画像データを含む削除確認用の表示データを生成する表示データ生成ステップが実行される。生成された表示データは画像合成部１０５から画像表示部１０６に出力されて削除確認用画面が表示される。
第１実施形態によれば、ピント情報を任意に指定可能な画像データの削除操作時に、確認用の初期ピント画像を表示する制御が実行される。ピント情報の指定前の画像を削除確認用画面に表示することで、ユーザが所望のピント画像を確認せずに誤って削除操作をしないように注意喚起が行われるので、誤消去を防止できる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。第２実施形態では、ピント情報を任意に指定可能な画像ファイルの削除操作時に、ピント情報の指定前の画像に加えて、パンフォーカス画像を同時に表示する例について説明する。パンフォーカス画像とは、ピント合わせが可能な全ての被写体にピントを合わせた画像である。ライトフィールド技術によれば、パンフォーカス画像を生成可能である。
以下では、第１実施形態との相違点を中心に説明し、第１実施形態と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略する。このような説明の省略の仕方は後述する他の実施形態でも同様である。

図１４は、ユーザ操作による画像ファイルの削除操作時における確認用情報判定部１０８の処理例を説明するフローチャートである。なお、Ｓ４０１からＳ４０３の処理は、図１１のＳ３０１からＳ３０３と同様であるため、Ｓ４０４ないしＳ４０８の処理を説明する。Ｓ４０３にて現在の表示ピント情報と初期ピント情報が同一でない場合、すなわち初期ピント情報からピント情報が変更されている場合、Ｓ４０４へ移行する。また、Ｓ４０３にて両ピント情報が同一である場合、すなわち初期ピント情報からピント情報が変更されていない場合にはＳ４０５へ移行する。
Ｓ４０４で確認用情報判定部１０８は、現在の表示ピント情報がパンフォーカスピント情報に設定されているか否かを判定する。パンフォーカスピント情報とはピント合わせが可能な全ての被写体にピントが合った画像を得るためのピント情報である。判定結果がパンフォーカスピント情報である場合、Ｓ４０６へ移行し、パンフォーカスピント情報でない場合にはＳ４０７へ移行する。
Ｓ４０５で確認用情報判定部１０８は、パンフォーカスピント情報を確認用ピント情報として設定する。また、Ｓ４０６で確認用情報判定部１０８は、初期ピント情報を確認用ピント情報として設定する。また、Ｓ４０７で確認用情報判定部１０８は、初期ピント情報およびパンフォーカスピント情報を確認用ピント情報として設定する。Ｓ４０５ないしＳ４０７の後、Ｓ４０８に処理を進め、確認用情報判定部１０８は、判定した確認用ピント情報を画像生成部１０４へ出力して処理を終了する。

図１５は、パンフォーカス画像表示時の画面例を示す。パンフォーカス画像においては、全ての被写体２１から２３にピントが合うようにパンフォーカスピント情報が設定されている。
図１６（Ａ）は、図１２（Ａ）に示すような初期ピント画像の表示中にユーザが削除操作を行う場合に表示される画面例を示す。この場合、図１４のＳ４０３において表示ピント情報と初期ピント情報が同一であると判断されるため、パンフォーカスピント情報が確認用ピント情報として画像生成部１０４へ出力される。確認画面生成部１０７は、画像生成部１０４にて再構築された確認用ピント画像のデータが入力されると、削除確認画面２４にて確認用ピント画像、すなわちパンフォーカス画像を合成する。
図１６（Ｂ）は、図１３（Ａ）に示すようなピント情報を変更した画像表示中にユーザが削除操作を行う場合に表示される画面例を示す。この場合、図１４のＳ４０３において表示ピント情報と初期ピント情報が同一でないと判断される。さらに図１４のＳ４０４において表示ピント情報とパンフォーカスピント情報が同一でないと判断されるため、初期ピント情報およびパンフォーカスピント情報が確認用ピント情報として画像生成部１０４へ出力される。画像生成部１０４は確認用の第１画像データとして初期ピント画像のデータを再構築し、確認用の第２画像データとしてパンフォーカス画像のデータを再構築する。確認画面生成部１０７は、画像生成部１０４にて再構築された初期ピント画像およびパンフォーカス画像のデータが入力されると、削除確認画面２４が初期ピント画像２４ａおよびパンフォーカス画像２４ｂを含むように合成する処理を行う。
図１６（Ｃ）は、図１５のようなパンフォーカス画像の表示中にユーザが削除操作を行う場合に表示される画面例を示す。この場合、図１４のＳ４０３において表示ピント情報と初期ピント情報が同一でないと判断される。さらに図１４のＳ４０４において表示ピント情報とパンフォーカスピント情報が同一であると判断されるため、初期ピント情報が確認用ピント情報として画像生成部１０４へ出力される。確認画面生成部１０７は、画像生成部１０４にて再構築された初期ピント画像のデータが入力されると、削除確認画面２４が初期ピント画像を含むように合成する処理を行う。

第２実施形態によれば、初期ピント画像またはパンフォーカス画像を提示することによって（図１６（Ａ）および（Ｃ）参照）、ユーザは所望のピント画像を確認できる。また、初期ピント画像およびパンフォーカス画像を同時に提示することによって（図１６（Ｂ）参照）、ユーザは初期ピント画像に加えて、初期ピント画像のみでは認識できない全被写体の画像を確認できる。

［変形例］
次に図１７を参照して第２実施形態の変形例を説明する。図１７は表示中にユーザが削除操作を行う場合に表示される画面例を示す。画像生成部１０４は初期ピント画像およびパンフォーカス画像に加えて、それぞれの被写体にピントが合った画像のデータを再構築する。つまり、確認用の第１および第２画像データとして初期ピント画像およびパンフォーカス画像のデータがそれぞれ再構築されるとともに、被写体ごとにピントを合わせるピント情報を用いて複数の確認用画像データがそれぞれ再構築される。確認画面生成部１０７は、削除確認画面２４が初期ピント画像２４ａおよびパンフォーカス画像２４ｂ、並びに被写体２１だけにピントが合った画像２４ｃおよび被写体２３だけにピントが合った画像２４ｄを全て含むように合成処理を行う。よって、ユーザは、ＬＦデータから再構築可能な全てのピント画像を削除確認用画面で詳細に確認できる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。第３実施形態では撮像装置と画像表示装置を一体にした構成について説明する。
図１８は、撮像装置２００の構成例を示すブロック図であり、図８との相違点は撮像レンズ１１、マイクロレンズアレイ１２、イメージセンサ１３である。
操作入力部１０１は、ユーザ操作による操作信号が入力され、当該信号が光線情報および方向情報の記録を指示するシャッタ操作信号である場合、光線情報および方向情報の記録指示をイメージセンサ１３へ出力する。イメージセンサ１３は、光線情報および方向情報の記録指示を受け取ると、検出した光線情報および方向情報を含むＬＦデータを記憶部１０２へ出力して保存する処理を行う。

情報判定部１０３は、記憶部１０２から取得した初期ピント情報が未設定である場合、すなわちＬＦデータの記録直後には、表示ピント情報を画像生成部１０４へ出力しない。画像生成部１０４は、情報判定部１０３から表示ピント情報の入力が無いと判定した場合、ＬＦデータを解析して、少なくとも１つの被写体に合焦させることができるピント情報に基づいて画像を再構築する。その際のピント情報は初期ピント情報として記憶部１０２に保存される。
第３実施形態によれば、撮像装置と画像表示装置を一体化させた構成において、ユーザは削除操作時に所望のピント画像を確認することができ、ユーザが画像データを誤って削除しないように防止できる。
なお、前記の各実施形態では、ＬＦデータを取得する装置例として、マイクロレンズアレイ１２により分割した光をイメージセンサ１３で検出することにより異なる方向の光を検出するライトフィールドカメラを説明した。しかし、ＬＦデータの取得装置の構成についてはこれに限らず、例えば、多眼カメラにより方向の異なる光を検出する構成を採用してもよい。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 画像表示装置
１０１ 操作入力部
１０２ 記憶部
１０３ 情報判定部
１０４ 画像生成部
１０７ 確認画面生成部
１０８ 確認用情報判定部

Claims (15)

1. 撮影された画像のピント状態を指定した画像データを生成する画像処理装置であって、
   前記画像のピント状態を指定する操作手段と、
   前記操作手段によりピント状態が指定された画像データを生成する画像生成手段と、
   前記画像データの削除操作時に削除確認用の表示データを生成する表示データ生成手段と、
   前記画像生成手段が生成する画像データと前記表示データ生成手段が生成する表示データを出力する出力手段を備え、
   前記操作手段の指定によりピント状態が変更された場合、前記画像データの削除操作時に、前記画像生成手段は変更した後のピント状態とは異なる所定のピント状態の画像データを生成することを特徴とする画像処理装置。
2. 前記画像生成手段は、撮像された画像に係る光の強度を示す光線情報および光線の方向情報を取得し、前記操作手段により指定されたピント状態の画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成手段は、前記操作手段により指定されたピント情報として焦点距離および被写界深度の情報を取得して前記画像データを生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記操作手段の指定によりピント状態が変更された場合、前記画像データの削除操作時に、前記画像生成手段は変更した後のピント状態とは異なるピント情報を用いて生成した第１画像データおよび複数の被写体にピントを合わせるピント情報を用いて生成した第２画像データを前記表示データ生成手段に出力し、前記表示データ生成手段は前記画像生成手段から受信した前記第１画像データおよび第２画像データを含む削除確認用の表示データを生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記操作手段の指定によりピント状態が変更された場合、前記画像データの削除操作時に、前記画像生成手段は変更した後のピント状態とは異なるピント情報を用いて生成した第１画像データおよび被写体ごとにピントを合わせるピント情報を用いてそれぞれ生成した複数の画像データを前記表示データ生成手段に出力し、前記表示データ生成手段は前記画像生成手段から受信した前記第１画像データおよび前記複数の画像データを含む削除確認用の表示データを生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
6. 撮影終了時に設定されたピント情報または画像内の被写体を認識して設定されたピント情報を記憶する記憶手段を備え、
   前記画像生成手段は、前記記憶手段から取得したピント情報に対応するピント状態とは異なるピント状態が指定された場合、前記画像データの削除操作時に、前記記憶手段から取得したピント情報を用いて生成した画像データを前記表示データ生成手段に出力し、前記表示データ生成手段は当該画像データを含む削除確認用の表示データを生成することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 撮像光学系を介して被写体からの光を受光する撮像手段をさらに備え、
   前記撮像手段は、複数のマイクロレンズと、前記撮像光学系から前記マイクロレンズを介してそれぞれ入射する光を電気信号に変換して画像に係る光の強度を示す光線情報および光線の方向情報を出力する複数の光電変換手段を有しており、
   前記画像生成手段は、前記撮像手段により撮像された画像に係る前記光線情報および方向情報を取得して前記画像データを生成することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 撮影された画像のピント状態を指定した画像データを生成する画像処理装置にて実行される制御方法であって、
   前記画像のピント状態を指定する操作ステップと、
   前記操作ステップにてピント状態が指定された画像データを生成する画像生成ステップと、
   前記画像データの削除操作時に削除確認用の表示データを生成する表示データ生成ステップと、
   前記画像生成ステップで生成した画像データと前記表示データ生成ステップで生成した表示データを出力する出力ステップを有し、
   前記操作ステップでの指定によりピント状態が変更された場合、前記画像データの削除操作時に、前記画像生成ステップでは変更した後のピント状態とは異なる所定のピント状態の画像データを生成することを特徴とする画像処理装置の制御方法。
9. 前記画像生成ステップでは、撮像された画像に係る光の強度を示す光線情報および光線の方向情報を取得し、前記操作ステップで指定されたピント状態の画像データを生成することを特徴とする請求項８に記載の画像処理装置の制御方法。
10. 前記画像生成ステップでは、前記操作ステップで指定されたピント情報として焦点距離および被写界深度の情報を取得して前記画像データを生成することを特徴とする請求項９に記載の画像処理装置の制御方法。
11. 前記操作ステップでの指定によりピント状態が変更された場合、前記画像データの削除操作時に、前記画像生成ステップでは変更した後のピント状態とは異なるピント情報を用いて生成した第１画像データおよび複数の被写体にピントを合わせるピント情報を用いて生成した第２画像データを出力し、前記表示データ生成ステップでは生成された前記第１画像データおよび第２画像データを含む削除確認用の表示データを生成することを特徴とする請求項８から１０のいずれか１項に記載の画像処理装置の制御方法。
12. 前記操作ステップでの指定によりピント状態が変更された場合、前記画像データの削除操作時に、前記画像生成ステップでは変更した後のピント状態とは異なるピント情報を用いて生成した第１画像データおよび被写体ごとにピントを合わせるピント情報を用いてそれぞれ生成した複数の画像データを出力し、前記表示データ生成ステップでは生成された前記第１画像データおよび前記複数の画像データを含む削除確認用の表示データを生成することを特徴とする請求項８から１０のいずれか１項に記載の画像処理装置の制御方法。
13. 撮影終了時に設定されたピント情報または画像内の被写体を認識して設定されたピント情報を記憶手段に記憶するステップをさら有し、
    前記画像生成ステップでは、前記記憶手段から取得したピント情報に対応するピント状態とは異なるピント状態が指定された場合、前記画像データの削除操作時に、前記記憶手段から取得したピント情報を用いて生成した画像データを出力し、前記表示データ生成ステップでは当該画像データを含む削除確認用の表示データを生成することを特徴とする請求項８から１２のいずれか１項に記載の画像処理装置の制御方法。
14. 撮像光学系を介して被写体からの光を受光する撮像ステップをさらに有し、
    前記撮像ステップでは、複数のマイクロレンズと、前記撮像光学系から前記マイクロレンズを介してそれぞれ入射する光を複数の光電変換手段によって電気信号に変換して、画像に係る光の強度を示す光線情報および光線の方向情報を出力し、
    前記画像生成ステップでは、前記撮像ステップにて撮像された画像に係る前記光線情報および方向情報を取得して前記画像データを生成することを特徴とする請求項８から１３のいずれか１項に記載の画像処理装置の制御方法。
15. 請求項８から請求項１４のいずれか１項に記載の、画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
    
    
    

Images