JP6592330B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

近年、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置、即ち、ライトフィールドカメラが提案されている。
撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、複数の画素に対して１つのマイクロレンズを対応させると、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される（特許文献１参照）。

こうして取得された画像信号、即ち、ライトフィールド情報に対してライトフィールドフォトグラフィと称される手法を適用すると、任意の仮想的な像面、即ち、リフォーカス面にピントが合わせられた画像を、撮影後に再構成することができる。ライトフィールドカメラは、撮影の際にピントを合わせることが不要であるため、シャッターチャンスを逃すことなく撮影を行うことができる。

特開２００７−４４７１号公報

しかしながら、従来の技術では、必ずしも十分に良好な再構成画像を取得し得ない場合もある。
本発明の目的は、良好な再構成画像が得られるように撮影をアシストし得る撮像装置及び撮像方法を提供することにある。

本発明の一観点によれば、焦点位置が再調整された再構成画像を生成することが可能な画像データを取得する撮像手段と、前記焦点位置が再調整された前記再構成画像を前記画像データから生成する再構成手段と、被写体までの距離を検出する検出手段と、前記被写体までの前記距離と、所定のリフォーカス面の位置とに基づいて、前記被写体と前記所定のリフォーカス面との位置関係を示す画面を表示手段に表示させ、又は、リフォーカス面と前記被写体との間の距離に基づいて、前記再構成画像における前記被写体の合焦度合いを示す画面を前記表示手段に表示させる制御手段とを有することを特徴とする撮像装置が提供される。

本発明によれば、被写体と所定のリフォーカス面との位置関係を示す画面、又は、再構成画像における被写体の合焦度合いを示す画面が表示されるため、良好な再構成画像が得られるように撮影をアシストすることができる。

本発明の第１実施形態による撮像装置の外観を示す斜視図である。 本発明の第１実施形態による撮像装置の構成を示すブロック図である。 撮像部の一部を示す平面図である。 撮影レンズとマイクロレンズアレイと撮像部との関係を示す概略図である。 撮像装置とリフォーカス面と被写体との位置関係を示す概略図である。 リフォーカスを説明するための図である。 リフォーカスを説明するための図である。 本発明の第１実施形態による撮像装置における撮影アシスト画面の例を示す図である。 本発明の第１実施形態による撮像装置の動作を示すフローチャートである。 絞り値の制御を説明するための図である。 本発明の第２実施形態による撮像装置における撮影アシスト画面の例を示す図である。 本発明の第３実施形態による撮像装置における撮影アシスト画面の例を示す図である。

以下、図面を参照しながら本発明の好適な実施の形態について説明する。
［第１実施形態］
本発明の第１実施形態による撮像装置について図１乃至図９を用いて説明する。図１は、本発明の第１実施形態による撮像装置の外観を示す斜視図である。
本実施形態による撮像装置１００は、デジタルカメラ（電子カメラ）、より具体的には、ライトフィールドカメラである。
図１に示すように、撮像装置１００の背面には、画像や各種情報を表示するための表示部２８が設けられている。撮像装置１００の各部には、ユーザによる各種操作を受け付けるための操作部７０が設けられている。操作部７０は、各種スイッチ、各種ボタン、タッチパネル等の操作部材によって構成されている。シャッターボタン６１は、撮影指示を行うためのものであり、操作部７０の一部を構成している。モード切替スイッチ６０は、各種モードを切り替えるためのものであり、操作部７０の一部を構成している。コントローラホイール７３は、回転操作が可能な操作部材であり、操作部７０の一部を構成している。電源スイッチ７２は、電源のオン／オフを切り替えるためのものである。

撮像装置１００には、接続ケーブル１１１によって撮像装置１００と他の機器とを接続するためのコネクタ１１２が設けられている。また、撮像装置１００には、記録媒体２００を格納するためのスロット２０３が設けられている。記録媒体２００としては、例えば、メモリカード等が挙げられる。スロット２０３に格納された記録媒体２００は、撮像装置１００との間で通信が可能となる。スロット２０３には、蓋２０２が設けられている。

図２は、本実施形態による撮像装置１００の構成を示すブロック図である。
レンズユニット１５０は、撮影レンズ１０３を含んでいる。測距センサ１０４は、撮像部２２によって撮像される被写体空間の距離情報を取得するためのものである。距離情報を取得する技術としては、例えば、タイムオブフライト（ＴＯＦ：Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法を用いることができる。タイムオブフライト法とは、照射したレーザ光が被写体によって反射されて戻ってくるまでの時間に基づいて距離を検知する方式である。なお、距離情報を取得する際に用いられる技術は、タイムオブフライト法に限定されるものではない。本実施形態による撮像装置１００では、撮像部２２の画素ピッチに応じた解像度で距離情報が取得されるようになっており、取得された距離情報はメモリ３２に保持される。測距センサ１０４と後述するシステム制御部５０とが相俟って、撮像装置１００から被写体８１０（図５参照）までの距離を検出する検出手段として機能し得る。

撮像部２２の前段には、シャッター１０１が配されている。撮像部２２は、光学像を電気信号に変換するＣＣＤイメージセンサやＣＭＯＳイメージセンサ等によって構成されている。Ａ／Ｄ変換器（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するものである。撮像部２２は、合焦位置が再調整された再構成画像を生成することが可能な画像データを取得する撮像手段として機能する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し、所定の画素補間、縮小といったリサイズ処理や色変換処理等を行う。また、画像処理部２４は、撮像部２２によって得られた画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部２４によって得られた演算結果に基づいて露光制御等を行う。具体的には、自動露出（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理、フラッシュプリ発光（ＥＦ）処理等がシステム制御部５０によって行われる。画像処理部２４は、更に、撮像部２２によって得られた画像データを用いて所定の演算処理を行い、当該演算処理によって得られた演算結果に基づいてオートホワイトバランス（ＡＷＢ：Ａｕｔｏ Ｗｈｉｔ Ｂａｌａｎｃｅ）処理をも行う。画像処理部２４は、メモリ３２に保持されるライトフィールドＲＡＷデータを用い、所望のリフォーカス面に合焦するように再構成された再構成画像（リフォーカス画像）を生成する処理をも行う。画像処理部２４は、撮像部２２によって取得された画像データから合焦位置が再調整された再構成画像を生成する再構成手段として機能し得る。なお、リフォーカス面の位置の指示は、システム制御部５０等によって行われる。

Ａ／Ｄ変換器２３から出力されるデータは、画像処理部２４とメモリ制御部１５とを介して、メモリ３２に書き込まれる。具体的には、撮像部２２によって取得され、Ａ／Ｄ変換器２３によってデジタルデータに変換された画像データが、メモリ３２に格納される。また、表示部２８に表示するための画像データもメモリ３２に格納される。メモリ３２は、所定枚数の静止画像や、所定時間の動画像や音声を格納するのに十分な記憶容量を備えている。

メモリ３２は、画像表示用のメモリ（ビデオメモリ）をも兼ねている。Ｄ／Ａ変換器（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に格納された画像表示用のデータは、Ｄ／Ａ変換器１３を介して表示部２８によって表示される。
表示部２８としては、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等が用いられている。表示部２８は、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。

Ａ／Ｄ変換器２３によってデジタル化された信号、即ち、デジタル信号は、画像処理部２４によって所定の信号処理が施された後にメモリ３２に蓄積される。メモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３によってアナログ化して表示部２８に逐次転送することによって、表示部２８はスルー画像を表示する電子ビューファインダとして機能する。
なお、表示部２８として、立体表示に対応する３Ｄディスプレイ等を用いることも可能である。この場合には、立体表示に対応する表示用データを画像処理部２４によって生成し、表示用データをメモリ３２に書き込み、当該表示用データをＤ／Ａ変換器１３を介して表示部２８に転送することによって立体表示を行う。

圧縮・伸張処理部３５には、ライトフィールドＲＡＷデータによって構成された画像データが入力され、圧縮・伸張処理部３５は、入力された画像データに対して圧縮処理や伸長処理を行う。圧縮処理の方式としては、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等が挙げられる。
不揮発性メモリ５６は、電気的に消去や記録が可能なメモリであり、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等が用いられる。不揮発性メモリ５６には、システム制御部５０を動作させるためのプログラムや定数等が記憶されている。

システム制御部５０は、本実施形態による撮像装置１００全体を制御する。システム制御部５０としては、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が用いられている。不揮発性メモリ５６に記録されたプログラムをシステム制御部５０が実行することによって、様々な処理が撮像装置１００によって行われることとなる。システムメモリ５２としては、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が用いられる。システムメモリ５２には、システム制御部５０を動作させるための定数や変数等が記憶される。また、システムメモリ５２には、不揮発性メモリ５６から読み出されたプログラム等も展開される。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することによって、表示制御をも行う。
システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

タッチパネル３６は、表示部２８の上面に配されている。タッチパネル３６における検出方式としては、抵抗膜方式、静電容量方式等を用いることができる。タッチパネル３６が指によってタッチされた位置は、システム制御部５０によって検出され、座標等に変換されて利用される。
モード切替スイッチ６０、シャッターボタン６１、シャッタースイッチ６２、操作部７０は、各種の動作指示をシステム制御部５０に入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを、静止画記録モード、動画記録モード、再生モード等のうちのいずれかに切り替えるためのものである。シャッタースイッチ６２は、シャッターボタン６１が操作されている途中の状態、即ち、いわゆる半押し（撮影準備指示）の状態においてオン状態となり、第１のシャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１のシャッタースイッチ信号ＳＷ１によって、オートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）処理、自動露出処理、オートホワイトバランス処理、フラッシュプリ発光処理等の動作を開始する。

シャッタースイッチ６２は、シャッターボタン６１の操作が完了した際、即ち、いわゆる全押し（撮影指示）になった際にオン状態となり、第２のシャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２のシャッタースイッチ信号ＳＷ２によって、撮像部２２からの画素信号の読み出しから記録媒体２００への画像データの書き込みまでの一連の動作を開始する。

操作部７０の各々の操作部材は、表示部２８に表示される種々の機能アイコンを選択操作する際にも用いられる。操作部７０の各々の操作部材には、場面ごとに各種機能が適宜割り当てられ、操作部７０の各々の操作部材は、各種機能ボタンとして機能する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞り込みボタン、属性変更ボタン等が挙げられる。

操作部７０を構成する複数の操作部材のうちの１つは、メニューボタンである。メニューボタンが押された際には、各種の設定を行うためのメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されるメニュー画面を見ながら、４方向ボタンやＳＥＴボタン等を操作することによって、各種設定を行うことができる。

コントローラホイール７３は、選択項目の指示を行う際などに用いられる。コントローラホイール７３を回転操作すると、操作量に応じた電気的なパルス信号がコントローラホイール７３から出力される。システム制御部５０は、コントローラホイール７３から出力されるパルス信号に基づいて、撮像装置１００の各部を制御する。コントローラホイール７３が回転させられた角度や、コントローラホイール７３が回転させられた回数等を、システム制御部５０は、かかるパルス信号によって判定することができる。なお、コントローラホイール７３としては、例えば、ユーザによる回転操作に応じて物理的に回転してパルス信号を発生するダイヤル式のコントローラホイールを用いることができる。なお、コントローラホイール７３は、ダイヤル式のコントローラホイールに限定されるものではない。例えば、コントローラホイール７３として、タッチセンサによって構成されたコントローラホイールを用いることもできる。タッチセンサによって構成されたコントローラホイール７３は、当該コントローラホイール７３自体は物理的に回転せず、タッチセンサ上におけるユーザの指の回転動作を検出し、指の回転動作に応じたパルス信号等を出力するものである。このようなコントローラホイール７３は、タッチホイールとも称される。

電源制御部８０は、電池検出回路（図示せず）、ＤＣ−ＤＣコンバータ（図示せず）、通電するブロックを切り替えるスイッチ回路（図示せず）等によって構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量等の検出を行う。また、電源制御部８０は、これらの検出の結果及びシステム制御部５０からの指示に基づいて、ＤＣ−ＤＣコンバータを制御し、記録媒体２００を含む撮像装置１００の各部に必要な電圧を必要な期間だけ供給する。

電源部３０としては、例えば、アルカリ電池やリチウム電池等の一次電池や、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池を用いることができる。また、電源部３０は、ＡＣアダプター等であってもよい。
インターフェース１８は、記録媒体２００との間でデータ等の入出力を行うためのものである。記録媒体２００は、メモリカード等であり、半導体メモリや磁気ディスク等によって構成されている。

図３は、撮像部２２の一部を示す平面図である。図３に示すように、撮像部２２の撮像面には、複数の単位画素２１０が行列状に配された画素アレイが設けられている。図３において太線で囲まれている部分が、１つの単位画素２１０に対応している。単位画素２１０は、複数の画素（分割画素）２１１によって構成されている。各々の分割画素２１１には、光電変換素子（光電変換部）が設けられている。ここでは、１つの単位画素２１０が、５行×５列の計２５個の分割画素２１１によって構成されている場合を例として示している。撮像部２２の撮像面上には、複数のマイクロレンズ１０２０を含むマイクロレンズアレイ１０２が配されている。各々の単位画素２１０に各々のマイクロレンズ１０２０が対応している。１つの単位画素２１０を構成する複数の分割画素２１１が、１つのマイクロレンズ１０２０に対応付けられている。

図４は、撮影レンズ１０３とマイクロレンズアレイ１０２と撮像部２２との関係を示す概略図である。図４は、光軸に対して垂直の方向から観察したときの図である。図４に示すように、撮影レンズ１０３の射出瞳の各々の瞳領域Ｌ１〜Ｌ５からの光が、１つのマイクロレンズ１０２０を通過して、撮像部２２の単位画素２１０の各々の光電変換素子ｐ１〜ｐ５によってそれぞれ受光される。なお、光電変換素子ｐ１〜ｐ５は、単位画素２１０を構成する複数の分割画素２１１の各々に１つずつ設けられている。光電変換素子ｐ１〜ｐ５としては、例えばフォトダイオードが用いられている。撮像部２２の各々の分割画素２１１によって得られた信号を用い、任意の焦点位置（リフォーカス面）において画像を再構成処理することによって、任意の被写体にピントが合った画像を生成することができる。

次に、撮像装置１００とリフォーカス面８０３〜８０５と被写体８１０との位置関係について図５を用いて説明する。
図５は、撮像装置１００とリフォーカス面８０３〜８０５と被写体８１０との位置関係を示す概略図である。図５に示すように、撮像装置１００の前方には、撮影対象となる被写体８１０が位置している。また、図５には、リフォーカス面８０３とリフォーカス面８０４とリフォーカス面８０５とが示されている。

次に、再構成画像の生成について図６及び図７を用いて説明する。図６は、再構成画像の生成を説明するための図である。図６は、リフォーカス面８０３にピントが合うように再構成を行う場合を示している。
図６には、リフォーカス面８０３に対応する仮想的な画素、即ち、再構成画素Ｐ１〜Ｐ５が示されている。なお、ここでは、説明を簡略化するため、５つの単位画素２１０ａ〜２１０ｅに注目して説明するが、実際には、撮像部２２には多数の単位画素２１０が設けられている。また、ここでは、説明を簡略化するため、各々の単位画素２１０ａ〜２１０ｅに対して、分割画素ａ１〜ａ５、ｂ１〜ｂ５、ｃ１〜ｃ５、ｄ１〜ｄ５、ｅ１〜ｅ５を５個ずつ示している。しかし、実際には、各々の単位画素２１０ａ〜２１０ｅには、分割画素が２５個ずつ設けられている。各々の単位画素２１０ａ〜２１０ｅの上方には、マイクロレンズ１０２０ａ〜１０２０ｅが位置している。
撮影レンズ１０３の各々の瞳領域Ｌ１〜Ｌ５から出射され、仮想的な画素である再構成画素Ｐ３に収束する光束ｒ１〜ｒ５は、マイクロレンズ１０２０ｃを介して、分割画素ｃ１〜ｃ５にそれぞれ入射する。

各々の分割画素ｃ１〜ｃ５から出力される画素信号（画素値）を加算することによって、再構成画素Ｐ３における画素値Ｓ３を算出することが可能である。例えば、以下のような式（１）を用いることによって、再構成画素Ｐ３における画素値Ｓ３を算出することが可能である。
Ｓ３＝Σ（ｃｋの画素値）・・・（１）
但し、ｋ＝１〜５である。
他の仮想的な画素である再構成画素Ｐ１、Ｐ２、Ｐ４、Ｐ５における画素値Ｓ１、Ｓ２、Ｓ４、Ｓ５についても、上記と同様にして算出することが可能である。

次に、リフォーカス面８０４にピントが合うように再構成を行う場合について図７を用いて説明する。図７は、再構成画像の生成を説明するための図である。図７は、リフォーカス面８０４にピントが合うように再構成を行う場合を示している。

撮影レンズ１０３の各々の瞳領域Ｌ１〜Ｌ５から出射され、仮想的な画素である再構成画素Ｐ３に収束する光束ｒ１〜ｒ５は、マイクロレンズ１０２０ａ〜１０２０ｅをそれぞれ介して、単位画素２１０ａ〜２１０ｅにそれぞれ入射する。具体的には、瞳領域Ｌ１、Ｌ２、Ｌ４、Ｌ５からの光束ｒ１、ｒ２、ｄ４、ｒ５は、複数の分割画素にまたがるように入射する。より具体的には、瞳領域Ｌ５からの光束ｒ５は、分割画素ａ２と分割画素ａ３の両方にまたがるように入射する。また、瞳領域Ｌ４からの光束ｒ４は、分割画素ｂ２と分割画素ｂ３とにまたがるように入射する。また、瞳領域Ｌ２からの光束ｒ２は、分割画素ｄ３と分割画素ｄ４とにまたがるように入射する。また、瞳領域Ｌ１からの光束ｒ１は、分割画素ｅ３と分割画素ｅ４とにまたがるように入射する。一方、瞳領域Ｌ３からの光束ｒ３は、複数の分割画素にまたがるように入射するわけではなく、１つの分割画素ｃ３に入射する。

各々の分割画素ａ２、ａ３、ｂ２、ｂ３、ｃ３、ｄ３、ｄ４、ｅ３、ｅ４からの画素信号（画素値）を重み付け加算することによって、再構成画素Ｐ３における画素値Ｓ３を算出することが可能である。例えば、以下のような式（２）を用いることによって、再構成画素Ｐ３における画素値Ｓ３を算出することが可能である。
Ｓ３＝ｗ１・ａ２＋ｗ２・ａ３＋ｗ３・ｂ２＋ｗ４・ｂ３＋ｃ３＋ｗ３・ｄ４＋ｗ４・ｄ３＋ｗ２・ｅ３＋ｗ１・ｅ４ ・・・（２）
但し、ｗ１〜ｗ４は、重み付け係数を示している。
他の仮想的な画素である再構成画素Ｐ１、Ｐ２、Ｐ４、Ｐ５における画素値Ｓ１、Ｓ２、Ｓ４、Ｓ５についても、上記と同様にして算出することが可能である。
このように、撮像部２２に設けられた分割画素ａ１〜ｅ５のうちから再構成画素Ｐ１〜Ｐ５に関連する分割画素を選択し、選択された各々の分割画素の画素値を必要に応じて重み付け加算を行うことによって、再構成画像を生成することが可能である。

しかしながら、すべての再構成画素についての重み付け係数の算出を再構成画像の生成の際に行うようにした場合には、再構成画像を生成する際の処理負荷が膨大となってしまう。再構成画像を生成する際の処理負荷を低減するためには、再構成画像を生成する際に必要とされる情報を、不揮発性メモリ５６等に予め保持しておくことが好ましい。このため、本実施形態では、再構成画像を生成する際に必要とされる情報が不揮発性メモリ５６に予め保持されている。再構成画像を生成する際に必要とされる情報としては、例えば、重み付け加算を行う際に用いられる重み付け係数等が挙げられる。また、再構成画像を生成する際に必要とされる情報として、各々の再構成画素に関連する分割画素についての情報等も挙げられる。

ところで、最至近側から無限遠側までのすべての位置においてのかかる情報を、不揮発性メモリ５６に予め保持させることは、情報量が膨大であるため困難である。そこで、本実施形態では、離散的な位置においてのかかる情報を、不揮発性メモリ５６に予め保持するようにしている。具体的には、リフォーカス面８０３にピントが合うように再構成画像を生成する場合に用いられる情報としては、例えば以下のような情報が挙げられる。例えば、再構成画素Ｐ３に関連する分割画素がｃ１〜ｃ５である旨の情報が挙げられる。また、例えば、重み付け係数ｗ１〜ｗ４がいずれも１である旨の情報が挙げられる。これらの情報は、不揮発性メモリ５６等に予め保持されている。

本実施形態によれば、再構成画像を生成する際に必要とされる情報が不揮発性メモリ５６等に予め保持されており、再構成画像を生成する際に必要とされる情報をリフォーカス時に算出する必要がない。このため、本実施形態によれば、リフォーカス時における処理負荷を低減することができる。

次に、撮影をアシストするための画面である撮影アシスト画面８００について図８を用いて説明する。図８は、本実施形態による撮像装置における撮影アシスト画面８００の例を示す概略図である。なお、撮影アシスト画面８００は、表示部２８に表示される。撮影アシスト画面８００を表示部２８に表示するための画像信号（映像信号）は、システム制御部５０等によって生成される。

図８に示すように、撮影アシスト画面８００には、再構成によって生成される再構成画像８０１が表示される。ここでは、リフォーカス面８０３（図５参照）において合焦するように再構成された再構成画像８０１を逐次更新しながら表示する場合を例に説明する。また、ここでは、撮影画像中に３つの被写体（被写体像）８１０〜８１２が含まれている場合を例に説明する。

図８に示すように、撮影アシスト画面８００には、撮像装置１００を模式的に示す図形１００′と、リフォーカス面８０３〜８０５（図５参照）をそれぞれ模式的に示す図形８０３′〜８０５′とが表示される。なお、ここでは、説明の便宜上、撮像装置１００を模式的に示す図形１００′を、撮像装置と称することもある。また、リフォーカス面８０３〜８０５をそれぞれ模式的に示す図形８０３′〜８０５′を、リフォーカス面と称することもある。なお、リフォーカス面８０３〜８０５については、再構成画像を生成する際に必要とされる情報が、不揮発性メモリ５６に予め保持されている。なお、ここでは、再構成画像を生成する際に必要とされる情報が不揮発性メモリ５６に予め保持されているリフォーカス面８０３〜８０５を３つ示しているが、このようなリフォーカス面の数は３つに限定されるものではなく、適宜設定し得る。

また、図８に示すように、被写体８１０〜８１２をそれぞれ模式的に示す図形８１０′〜８１２′も、撮影アシスト画面８００に表示される。なお、ここでは、説明の便宜上、被写体８１０〜８１２をそれぞれ模式的に示す図形８１０′〜８１２′を、被写体と称することもある。撮像装置１００から各々の被写体８１０〜８１２までの距離は、上述したように、測距センサ１０４を用いて検出される。測距センサ１０４を用いて検出された距離に基づいて、被写体を模式的に示す図形８１０′〜８１２′の位置が設定される。

被写体を模式的に示す図形８１０′〜８１２′のうちのいずれかをユーザが指でタッチすると、表示部２８の上面に配されたタッチパネル３６からの信号がシステム制御部５０によって検出される。システム制御部５０は、タッチパネル３６からの信号に基づいて、被写体を模式的に示す複数の図形８１０′〜８１２′のうちのいずれの図形がユーザの指によってタッチされたかを検出する。システム制御部５０は、タッチされた図形に対応する被写体を囲むように矩形の枠８２０を表示する。なお、図８は、被写体８１１に対応する図形８１１′がユーザの指によってタッチされた場合を例に示している。

図形８１０′、８１２′にそれぞれ対応する被写体８１０、８１２の位置は、それぞれリフォーカス面８０４、８０５の位置とほぼ等しい。このため、図形８１０′，８１２′に対応する被写体８１０，８１２については、不揮発性メモリ５６に予め保持されている情報を用いることによって、合焦度合い（合焦レベル）の高いリフォーカス画像を得ることができる。一方、図形８１１′に対応する被写体８１１の位置は、リフォーカス面８０４とリフォーカス面８０５のいずれからも大きく離れている。このため、被写体８１１にリフォーカスする際には、不揮発性メモリ５６に予め保持されている情報を利用できない。このため、被写体８１１にピントが合うように再構成を行った場合には、十分な合焦度合いが得られない虞がある。被写体８１１にリフォーカスした場合であっても十分な合焦度合いが得られるようにするためには、例えば以下のようにすることが有効である。即ち、再構成画像を生成する際に必要とされる情報が不揮発性メモリ５６に予め保持されているリフォーカス面８０３〜８０５のうちのいずれかの近くに被写体８１１を移動させることが有効である。しかしながら、どの被写体がリフォーカス面８０３〜８０５から大きく離れているかを、アシストなしにユーザが把握することは容易ではない。そこで、本実施形態では、システム制御部５０が、図形８１０′〜８１２′と被写体８１０〜８１２とをそれぞれ関連付ける。そして、図形８１０′〜８１２′のうちのいずれかがユーザが指によってタッチされた場合には、システム制御部５０は、タッチされた図形に関連付けられた被写体を目立たせるための表示を撮影アシスト画面８００において行う。例えば、図形８１１′がユーザの指によってタッチされた場合には、システム制御部５０は、当該図形８１１′に対応する被写体８１１を囲むような矩形の枠８２０を撮影アシスト画面８００において表示する。これにより、ユーザは、どの被写体８１０〜８１２がリフォーカス面８０３〜８０５から大きく離れているのかを把握することができる。ユーザは、リフォーカス面８０３〜８０５から大きく離れている被写体８１１に対して移動を促すことができる。被写体８１１は、ユーザからの指示に従って、リフォーカス面８０３〜８０５の近くに移動する。これにより、いずれの被写体８１０〜８１２に対してピントが合うように再構成を行う場合であっても、合焦度合いの高い再構成画像を得ることができるようになる。

また、リフォーカス面８０３〜８０５と被写体８１１との間の距離を示す情報８２１、即ち、テキスト表示を、撮影アシスト画面に設けるようにしてもよい。図８は、被写体８１１の前方６ｍの位置にリフォーカス面８０４が存在しており、被写体８１１の後方４ｍの位置にリフォーカス面８０５が存在している場合を例として示している。リフォーカス面８０３〜８０５と被写体８１１との間の距離を示す情報８２１を撮影アシスト画面に設けるようにすれば、被写体８１１が移動すべき移動量をユーザが正確に把握することができ、より速やかに撮影を行うことが可能となる。

システム制御部５０は、被写体８１０〜８１２と所定のリフォーカス面８０３〜８０５との位置関係を示す撮影アシスト画面を、表示部２８を用いて表示する制御手段として機能し得る。

次に、本実施形態による撮像装置の動作について図９を用いて説明する。図９は、本実施形態による撮像装置の動作を示すフローチャートである。
ステップＳ９０１では、ユーザによって撮影の開始が指示される。撮影の開始の指示は、ユーザが操作部７０を操作することによって行われる。ステップＳ９０２では、ライトフィールド画像（ライトフィールドデータ）の取得が行われる。ステップＳ９０３では、所定のリフォーカス面で合焦するように再構成された再構成画像を、ステップＳ９０２で取得したライトフィールド画像から生成し、生成された再構成画像８０１を撮影アシスト画面８００に表示する。

ステップＳ９０４では、被写体８１０〜８１２の位置を示す距離情報に基づいて、被写体を示す図形８１０′〜８１２′を撮影アシスト画面８００に表示する。なお、被写体８１０〜８１２の位置を示す距離情報は、上述したように、測距センサ１０４を用いて取得され、メモリ３２に保持されている。また、再構成画像を生成する際に必要とされる情報が不揮発性メモリ５６に予め保持されているリフォーカス面８０３〜８０５（図８参照）が撮影アシスト画面８００に表示される。

ステップＳ９０５では、被写体を模式的に示す図形８１０′〜８１２′がユーザの指によってタッチされたか否かを検出する。かかる図形８１０′〜８１２′のうちのいずれかがユーザの指によってタッチされたことが検出された場合には（ステップＳ９０５においてＹＥＳ）、ステップＳ９０６に移行する。かかる図形８１０′〜８１２′へのタッチが検出されない場合には（ステップＳ９０５においてＮＯ）、ステップＳ９０５が繰り返し行われる。

ステップＳ９０６では、タッチされた図形８１１′に関連付けられた被写体８１１を囲むような矩形の枠８２０を撮影アシスト画面に表示する。また、タッチされた図形８１１′に対応する被写体８１１とリフォーカス面８０４，８０５との間の距離が、システム制御部５０によって算出され、当該距離を示す情報８２１が撮影アシスト画面８００に表示される。

このように、本実施形態によれば、被写体８１０〜８１２とリフォーカス面８０３〜８０５との位置関係を撮影アシスト画面に表示する。このため、良好な再構成画像が得られるように撮影をアシストすることができる。

［第２実施形態］
本発明の第２実施形態による撮像装置及び撮像方法について図１０及び図１１を用いて説明する。図１乃至図９に示す第１実施形態による撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による撮像装置は、絞り値８５０を考慮した合焦範囲８６０を撮影アシスト画面８００に表示するものである。
本実施形態において行われる絞り値の制御について図１０を用いて説明する。図１０は、絞り値の制御を説明するための図である。
瞳領域Ｌ１〜Ｌ５からの光束ｒ１〜ｒ５のうちの一部が低減されるようにすれば、絞り値を大きくすることが可能である。従って、本実施形態による撮像装置１００では、単位画素２１０に含まれる複数の分割画素２１１からそれぞれ出力される複数の画素値を重み付け加算する際に用いられる重み付け係数を調整することによって絞り値を調整する。例えば、瞳領域Ｌ１からの光束ｒ１と瞳領域Ｌ５からの光束ｒ５とに関連する重み付け係数をゼロに設定することによって、絞り値を大きくするようにしてもよい。瞳領域Ｌ１からの光束ｒ１と瞳領域Ｌ５からの光束ｒ５とに関連する重み付け係数をゼロにした場合には、再構成画素Ｐ３の画素値Ｓ３を以下のような式（３）によって算出することができる。
Ｓ３＝ｗ３・ｂ２＋ｗ４・ｂ３＋ｃ３＋ｗ３・ｄ４＋ｗ４・ｄ３ ・・・（３）

絞り値を大きくすれば、被写界深度が大きくなる。このため、絞り値を大きくすれば、不揮発性メモリ５６に予め保持されている情報を用いて再構成を行った際に高い合焦度合いが得られる範囲９５０（図１０参照）を、大きくすることができる。なお、絞り値の調整は、操作部７０に設けられた操作部材をユーザが操作することによって行うことができる。

なお、ここでは、瞳領域Ｌ１からの光束ｒ１と瞳領域Ｌ５からの光束ｒ５とに関連する重み付け係数をゼロに設定する場合を例に説明したが、これに限定されるものではない。例えば、瞳領域Ｌ１からの光束ｒ１と瞳領域Ｌ５からの光束ｒ５とに関連する重み付け係数を減少させることによっても、絞り値を大きくすることが可能である。即ち、単位画素２１０に含まれる複数の分割画素２１１からそれぞれ出力される複数の画素値を重み付け加算する際に用いられる重み付け係数を適宜調整することによって絞り値を調整することができる。

本実施形態の撮像装置において表示される撮影アシスト画面８００について図１１を用いて説明する。図１１は、本実施形態による撮像装置における撮影アシスト画面８００の例を示す図である。

図１１に示すように、絞り値８５０が撮影アシスト画面８００に表示される。ここでは、絞り値８５０をＦ５に設定した場合が例として示されている。また、設定された絞り値８５０に対応する再構成画像８０１が撮影アシスト画面８００に表示される。また、絞り値８５０に応じた合焦範囲８６０が撮影アシスト画面８００に示される。図１１においては、合焦範囲８６０が矢印を用いて示されている。

図１１に示す場合においては、リフォーカス面８０５の合焦範囲８６０内に被写体８１１と被写体８１２とが位置している。また、リフォーカス面８０４の近傍に被写体８１０が位置している。従って、被写体８１０〜８１２のいずれにピントが合うように再構成画像を生成する場合であっても良好な再構成画像が得られることを、ユーザが容易に把握することができる。
このように、絞り値８５０に応じた合焦範囲８６０を撮影アシスト画面８００に表示するようにしてもよい。

［第３実施形態］
第３実施形態による撮像装置及び撮像方法について図１２を用いて説明する。図１乃至図１１に示す第１又は第２実施形態による撮像装置及び撮像方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

図１２は、本実施形態による撮像装置における撮影アシスト画面８００を示す図である。図１２に示すように、本実施形態では、再構成画像８０１における各々の被写体８１０〜８１２の合焦度合いを示す図形８８０〜８８２が撮影アシスト画面８００に表示される。ここでは、リフォーカス面８０３にピントが合うように再構成画像８０１を生成した場合の合焦度合いが示されている。合焦度合いを示す図形８８０〜８８２は、点線を用いて示されている。点線の長さが長いほど、合焦度合いが高い。リフォーカス面８０３を模式的に示す図形８０３′は、太い実線を用いて示されている。被写体８１０〜８１２をそれぞれ模式的に示す図形８１０′〜８１２′も、撮影アシスト画面８００に表示される。被写体を模式的に示す図形８１０′〜８１２′は、被写体８１０〜８１２に関連付けられている。各々の被写体８１０〜８１２の合焦度合いは、リフォーカス面８０３と各々の被写体８１０〜８１２との間の距離に基づいて、例えばシステム制御部５０によって算出される。

このように、各々の被写体８１０〜８１２の合焦度合いを示す図形８８０〜８８２を撮影アシスト画面８００に表示するようにすれば、再構成画像８０１において各々の被写体８１０〜８１２がどの程度合焦するかをユーザが容易に把握することができる。
このように、各々の被写体８１０〜８１２の合焦度合いを示す図形８８０〜８８２を撮影アシスト画面８００に表示するようにしてもよい。

なお、ここでは、リフォーカス面８０３にピントが合うように再構成画像８０１を生成した場合の合焦度合いを示したが、これに限定されるものではない。他のリフォーカス面８０４、８０５にピントが合うように再構成画像８０１を生成する際の各々の被写体８１０〜８１２の合焦度合いも、上記と同様にして表示することが可能である。また、リフォーカス面８０３〜８０５の選択は、ユーザが操作部７０を操作することによって行うことが可能である。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。
例えば、上記実施形態を適宜組み合わせるようにしてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１３…Ｄ／Ａ変換器
１５…メモリ制御部
１８…Ｉ／Ｆ
２２…撮像部
２３…Ａ／Ｄ変換器
２４…画像処理部
２８…表示部
３０…電源部
３２…メモリ
３５…圧縮・伸張処理部
３６…タッチパネル
５０…システム制御部
５６…不揮発性メモリ
６０…モード切替スイッチ
６１…シャッターボタン
６２…シャッタースイッチ
７０…操作部
７２…電源スイッチ
８０…電源制御部
１０１…シャッター
１０２…マイクロレンズアレイ
１０３…撮影レンズ
１０４…測距センサ
１５０…レンズユニット
２００…記録媒体

Claims (14)

1. 焦点位置が再調整された再構成画像を生成することが可能なデータを取得する撮像手段と、
   前記焦点位置が再調整された前記再構成画像を前記データから生成する再構成手段と、
   被写体までの距離を検出する検出手段と、
   前記被写体までの前記距離と、所定のリフォーカス面の位置とに基づいて、前記被写体と前記所定のリフォーカス面との位置関係を示す画面を、前記距離の軸上に前記所定のリフォーカス面及び前記被写体に対応する図形を並べることで表示手段に表示させ、かつ、前記所定のリフォーカス面と前記被写体との間の距離に基づいて、前記再構成画像における前記被写体の合焦度合いを示す画面を、前記距離の軸上で該合焦度合いに応じたサイズの図形を並べることで前記表示手段に表示させる制御手段と
   を有することを特徴とする撮像装置。
2. 前記被写体と前記所定のリフォーカス面との前記位置関係を示す前記画面は、前記被写体を模式的に示す第１の図形と、前記所定のリフォーカス面を模式的に示す第２の図形とを含む
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記被写体の前記合焦度合いを示す前記画面は、前記被写体を模式的に示す第１の図形と、前記被写体の前記合焦度合いを示す第３の図形とを含む
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記第１の図形に対しての操作が行われた際には、前記制御手段は、前記操作の対象となった前記第１の図形に関連付けられた被写体像を前記再構成画像において目立たせるための表示を行う
   ことを特徴とする請求項２又は３に記載の撮像装置。
5. 前記表示手段に配されたタッチパネルを更に有し、
   前記第１の図形に対しての前記操作は、前記タッチパネルへのタッチによって行われる
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記被写体像を前記再構成画像において目立たせるための前記表示は、前記被写体像を囲むように枠を表示することによって行われる
   ことを特徴とする請求項４又は５に記載の撮像装置。
7. 前記制御手段は、絞り値に応じた合焦範囲を示す図形を前記画面に更に表示する
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記撮像手段は、複数の光電変換部をそれぞれ含む複数の単位画素が行列状に配された画素アレイと、前記画素アレイの上方に配され、複数のマイクロレンズを含み、１つの前記マイクロレンズが１つの前記単位画素に対応するように配されたマイクロレンズアレイとを含み、
   前記再構成手段は、前記単位画素に含まれる前記複数の光電変換部からそれぞれ出力される複数の画素値を重み付け加算する際に用いられる重み付け係数を調整することによって前記絞り値を調整する
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記被写体と前記所定のリフォーカス面との間の前記距離を示す情報を前記画面に更に表示する
   ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 撮像装置を模式的に示す第４の図形を前記画面に更に表示する
    ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記所定のリフォーカス面における前記再構成画像を生成するために必要とされる情報を記憶する記憶手段を更に有する
    ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記撮像手段は、複数の光電変換部をそれぞれ含む複数の単位画素が行列状に配された画素アレイと、前記画素アレイの上方に配され、複数のマイクロレンズを含み、１つの前記マイクロレンズが１つの前記単位画素に対応するように配されたマイクロレンズアレイとを含み、
    前記再構成手段は、前記単位画素に含まれる前記複数の光電変換部からそれぞれ出力される複数の画素値を重み付け加算することによって前記再構成画像を生成し、
    前記所定のリフォーカス面における前記再構成画像を生成するために必要とされる前記情報は、前記重み付け加算に用いられる重み付け係数を含む
    ことを特徴とする請求項１１記載の撮像装置。
13. 被写体までの距離を検出するステップと、
    前記被写体までの前記距離と、所定のリフォーカス面の位置とに基づいて、前記被写体と前記所定のリフォーカス面との位置関係を示す画面を、前記距離の軸上に前記所定のリフォーカス面及び前記被写体に対応する図形を並べることで表示し、かつ、前記所定のリフォーカス面と前記被写体との間の距離に基づいて、再構成画像における前記被写体の合焦度合いを示す画面を、前記距離の軸上で該合焦度合いに応じたサイズの図形を並べることで表示するステップと
    を有することを特徴とする撮像方法。
14. コンピュータに、
    被写体までの距離を検出するステップと、
    前記被写体までの前記距離と、所定のリフォーカス面の位置とに基づいて、前記被写体と前記所定のリフォーカス面との位置関係を示す画面を、前記距離の軸上に前記所定のリフォーカス面及び前記被写体に対応する図形を並べることで表示し、かつ、前記所定のリフォーカス面と前記被写体との間の距離に基づいて、再構成画像における前記被写体の合焦度合いを示す画面を、前記距離の軸上で該合焦度合いに応じたサイズの図形を並べることで表示するステップと
    を実行させるためのプログラム。