JP6210836B2 - 撮像装置、撮像制御装置、その制御方法およびプログラム - Google Patents

Description

本発明は、撮像装置に関し、特に撮影方法の切り替えが可能な撮像装置に関する。

近年、デジタルカメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対してひとつのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。このように取得された画素信号（ライトフィールド）からも通常の撮影画像を生成することが可能である。加えて、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）にピントを合わせた画像（リフォーカス画像）を撮影後に再構成することができる。

ユーザがリフォーカスによる画像の再構成を必要とするケースとして、撮影後に画像を確認すると所望の被写体にピントがあっていないことがわかった場合にピント位置を調整するケースが考えられる。また、あるときは手前の被写体、またあるときは奥にある被写体というように、異なる位置でピントを合わせた画像を再構成して楽しむといったケースも挙げられる。これらのケースについて、従来のカメラであれば画像を撮影し直したり、ピント位置をずらして複数画像をあらかじめ撮影したりする必要があった。しかし、ライトフィールドカメラを用いて撮影すれば任意の被写体にピントを合わせたリフォーカス画像を再構成でき、撮影し直すことなく所望の画像が得られる。

また、特許文献１では、マイクロレンズアレイを動かすことにより、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」技術に基づく撮影方法と通常の高解像度の撮影方法とを切り替えることが可能な撮像装置が提案されている。

特開２００８−３１２０８０号公報

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかし、ライトフィールドカメラで撮影した画像であっても調整できるピント位置の範囲には限りがある。例えば数メートルの範囲にある複数の被写体を撮影した画像に対してピントを合わせる被写体を変えることはできても、遠くの風景を撮影したような画像で数百メートル離れた複数の被写体に対してピントの位置を調整するということはできない。また、撮影者から均一の距離にある被写体だけを撮影した画像に対してはピント位置が一意に決まるので調整することができない。このような画像では、ピント位置の調整ができないのでライトフィールドカメラの特徴を出すことができない。一般的にライトフィールドカメラで撮影された画像は従来の画像よりも情報を多く含むことでデータサイズが大きくなるので、ライトフィールドカメラとしての特徴が出ない画像をライトフィールドカメラで撮影することはデータサイズの無駄になってしまう。また、ライトフィールドカメラで撮影された画像はマイクロレンズアレイを使用する構成上、通常の画像より解像度は低くなるのでライトフィールドカメラとしての特徴が出ない画像をライトフィールドカメラで撮影することは解像度の無駄になってしまう。

一方、ライトフィールドカメラの画像と通常画像の両方を撮影できる撮像装置の構成を考えた場合、これらの事情を踏まえてライトフィールドカメラでの撮影に適さない場合にユーザがその都度撮影モードの切り替えを行うとすると、操作が煩雑になってしまう。また、特許文献１では、マイクロレンズアレイを動かす機構を開示しているものの、撮影方法の切り替えの制御構成についての開示がない。

本発明は上述した課題に鑑みてなされたものであり、通常撮影とライトフィールド撮影を被写体の状況に応じて切り替えることで、ユーザにモード切り替えの手間をかけずに所望の画像を得ることができる。

本発明の撮像制御装置は、撮像手段により被写体の光学像を撮像して得られる信号であって、撮影後に再構成することでリフォーカス画像の生成が可能なライトフィールドデータを含む信号を得る第１の撮影モードと、ライトフィールドデータを含まない信号を得る第２の撮影モードと、を有して撮像手段を制御する制御手段と、被写体までの距離に対応する距離情報を取得する取得手段と、を備え、制御手段は、距離情報に従って第１の撮影モードを含む撮影モードを切り替えて制御し、取得手段は、画像の複数の領域についてそれぞれ距離情報を取得し、制御手段は、複数の領域に対応する距離情報から得られる距離範囲を所定の範囲と比較した結果に応じて、第１の撮影モードで撮像するか否かを判定することを特徴とする。

本発明によれば、通常撮影とライトフィールド撮影のモード切り替えの手間を省いた撮像装置を提供することが可能となる。

本発明の第１の実施例に係る撮像装置の全体構成を示すブロック図である。 ライトフィールド撮影を可能とする撮像素子の画素とマイクロレンズアレイの対応関係を説明するための図である。 撮影レンズ、マイクロレンズアレイ、撮像素子の配置構成を説明するための図である。 撮影レンズの瞳領域と受光画素の対応関係を説明するための図である。 リフォーカス画像生成光線の通過領域を説明するための図である。 本発明の第１の実施例に係る撮像装置の撮影モードの切り替え動作のフローチャートを示す図である。 本発明の第１の実施例における距離情報の算出構成を説明するための図である。 本発明の第１の実施例における距離情報の算出構成を説明するための図である。 距離情報に基づく被写体の分布範囲を説明するための図である。 距離情報に基づく被写体の分布範囲を説明するための図である。 本発明の第１の実施例に係る撮影モードの表示例を示す図である。 本発明の第２の実施例に係る撮像装置の撮影モード切り替え動作のフローチャートを示す図である。

以下、本発明の実施の形態を添付の図面を参照して詳細に説明する。

図１は、本発明の第１の実施例に係る撮像装置１００のブロック図である。
同図において、１０１は被写体の光学像を形成する撮影レンズ、１０２はマイクロレンズアレイ、１０３は光学像を撮像する撮像素子である。撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は複数のマイクロレンズ１１５から構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。

撮像素子１０３はＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される光電変換素子である。複数のマイクロレンズ１１５は、各マイクロレンズに対して複数の画素が対応するように配置される。これにより、マイクロレンズ１１５で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する機能を有する。この撮像素子１０３を用いて撮影する場合を本実施例では「ライトフィールド撮影」（第１の撮影モード）と呼び、リフォーカス画像の生成が可能な画像データが生成される（第１の撮影手段）。また、撮像素子１１２も光電変換素子であり、こちらにはマイクロレンズは付属しない。こちらの撮像素子１１２を用いて撮影する場合を本実施例では「通常撮影」(第２の撮影モード)と呼び、通常撮影の画像の画像データが生成される（第２の撮影手段）。

１０４はアナログ信号処理部（ＡＦＥ）、１０５はデジタル信号処理部（ＤＦＥ）である。アナログ信号処理部１０４は、撮像素子１０３から出力される画素信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理部１０５は、アナログ信号処理部１０４から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。

１０６は画像処理部、１０７はメモリ部、１０８は記録部である。画像処理部１０６はデジタル信号処理部１０５から出力された画像データに対して所定の画像処理やライトフィールド画像の特徴であるリフォーカス演算を施す。また、デジタル信号処理部１０５は顔検出機能を備え、画像データから被写体の顔領域を検出することで被写体認識を可能とする。メモリ部１０７は、画像処理部１０６から出力された画像データを一時的に保持したり、演算用データを格納したりする揮発性メモリである。記録部１０８は、画像処理部１０６から出力された画像データ等を記録する不揮発性メモリあるいはメモリカード等の記録媒体である。記録部１０８への画像データの記録および記録部１０８からの画像データの再生は制御部１０９によって行われる。

操作部１１０は撮像装置１００に備え付けられた操作部材からの信号を受け付け、制御部１０９に対してユーザの命令を反映する。表示部１１１は撮影後の画像やライブビュー画像、各種設定画面等を表示する。

１１４はミラーであり、ミラー駆動部１１３によって被写体の光束を撮像素子１０３へ導く位置と、撮像素子１１２へ導く位置との間で移動するよう駆動可能に構成されている。

１０９は制御部、内部に制御プログラムを記憶したメモリとプログラムを実行するＣＰＵを含み、１１０は操作部、１１１は表示部である。制御部１０９は撮像素子１０３や画像処理部１０６等の撮像装置全体を統括的に駆動・制御する。また、ミラー駆動部１１３に対して、ミラー１１４の駆動を指示する。

次に、本実施例に係る撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成について説明する。

図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。複数の画素２０１に対して１つのマイクロレンズ１１５が対応するように配置されている。１つのマイクロレンズの後方にある複数の画素２００１をまとめて単位画素配列２００と定義する。なお、本実施例では単位画素配列２００には、画素２００１が５行５列の計２５個、さらに撮像素子１０３は単位画素配列２００が５行５列の２５個あるものとする。

図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１１５を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から観察した図である。
撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１１５を通過した光は、後方の対応する画素ｐ１〜ｐ５でそれぞれ受光される。

図４（ａ）は撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は１つのマイクロレンズ１１５とその後方に配置された単位画素配列２００を光軸Ｚ方向から見た図である。図４（ａ）に示すように、撮影レンズ１０１の瞳領域を１つのマイクロレンズの後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１１５のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光はマイクロレンズの後方にある単位画素配列２００のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１１５を通過する光も、そのマイクロレンズ後方にある単位画素配列２００の中の画素ｐ１１に結像する。

ここで、画面内の任意の被写体位置に対応した焦点位置（リフォーカス面）を算出する方法について述べる。

図４で説明したように、単位画素配列２００の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（１）は、ある単位画素配列２００の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１〜ａ２）を通過した光を積分したものである。これを水平方向に並ぶ複数の単位画素配列２００に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（２）は、ある単位画素配列２００の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ４〜ａ５）を通過した光を積分したものである。これを水平方向に並ぶ複数の単位画素配列２００に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を施し、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。

次に、上記撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成によって取得された画像データから任意に設定した焦点位置（リフォーカス面）での画像（リフォーカス画像）を再構成するための処理について述べる。

図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Ｚに対して垂直方向から見た図である。同図において、撮影レンズの瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置を座標（ｘ’，ｙ’）とする。また、撮影レンズからマイクロレンズアレイまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定できる。なお、図５では、ｕ、ｘ、ｘ’成分のみを示し、ｖ、ｙ、ｙ’成分については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（３）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。

式（４）において、リフォーカス係数αはユーザによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する単位画素配列２００から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。

なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。

次に、本実施例の撮影モードの切り替え動作について、図６、図７、図８、図９、図１０、図１１を参照して説明する。

図６は、本実施例に係る撮影モードの切り替え動作のフローチャートを示す図である。本動作は、制御部１０９のＣＰＵがプログラムを実行して撮像装置の各部を制御することで実現される。

図６において、ステップＳ６０１では、制御部１０９の制御の下で、撮像素子１０３からＡＦＥ１０４およびＤＦＥ１０５を介して得られた画像データが画像処理部１０６に入力される。ステップＳ６０２では、画像処理部１０６が入力された画像データをあらかじめ決められた距離情報取得エリア（以下、Ｄエリアとする）に分割する。ここで、Ｄエリア（分割領域）の分割数は再構成時の合焦精度に反映されるため、最小位置分解能である単位画素配列２００ごとに分割されることが望ましい。しかし、複数の単位画素配列２００をまとめてひとつのＤエリアを構成する等、画像処理部１０６の演算能力やフレームレート等の制限に応じて適宜決めるようにしてもよい。すなわち、フレームレートが高い、あるいは画像処理部１０６の演算能力が低いほど、Ｄエリアの分割数を少なくするようにしてもよい。本実施形態では、Ｄエリアの構成を５×５の単位画素配列２００とする。

ステップＳ６０３では、画像処理部１０６はＤエリアに分割された画像データに対して前述の式（１）、式（２）を適用し、各領域（Ｄエリア）を代表する被写体距離を算出する(距離情報生成手段)。ここで、中心の単位画素配列２００のみの結果で代用してもよいし、５×５の単位画素配列２００の平均値を用いてもよい。このようにして得られたＤエリアごとの被写体の距離情報を距離情報マップとする。

ステップＳ６０４では、制御部１０９は、前述の距離情報マップに基づいて被写体の分布範囲を決定する(分布範囲決定手段)。

ステップＳ６０５では、画像処理部１０９は、被写体の分布範囲が所定の範囲より広いかどうかを判別する。所定の範囲より広い場合はステップＳ６０７へ進む。所定の範囲より狭い場合はステップＳ６０６に進む。

ステップＳ６０６では、制御部１０９は、撮影モードの切り替えを行う。ここでは、制御部１０９からの制御によりミラー駆動部１１３がミラー１１４を駆動し、撮影レンズ１０１で形成された被写体像が撮像素子１１２で撮像されるようにする。ステップＳ６０７では、制御部１０９が表示部１１１を制御して現在の撮影モードを表示させる。

ステップＳ６０８では、制御部１０９は、ユーザによる撮影の指示が行われたかどうかを判別する。ユーザによる撮影指示が行われた場合は、現在の撮影モードによる撮影を行う。撮影指示が行われない場合はステップＳ６０１へ戻り、引き続き撮影モードの切り替え動作を行う。

次に、ステップＳ６０２とステップＳ６０３における距離情報の取得方法の例を図７、図８を参照して説明する。

図７（ａ）は画像データの一例であり、被写体を撮影した際に、近距離に人物７０１、中距離に人物７０２、遠距離に建物７０３の３つの被写体が存在する例を示している。この画像データにおいてＤエリアごとに被写体距離を算出し、その結果得られた被写体距離をコントラスト図として模式的に示したのが図７（ｂ）である。また、図８（ａ）も画像データの他の例であり、近距離にのみ人物８０１が被写体として存在する例を示している。この画像データにおいてＤエリアごとに被写体距離を算出し、その結果得られた被写体距離をコントラスト図として模式的に示したのが図８（ｂ）である。

次に、ステップＳ６０４における被写体の分布範囲の決定方法とステップＳ６０５における被写体の分布範囲の判別方法について詳しく述べる。

図９、図１０は、ステップＳ６０３で得られたＤエリアごとの被写体距離情報を、横軸を被写体距離、縦軸を発生頻度として表した距離情報ヒストグラムを示す。図９は、図７の画像の距離情報ヒストグラムを示し、図１０は図８の画像の距離情報ヒストグラムを示す。制御部１０９は、各距離情報ヒストグラムの距離領域において所定の閾値以上の頻度を持つ範囲を被写体が存在する所と判断する。

図９の例では、３か所で閾値を超える頻度（被写体（ａ）、被写体（ｂ）、被写体（ｃ））が現れている。この場合は、被写体が３つ存在することになる。ここで、範囲Ａは、被写体(ａ)から被写体（ｃ）までの距離とする。範囲Ｒは分布の範囲の比較対象となるあらかじめ定められた所定の値である。ステップＳ６０５で制御部１０９は、範囲Ａと所定の範囲Ｒとを比較し、この場合範囲Ａの方が範囲Ｒより広いのでステップＳ６０７に処理を進める。

図１０の例では、１か所だけ閾値を超える発生頻度（被写体（ｄ））が現れている。この場合は、被写体が１つ存在することになる。ここで、範囲Ｂを被写体(ｄ)が占める位置とする。ステップＳ６０５で制御部１０９は、範囲Ｂと所定の範囲Ｒとを比較し、この場合範囲Ｂの方が範囲Ｒより狭いのでステップＳ６０６へ処理を進める。範囲Ｂは被写体（ｄ）だけがいる位置を表すので、範囲０（無し）と考えてもよい。

また、図９では、３か所で閾値を超えた頻度が現れるが、このうち、画像処理部１０６の被写体検出によって特定の人物と認識された位置だけを被写体として判別してもよい。例えば、被写体(ａ)は知らない人物で、被写体（ｂ）が予め撮像装置に登録されている人物である場合に、被写体検出によって既知の人物である被写体（ｂ）だけが被写体として判別されてもよい。この場合、被写体の範囲は範囲Ｃとなる。ステップＳ６０５で制御部１０９は範囲Ｃと所定の範囲Ｒとを比較し、範囲Ｃの方が範囲Ｒより狭いのでステップＳ６０６へ処理を進める。範囲Ｃは被写体（ｂ）だけがいる位置を表すので、範囲０（無し）と考えてもよい。

次に、ステップＳ６０７における撮影モードの表示動作について説明する。

図１１は、ユーザに対して現在の撮影モードを通知する例である。制御部１０９は、ステップＳ６０５での判定の結果に従って、撮影モードを例えばライブビュー画像に重畳して表示すよう表示部１１１を制御する。ステップＳ６０５で被写体の分布範囲が所定の範囲より広いと判断された場合は、撮像素子１０３によるライトフィールド撮影を行う。図１１（ａ）は、アイコン１１０１を表示してユーザにライトフィールド撮影を行っていることを通知している画面の例を示す。一方、ステップＳ６０５で被写体の分布範囲が所定の範囲より狭いと判断された場合は、ステップＳ６０６で撮影モード切り替えを行い、撮像素子１１２による通常撮影を行う。この場合の表示画面の例は、図１１（ｂ）に示すように、アイコン１１０２を表示してユーザに通常撮影を行っていることを通知する画面である。

また、実際に画像が撮影された際に使用した撮影モードの情報を、撮影された画像と関連付けて記録部１０８に記録しておいてもよい。その場合、ユーザが画像を再生した際にはその画像と関連付けられた撮影モードの情報を読み込み、図１１と同じようにユーザに対して使用した撮影モードを通知するようにしてもよい。

以上、本実施例によれば、ユーザに手間をかけさせることなく、ライトフィールド撮影と通常撮影を切り替えることが可能となる。本実施例におけるライトフィールド撮影で撮影した画像は、後からピント位置を変更して楽しむことができ、通常撮影で撮影したピント位置の変更の必要のない画像はライトフィールド画像よりも高解像度の画像を残すことができる。

また、本実施例では、ミラー１１４により撮像素子１０３と撮像素子１１２をそれぞれ使用したライトフィールド画像の撮影と通常画像の撮影とを切り替えたが、別の手段を用いてもよい。例えば、ライトフィールド画像の撮影を行う撮像素子１０３しか備えていない撮像装置の構成においては、本実施例での通常画像の撮影の代わりにライトフィールド画像の撮影で得られた画素信号から通常画像を生成してもよい。具体的には、マイクロレンズを用いて複数画素に分割した画素データ（ライトフィールドデータ）を単位画素配列内で加算したデータを画素データとする画像を画像処理部１０６で生成してもよい。これによって、ライトフィールド撮影に適していない画像のデータサイズを軽くすることによって無駄が削減できる。

また、本実施形態においてモード切り替え時の判断基準とした所定の範囲Ｒは、操作部１１０によりユーザの所望の範囲となるよう変更可能にしてもよい。

次に、本発明の第２の実施例について図１２を参照して説明する。
第２の実施例では、被写体の距離分布状況に応じて撮影モードの切り替えを行うタイミングが第１の実施例と異なる。撮像装置のブロック構成自体は、第１の実施例と同様であり、ここでの説明は特に必要がない限り省略する。

本実施例の撮影モードの切り替え動作のフローチャートを図１２に示す。同図において、ステップＳ６０１からステップＳ６０４までの動作は、第１の実施例と同様であるので説明を省略する。

ステップＳ１２０５では、制御部１０９は、被写体の分布範囲が所定の範囲より広いかどうかを判別する。所定の範囲より広い場合はステップＳ１２０６へ進み、所定の範囲より狭い場合はステップＳ１２０７に進む。ステップＳ１２０６では、制御部１０９はライトフィールド撮影モードの設定を行う。即ち、ステップＳ１２０５において被写体の分布範囲が所定の範囲より広いと判断されたことに従って、制御部１０９は、撮影指示があった場合に撮像素子１０３によるライトフィールド撮影を行うことをメモリ部１０７に設定する。

ステップＳ１２０７では、制御部１０９は通常撮影モードの設定を行う。即ち、ステップＳ１２０５において被写体の分布範囲が所定の範囲より狭いと判断されたことに従って、制御部１０９は、撮影指示があった場合に、撮像素子１１２による通常撮影を行うことをメモリ部１０７に設定する。

ステップＳ１２０８では、制御部１０９は、メモリ部１０７に設定されている撮影モードの設定に基づいて、設定されている撮影モードを表示部１１１に表示させる。ステップＳ１２０６でライトフィールド撮影モードに設定されたときは、図１１（ａ）のようにアイコン１１０１を表示してユーザにこれから行われる撮影がライトフィールド撮影であることを通知する。ステップＳ１２０７で通常撮影モードに設定されたときは、図１１（ｂ）のようにアイコン１１０２を表示してユーザにこれから行われる撮影が通常撮影であることを通知する。

ステップＳ１２０９では、制御部１０９は、ユーザによる撮影の指示が行われたかどうかを判別する。ユーザによる撮影指示が行われた場合は、ステップＳ１２１０へ進み、ステップＳ１２０６もしくはステップＳ１２０７で設定された撮影モードによる撮影を行う。撮影指示が行われない場合はステップＳ６０１へ戻り、引き続き撮影モードの切り替え動作を行う。制御部１０９は、ステップＳ１２１０で撮影を行う段階で、設定されている撮影モードに従ってミラー駆動部１１３を制御し、ミラー１１４を駆動する。

本実施例によっても、ユーザに手間をかけさせることなく、ライトフィールド撮影と通常撮影を切り替えることが可能となる。

また、本実施例では、ミラー１１４により撮像素子１０３と撮像素子１１２をそれぞれ使用したライトフィールド画像の撮影と通常画像の撮影とを切り替えたが、第１の実施例と同様に別の手段を用いてもよい。また、モード切り替え時の判断基準とした所定の範囲Ｒについても、第１の実施例と同様に、操作部１１０によりユーザの所望の範囲となるよう変更可能にしてもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (18)

1. 撮像手段により被写体の光学像を撮像して得られる信号であって、撮影後に再構成することでリフォーカス画像の生成が可能なライトフィールドデータを含む信号を得る第１の撮影モードと、前記ライトフィールドデータを含まない信号を得る第２の撮影モードと、を有して前記撮像手段を制御する制御手段と、
   前記被写体までの距離に対応する距離情報を取得する取得手段と、を備え、
   前記制御手段は、前記距離情報に従って前記第１の撮影モードを含む撮影モードを切り替えて制御し、
   前記取得手段は、画像の複数の領域についてそれぞれ前記距離情報を取得し、
   前記制御手段は、複数の前記領域に対応する前記距離情報から得られる距離範囲を所定の範囲と比較した結果に応じて、前記第１の撮影モードで撮像するか否かを判定することを特徴とする撮像制御装置。
2. 前記制御手段は、複数の前記領域に対応する前記距離情報から得られる距離範囲が、所定の範囲を超えて分布している場合、前記第１の撮影モードで前記撮像手段を制御することを特徴とする請求項１に記載の撮像制御装置。
3. 前記制御手段は、複数の前記領域に対応する前記距離情報のヒストグラムにおいて、所定の閾値以上の頻度を持つ距離範囲を前記所定の範囲と比較することを特徴とする請求項１または２に記載の撮像制御装置。
4. 複数の前記被写体のうち特定の前記被写体を検出する検出手段を有し、
   前記制御手段は、複数の前記領域に対応する前記距離情報を特定の前記被写体が検出された前記領域に対応する前記距離情報に限定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像制御装置。
5. 前記所定の範囲は変更可能であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像制御装置。
6. 撮像手段により被写体の光学像を撮像して得られる信号であって、撮影後に再構成することでリフォーカス画像の生成が可能なライトフィールドデータを含む信号を得る第１の撮影モードと、前記ライトフィールドデータを含まない信号を得る第２の撮影モードと、を有して前記撮像手段を制御する制御手段と、
   前記被写体までの距離に対応する距離情報を取得する取得手段と、を備え、
   前記制御手段は、前記距離情報に従って前記第１の撮影モードを含む撮影モードを切り替えて制御し、
   前記撮像手段は、
   前記ライトフィールドデータが取得可能な、前記第１の撮影モードでの撮像に用いられる第１の撮像手段と、
   前記第１の撮像手段と異なり、前記第２の撮影モードでの撮像に用いられる第２の撮像手段と、を有することを特徴とする撮像制御装置。
7. 前記取得手段は、前記撮像手段により撮像されて得られる信号を用いて、前記距離情報を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像制御装置。
8. 前記取得手段は、前記撮像手段により撮像されて得られる信号のうち、対となる信号の位相差に基づいて、前記距離情報を生成することを特徴とする請求項７に記載の撮像制御装置。
9. 前記撮像手段の撮像に関する情報を表示部に表示する表示手段と、
   前記撮像手段の撮像によって得られる信号を記録部に記録する記録手段と、を更に備え、
   前記表示手段は、前記撮影モードを切り替えた場合には、前記撮影モードを前記表示部に表示し、
   前記記録手段は、前記撮像手段の前記撮影モードの情報を関連付けて記録部に記録することを特徴とする請求項１乃至８のいずれか１項に記載の撮像制御装置。
10. 前記撮像手段は、
    前記ライトフィールドデータが取得可能な、前記第１の撮影モードでの撮像に用いられる第１の撮像手段と、
    前記第１の撮像手段と異なり、前記第２の撮影モードでの撮像に用いられる第２の撮像手段と、を有することを特徴とする請求項１に記載の撮像制御装置。
11. 前記撮像手段は、複数のマイクロレンズと、前記マイクロレンズのそれぞれに対応して配置された複数の光電変換素子の群とを有する撮像素子を含み、当該撮像素子による撮像によって、前記信号が得られることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像制御装置。
12. 請求項１乃至１１のいずれか１項に記載の撮像制御装置と、
    前記撮像手段と、
    を有することを特徴とする撮像装置。
13. 撮像手段により被写体の光学像を撮像して得られる信号であって、撮影後に再構成することでリフォーカス画像の生成が可能なライトフィールドデータを含む信号を得る第１の撮影モードと、前記ライトフィールドデータを含まない信号を得る第２の撮影モードと、を有して前記撮像手段を制御する制御ステップと、
    前記被写体までの距離に対応する距離情報を取得する取得ステップと、を有し、
    前記制御ステップでは、前記距離情報に従って前記第１の撮影モードを含む撮影モードを切り替えて制御し、
    前記取得ステップでは、画像の複数の領域についてそれぞれ前記距離情報を取得し、
    前記制御ステップでは、複数の前記領域に対応する前記距離情報から得られる距離範囲を所定の範囲と比較した結果に応じて、前記第１の撮影モードで撮像するか否かを判定することを特徴とする撮像制御装置の制御方法。
14. 撮像手段により被写体の光学像を撮像して得られる信号であって、撮影後に再構成することでリフォーカス画像の生成が可能なライトフィールドデータを含む信号を得る第１の撮影モードと、前記ライトフィールドデータを含まない信号を得る第２の撮影モードと、を有して前記撮像手段を制御する制御ステップと、
    前記被写体までの距離に対応する距離情報を取得する取得ステップと、を備え、
    前記制御ステップでは、前記距離情報に従って前記第１の撮影モードを含む撮影モードを切り替えて制御し、
    前記撮像手段は、
    前記ライトフィールドデータが取得可能な、前記第１の撮影モードでの撮像に用いられる第１の撮像手段と、
    前記第１の撮像手段と異なり、前記第２の撮影モードでの撮像に用いられる第２の撮像手段と、を有することを特徴とする撮像制御装置の制御方法。
15. 請求項１３または１４の制御方法をコンピュータに実行させるためのプログラム。
16. 請求項１５のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
17. コンピュータを、請求項１乃至１１のいずれか１項に記載された撮像制御装置の各手段として機能させるプログラム。
18. コンピュータを、請求項１乃至１１のいずれか１項に記載された撮像制御装置の各手段として機能させるプログラムを格納した記憶媒体。

Images