JP6082223B2 - 撮像装置、その制御方法およびプログラム - Google Patents

Description

本発明は撮像装置に関し、特にマイクロレンズアレイにより被写体光の入射方向の情報を取得してリフォーカス画像を再構成する手段を有する撮像装置に関する。

近年、電子カメラ等の撮像装置において、被写体光の強度分布のみならず入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。

例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光を対応する複数の画素によって入射方向別に受光できる。

このようにして取得された画像信号（ライトフィールド情報）に対して、通常の撮影画像の生成のほかに、「Light Field Photography」と呼ばれる手法を適用し、任意の仮想像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。このため、撮影の際にピント合わせが不要になり、シャッターチャンスを逃さないで撮影することが可能となっている。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

上述のようにライトフィールドカメラでは、撮影後にリフォーカス面を設定することで任意の位置にピントを合わせることが可能である。従って、撮影時にはレンズを開放にして被写界深度を気にせずシャッターを押すことができる。しかしながら、その際に表示画面で構図や被写体の状態を確認しようとしても、被写体の配置によっては画面に表示されている被写体像が全体にわたってボケてしまう。

一般的な撮影手順では、構図や被写体が笑顔になった状態などのピント以外の情報も確認しながら撮影するので、それが出来ないとカメラのユーザビリティを著しく損なってしまうことになる。

そこで本発明は、ライトフィールドカメラでの撮影の際の、所定の周期で画像を撮像し、表示するいわゆるライブビューモードでの被写体の表示において、撮影画像の構図及び被写体の状態を簡単に確認することができるフィールドカメラを提供することを目的とする。

上記の課題を解決するために、本発明の撮像装置は、絞りを通過した被写体光を集光する複数のマイクロレンズからなるマイクロレンズアレイと、前記マイクロレンズを経た光を光電変換するために各マイクロレンズに対応する所定数の光電変換素子を配列した複数の光電変換素子を有する撮像手段とを備えた撮像装置であって、操作手段で入力されたユーザからの指示を検出し、検出したユーザからの指示に従って絞り値を決定し、決定した絞り値に基づいて前記絞りを制御し、所定の周期で撮像手段による撮像が行われるライブビューモードである場合は、撮影指示に応じて撮像する際の絞り値に関わらず、撮像手段で撮像される画像の少なくとも複数の領域が収まる被写界深度を与える絞り値で絞りを制御し、ライブビューモード中に操作手段で撮影指示が入力されたことを検出したときは、撮影指示に応じて撮像する際の絞り値で絞りを制御する。

本発明によれば、ライトフィールドカメラの撮影時のライブビューモードにおいて絞りを自動的に絞るので、撮影画像の構図及び被写体の状態を簡単に確認することができるライトフィールドカメラを提供することができる。

本発明の第１の実施例に係る撮像装置の外観図。 本発明の第１の実施例に係る撮像装置のブロック図。 本発明の第１の実施例に係る撮像装置での撮像素子とマイクロレンズアレイの関係を説明する図。 本発明の第１の実施例に係る撮像装置での撮影レンズ、マイクロレンズアレイ、撮像素子の構成を説明する図。 本発明の第１の実施例に係る撮像装置の撮影動作のフローチャートを示す図。 本発明の第１の実施例に係る撮像装置の撮影動作を説明するための図。 本発明の第２の実施例に係る撮像装置の撮影動作を説明するための図。 本発明の第２の実施例に係る撮像装置の撮影動作のフローチャートを示す図。 本発明の第２の実施例に係る撮像装置のリフォーカス操作を説明するための図。

以下、図面を参照しながら本発明の好適な実施の形態を詳細に説明する。

図１に本発明の第１の実施例に係わる撮像装置の一例としてのライトフィールドカメラの外観図を示す。

同図において、表示部１３０は画像や各種情報を、例えば液晶画面に表示する表示部である。シャッターボタン１４３は撮影指示を行うための操作部である。モードダイアル１４４は各種モードを切り替えるための操作部である。

コネクタ１１２は接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部１４０はユーザからの各種操作(指示入力)を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラホイール１４１は操作部１４０に含まれる回転操作可能な操作部材である。１４２は電源スイッチであり、電源オン、電源オフを切り替えるスイッチである。

記録媒体１２０はメモリカードやハードディスク等の記録媒体である。記録媒体スロット１２１は記録媒体１２０を格納するためのスロットである。記録媒体スロット１２１に格納された記録媒体１２０は、デジタルカメラ１００との通信が可能となる。蓋１２２は記録媒体スロット１２１の蓋である。

図２は、本実施例に係わるデジタルカメラ１００の構成例を示すブロック図である。図において、図１と同じ部分は同じ符号を付して示す。

同図において、２０５は撮像光学系であり、撮像レンズ２０３、絞り２０４、ライトフィールド光学系２０２より構成される。２０１はシャッター、２２２は光学像を電気信号に光電変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。２２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２２３は、撮像部２２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

２２４は画像処理部であり、Ａ／Ｄ変換器２２３からの画像データ、又は、メモリ制御部２１５からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２２４では、撮影中に得られた画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部２５０が露光制御等を行う。これにより撮影条件に従ったＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。画像処理部２２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行っている。さらに、画像処理部２２４は、メモリ２３２に保持されるライトフィールドＲＡＷデータを用いて、設定されたリフォーカス位置において再構成画像を生成する処理を行う。なお、リフォーカス位置は、操作部材、タッチパネル等を介したユーザ入力に従ってシステム制御部２５０が指示する。

Ａ／Ｄ変換器２２３からの出力データは、画像処理部２２４及びメモリ制御部２１５を介して、メモリ２３２に直接書き込まれる。メモリ２３２は、撮像部２２２によって得られ、Ａ／Ｄ変換器２２３によりデジタルデータに変換された画像データや、表示部１３０に表示するための画像データを格納する。メモリ２３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ２３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

２１３はＤ／Ａ変換器であり、メモリ２３２に格納されている表示用の画像データをアナログ信号に変換して表示部１３０に供給する。こうして、メモリ２３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１３を介して表示部１３０により表示される。表示部１３０は、ＬＣＤ等の表示器により、Ｄ／Ａ変換器２１３からのアナログ信号に応じた画像の表示を行う。

Ａ／Ｄ変換器２２３によって一度Ａ／Ｄ変換によりデジタル化された信号は、画像処理部２２４で所定の信号処理を施された後にメモリ２３２に蓄積される。前記メモリ２３２に蓄積されたデジタル信号をＤ／Ａ変換部２１３でアナログ信号に変換し、表示部１３０に逐次転送して表示することで、表示部１３０は電子ビューファインダ（スルー画像表示）として機能する。尚、表示部１３０として、立体表示に対応した表示手段を用いることも可能である。その際には、画像処理部２２４において立体表示に対応した表示用データを生成してメモリ２３２に書き込み、Ｄ／Ａ変換器２１３を介して表示部１３０に表示する。

圧縮・伸張部２３５は、ライトフィールドＲＡＷデータから再構成された画像データを入力してＪＰＥＧ（Joint Photographic Experts Group）等の圧縮、伸張処理を行う。

不揮発性メモリ２５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２５６には、システム制御部２５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施例で後述する各種フローチャートを実行するために、撮像装置１００の各部を制御するためのプログラムである。

２５０はシステム制御部（ＣＰＵ）であり、デジタルカメラ１００の全体を制御する。前述した不揮発性メモリ２５６に記録されたプログラムをシステム制御部２５０が実行することで、後述する本実施例の各動作を実現する。

２５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ２５２には、システム制御部２５０の動作用の定数、変数、不揮発性メモリ２５６から読み出したプログラム等が展開される。また、システム制御部２５０は、メモリ２３２、Ｄ／Ａ変換器２１３、表示部１３０等を制御することにより表示制御も行う。

システムタイマー２５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。２３６はタッチパネルであり、表示部１３０の例えば液晶画面上に貼付されている。タッチパネルの検出方式として抵抗膜方式、静電容量方式等の公知の技術を用いるものとする。指でプレスした位置はシステム制御部２５０で検出し、座標等に変換して利用することができる。

モード切替スイッチ１４４、第１シャッタースイッチ２６１、第２シャッタースイッチ２６２、操作部１４０はシステム制御部２５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ１４４は、システム制御部２５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。第１シャッタースイッチ２６２は、デジタルカメラ１００に設けられたシャッターボタン１４３の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１によりシステム制御部２５０は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ２６２は、シャッターボタン１４３の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２５０は、第２シャッタースイッチ信号ＳＷ２に従って、撮像部２２２からの信号読み出しから記録媒体１２０に画像データを書き込むまでの一連の撮影動作の制御を開始する。

操作部１４０の各操作部材には、表示部１３０に表示される種々の機能アイコンを選択操作することなどに応じて適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１３０に表示される。利用者は、表示部１３０に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

コントローラホイール１４１は、操作部１４０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール１４１を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいて、システム制御部２５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール１４１が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール１４１は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール１４１自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール１４１自体は回転せず、コントローラホイール１４１上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

２８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２８０は、その検出結果及びシステム制御部２５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１２０を含む各部へ供給する。

２３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。２１８はメモリカードやハードディスク等の記録媒体１２０とのインターフェースである。記録媒体１２０は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、本実施例の撮像装置における撮影レンズ２０３、ライトフィールド光学系２０２および撮像部２２２の構成について説明する。

図３は、撮像部２２２およびライトフィールド光学系２０２の関係を模式的に示す図である。図において、図２と同じ部分は同じ符号を付して示す。

複数（所定数）の分割画素３０１に対して１つのマイクロレンズ３０５が対応するように配置されている。1つのマイクロレンズ後方にある複数の分割画素３０１（光電変換素子）をまとめて画素配列３１０と定義する。なお、図示するように、本実施例では画素配列３１０には、分割画素３０１が５行５列の計２５個あるものとする。

図４は、撮影レンズ２０３から出射された被写体光が１つのマイクロレンズ３０５によって集光されて撮像部２２２で受光されるときの光線の軌跡を光軸Ｚに対して垂直方向から観察した図である。撮影レンズ２０３の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ３０５を通過した光は、後方の対応する分割画素ｐ１〜ｐ５にそれぞれ結像する。受光部２２２で光電変換された画像信号を用いて、画面内で任意に設定した焦点位置（リフォーカス面）における画像を再構成処理することで、任意の被写体にピントが合った画像を生成することができる。ここで、図示のように、絞り２０４を用いてライトフィールド光学系２０２に入射する光を制限すれば、一部のマイクロレンズアレイ３０５を通過する被写体像のみに制限されるので、被写界深度の深い画像を得ることができる。なお、画像の再構成処理の詳細は周知の技術であるので、ここでの説明は省略する。

次に、図５のフローチャートを用いて、本実施例に係る撮像装置の撮影動作について説明する。

Ｓ５０１で撮影を開始し、Ｓ５０２において撮像装置の動作モードが所定の周期で撮像部２２２による撮像が行われるライブビューモードであるか否かをシステム制御部２５０が判定する。ライブビューモードへの移行は、例えば図１の操作部１４０の操作部材により指示し、操作部材の状態をシステム制御部２５０が検出して内部のステータスを変更することで実現する。

Ｓ５０２でライブビューモード中であると判定されると、Ｓ５０３でシステム制御部２５０は撮像光学系２０５の絞り２０４を制御して絞り２０４を絞り、これによりライトフィールド光学系２０２に入射する光を制限する。その結果、リフォーカス面の位置に依存せずパンフォーカス画像が生成される。

パンフォーカス画像を取得するための絞り値を下記によりシステム制御部２５０で決定する。
絞り値＝（焦点距離×焦点距離）／（被写体距離×許容錯乱円径） （式１）
ここで、被写体距離は被写界深度に入れたい最も手前の被写体までの距離であり、予め設定値として保持することで対応可能であるが、被写体距離を測距して設定しても良い。許容錯乱円径は撮像光学系により定まる値である。

Ｓ５０４では、撮像されたパンフォーカスの画像に画像処理部２２４で所定の処理を施し、処理した画像データをメモリ制御部２１５を介して表示部１３０に表示する。

次にＳ５０５でユーザの撮影指示に対応するシャッターの押下を検知する。シャッターの押下は、前述のように２つのスイッチにより構成されており、ここでは第２シャッタースイッチ信号ＳＷ２を検出する。第２シャッタースイッチ信号ＳＷ２が検出されなかった場合は、Ｓ５０４における被写体像のライブビュー表示を継続する。Ｓ５０５で第２シャッタースイッチ信号ＳＷ２を検出したときは、Ｓ５０６に移行する。

Ｓ５０６では、ライトフィールド撮影の効果を最大限生かせるように絞り２０４を開放側に制御するように絞り値を決定する。Ｓ５０７では、絞り制御の完了をシステム制御部２５０が検出した後に、撮像動作でライトフィールドＲＡＷデータを取得し、取得した画像データに画像処理部２２４で所定の画像処理を施した後メモリ２３２に保持する。次いで、システム制御部２５０は、メモリ２３２に保持されているライトフィールドＲＡＷデータをバスに接続されている記録媒体１２０に記録するよう指示し、メモリ制御部２１５によりＲＡＷデータを記録媒体１２０に記録する。記録が終了すると、Ｓ５０８で撮影動作を終了する。

図６を参照して、本実施例に係る撮像装置の絞り制御とリフォーカス位置について説明する。
図６で１００はライトフィールドカメラである。カメラに対して人物６０２、人物６０３及び樹木６０４の３つの被写体がある。図５のフローチャートで示したライブビューモードの場合には、絞り２０４を絞った状態での被写界深度６０６となり、最も手前の人物６０２から一番奥の樹木６０４までの被写体画像が被写界深度内となる。その結果、表示部１３０に表示されるライブビューの異なる位置ある複数の被写体の画像はピントの合った鮮明な画像となる。ここで、上記３つの被写体全てを被写界深度内にするのではなく、ライブビューで画像を確認したい被写体に応じて、例えば人物のみのように、少なくとも複数の被写体の画像が被写界深度内となるように絞りを絞ってもよい。

他方、第２シャッタースイッチ信号ＳＷ２が検出された時の被写界深度は、図６のシャッタ押下げ時の被写界深度６０５のように浅くなり、複数の被写体にピントがあった画像を撮影することはできない。但し、ライトフィールドカメラ１００では記録したＲＡＷデータを用いて後でリフォーカス動作ができるので、各被写体６０２、６０３及び６０４にピントが合った画像を記録後に生成することができる。

以上のように、本実施例の撮像装置では、ライブビューモードのときに絞りを絞ったパンフォーカス画像で被写体像を確認できるので、撮影画像の構図や被写体の表情などの状態を確認しながらシャッターの押下ができる。またシャッターの押下時には、絞りを開放にして深度の浅い状態で被写体像を撮影して記録しても後でリフォーカスできるので、背景とのボケ味を生かした画像を鑑賞することが可能となる。

本発明の第２の実施例について以下で説明する。

本実施例では、ライトフィールドカメラで撮影したＲＡＷデータを用いてリフォーカス動作したときに、複数の被写体に対して同時にピントが合うようにシャッター押下時の絞り値を制御することが第１の実施例と異なる。従って、撮像装置の構成は第１の実施例と同様であるので、ここでの説明は省略する。

第１の実施例の撮像装置においては、図６に示すようにシャッター押下時に絞りを開放に制御し、そのため被写界深度は６０５で示される範囲を持ったものになっている。従って記録後のリフォーカス動作において人物６０２と人物６０３に対して同時にピントが合うリフォーカス位置を設定することができない。

そこで本実施例では、リフォーカス動作したときに所望の複数の被写体に同時にピントが合うように、シャッターの押下時に絞り値を適応的に決定する。この場合の被写体の位置と被写界深度との関係を図７に概念的に示す。なお、図７において図６と同じ部分は同じ番号を付して示し、ここでの説明は省略する。

図７において７２０はシャッター押下時の被写界深度であり、ここでは人物６０２及び人物６０３の二人の被写体が被写界深度内に収まる範囲を有する。この被写界深度での撮像でライトフィールドＲＡＷデータを取得することにより、記録後のリフォーカス動作の際に、リフォーカス位置７２１で人物６０２及び人物６０３のいずれにもピントが合った画像を再構成することが可能となる。

次に、図８のフローチャートを用いて、本実施例に係わる撮像動作を説明する。

Ｓ８０１で撮影動作が開始されると、Ｓ８０２で撮像装置の動作モードがライブビューモードであるかどうかを判定する。判定方法は第１の実施例と同様である。

Ｓ８０３では絞り２０４を制御してパンフォーカス画像を撮像して、Ｓ８０４で表示部１３０に表示する。この動作は第１の実施例と同様であるので、更なる説明は省略する。次にＳ８０５で記録後のリフォーカス動作時に同時にピントを合わせたい被写体領域を選択する。

ここでの選択を、図９を用いて説明する。図９は、ユーザが本実施例に係わる撮像装置の表示部１３０に設けられたタッチパネルを使用して被写体領域を選択するときの様子を示す図である。同図において、１００は本実施例に係るライトフィールドカメラ、９０２はタッチパネル、９０１は液晶画面で構成された表示部１３０に表示されている選択領域である。ユーザは、タッチパネル９０２を操作しながら選択領域を指示することができる。図９に示すように被写体領域をタッチパネル９０２上でプレスすると、システム制御部２５０はプレスされた領域を検出してその位置情報を取得する。

選択領域が指示され、Ｓ８０６で第２シャッタースイッチ信号ＳＷ２が検出されると、ライトフィールド光学系２０２を介して被写体の光学像を撮像して画像データを取得し、メモリ２３２に保持する。第２シャッタースイッチ信号ＳＷ２が検出されない場合には、Ｓ８０４に戻り被写体像のライブビュー表示を継続する。

Ｓ８０７では、第２シャッタースイッチ信号ＳＷ２の検出によりメモリ２３２に保持された画像データに基づいて、画像処理部２２４が、リフォーカス位置を図７の下限位置７１０から上限位置７１１までを所定のステップで移動しながら再構成画像を生成する。システム制御部２５０は各ステップで生成される再構成画像から、指示された選択領域に相当する人物６０２及び人物６０３の画像のピント状態を検出する。ピント状態の検出は、画像の周波数成分を解析する等の公知の技術を用いれば良いので、ここでの説明は省略する。各ステップでピント状態を検出することにより、システム制御部２５０は人物６０２及び人物６０３に最もピントが合っているリフォーカス位置７３０及び７３１を検出する。

次いでＳ８０８では、システム制御部２５０が検出したリフォーカス位置の情報に基づいて人物６０２及び人物６０３が被写界深度内に収まる絞り値を算出し、算出結果に基づいて絞り２０４を制御する。絞り値は各被写体のリフォーカス位置を撮影距離に変換することで算出することもできるし、またリフォーカス位置と絞り値のテーブルを予め作成しておき、それを参照して絞り値を生成しても良い。

絞り値を制御したらＳ８０９において被写体像を撮像してライトフィールドＲＡＷデータを取得し、取得したライトフィールドＲＡＷデータを記録媒体に記録する。記録したら、Ｓ８１０で撮影動作を終了する。

尚、本実施例では、再構成画像から検出したリフォーカス位置をもとに絞り値を得ているが、測距センサを備えることで被写体までの距離を取得して絞り値を生成することも可能である。この場合はＳ８０７のリフォーカス動作が必要なくなるので、より高速に撮影動作を行うことができる。

また、Ｓ８０７およびＳ８０８の絞り制御において、Ｓ８０５で選択された被写体領域が一つのときは、Ｓ８０７のリフォーカス位置の検出を行なわずに、Ｓ８０８で絞りを開放にするように制御してもよい。

また、画面を予め複数の領域に分割し、各分割領域内の画像にピントが合った再構成画像を生成するためのリフォーカスパラメータを検出して保持しておくことも可能である。そうすることで、選択された被写体領域に対応する分割領域のリフォーカスパラメータを用いてＳ８０８での絞り値の制御を行うようにしてもよい。

上述のように、本実施例によれば、ライブビューの際は被写体の構図及び状態を確認することが可能になり、また記録後のリフォーカスにおいては複数の被写体にピントが合うリフォーカス位置を設定することが可能となる。これにより、ユーザにとって使い勝手のよいライトフィールドカメラを提供することが可能となる。

［他の実施の形態］
前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（図示したフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (15)

1. 絞りを通過した被写体光を集光する複数のマイクロレンズからなるマイクロレンズアレイと、前記マイクロレンズを経た光を光電変換するために各マイクロレンズに対応する所定数の光電変換素子を配列した撮像素子を有する撮像手段とを備えた撮像装置であって、
   ユーザからの指示を入力する操作手段と、
   撮影条件に従って前記操作手段による撮影指示に応じて撮像する際の絞り値を決定し、前記決定した絞り値に基づいて前記絞りを制御する制御手段と、
   前記撮像手段で撮像された画像から撮像時とピントの異なる再構成画像を生成する生成手段と、を備え、
   前記制御手段は、所定の周期で前記撮像手段による撮像が行われるライブビューモードである場合は、前記撮影指示に応じて撮像する際の絞り値に関わらず、前記生成手段で生成された互いにピントの異なる複数の再構成画像に基づいて、前記撮像手段で撮像される画像の少なくとも複数の領域が収まる被写界深度を与える絞り値で前記絞りを制御し、前記ライブビューモード中に前記操作手段で前記撮影指示が入力されたことを検出したときは、前記撮影指示に応じて撮像する際の絞り値で前記絞りを制御することを特徴とする撮像装置。
2. 前記制御手段は、前記撮像手段で撮像される画像に含まれる少なくとも一つの被写体が収まる被写界深度を与える絞り値を開放に決定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段で撮像される画像の複数の領域が収まる被写界深度を与える絞り値をパンフォーカス画像が撮像される絞り値に決定し、焦点距離、被写体距離及び前記撮像装置により定まる定数に基づいて決定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記操作手段は、前記撮像手段で撮像された画像の少なくとも一つの被写体領域を選択する選択手段を有し、
   前記制御手段は、前記撮像手段で撮像される画像に含まれる少なくとも一つの被写体が収まる被写界深度を与える絞り値を、前記選択手段で選択された少なくとも一つの被写体領域が収まる被写界深度を与える絞り値に決定することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記制御手段は、前記生成手段で生成された再構成画像から前記選択手段で選択された少なくとも一つの被写体領域のリフォーカス位置を検出し、前記検出したリフォーカス位置に基づいて前記選択手段で選択された少なくとも一つの被写体領域が収まる被写界深度を与える絞り値を決定することを特徴とする請求項４に記載の撮像装置。
6. 前記選択手段で選択された被写体領域の距離を検出する測距手段を備え、
   前記制御手段は、前記測距手段により検出された距離に基づいて前記選択手段で選択された少なくとも一つの被写体領域が収まる被写界深度を与える絞り値を決定することを特徴とする請求項４に記載の撮像装置。
7. 前記制御手段は、前記撮像手段で撮像される画像を複数の領域に分割したときの各分割領域の被写体の距離をリフォーカス位置として再構成画像を生成するためのリフォーカスパラメータを保持し、前記選択手段で選択された少なくとも一つの被写体領域が収まる被写界深度を与える絞り値を、前記選択された被写体領域に対応する分割領域のリフォーカスパラメータに基づいて決定することを特徴とする請求項４に記載の撮像装置。
8. 前記制御手段は、前記選択手段で選択された被写体領域が一つであるときは、前記選択手段で選択された少なくとも一つの被写体領域が収まる被写界深度を与える絞り値を開放に決定することを特徴とする請求項４乃至７のいずれか一項に記載の撮像装置。
9. 前記選択手段はタッチパネルであることを特徴とする請求項４乃至８のいずれか一項に記載の撮像装置。
10. 前記撮像手段で所定の周期で撮像された画像の表示を行なう表示手段と、
    前記撮像手段で撮像された画像を記録媒体に記録する記録手段と、
    をさらに備え、
    前記制御手段は、前記操作手段で前記撮影指示が入力されたことを検出したときは、前記撮像手段で撮像された画像を、前記記録手段で前記記録媒体にＲＡＷデータとして記録することを特徴とする請求項１乃至９のいずれか一項に記載の撮像装置。
11. 絞りを通過した被写体光を集光する複数のマイクロレンズからなるマイクロレンズアレイと、前記マイクロレンズを経た光を光電変換するために各マイクロレンズに対応する所定数の光電変換素子を配列した撮像素子を有する撮像手段とを備えた撮像装置の制御方法であって、
    操作手段によりユーザからの指示を入力する入力ステップと、
    前記入力ステップで入力されたユーザからの指示を検出する検出ステップと、
    撮影条件に従って前記操作手段による撮影指示に応じて撮像する際の絞り値を決定し、前記決定した絞り値に基づいて前記絞りを制御する制御ステップと、
    前記撮像手段で撮像された画像から撮像時とピントの異なる再構成画像を生成する生成ステップとを備え、
    前記制御ステップは、所定の周期で前記撮像手段による撮像が行われるライブビューモードである場合は、前記撮影指示に応じて撮像する際の絞り値に関わらず、前記生成ステップで生成された互いにピントの異なる複数の再構成画像に基づいて、前記撮像手段で撮像される画像の少なくとも複数の領域が収まる被写界深度を与える絞り値で前記絞りを制御し、前記ライブビューモード中に前記操作手段で前記撮影指示が入力されたことを検出したときは、前記撮影指示に応じて撮像する際の絞り値で前記絞りを制御することを特徴とする制御方法。
12. 絞りを通過した被写体光を集光する複数のマイクロレンズからなるマイクロレンズアレイと、前記マイクロレンズを経た光を光電変換するために各マイクロレンズに対応する所定数の光電変換素子を配列した撮像素子を有する撮像手段を制御するためのプログラムであり、
    コンピュータを、
    ユーザからの指示を入力する操作手段、
    前記操作手段で入力されたユーザからの指示を検出する検出手段、
    撮影条件に従って前記操作手段による撮影指示に応じて撮像する際の絞り値を決定し、前記決定した絞り値に基づいて前記絞りを制御する制御手段、
    前記撮像手段で撮像された画像から撮像時とピントの異なる再構成画像を生成する生成手段として機能させ、
    前記制御手段は、所定の周期で前記撮像手段による撮像が行われるライブビューモードである場合は、前記撮影指示に応じて撮像する際の絞り値に関わらず、前記生成手段で生成された互いにピントの異なる複数の再構成画像に基づいて、前記撮像手段で撮像される画像の少なくとも複数の領域が収まる被写界深度を与える絞り値で前記絞りを制御し、前記ライブビューモード中に前記操作手段で前記撮影指示が入力されたことを検出したときは、前記撮影指示に応じて撮像する際の絞り値で前記絞りを制御する、
    プログラム。
13. 請求項１２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
14. コンピュータを、請求項１乃至１０のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
15. コンピュータを、請求項１乃至１０のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。

Images