JP5917158B2 - 撮像装置、その制御方法及び撮像システム - Google Patents

Description

本発明は、静止画像や動画像を撮像、記録、再生する撮像装置、その制御方法及び撮像システムに係わり、特に撮像装置の構成要素である撮像素子の前面にマイクロレンズアレイを有する撮像装置、その制御方法および撮像システムに関する。

従来、固体メモリ素子を有するメモリカードを記録媒体として、CCD、CMOS等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置は多く存在する。

これらの撮像装置に関する技術の一例として、固体撮像素子の前面に複数の画素(光電変換手段)に対し１つの割合で並ぶマイクロレンズアレイを配置した構成の撮像装置が、非特許文献１などにおいて提案されている。このような構成にすることで、撮像素子に入射する光線の入射方向の情報をも得ることができる。

このような撮像装置を使用すれば、各画素からの出力信号をもとに通常の撮影画像を生成する以外に、撮影された画像に対して所定の画像処理を施して、任意の焦点距離に焦点を合わせた画像を再構築することなども可能である。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかしながら、前述のようなマイクロレンズアレイを有する撮像装置における撮影においては、以下のような問題があった。

前述の撮像装置の構成においては、撮影レンズのＦナンバーとマイクロレンズのＦナンバーが一致するようにマイクロレンズアレイを配置することが効率的な配置となる。具体的に説明すると、撮影レンズのＦナンバーがマイクロレンズのＦナンバーよりも小さい場合、あるマイクロレンズを通過した被写体像と、別のマイクロレンズを通過した被写体像が撮像素子面でオーバーラップしてしまい、画像の再構築が叶わなくなる。一方、撮影レンズのＦナンバーがマイクロレンズのＦナンバーよりも大きい場合、マイクロレンズを通過した被写体光が入射されない無駄な画素が発生してしまう。以上の理由により、マイクロレンズアレイの配置位置は、撮影レンズのＦナンバーによって決定される。

しかしながら、撮影レンズのＦナンバーが固定されるのは、撮影レンズが単焦点のレンズである場合くらいである。例えば、ズームレンズの場合、焦点距離によってＦナンバーが異なることが多い。また、撮像装置が一眼レフカメラのようにレンズ交換が可能な装置である場合、使用するレンズによってＦナンバーが異なることが一般的である。

この問題の対策として、マイクロレンズアレイの位置を撮影レンズのＦナンバーに応じて移動させるという方法も考えられる。しかし、マイクロレンズアレイを可動とすることは、その位置調整に非常に高い精度が必要となり、またコストアップ及びサイズアップにつながるため、好ましくはない。

また、前述のようなマイクロレンズアレイを有する撮像装置における撮影においては、更に以下のような問題がある。
撮像装置が生成する画像における画素単位は、１マイクロレンズあたり１画素となる。通常の撮像素子においては１マイクロレンズあたり１画素の構成のため、生成する画像のデータ数と略同数の画素信号（光電変換信号）を読み出せばよい。しかし、本先行技術に係る撮像装置においては、１マイクロレンズあたり数十の画素（光電変換手段）を有する構成である、このため、通常の撮像装置に対して数十倍もの画素を読み出さなければならない。これは、画像サイズの増大及び読出し時間の増大という点において、大きな問題となる。

上記の課題を解決するために、本発明によれば、マイクロレンズを共有する複数の光電変換手段を有する撮像素子を用いた撮像装置は、撮影レンズのＦナンバーに応じて読み出す光電変換手段の数を切り替え、Ｆナンバーが大きい場合には、Ｆナンバーが小さい場合よりも少ない数での光電変換手段のみを読み出す。

本発明によれば、マイクロレンズアレイを有する撮像装置において、使用する撮影レンズの光学特性に応じて、適切な画像サイズと読み出し速度で画像データを生成する撮像装置を実現することが可能となる。

本発明の第１の実施例に係る撮像装置のブロック図である。 本発明の第１の実施例にかかる撮像装置における光学系周辺の構成を示すブロッ図である。 本発明の第一の実施例に係わる実施例における撮像素子の画素配置を示す図である。 図３に示す画素配列における記録画素の拡大図である。 図２の撮像系における被写体からの光線の軌跡を概念的に示す図である。 本発明の第１の実施例に係わる撮像装置における撮影レンズのＦナンバーが小さい場合の入射光線の軌跡を概念的に示す図である。 本発明の第１の実施例に係わる撮像装置における撮影レンズのＦナンバーが小さい場合に撮像信号の読み出しに使用する画素の配置を示す図である。 本発明の第１の実施例に係わる撮像装置における撮影レンズのＦナンバーが中程度のときの入射光線の軌跡を概念的に示す図である。 本発明の第１の実施例に係わる撮像装置における撮影レンズのＦナンバーが中程度の場合に撮像信号の読み出しに使用する画素の配置を示す図である。 本発明の第１の実施例に係わる撮像装置における撮影レンズのＦナンバーが大きい場合の入射光線の軌跡を概念的に示す図である。 本発明の第１の実施例に係わる撮像装置における撮影レンズのＦナンバーが大きい場合に撮像信号の読み出しに使用する画素の配置を示す図である。 本発明の第１の実施例に係わる撮像装置の撮像動作のフローチャートを示す図である。 本発明の第１の実施例に係わる撮像装置における光学系周辺の構成を示すブロック図である。 本発明の第２の実施例に係わる撮像装置における交換レンズの開放Ｆナンバーが小さい場合の入射光線の軌跡を概念的に示す図である。 本発明の第２の実施例に係わる撮像装置における交換レンズの開放Ｆナンバーが最小の場合の撮像信号の読み出しに使用する画素の配置を示す図である。 本発明の第２の実施例に係わる撮像装置における交換レンズの開放Ｆナンバーが最小値より大きい場合の入射光線の軌跡を概念的に示す図である。 本発明の第２の実施例に係わる撮像装置における交換レンズの開放Ｆナンバーが図１６の大きさのときに撮像信号の読み出しに使用する画素の配置を示す図である。 本発明の第２の実施例に係わる撮像装置の撮像動作のフロ−チャートを示す図である。

以下、図面を参照して本発明の好適な実施の形態を詳細に説明する。

図１は、本発明の第１の実施例に係わる撮像装置の構成を示すブロック図である。
図１において、１０１は、交換可能な撮影レンズや絞りなどの光学系、１０２は、メカニカルシャッタ（メカシャッタと図示する）、１０３は、被写体の光学像を光電変換した電気信号を出力する撮像素子である。ここで、１０４は、撮像素子１０３において実際に入射光を電気信号に変換する光電変換部である。光電変換部１０４は光電変換手段である画素を複数二次元に配列したセンサアレイを有する。

また、１０５は撮像素子１０３において電気信号を増幅させる信号増幅回路である。
また、１０６は撮像素子１０３から出力される画像信号に対してアナログ信号処理を行うアナログ信号処理回路、１０７はアナログ信号処理回路１０６において相関二重サンプリングを行うＣＤＳ回路である。
また、アナログ信号処理回路１０６において、１０８はアナログ信号を増幅する信号増幅器、１０９は水平ＯＢクランプを行うクランプ回路、１１０はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。

また、１１１は撮像素子１０３およびアナログ信号処理回路１０６を動作させる信号を発生するタイミング信号発生回路、１１２は光学系１０１、メカニカルシャッタ１０２の駆動回路である。また、１１３は撮影した画像データに必要なデジタル信号処理を行うデジタル信号処理回路である。デジタル信号処理回路１１３において、１１４は画像データに対し必要な補正処理を行う画像補正回路、１１５はデジタル信号を増幅させる信号増幅回路、１１６は画像データに対し必要な画像処理を行う画像処理回路である。

また、１１７は信号処理された画像データを記憶する画像メモリ、１１８は撮像装置から取り外し可能な画像記録媒体（記録媒体と図示する）、１１９は信号処理された画像データを画像記録媒体１１８に記録する記録回路である。１２０は、信号処理された画像データを表示する画像表示装置、１２１は画像表示装置１２０に画像を表示する表示回路である。

また、１２２は撮像装置全体を制御するシステム制御部である。１２３はシステム制御部１２２で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、および、キズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。１２４は不揮発性メモリ１２３に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部１２２が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。

また、１２５が、ＩＳＯ感度設定などの撮影条件設定や、静止画撮影（第１の撮影モード）とライブビュー駆動（第２の撮影モード）の切り替えなどを行う、撮影モード設定手段である。

以下、上述のように構成された撮像装置の撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１２２の動作開始時において、不揮発性メモリ１２３から必要なプログラム、制御データおよび補正データを揮発性メモリ１２４に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部１２２が撮像装置を制御する際に使用する。また、必要に応じて、追加のプログラムやデータを不揮発性メモリ１２３から揮発性メモリ１２４に転送したり、システム制御部１２２が直接不揮発性メモリ１２３内のデータを読み出して使用したりするものとする。

まず、光学系１０１は、システム制御部１２２からの制御信号により、レンズ等の光学系１０１を駆動して、適切な明るさに設定された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、静止画像撮影時においては、システム制御部１２２からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。またメカニカルシャッタ１０２は、動画像撮影時及びライブビュー駆動時においては、システム制御部１２２からの制御信号により、撮影中は常に撮像素子１０３が露光されているように、開放状態で維持される。

撮像素子１０３は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスに基づいた駆動パルスで駆動される。この駆動制御により、光電変換部１０４から光電変換信号が読み出される。光電変換部１０４は、被写体像を光電変換により電気信号に変換し、信号増幅回路１０は入射光量に応じて設定された増幅率のゲインを光電変換部１０４からの電気信号にかけ、アナログ画像信号として出力する。なお、光電変換部１０４に含まれるセンサアレイの各画素からの光電変換信号の読み出しの具体的な構成、は、ＣＭＯＳセンサー等において周知の技術であるので、ここでの説明を省略する。

撮像素子１０３から出力されたアナログの画像信号は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスにより、アナログ信号処理回路１０６による信号処理を受ける。まず、ＣＤＳ回路１０７でクロック同期性ノイズが除去され、入射光量に応じて設定された増幅率のゲインをＰＧＡ回路１０８でかけられる。次いで、クランプ回路１０９で水平ＯＢ領域の信号出力を基準電圧としてクランプされ、Ａ／Ｄ変換器１１０でデジタル画像信号に変換される。

次に、アナログ信号処理回路１０６から出力されたデジタル画像信号に対して、システム制御部１２２により制御されるデジタル信号処理回路１１３が色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。まず画像補正回路１１４でキズ補正、ダークシェーディング補正などの各種画像補正処理を施す。次いで、信号増幅回路１１５で入射光量に応じて設定された増幅率のゲインをかけ、画像処理回路１１６で色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等の各種画像処理を行う。先に述べたリフォーカス処理も、この画像処理回路１１６で行う。

画像メモリ１１７は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。デジタル信号処理回路１１３で信号処理された画像データや画像メモリ１１７に記憶されている画像データは、記録回路１１９で画像記録媒体１１８に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換され、画像記録媒体１１８に記録される。あるいは、デジタル信号処理回路１１３で解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１２０に表示される。

ここで、デジタル信号処理回路１１３においては、システム制御部１２２からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１１７や記録回路１１９に出力してもよい。また、デジタル信号処理回路１１３は、システム制御部１２２から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１２２に出力する。例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報がシステム制御部１２２に出力される。さらに、記録回路１１９は、システム制御部１２２から要求があった場合に、画像記録媒体１１８の種類や空き容量等の情報をシステム制御部１２２に出力する。

さらに、画像記録媒体１１８に画像データが記録されている場合の再生動作について説明する。

システム制御部１２２からの制御信号により記録回路１１９は、画像記録媒体１１８から画像データを読み出す。同じくシステム制御部１２２からの制御信号によりデジタル信号処理回路１１３は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ１１７に記憶する。画像メモリ１１７に記憶されている画像データは、デジタル信号処理回路１１３で解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号に変換されて画像表示装置１２０に表示される。

図２は、本発明にかかる撮像装置の実施形態における、光学系周辺を説明するブロック図である。
図２において、２０１は撮影レンズ、２０２は撮像素子１０３と撮影レンズ２０１との間に配設されたマイクロレンズアレイ、２０３は同じく撮像素子１０３の構成要素であるセンサアレイであり、上述したように画素(光電変換手段)の二次元配列である。２０４が絞りであり、２０５は被写体である。図２に記載されているその他の構成要素は、図１で説明したものと同じものであるため、説明は割愛する。
以下、本発明にかかる撮像装置の実施形態における撮像動作について、図２を用いて説明する。

駆動回路１１２によりメカシャッタ１０２及び絞り２０４が開いている状態において、被写体２０４の像は、撮影レンズ２０１によって撮像素子１０３に結像される。撮像素子１０３に入射された光信号は、マイクロレンズアレイ２０２の各マイクロレンズによって更に集光され、センサアレイ２０３の各画素に入射される。なお、マイクロレンズアレイ２０２及びセンサアレイ２０３の構成については、後に図３を用いて説明する。センサアレイ２０３に入射された光信号は、各画素において光電変換され、電気信号として出力される。その後の処理については図１を用いて説明した通りである。

図３は本発明の実施形態における撮像素子の画素配列を説明する配置図である。
図３は、撮像素子１０３を被写体側から見た図である。３０１は、再構築後の画像の１画素に相当する単位画素である記録画素であり、本実施例では記録画素３０１を６行６列の光電変換手段を含むものとする。この場合、各光電変換手段を分割画素３０２と呼ぶ。３０３は記録画素３０１毎に１つずつ配置されるマイクロレンズである。即ち、記録画素を、光電変換手段の二次元配列である画素ブロックとすると、マイクロレンズアレイの各マイクロレンズは一つの画素ブロックの複数の光電変換手段と対応付けられている。

本実施例の説明においては、便宜的に、図３に示す６ｘ６(所定数)の分割画素からなる記録画素（画素ブロック）を５行５列並べたセンサアレイ２０３を用いて撮像装置の動作を説明する。

図４は記録画素３０１を拡大した図である。
図３で説明した通り、記録画素３０１は分割画素３０２の６ｘ６の二次元配列で構成されている。後の説明のために、本実施形態では、３６個の分割画素に対し、それぞれ図４のように、ａ１１〜ａ６６と名付けることとする。

図５は、本実施例に係わる撮像装置の撮像系に様々な距離の被写体から入射する光線の軌跡を概念的に示す図である。
被写体５０１ａは、撮影レンズ１０１によってその像がマイクロレンズアレイ２０２を含む面Ａに結像される位置に配置された被写体である。被写体５０１aからの光線のうち、撮影レンズの最外周を通り光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を実線で示す。

被写体５０１ｂは、撮影レンズ１０１から見て、被写体５０１ａよりも遠方にある被写体である。被写体５０１ｂの撮影レンズ１０１によって結像された像は、マイクロレンズアレイ２０２を含む面Ａよりも撮影レンズに近い面Ｂに結像される。被写体５０１ｂからの光線のうち、撮影レンズの最外周を通り光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を破線で示す。

被写体５０１ｃは、撮影レンズ１０１から見て、被写体５０１ａよりも近方にある被写体である。被写体５０１ｃの撮影レンズ１０１によって結像された像は、マイクロレンズアレイ２０２を含む面Ａよりも撮影レンズから遠い面Cに結像される。被写体５０１ｃからの光線のうち、撮影レンズの最外周を通り光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を一点鎖線で示す。

図５で示す各光線の軌跡が示す通り、撮影レンズ１０１から被写体５０１までの距離に応じて、センサアレイ２０３中において入射する分割画素が異なる。このことを用いて、本実施例の撮像装置は、撮影後の画像信号から像を再構築することにより、様々な距離の被写体に焦点を合わせた画像を生成することを可能としている。

次に、図６〜図１２を用いて、本実施例に係わる撮像装置における撮影レンズのＦナンバーに対応じた動作について説明する。なお、以下の図において、図２乃至４に示した構成と同じ構成は同じ符号を付して示し、ここでの説明は特に必要がない限り省略する。

図６は、本実施例に係わる撮像装置における撮影レンズのＦナンバーが最小の場合の入射光線の軌跡を概念的に示す図である。
図６において、６０１は被写体である。本実施例に係わる撮像装置おいては、マイクロレンズアレイ２０２を次のように配置している。即ち、マイクロレンズのＦナンバーが、撮影レンズ及び絞り等からなる使用しうる様々な光学系において最小となるＦナンバーと同じであるようにマイクロレンズアレイ２０２を配置している。
図６における光学系の状態が、そのＦナンバーが最小となる状態とする。この場合、撮影レンズ２０１及び絞り２０４を介してマイクロレンズに入射する光線は、６ｘ６の分割画素全てに入射する。

図７は、本実施例に係わる撮像装置における、撮影レンズのＦナンバーが最小の場合に画素信号の読み出しに使用する画素の配置を示す図である。図７（ａ）は、図３を用いて説明したセンサアレイ２０３のレイアウト図であり、図７（ｂ）はセンサアレイ２０３の構成要素である記録画素３０１に含まれる分割画素３０２の配置を示す図である。
ここで、図７および以後の図において、画素信号の読み出しに使用する分割画素は白色のままとし、使用しない分割画素は灰色で示している。

図６を用いて説明した、光学系のＦナンバーが最小の場合においては、６ｘ６の全ての分割画素に信号光が入射するので、全ての分割画素の信号が独立に読みだされ、記録されなければならない。よって、図７に示す撮影レンズのＦナンバーが最小の場合に画素信号の読み出しに使用する画素を示す画素配置図においては、全ての分割画素を白色のままで示している。

図８は、本実施例に係わる撮像装置における、撮影レンズのＦナンバーが中程度の場合の入射光線の軌跡を概念的に示す図である。
図８の状態においては撮影レンズ２０１及び絞り２０４を介してマイクロレンズに入射する被写体からの光線は、６ｘ６個の分割画素のうちの一部の領域に入射し、最外周の分割画素等には入射しない。すなわち、撮像素子１０３からは、図８に示す記録画素ブロック３０１の位置ａ２〜ａ５の４ｘ４の分割画素の出力信号のみを読み出し記録すればよい。

図９は、本実施例に係わる撮像装置における、撮影レンズのＦナンバーが中程度の場合に画素信号の読み出しに使用する画素の配置を示す図である。図９（ａ）は、図３を用いて説明したセンサアレイ２０３のレイアウト図であり、図９（ｂ）は、記録画素３０１内の分割画素３０２の配置を示す図である。上述のように、画素読み出しに使用する分割画素は白色のままとし、使用しない分割画素は灰色で示している。

図８を用いて説明した、光学系のＦナンバーが中程度の場合においては、各記録画素３０１を構成する複数の分割画素３０２のうち、被写体からの信号光が入射する一部の分割画素のみを読み出す駆動が適切ある。よって、光学系のＦナンバーが中程度の場合に読み出す画素の配置を示す図９においては、図９（ｂ）に示すａ２２〜ａ５５の４ｘ４の分割画素のみを白色で示し、その他の分割画素は灰色で示している。

図１０は、本実施例に係わる撮像装置における撮影レンズのＦナンバーが最大の場合の入射光線の軌跡を概念的に示す図である。
図１０の状態において撮影レンズ２０１及び絞り２０４を介してマイクロレンズに入射する被写体からの光線は、各記録画素の６ｘ６個の分割画素のうち、一部の領域に入射し、外周付近の分割画素等には入射しない。すなわち、撮像素子１０３からは、記録画素３０１の図８に示したａ３〜ａ４に位置する２ｘ２の分割画素からの出力信号のみを読み出し記録すればよいこととなる。

図１１は、本実施例に係わる撮像装置における撮影レンズのＦナンバーが最大の場合に画素信号の読み出しに使用する画素の配置を示す図である。図１１（ａ）は、図３を用いて説明したセンサアレイ２０３のレイアウト図であり、図１１（ｂ）は、センサアレイ２０３の構成要素である記録画素３０１内の分割画素３０２の配置を示す図である。上述のように、図１１においても、使用する分割画素は白色のままとし、使用しない分割画素は灰色で示している。

図１０を用いて説明した、光学系のＦナンバーが最小の場合においては、各記録画素(画素ブロック)３０１を構成する複数の分割画素３０２のうち、信号光が入射する一部の分割画素のみを読み出す駆動が適切ある。よって、図１１に示す光学系のＦナンバーが最小の場合に読み出す画素の配置を示す図においては、図１１（ｂ）で示すａ３３〜ａ４４の２ｘ２の分割画素のみを白色で示し、その他の分割画素は灰色で示している。

なお、上の図８から図１１を用いた説明では、Ｆナンバーの値と読み出し画素との関係を３つのＦナンバーの値について示したが、これに限るものではなく、適宜Ｆナンバーの値に応じて読み出し画素を変更することが可能である。例えば、複数の閾値を設定し、それらとＦナンバーとの大小関係から読み出し画素の変更を制御すればよい。また、光学系の異なるＦナンバーに対応して画素信号を読み出す分割画素の範囲として、記録画素３０１の中央付近を示したが、本発明はこれに限定されない。光シェーディング対策等により、マイクロレンズ３０３を撮影レンズの光軸と垂直方向にシフトした構成の場合には、必ずしも記録画素の中央の位置の付近が適切な選択範囲ではなくなる場合もありうる。この場合は、例えば、撮影レンズ２０１の中心及び、マイクロレンズ３０３の中心を通る光線が到達するセンサアレイ上の位置を中心に、複数の分割画素を選択するような構成などとしてもよい。

図１２は本実施例に係わる撮像装置の撮像動作のフローチャートを示す図である。本動作の制御は、不揮発性メモリ１２３から読み出されたプログラム、制御データなどに従ってシステム制御部１２２がタイミング信号発生回路１１１を制御して撮像素子１０３を駆動することで達成される。

本撮像装置においては、まず、使用されている撮影レンズ２０１及び絞り２０４に対して駆動回路１１２を介してシステム制御部１２２が設定した設定値を取得し、光学系１０１の現在の絞り値（Ｆナンバー）を取得する（Ｓ１２０１）。続けて、取得したＦナンバーに応じて、上述したように読み出しに使用する分割画素３０２の領域を決定して設定する（Ｓ１２０２）。その後、撮影を実行する（Ｓ１２０３）。 撮影が完了したら、撮像素子の駆動を制御して先に設定した領域の分割画素３０２から信号を読み出し、一連の動作を終了する。なお、取得したＦナンバーの大小の判定は、例え上述したように、複数の閾値を予め設定しておいて、これと取得したＦナンバーとを比較することで判定すればよい。

以上説明したように、本実施例に係わる撮像装置によれば、信号読み出しに使用する画素を撮影光学系のＦナンバーに応じて変更して被写体からの光線が入射される分割画素のみを読み出す構成とすることが可能となる。よって、読み出し時間の短縮及び生成される画像データのサイズ縮小が可能となる。

次に、本発明の第二の実施例について説明する。本実施例に係わる撮像装置は、撮影レンズが撮像装置から分離、交換可能な撮像システムである。

図１３は本実施例に係わる撮像装置における光学系周辺を示すブロック図である。
図１３において、１３０１が着脱可能な交換レンズ、１３０２が撮影レンズを除く撮像装置本体である。交換レンズ１３０１において、１３０３は撮像装置本体からの制御信号を受けて撮影レンズを制御するレンズ制御回路、１３０４は撮像装置本体と電気的に接続するコネクタである。１３０５は同じく、撮像装置本体１３０２において、交換レンズ１３０１と電気的に接続するコネクタである。図１３に記載されているその他の構成要素は、図１及び図２で説明したものと同じものであるため、説明は割愛する。なお、本実施例においては、絞り２０４は使用しないため、図１３には記していない。
以下、本実施例に係わる撮像装置における撮像動作を図１３を用いて説明する。

撮像装置本体１３０２内のシステム制御部１２２は、コネクタ１３０５の状態を検出し、交換レンズ１３０１が装着されているかを判断する。交換レンズ１３０１が装着されていると判断した場合は、交換レンズ１３０１内のレンズ制御回路１３０３との通信により、装着された交換レンズ１３０１の情報を取得する。取得する情報は、交換レンズ１３０１の種類、焦点距離、絞り値、開放Ｆナンバー等である。

駆動回路１１２によりメカシャッタ１０２が開いている状態において、被写体２０４の像は撮影レンズ２０１によって撮像素子１０３に結像される。撮像素子１０３に入射された被写体からの光線は、マイクロレンズアレイ２０２の各マイクロレンズによって更に集光され、センサアレイ２０３の各画素(分割画素)に入射される。センサアレイ２０３に入射された光線は、各画素において光電変換され、電気信号として出力される。その後の処理については図１を用いて説明した通りである。

次に、図１４〜図１７を用いて、本実施例に係わる撮像装置における交換レンズの開放Ｆナンバーに応じた動作を説明する。なお、開放Ｆナンバーとは、それぞれの交換レンズにおいて、絞りが開放状態の時のＦナンバーを表すものとする。本実施例に係わる撮像装置においては、絞りは無いものとしているため、開放Ｆナンバーは撮影レンズ２０１及びその周辺の部材によって決定されるＦナンバーとなる。

図１４は、本実施例に係わる撮像装置における交換レンズの開放Ｆナンバーが小さい場合の入射光線の軌跡を概念的に示す図である。

本実施例に係わる撮像装置においても、使用しうる様々な交換レンズにおける開放Ｆナンバーの最小値とマイクロレンズのＦナンバーが同じであるように、マイクロレンズアレイ２０２を配置している。

図１４に示す光学系の状態が、その開放Ｆナンバーが最小となる交換レンズを装着した状態とする。この場合、撮影レンズ２０１を介してマイクロレンズに入射する光線は、６ｘ６の分割画素全てに入射する。

図１５は、実施例に係わる撮像装置における交換レンズの開放Ｆナンバーが最小の場合に、画素信号読み出しに使用する画素の配置を示す図である。図１５（ａ）は、図３を用いて説明したセンサアレイ２０３のレイアウト図であり、図１５（ｂ）は、センサアレイ２０３の構成要素である記録画素(画素ブロック)３０１内の分割画素３０２の配置を示す図である。なお、図１５においても第１の実施例と同様に、画素読み出しに使用する分割画素は白色のままとし、使用しない分割画素は灰色で示している。

図１４を用いて説明した、交換レンズの開放Ｆナンバーが最小の場合においては、６ｘ６の記録画素の全ての分割画素に信号光が入射するので、全ての分割画素の信号が独立に読みだされ、記録される。よって、図１５に示す交換レンズの開放Ｆナンバーが最小の場合に使用する画素を示す画素配置図においては、全ての分割画素を白色のままで示している。

図１６は、本実施例に係わる撮像装置における、交換レンズの開放Ｆナンバーが最小値より大きい値の場合の入射光線の軌跡を概念的に示す図である。

図１６の状態においては撮影レンズ２０１を介してマイクロレンズに入射する被写体からの光線は、各記録画素内の６ｘ６個の分割画素のうち、一部の領域に入射し、最外周の分割画素等には入射しない。すなわち、撮像素子１０３からは、記録画素３０１（画素ブロック）内のａ２〜ａ５に位置する４ｘ４の分割画素からの出力信号のみを読み出して記録すればよい。

図１７は、本実施例に係わる撮像装置における交換レンズの開放Ｆナンバーが図１６の場合に画素信号の読み出しに使用する画素の配置を示す図である。図１７（ａ）は、図３を用いて説明したセンサアレイ２０３のレイアウト図であり、図１７（ｂ）はセンサアレイ２０３の構成要素である記録画素３０１内の分割画素３０２の配置を示す図である。図１７においても、図１５と同様に、使用する分割画素は白色のままとし、使用しない分割画素は灰色で示している。

図１６に示す交換レンズの開放Ｆナンバーが大きい場合においては、各記録画素３０１を構成する複数の分割画素３０２のうち、信号光が入射する一部の分割画素のみを読み出す駆動が適切ある。よって、光学系のＦナンバーが中程度の場合に読み出す画素の配置を示す図１７においては、図１７（ｂ）で記したａ２２〜ａ５５の４ｘ４の分割画素のみを白色で示し、その他の分割画素は灰色で示している。

なお、図１６及び図１７を用いた説明では、Ｆナンバーの値と読み出し画素との関係を２つのＦナンバーの値について示したが、これに限るものではなく、適宜Ｆナンバーの値に応じて読み出し画素を変更することが可能である。例えば、複数の閾値を設定し、それらとＦナンバーとの大小関係から読み出し画素の変更を制御すればよい。また、装着された交換レンズのＦナンバーに応じて画素信号を読み出す分割画素範囲として、記録画素３０１の中央付近を選択したが、本発明はこれに限定されない。光シェーディング対策等により、マイクロレンズ３０３を撮影レンズの光軸と垂直方向にシフトした構成の場合には、必ずしも記録画素の中央付近が適切な選択範囲ではなくなる場合もありうる。この場合は、例えば、撮影レンズ２０１の中心及び、マイクロレンズ３０３の中心を通る光線が到達するセンサアレイ上の位置を中心に、複数の分割画素を選択するような構成などとしてもよい。

図１８は本実施例に係わる撮像装置の撮像動作のフローチャートを示す図である。第一の実施例と同様、本動作の制御も、不揮発性メモリ１２３から読み出されたプログラム、制御データなどに従ってシステム制御部１２２がタイミングイ信号発生回路１１１を制御して撮像素子１０３を駆動することで達成される。

本撮像装置においてはまず、システム制御部１２２は駆動回路１１２を介して、使用されている交換レンズ１３０１の種類を検出し、撮影レンズ２０１の開放Ｆナンバーを取得する（Ｓ１２０１）。続けて、取得したＦナンバーに応じて、読み出す分割画素３０２の領域を決定する（Ｓ１２０２）。その後、撮影を実行する（Ｓ１２０３）。 撮影が完了したら、先に決定した領域の分割画素３０２から信号を読み出し、一連の動作を終了する。

以上で説明したように、本実施例に係わる撮像装置によれば、使用する交換レンズに応じて被写体の撮像信号を読み出す分割画素を選択している。するこれにより、画素信号の読み出し時間の短縮、及び生成される画像データのサイズ縮小が可能となる。

以上、図１〜図１８を用いて本発明の実施形態にかかる撮像装置の実施形態について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。

例えば、本発明にかかる撮像装置の実施形態の画素構成においては、画素の構造をわかりやすく説明するため、同一マイクロレンズ下の分割画素を６ｘ６分割の構成としたが、本発明はこれに限定されず、様々な数及び形状の分割画素を有する構成としても構わない。

また、図１３〜図１８を用いて説明した本発明の第二の実施例に係わる撮像装置を光学系に絞りがない構成として説明したが、本発明はこれに限定されない。即ち、この前提は、本発明の背景技術である撮像装置が様々な焦点距離の画像を再構築可能な撮像装置であるという特性上、被写界深度の小さい光学条件で撮影されるであろうという観点に基づいているだけで、これに限定される必要はない。また、図１を用いて説明した本発明の実施形態においては、画像の再構築などの画像処理を、撮像装置の構成要素の一つであるデジタル信号処理回路１１３でおこなうものとして説明したが、必ずしもこの画像処理の実施が撮像装置の内部で行われる必要はない。具体的には、画像処理手段を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。

前述した本発明の実施形態に係わる撮像装置を構成する各手段、並び制御方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

Claims (13)

1. Ｆナンバーが可変な絞りと撮影レンズとを含む光学系で結像された光学像を電気信号へ変換する複数の光電変換手段の２次元配列を有する撮像素子と、前記撮像素子上に配設されたマイクロレンズアレイとを備え、前記マイクロレンズアレイの各々のマイクロレンズは、前記複数の光電変換手段の前記２次元配列を所定数の前記光電変換手段の画素ブロックで分割したときの１つの前記画素ブロックと対応付けられている撮像装置であって、
   前記絞りの前記Ｆナンバーを取得する取得手段と、
   前記撮像素子から前記電気信号を読み出すために前記撮像素子を駆動する駆動手段と、
   前記駆動手段を制御する制御手段とを備え、
   前記制御手段は、各々の前記画素ブロックにおいて前記電気信号を読み出すために使用する前記光電変換手段を、前記取得手段によって取得された前記絞りの前記Ｆナンバーに応じて設定し、前記光電変換手段の設定に従って前記駆動手段を制御することを特徴とする撮像装置。
2. 前記制御手段は、前記取得手段によって取得された前記絞りの前記Ｆナンバーが大きいほど、前記各々の画素ブロックにおいて前記電気信号の読み出しに使用する前記光電変換手段の数を少なく設定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記各々の画素ブロックにおいて前記電気信号の読み出しに使用する前記光電変換手段の数を少なく設定するときは、前記撮影レンズの中心と前記マイクロレンズの中心とを通る光線が到達する位置の近くにある前記光電変換手段を読み出しに使用する前記光電変換手段として設定することを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記各々の画素ブロックにおいて、前記撮影レンズを通った光線が入射する範囲にある前記光電変換手段を前記電気信号の読み出しに使用する前記光電変換手段として設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は前記駆動手段を制御し、前記制御手段によって設定された前記光電変換手段のみからの前記電気信号を読み出すことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記取得手段は前記撮影レンズおよび前記絞りの情報に基づいて前記Ｆナンバーを取得することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記撮影レンズは交換可能なレンズであり、前記撮像装置は前記交換可能なレンズとの通信を行なう通信手段を備え、前記取得手段は前記通信手段を介して前記交換可能なレンズから前記Ｆナンバーを取得することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記撮影レンズを更に有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. Ｆナンバーが可変な絞りと撮影レンズとを含む光学系で結像された光学像を電気信号へ変換する複数の光電変換手段の２次元配列を有する撮像素子と、前記撮像素子上に配設されたマイクロレンズアレイとを備え、前記マイクロレンズアレイの各々のマイクロレンズは、前記複数の光電変換手段の前記２次元配列を所定数の前記光電変換手段の画素ブロックで分割したときの１つの前記画素ブロックと対応付けられている撮像装置の制御方法であって、
   前記絞りの前記Ｆナンバーを取得する取得ステップと、
   前記撮像素子から前記電気信号を読み出すために前記撮像素子を駆動する駆動手段を制御する制御ステップとを備え、
   前記制御ステップでは、各々の前記画素ブロックにおいて前記電気信号を読み出すために使用する前記光電変換手段を、前記取得ステップにおいて取得された前記絞りの前記Ｆナンバーに応じて設定し、前記光電変換手段の設定に従って前記駆動手段を制御することを特徴とする制御方法。
10. Ｆナンバーが可変な絞りと撮影レンズとを含む光学系で結像された光学像を電気信号へ変換する複数の光電変換手段の２次元配列を有する撮像素子と、前記撮像素子上に配設されたマイクロレンズアレイとを備え、前記マイクロレンズアレイの各々のマイクロレンズは、前記複数の光電変換手段の前記２次元配列を所定数の前記光電変換手段の画素ブロックで分割したときの１つの前記画素ブロックと対応付けられている撮像装置を制御するためのプログラムであって、
    コンピュータを、
    前記絞りの前記Ｆナンバーを取得する取得手段、
    前記撮像素子から前記電気信号を読み出すために前記撮像素子を駆動する駆動手段、
    前記駆動手段を制御する制御手段であり、各々の前記画素ブロックにおいて前記電気信号を読み出すために使用する前記光電変換手段を、前記取得手段によって取得された前記絞りの前記Ｆナンバーに応じて設定し、前記光電変換手段の設定に従って前記駆動手段を制御する制御手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
12. コンピュータを、請求項１乃至８のいずれか１項に記載された撮像装置の各手段として機能させるプログラム。
13. コンピュータを、請求項１乃至８のいずれか１項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。

Images