JP6103969B2 - 撮像装置、その制御方法およびプログラム - Google Patents

Description

本発明は、光電変換により画像を取得する撮像装置に関し、特に、いわゆる光線空間情報を取得可能なカメラ（ライトフィールドカメラとも呼ばれる 以下ＬＦＣ）である撮像装置に関する。

近年、新しい撮像機能の実現のためにＬＦＣの研究が盛んにおこなわれている。ＬＦＣにおいては、光線の位置情報に加えて角度情報を同時に取得するため、位置情報の分解能（画像においては解像度）が低下するという問題がある。

この問題を解決するため、例えば、特許文献１では印加電圧に応じてパワーをコントロール可能な光学素子を利用してＬＦＣとしての撮像と通常の撮像を両立させる技術が開示されている。特許文献２ではマイクロレンズアレイを撮影光路中に進退可能に設けることにより、ＬＦＣとしての撮像と通常の撮像を両立させる技術が開示されている。

特開２００８−１６７３９５号公報 特開２００８−３１２０８０号公報

しかしながら、上述の特許文献に開示されている従来技術では、高価な光学素子を設けたり、複雑な進退機構を設けたりする必要があるため、装置が高価且つ大型化してしまう。

そこで、本発明の目的は、簡易な構成でＬＦＣとしての撮像と通常の撮像を両立させることを可能にする撮像装置を提供することである。

上記目的を達成するため、本発明によれば、撮像装置は、被写体の光学像を形成する撮影光学系と、複数の光電変換素子の２次元配列により、光学像の光電変換信号を出力する撮像素子と、撮影光学系のピント状態を調整するピント調整手段と、ピント調整手段によりピント状態を変化させながら、複数の異なるピント状態で光電変換信号を撮像素子から取得する撮像制御手段と、撮像制御手段によって得られた複数の異なるピント状態での光電変換信号を用いて、光学像の光線空間情報である入射位置の情報と入射角度の情報を求める光線決定手段と、を備え、光線決定手段は、入射角度の情報の分解能を光電変換素子の数として決定し、入射角度の情報の分解能として決定した光電変換素子の数に従って、入射位置の情報を演算するとともに、演算した入射位置の情報から逆畳み込みにより入射角度の情報を演算するための行列を生成する。

本発明によれば、簡易な構成でＬＦＣとしての撮像と通常の撮像を両立させることを可能にする撮像装置を提供することができる。

本発明の実施例に係わる撮像装置によって撮像される光線を模式的に示す図 本発明の実施例に係る撮像装置の中央断面図とブロック図 本発明の実施例に係わる光線空間情報取得撮影の動作のフローチャートを示す図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１から図３を参照して、本発明の第１の実施例に係る撮像装置について説明する。

図１は、本発明の実施形態にかかわる撮像装置で撮像される光線を模式的に示す図である。図２（ａ）は、本実施例に係る撮像装置であるデジタルカメラおよびレンズの中央断面図、図２（ｂ）は撮像装置の電気的構成を示すブロック図である。図２（ａ）および図２（ｂ）で同一の部分は、同一の符号を付して示してある。

図２（ａ）において、２０１は撮像装置、２０２は撮像装置２０１に装着するレンズユニット、２０３は撮影光学系を形成するレンズ、２０４は撮影光学系の光軸、２０６は光電変換素子の２次元配列を有する撮像素子、２０９は背面表示装置をそれぞれ示す。また、２１１は撮像装置１とレンズユニット２０２の電気接点を、２１２はレンズユニット２０２に設けられたレンズシステム制御部を、２１４はクイックリターン機構を、２１５は測距部を、２１６は撮像装置２０１に設けられたファインダ表示部をそれぞれ示す。

図２（ｂ）に示すカメラ２０１およびレンズ２０２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系２０３、撮像素子２０６、クイックリターン機構２１４（クイックリターン機構２１４は光路分割を行うハーフミラーを含む）を含み、画像処理系は、画像処理部２０７を含む。また、記録再生系は、メモリ部２０８、表示部２０９を含み、制御系は、カメラシステム制御部２０５、操作検出部２１０、レンズシステム制御部２１２、レンズ駆動部１３、および測距部２１５を含む。レンズ駆動部２１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。

撮像系は、物体からの光を、撮影光学系２０３を介して撮像素子２０６の撮像面に結像する光学処理系である。また、測距部２１５の信号に基づいて撮影光学系２０３の状態をレンズ駆動部２１３によって変化させることで適当なピント位置を調整する（いわゆるＡＦ動作）ピント調整手段を有する。また、撮像素子２０６または不図示の測光センサからの信号に基づいて露光状態の設定を行う（いわゆるＡＥ動作）。ここでいう露光状態とは、撮像素子２０６への露光時間、撮影光学系２０３の絞り値、撮像素子２０６からの光電変換信号の増幅率などのことである。

画像処理部２０７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本発明の要部の一つである、光線決定部を含めることもできる。なお、本実施例では、これらの要素は画像処理部２０７に配置する場合を想定して説明する。

メモリ部２０８は、実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ部は、記録部へ出力を行うとともに、背面表示部２０９に出力する像を生成、保存する。また、メモリ部２０８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。また、図２（ｂ）においては、メモリ部２０８は概念的に書かれており、外部から挿入される記憶メディアに相当するように見えるが、撮像装置２０１が制御プログラムやデータなど記憶するために備える、揮発／不揮発メモリを含んでいる。

カメラシステム制御部２０５は、撮像の際のタイミング信号などを生成して出力するとともに、撮影モード指示などの外部操作を操作検出部２１０が検出したことに応動して制御プログラムを実行することで、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部２１０が検出して、撮像素子２０６の駆動、画像処理部７の動作、メモリ部２０８の圧縮処理などを制御する。さらに背面表示部２０９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。

制御系の光学系の調整動作について説明する。カメラシステム制御部２０５には画像処理部７および測距部２１５が接続されており、撮像素子２０６および測距部２１５からの信号等に基づいて適切な焦点位置、絞り位置を求める。カメラシステム制御部２０５は、電気接点２１１を介してレンズシステム制御部２１２に指令を出し、レンズシステム制御部２１２はレンズ駆動部２１３を適切に制御する。さらにレンズシステム制御部２１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動部２１３を介してブレ補正レンズを適切に制御する。

本実施例では、光学ファインダ２１６を介して被写体の観察を行うことや、撮像素子２０６で被写体の光学像の電子画像を撮影しながら電子ビューファインダ２１６での被写体観察を行うこと（いわゆるライブビュー撮影）が可能な構成となっている。

本実施例では前述したＡＦ動作のように、撮像装置２０１が指示するピント状態での撮影が可能である。すなわちピントを主被写体に対して合わせて撮影することもできるし、適宜ピントを外して（意図したデフォーカス状態で）撮影することも可能である。

図３は、本実施例における撮影から記録までの動作のフローチャートを示す。図３（ａ）は光線空間情報取得撮影の動作全体のフローチャートを示し、図３（ｂ）は光線決定部の動作のフローチャートを示している。以下、図３のフローチャートを用いて、本実施例に係る光線空間情報取得撮影の動作を説明する。ここでいう光線空間情報取得撮影とは、通常の撮影（従来のカメラと同様の情報を得る撮影）と区別するために付けた呼称であり、いわゆる光線空間情報を得るための撮影をユーザーが指示により選択した場合に、撮像装置は当該モードでの撮影を行う。光線空間情報を取得しない従来のカメラと同じ撮影動作については図２において説明したので、図３では光線空間情報取得撮影の動作に絞って説明する。

ステップＳ３０１で、ユーザー指示に応じてカメラシステム制御部５は光線空間情報取得撮影の動作を開始する。

ステップＳ３０２は、カメラシステム制御部２０５が撮影条件を決定するための処理である。後述するように本実施例に係る撮像装置においては、フォーカス位置を変化させながらの撮影（以下 フォーカスブラケット撮影、図３中ではＦｏブラケット撮影）を行い、そのデータをもとに光線空間情報を取得する。この時、望ましいフォーカスブラケットの条件をステップＳ３０２で設定する。詳細は光線決定手段の説明において述べるが、光線空間の角度の分割数(角度の分解能)等によって望ましいフォーカスブラケットの撮影間隔（ピント状態の変化幅）とフォーカスブラケットの撮影枚数が決定される。

ステップＳ３０３からステップＳ３０６はループを形成しており、ステップＳ３０２での決定に従ったカメラシステム制御部２０５による制御の下で、フォーカスブラケット撮影を行う撮像制御を行う。具体的には、ステップＳ３０４でピント位置を変更して、ステップＳ３０５でセンサ信号の取得（＝撮像）を行い、これをステップＳ３０２で設定した条件で繰り返す。

ステップＳ３０７で、カメラシステム制御部２０５は光線決定部を呼び出して、ステップＳ３０６までで取得した複数枚の画像から光線空間情報への変換を行う。
ステップＳ３０８で、得られた光線空間情報を記録する。
ステップＳ３０９で、光線空間情報取得撮影の動作を終了する。

図３（ｂ）を用いて光線決定部の動作について説明する。
ステップＳ３１１で光線決定部の動作を開始する。

ステップＳ３１２において、逆畳込み演算のための行列を決定する。図１を用いて後述するように、フォーカスブラケット撮影においては、光線空間情報が角度情報に関して畳み込まれた状態で取得される。瞳通過領域について畳み込まれているという見方も出来る。本実施例では光線空間情報を入射位置（画素）と入射角度(画素を構成する各光電変換素子であるセルに対応)という形での表現を用いた方が、説明が容易なので角度情報という説明を行う。逆畳込みのための行列の求め方は後述するが、求めたい角度の分割数(分解能)やフォーカスブラケット条件等によって決定される。

ステップＳ３１３において、ステップＳ３１２で決定した行列と取得画像での演算を行うことで光線空間情報への展開を行う。この処理を行うことで、複数の通常撮影された画像から光線空間情報への変換が行われる。

ステップＳ３１４において呼び出し元のステップＳ３０７に戻る。

図１を用いて本実施例で取得される光線空間情報について説明する。
図１において、図中縦方向は光軸方向であり、センサ面１、センサ面２、センサ面３はそれぞれピント状態が異なる面を示しており、横方向は空間的な広がりを示しており、センサ上にある画素の位置に対応している。なお、簡便のため、図１では横方向に画素ｉ−２、ｉ−１，ｉ，ｉ＋１，ｉ＋２がこの順に一次元に並んでいるものとする。二次元への拡張は容易である。

図１では、１つの画素が５つのセルから構成されているように図示している。すなわちX_1,i、X_2,i、X_3,i、X_4,i、X_5,iが画素を構成するセルである。添え字のうち、前の数字は入射角度に対応しており、後の数字は入射位置（この場合は画素の番号であるi）に対応している。また入射角度に関する添え字は、右上から左下に向かう方向に傾きが大きいものに１、傾きが小さいものに２、傾きがなく図で垂直方向のものに３、左上から右下に向かう方向に傾きが小さいものに４、傾きが大きいものに５を付した。これは説明のための便宜的なものである。

また、図ではセルを重ねて表示しては分かりにくくなるため、センサ面においてセルをずらして表示している。すなわち、センサ面から少し離れた個所で光線が集まっている（ピント位置が図１で上方向にずれている）ように見えるがこれも説明を分かりやすくするための便宜的なものである。

上述のように、図１においては、説明を簡単にするために１次元で説明を行うが、容易に２次元の画像に対しても拡張できる。さらに、取得したい角度の分割数は５として図示しているが、これはユーザーが光線空間情報を利用するアプリケーションに応じて適宜設定すれば良い。具体的には、用途をユーザーに例示して撮像装置１が用途に応じて設定しても良い。例えば、リフォーカス用途であれば分割数を多く、３Ｄ画像の取得であれば少なく、等とすればよい。

図１において、縦や斜め方向に延びる点線は光線を模式的に示している。

近年提案されているＬＦＣにおいては、X_1,i、X_2,i、X_3,i、X_4,i、X_5,iを分離して取得するために、撮影光路に何らかの光学素子を配置している。一方で、本実施例では光学素子を配置していないので、入射角度に関する情報は積分された状態でしか観測することが出来ない。なお、図１では入射角度を離散化しているので和で表現される。

レンズシステム制御２１２を介してピント調節を行ってしてセンサ面２にピントを合わせて撮影を行う場合を考える。この時センサ面２における画素iの輝度をI_iとすると

となる。画素信号Ｉは、画素内の各セルの光電変換信号Ｘの加算で与えられる。さらに画像全体を考えると以下のように記述することが出来る。

ここでピント状態を変化させて撮影した時を考える。ピントを、図１のセンサ面１と書いた位置に変更して撮影を行った場合を考える。図１では、実センサ面において画素iで得られる光線に対応するセルをグレーで塗って示している。すなわち、センサ面１にピントを合わせた場合には、セルX_1,i+2に対応する光線がセルX_1,iに、セルX_2,i+1に対応する光線がセルX_2,iに、セルX_3,iに対応する光線がセルX_3,iに入射している。また、セルX_4,i-1に対応する光線がセルX_4,iに、セルX_5,i-2に対応する光線がセルX_5,iにそれぞれ入射している。

これを数１および数２と同じ形式で表現すると、数３および数４のようになる。

ここでは、センサ面１に関して具体的に対応関係とそれを表記する式について説明したが、明らかにセンサ面３に関しても同様に対応付けと数式での表現が可能である。

数２および数４の表現を簡易的に数５のように記載することにする。

ここでI_pは撮像面から得られる輝度信号であり添え字のpはピント状態に対応している。I_pは撮像素子２０６の情報を読み出すことによって得ることが出来る。M_pはピント状態を示す行列でありI_pと同じく添え字のpはピント状態に対応している。M_pはピント位置が決まれば分かるので、測距部２１５の情報とレンズ駆動部２１３を用いて焦点レンズを停止させた位置に応じて知ることが出来る。Xは光線空間情報を示すベクトルであり、これはピント状態とは無関係である。Xは未知でありこれを求める必要がある。

光線空間情報を得る処理は数５のXを得る処理であるが、これは数２および数４を見ると明らかなように、M_pに逆行列が存在しない為に、このままでは解けない。（元の情報よりも多い情報を取り出そうとしているために解が不定になる。）
そこで本実施例に係る撮像装置においては、ピント状態を変化させながら複数の画像を取得して数５のXを得ることを考える。

ピント状態をp1,p2…pnと変化させて画像を取得した時に（ピント状態を変化させて画像を取得するのでフォーカスブラケット撮影に対応する。）、それぞれ数５を立てておきこれらを合成する。すなわち数６のように処理する。

さらに標記を簡単にするために数６を数７のように書きなおす。

前述した角度の分割数（図１では５として説明を行っている）と同数のピント状態で画像を取得して数７の式をたてた場合は、Mは正方行列になる。Mに逆行列が存在すれば数８としてXを求めることが出来る。

ここでM^-1はMの逆行列を示す。

数８におけるMの行列式の値は、どのようなピント状態で複数枚の画像を得たかによって変化してくる。行列式の値が0に近くなった場合には、ノイズを増幅しかつ、得られる解はノイズの影響を受けやすくなるので、さらに冗長な画像を得ることもできる。

前述した角度の分割数（図１では５として説明を行っている）よりも多い数の画像を取得して数７の式をたてた場合は、Mは縦長の行列になる。この場合は情報が冗長であるので適当な方法でXを得ることが出来る。ここでは最小2乗法的な解を得る疑似逆行列を使ってXを得る方法を数９として具体的に示す。

ここでM^tはMの転置行列を示す。

このように得たい角度の分割数以上の画像を得ておいて、適当な逆畳込み演算を行うことで光線空間情報を得ることが出来る。

以上で説明した数式と、図３との対応について簡単に述べる。数５および数６に示したようにピント状態撮影を行うが、このピント状態を決定するステップがステップＳ３０２である。複数の画像I_p1,I_p2, …I_pnを取得する動作がステップＳ３０３からステップＳ３０６のフォーカスブラケット撮影に対応する。数８および数９の逆行列M^-1、疑似逆行列(M^tM)^-1を求める動作がステップＳ３１２に対応する。数８および数９を解いて複数画像からなるＩからXを求める動作がステップＳ３１３に対応する。

また、フォーカスブラケット撮影を行う場合のブラケット幅には、望ましい値がある。一つの光線を決定する場合になるべく多数の輝度情報を参照する方が、ノイズに強くなるなどの望ましい結果が得られる。これを実現するためには、数２および数４で示したM_pの状態が大切である。すなわち、数６、数７の形にして行列Mの成分を縦方向に観察した時にゼロではない個所を増やせばよいことに対応する。反対にあまりにもフォーカスブラケット幅が大きいと光線空間情報が疎にしか得られず、数８や数９において、逆行列が存在しない状態になってしまう。

さらに図１を用いて具体的にフォーカスブラケット幅について言及する。前述した様に、Mのゼロではない個所を増やせばよいが、このためには図１におけるセンサ面を光線が1画素より大きなずれが生じないようにしながら複数の画像を取得する。これは取得する角度の分割数N、撮影時のFナンバーF_no、画素ピッチΔX等によって決定される。具体的にはフォーカスブラケット幅をΔZとすると、

となるような条件とすればよい。（この条件を満たすように適当にブラケット幅がステップＳ３０２で設定される。）

以上説明したようにXを求めておくことにより、フォーカスブラケット撮影のピント位置以外のところでの画素の輝度値を、その位置に対応したMをXに演算することにより得ることが可能となる。

本実施例では、フォーカスブラケット撮影を行って、光線空間情報を記録する撮像装置について説明した。しかし、フォーカスブラケット撮影と撮影条件の記録までを撮像装置において行い、情報処理装置に光線決定部を備えて、光線空間情報に変換するように構成することもできる。この場合は、撮像装置に大きなメモリ空間や、大規模な処理装置を備える必要が無く、撮像装置を簡略化することが出来る。

以上説明した様に、本発明によれば、特殊な光学系や駆動装置など必要とせず、従来のカメラと同様の撮影と光線空間情報の取得撮影を可能としたカメラを提供することが出来る。

また、上述した実施形態において図３に示した各処理は、各処理の機能を実現する為のプログラムをメモリ（メモリ部８など）から読み出してカメラシステム制御部５が実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、図３に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。さらには、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。

また、図３に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）を含む。これらは、一定時間プログラムを保持する記憶媒体である。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記憶媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。

Claims (15)

1. 被写体の光学像を形成する撮影光学系と、
   複数の光電変換素子の２次元配列により、前記光学像の光電変換信号を出力する撮像素子と、
   前記撮影光学系のピント状態を調整するピント調整手段と、
   前記ピント調整手段によりピント状態を変化させながら、複数の異なるピント状態で光電変換信号を前記撮像素子から取得する撮像制御手段と、
   前記撮像制御手段によって得られた複数の異なるピント状態での光電変換信号を用いて、前記光学像の光線空間情報である入射位置の情報と入射角度の情報を求める光線決定手段と、
   を備え、
   前記光線決定手段は、前記入射角度の情報の分解能を光電変換素子の数として決定し、前記入射角度の情報の分解能として決定した前記光電変換素子の数に従って、前記入射位置の情報を演算するとともに、前記演算した前記入射位置の情報から逆畳み込みにより前記入射角度の情報を演算するための行列を生成することを特徴とする撮像装置。
2. 前記撮像制御手段は、前記複数の異なるピント状態の数を前記入射角度の情報の分解能として決定した前記光電変換素子の数よりも多くし、各ピント状態に対応した前記行列を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記光線決定手段は、前記ピント状態の変化幅を、前記入射角度の情報の分解能をN、前記撮影光学系のFナンバーをF_no、前記撮像素子の画素ピッチをΔX、フォーカスブラケット幅をΔZとした場合に、
   

   

   の条件を満すように制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記光線決定手段は、前記入射角度の情報の分解能である前記光電変換素子の数を、前記光線空間情報の用途に従って決定し、前記光線空間情報の用途は、少なくともリフォーカスおよび３Ｄ画像の取得であることを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記撮像装置は、前記撮像制御手段が、ピントが合った状態で前記光学像を撮像するように前記ピント調整手段および前記撮像素子を制御し、前記光線決定手段が前記光線空間情報の取得を行わない撮影モードをさらに有し、前記撮影モードを選択するための手段を備えることを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記撮像装置は、前記光線決定手段が求めた前記入射位置の情報と前記入射角度の情報とを記録媒体に記録する記録手段を備えることを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 撮影光学系のピント状態を調整するピント調整手段により被写体の光学像のピント状態を変化させながら、複数の異なるピント状態で撮像素子から得られた光電変換信号を取得する取得手段と、
   前記複数の異なるピント状態での光電変換信号を用いて、前記光学像の光線空間情報である入射位置の情報と入射角度の情報を求める光線決定手段と、
   を備え、
   前記光線決定手段は、前記入射角度の情報の分解能を光電変換素子の数として決定し、前記入射角度の情報の分解能として決定した前記光電変換素子の数に従って、前記入射位置の情報を演算するとともに、前記演算した前記入射位置の情報から逆畳み込みにより前記入射角度の情報を演算するための行列を生成することを特徴とする情報処理装置。
8. 前記複数の異なるピント状態の数は、前記入射角度の情報の分解能として決定した前記光電変換素子の数よりも多く、前記光線決定手段は、各ピント状態に対応した前記行列を生成することを特徴とする請求項７に記載の情報処理装置。
9. 前記光線決定手段は、前記入射角度の情報の分解能である前記光電変換素子の数を、前記光線空間情報の用途に従って決定し、前記光線空間情報の用途は、少なくともリフォーカスおよび３Ｄ画像の取得であることを特徴とする請求項７または８に記載の情報処理装置。
10. 前記情報処理装置は、前記光線決定手段が求めた前記入射位置の情報と前記入射角度の情報とを記録媒体に記録する記録手段を備えることを特徴とする請求項７乃至９のいずれか一項に記載の情報処理装置。
11. 被写体の光学像を形成する撮影光学系と、複数の光電変換素子の２次元配列により、前記光学像の光電変換信号を出力する撮像素子とを用いた撮影方法において、
    前記撮影光学系のピント状態を調整するピント調整ステップと、
    前記ピント調整ステップによりピント状態を変化させながら、複数の異なるピント状態で光電変換信号を前記撮像素子から取得する撮像制御ステップと、
    前記撮像制御ステップによって得られた複数の異なるピント状態での光電変換信号を用いて、前記光学像の光線空間情報である入射位置の情報と入射角度の情報を求める光線決定ステップと、
    を備え、
    前記光線決定ステップにおいて、前記入射角度の情報の分解能を光電変換素子の数として決定し、前記入射角度の情報の分解能として決定した前記光電変換素子の数に従って、前記入射位置の情報を演算するとともに、前記演算した前記入射位置の情報から逆畳み込みにより前記入射角度の情報を演算するための行列を生成することを特徴とする撮像方法。
12. 被写体の光学像を形成する撮影光学系と、複数の光電変換素子の２次元配列により、前記光学像の光電変換信号を出力する撮像素子とを有する撮像装置を制御するプログラムであり、
    コンピュータを、
    前記撮影光学系のピント状態を調整するピント調整手段、
    前記ピント調整手段によりピント状態を変化させながら、複数の異なるピント状態で光電変換信号を前記撮像素子から取得する撮像制御手段、
    前記撮像制御手段によって得られた複数の異なるピント状態での光電変換信号を用いて、前記光学像の光線空間情報である入射位置の情報と入射角度の情報を求める光線決定手段、
    として機能させ、
    前記光線決定手段は、前記入射角度の情報の分解能を光電変換素子の数として決定し、前記入射角度の情報の分解能として決定した前記光電変換素子の数に従って、前記入射位置の情報を演算するとともに、前記演算した前記入射位置の情報から逆畳み込みにより前記入射角度の情報を演算するための行列を生成することを特徴とするプログラム。
13. 請求項１２のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
14. コンピュータを、請求項１乃至６のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
15. コンピュータを、請求項１乃至６のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。

Images