JP6672070B2 - 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム - Google Patents

Description

本発明は、圧縮センシングを利用した撮像による画像データの取得技術に関する。

被写体空間の情報を取得する撮像において、圧縮センシング（Compressive Sensing）と呼ばれる技術が提案されている。これは、撮像する被写体像のスパース性を考慮することで、少ない観測データから高解像な被写体画像を復元できる技術である。スパース性とは、疎に表せるという意味であり、被写体像に何らかの基底変換を施した際、その係数の多くがゼロとなる性質を指している。

特許文献１には、圧縮センシングを用いて、被写体空間の異なるデプスに合焦した複数の画像を得る手法が開示されている。この手法では、撮像においてデプスごとに異なる透過率分布（文献中のModulation Function）を与え、それらが合算された画像データを取得する。そして、この画像データと与えた透過率分布の情報とから、スパース性を考慮することで各デプスに合焦した画像を推定する。これにより、１つの画像データから複数の画像（デプスごとの合焦画像）を得ることができる。

米国特許公開２０１４／０３１３２８８号公報

しかしながら、特許文献１にて開示された手法では、デプスごとの合焦画像を高解像に推定することが困難である。これは以下の理由による。デプスごとの合焦画像を推定するには、１画素内に重み（透過率）付きで合算された異なる合焦位置の情報を分離する必要があるが、観測数よりも推定対象の数が多い劣決定の問題を解かなければならない。このため、推定された画像は一般に厳密解とは異なる近似解となり、この近似によって解像度が低下する。

本発明は、少ない観測数で被写体空間の情報を高解像に取得することが可能な撮像装置および撮像方法等を提供する。

本発明の一側面としての撮像装置は、複数の画素を用いた撮像により被写体空間の光強度分布を取得する光強度分布取得手段と、複数の画素のそれぞれに対応する係数の分布であって光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する係数分布設定手段と、被写体空間に関する情報であって、光強度分布とは異なる被写体空間情報を取得する情報取得手段と、被写体空間情報に基づいて、複数の画素において互いに異なる第１の画素群および第２の画素群を設定する画素群設定手段と、複数の撮像条件で得られる複数の光強度分布に対してそれぞれ異なる係数分布が作用することで得られる複数の光強度分布を合成して合成画像を生成する画像生成手段とを有する。係数分布設定手段は、複数の光強度分布のそれぞれに作用する複数の係数分布のうち少なくとも１つとして、第１の画素群に対する係数分布の基本統計量と第２の画素群に対する係数分布の基本統計量とが互いに異なる第１の係数分布を設定することを特徴とする。

なお、上記撮像装置に内蔵された又は該撮像装置とは別の画像処理装置であって、合成画像から、複数の撮像条件のうち少なくとも１つの撮像条件に対応する画像データを推定処理により生成する画像推定手段を有する画像処理装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての撮像方法は、複数の画素を用いた撮像により被写体空間の光強度分布を取得するステップと、複数の画素のそれぞれに対応する係数の分布であって光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する係数分布設定ステップと、被写体空間に関する情報であって、光強度分布とは異なる被写体空間情報を取得するステップと、被写体空間情報に基づいて、複数の画素において互いに異なる第１の画素群および第２の画素群を設定するステップと、複数の撮像条件で得られる複数の光強度分布に対してそれぞれ異なる係数分布が作用することで得られる複数の光強度分布を合成して合成画像を生成するステップとを有する。そして、係数分布設定ステップにおいて、複数の光強度分布のそれぞれに作用する複数の係数分布のうち少なくとも１つとして、第１の画素群に対する係数分布の基本統計量と第２の画素群に対する係数分布の前記基本統計量とが互いに異なる第１の係数分布を設定することを特徴とする。

なお、撮像装置のコンピュータに、上述した各ステップを含む処理を実行させるコンピュータプログラムである撮像プログラムも、本発明の他の側面を構成する。

本発明によれば、撮像における少ない観測数で被写体空間の情報を高解像に取得することができる。

本発明の実施例１〜４における係数分布の設定処理を示すフローチャート。 実施例１〜４における合成画像を説明する図。 実施例１，３における撮像装置の構成を示すブロック図および撮像装置の外観を示す図。 実施例１，４における画像取得部の構成を示す図。 実施例１における撮像シーンと画素群の設定との関係を示す図。 実施例１における係数分布を説明する図。 実施例１〜４における撮像条件ごとに得られる画像データの生成処理を示すフローチャート。 実施例２における撮像システムの構成を示すブロック図および撮像システムの外観を示す図。 実施例２における撮像素子の構成を示す図。 実施例２における撮像素子の動作を示すフローチャート。 実施例２における撮像シーンを示す図。 実施例２における撮像シーンと画素群の設定との関係を示す図。 実施例２における別の撮像シーンを示す図。 実施例２における撮像シーンと画素群の設定との関係を示す図。 実施例３における画像取得部の構成を示す図。 実施例３における係数分布作用部の構成を示す図。 実施例３における撮像シーンを示す図。 実施例３における撮像シーンと画素群の設定との関係を示す図。 実施例４における撮像装置の構成を示すブロック図および撮像装置の外観を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例（実施例１〜４）の説明に先だって、各実施例に共通する事項について説明する。各実施例は、図２に示すように、圧縮センシングを用いて、それぞれ異なる複数の撮像条件で得られる被写体空間の光強度分布に対してそれぞれ異なる係数分布を作用させて得られる複数の光強度分布を合成（合算）することで合成画像を生成する。そして、該合成画像に対する撮像後の画像処理によって複数の撮像条件のそれぞれに対応する情報を含む画像データを生成する。この際、各実施例では、撮像条件によって被写体空間の情報を高解像に取得すべき対象領域が変化することを利用して、該対象領域とそれ以外の領域とで、従来は均一であった係数分布（これについては後述する）の基本統計量を異ならせる。これにより、取得情報の解像度を向上させる。

合成画像の生成において、光強度分布に対して係数分布を作用させるとは、例えば、光強度分布に係数分布を乗じてこれらの和をとることを意味する。なお、図２では係数分布を白黒の二値で表現しているが、係数の取り得る値はこれに限定されない。

また、撮像条件は、撮像する空間（画角）や時間（レリーズタイミングまたは動画におけるフレーム）、露出値、露光時間、絞り値、合焦位置、視点、取得する光強度分布の波長や偏光状態等をパラメータ（以下、撮像パラメータという）にして決定される。

これらの撮像条件が異なる画像データを複数得る際には、各撮像条件において被写体空間の情報を高解像に取得したい領域が異なることが多い。例えば、引用文献１にて開示されているように、合焦位置が異なる複数の画像データを取得する場合を考える。この場合、それぞれ異なる撮像条件で得られた複数の画像データはそれぞれ被写体空間の異なるデプス（距離）に合焦しているため、画像データ内に高周波成分が存在する領域が異なる。これは、非合焦領域には、デフォーカスによる周波数劣化によって高周波成分が存在しないためである。このため、各撮像条件で得られた画像データは、合焦領域だけ高解像に情報を取得できればよい。このことを利用して、画像データ内のある領域について、該領域が非合焦領域となる撮像条件に対しては取得情報が低解像になり、該領域が合焦領域となる撮像条件に対しては取得情報が高解像になるように上述した係数分布を設定する。

これを実現するために、ある１つの撮像条件において高解像に情報を取得する領域（第１および第２の画素群のうち一方）とそれ以外の領域（第１および第２の画素群のうち他方）を考える。これら２つの領域において、その撮像条件にて作用させる係数分布が互いに異なる基本統計量（平均や分散等）を有していればよい。基本統計量を異ならせることより、ある撮像条件で高解像に情報を取得する領域で該情報を他の撮像条件より多く取得させたり、該撮像条件での情報が撮像後の画像処理により分離しやすくなったりする等の効果が得られる。そして、この効果によって、解像度を向上させることができる。

以上のような原理により、少ない観測数で被写体空間の情報を高解像に取得することができる。

なお、光強度分布には、撮像される前の光学像（以下、被写体空間光学像という）が有する光強度分布と該光学像の撮像により得られた信号（以下、被写体空間信号という）として示される光強度分布の両方を含む。このため、係数分布は、被写体空間光学像に対して作用させてもよいし、被写体空間信号に対して作用させてもよい。また、光強度分布を取得するための撮像条件数と、撮像後に画像データを生成する撮像条件数とは一致していなくてよい。例えば、４つの撮像条件で得られた４つの光強度分布が合算された画像データから、推定によって２つの撮像条件に対応する画像データを生成してもよい。

本発明の実施例１である撮像装置について説明する。実施例１では、可変な撮像パラメータとして、合焦位置と絞り値を用いる。他の撮像パラメータを用いる場合については他の実施例で説明するが、全ての実施例を組み合わせることで、前述した全ての撮像パラメータを用いることもできる。

図３（Ａ）には本実施例の撮像装置１００の基本構成を示し、図３（Ｂ）にはその外観を示す。撮像装置１００は、被写体空間の光強度分布の情報を撮像によって撮像画像データとしての光強度分布データを取得する画像取得部（光強度分布取得手段）１０１を有する。画像取得部１０１は、被写体空間光学像（光強度分布）を形成する結像光学系１０１ａと、被写体空間光学像に係数分布を作用させる係数分布作用部１０１ｂと、係数分布が作用した被写体空間光学像を複数の画素により取得（撮像）する撮像素子１０１ｃとを有する。結像光学系１０１ａは、撮像時に合焦位置および絞り値のうち少なくとも一方を変化させることで、複数の撮像条件における被写体空間光学像を形成する。撮像素子（画像生成手段）１０１ｃは、複数の撮像条件のそれぞれにおいて係数分布が作用した複数の被写体空間光学像を撮像することにより複数の光強度分布が合成（合算）された合成画像を生成して画像処理部１０２に出力する。

係数分布設定部１０３は、撮像前に、複数の撮像条件のそれぞれに対して異なる係数分布を設定する。係数分布は、撮像素子１０１ｃの複数の画素のそれぞれに割り当てられた（対応する）係数の分布である。係数分布設定部（係数分布設定手段）１０３は、事前情報取得部（情報取得手段）１０４によって得られた被写体空間に関する情報（被写体空間情報：以下、事前情報という）に基づいて係数分布を設定し、記憶部１０５に記憶する。本実施例において、事前情報は、被写体空間のデプス（距離）の分布を示す情報である。

画像処理部１０２は、記憶部１０５から撮像時に被写体空間光学像に作用した係数分布の情報を読み出し、上述した合成画像から複数の撮像条件のそれぞれに対応する複数の画像データを生成する。画像処理部１０２は、情報取得部１０２ａ、画像推定部（画像推定手段）１０２ｂおよび画像生成部１０２ｃを備えており、各部で行う処理については後述する。なお、画像推定部１０２ｂおよび画像生成部１０２ｃは、撮像装置１００に内蔵された画像処理装置に相当する。

係数分布設定部１０３、事前情報取得部１０４および画像処理部１０２は、後述するシステムコントローラ１０８とは別の又は一体のコンピュータにより構成され、コンピュータプログラムとしての撮像プログラムに従って動作する。

画像処理部１０２により生成された画像データは、表示部１０６にて表示されたり画像記録媒体１０７に保存されたりする。また、合成画像を画像記録媒体１０７に保存し、撮像条件ごとの画像データを表示部１０６に表示する際に、画像処理部１０２が撮像条件ごとの画像データを生成するようにしてもよい。以上説明した各部の動作は、メインコンピュータとしてのシステムコントローラ１０８によって制御される。

図４には、画像取得部１０１の構成を示す。図４中の破線および一点鎖線は、被写体空間から入射する光線を表す。撮像素子１０１ｃは、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサにより構成されている。係数分布作用部１０１ｂは、撮像素子１０１ｃの直前に配置されており、結像光学系１０１ａが形成した被写体空間光学像に係数分布を作用させる。係数分布作用部１０１ｂの例として、ＳＬＭ（Spatial Light Modulator）が挙げられ、この場合には係数分布の各係数は０〜１の範囲の値をとる。また、係数分布作用部１０１ｂとして、ＤＭＤ（Digital Mirror Device）を用いてもよい。

本実施例では、１回の撮像における露光時間中に、結像光学系１０１ａのフォーカス群の位置（合焦位置）および絞り値のうち少なくとも一方を変化させることで、複数の撮像条件を時分割で順次設定する。そして、撮像条件ごとに、係数分布作用部１０１ｂが異なる係数分布を被写体空間光学像に作用させる。これにより、撮像素子１０１ｃから、図２に示したように、複数の撮像条件においてそれぞれ異なる係数分布が与えられて撮像された複数の被写体空間光学像に対応する複数の光強度分布が合成（合算）された合成画像が取得される。

次に、圧縮センシングによる撮像と画像の復元について説明する。ここでは簡単のため、モノクロ画像を用いて説明を行うが、以下の説明はカラー画像に対しても同様に成り立つ。

撮像素子１０１ｃにより取得された合成画像ｓ（ｘ，ｙ）は、以下の式（１）で表される。

ここで、ｘとｙはそれぞれ縦方向と横方向の座標を、η（ｘ，ｙ）はノイズを表す。また、Ｋは、合成（合算）される光強度分布を取得した際の撮像条件の総数である。さらに、Ｉ_ｋ（ｘ，ｙ）は、ｋ番目の撮像条件における被写体空間の光強度分布（被写体空間光学像または被写体空間信号）である。ｃ_ｋ（ｘ，ｙ）は、Ｉ_ｋ（ｘ，ｙ）に作用する係数分布である。

式（１）は、行列表記で以下の式（２）のように書き換えることもできる。

ここで、ｓ、ιおよびηはそれぞれ、ベクトル化された合成画像、各撮像条件で取得された光強度分布データおよびノイズである。Ｈは、係数分布の作用と各撮像条件で取得された光強度分布との合成（合算）を表す行列である。光強度分布ベクトルιは、例えば以下の式（３）のように、ｋ番目の撮像条件で得られる光強度分布ベクトルι_ｋを成分とする列ベクトルである。

ここで、ｋ番目の撮像条件における光強度分布Ｉ_ｋ（ｘ，ｙ）がＭ×Ｎの成分からなる場合には、ι_ｋは以下の式（４）で表されるＭＮ×１の成分を持つ列ベクトルである。

合成画像ベクトルｓとノイズベクトルηもそれぞれ同様に、ＭＮ×１の成分を持つ列ベクトルであり、以下の式（５）および式（６）で表される。

係数分布の作用と各撮像条件で取得された光強度分布の合成を表す行列Ｈは、以下のような式（７）で与えられるＭＮ×ＫＭＮの成分を持つ行列である。

ここで、Ｃ_ｋは以下の式（８）で表されるＭＮ×ＭＮ成分を持つ行列である。

本実施例では、複数の撮像条件の光強度分布は互いに位置ずれがないように合成されるため、行列Ｃ_ｋは全て式（８）のように対角成分のみを有することとなる。しかし、複数の撮像条件の光強度分布が互いにずれて重ね合わされている場合には、式（８）はその位置ずれ量に応じた非対角成分に有限な値を持つこととなる。

次に、式（１）または式（２）で表される合成画像から、各撮像条件に対応する被写体空間の画像（光強度分布）データを取得する、言い換えれば復元する方法について説明する。ここでの復元は、式（２）を例とすると、合成画像ベクトルｓと行列Ｈとから、各撮像条件に対応する光強度分布ベクトルιを求めることに相当する。この問題は、式（１）または式（２）から分かるように、連立一次方程式の解を得ることに相当する。ただし、未知数（光強度分布ベクトルιの行数）がＫＭＮ個あるにもかかわらず、連立方程式の数（行列Ｈの行数）はＭＮ個あるに過ぎない。さらに、未知のノイズを合わせると、未知数は（Ｋ＋１）ＭＮ個である。このため、解が一意的に求まることはなく、光強度分布ベクトルιを得るためには必然的に推定処理が必要となる。

各撮像条件に対応する光強度分布ベクトルιに相当する画像データ（推定画像）は、以下の式（９）で表される最適化問題の解を求めることで推定される。

ここで、ｖはベクトル化された推定画像、Ｌは損失関数、Φは推定画像ベクトルｖに対する正則化項であり、それぞれの具体的な例については後述する。損失関数Ｌは、解をモデル（ここでは式（２）の連立方程式）に対してフィッティングさせる効果を持つ。ただし、損失関数Ｌだけでは推定画像ベクトルｖがノイズに対する最小二乗解となり、一般に厳密解との乖離が大きい。このため、解を尤もらしいものへと収束させる正則化項Φを利用する。正則化項には、事前知識と呼ばれる、解（光強度分布ベクトルι）が持つべき性質を用いる。また、正則化項は、損失関数のみを考えた際に起こる過剰なフィッティング（ノイズベクトルηの影響を推定画像ベクトルｖへ反映させてしまうこと）を防ぐ役割も持っている。

推定画像ベクトルｖは、以下の式（１０）に示すように、ｋ番目の撮像条件における推定画像ベクトルｖ_ｋを成分とする列ベクトルである。

ここで、ｋ番目の撮像条件の推定画像をＶ_ｋ（ｘ，ｙ）とするとき、ｖ_ｋは式（４）と同様に、以下の式（１１）で表されるＭＮ×１の成分を持つ列ベクトルとなる。

次に、式（９）中の損失関数Ｌと正則化項Φの具体例を示す。損失関数Ｌとしては、以下の式（１２）で示される関数が考えられる。

ここで、以下の式（１３）で表される記号はｐ次平均ノルム（L_p norm）を表し、ｐ＝２のときはユークリッドノルム（Euclidean norm）を指す。

正則化項Φの例としては、以下の式（１４）で示される１次平均ノルム（L_１ norm）が挙げられる。

ここで、λは正則化項Φの重みを表すパラメータである。Ψは画像に対する基底変換を表す行列であり、その例としてウェーブレット変換や離散コサイン変換等が挙げられる。式（１４）の正則化項Φは、画像に対してウェーブレット変換や離散コサイン変換等の基底変換が行われることで、信号成分がスパース（疎）になる、つまりはより少ない数の信号で表せるという性質に基づくものである。これについては、以下の参考文献１等に詳しい。

参考文献１：Richard G.Baraniuk,“Compressive Sensing”,IEEE SIGNAL PROCESSING MAGAZINE [118] JULY 2007
式（１４）では、各撮像条件に対して同一の重みλを用いているが、ｋに応じて異なる重みを与えてもよい。

また、以下の式（１５）および式（１６）のそれぞれで示されるTikhonov正則化項やTV(Total Variation)ノルム正則化項を用いてもよい。

ここで、∂_ｘＶ_ｋ及び∂_ｙＶ_ｋは、それぞれ推定画像Ｖ_ｋのｘ方向とｙ方向に対する１次微分を表す。

最適化問題である推定式（９）を解くためには、繰り返し演算を用いた手法を利用し、例えば正則化項として式（１５）を用いる場合は、共役勾配法等を使用すればよい。また、式（１４）または式（１６）を正則化項とする場合には、TwIST(Two-step Iterative Shrinkage/Thresholding)等を用いるとよい。TwISTに関しては、以下の参考文献２に詳細が説明されている。

参考文献２：J.M.Bioucas-Dias,et al.,“ A new TwIST:two-step iterative shrinkage/thresholding algorithms for image restoration”,IEEE Trans.on Image Processing,vol.16,Dec.2007
以上のようにして、圧縮センシングによる撮像と各撮像条件で得られる画像データの復元を行う。

次に、撮像装置１００による撮像の前に行う、係数分布設定部１０３での係数分布の設定処理について、図１のフローチャートを用いて説明する。

ステップＳ１０１では、係数分布設定部１０３は、撮像により光強度分布データを取得する複数の撮像条件を取得（設定）する。ここでは、ユーザが指定した撮像条件を取得してもよいし、既定の撮像条件を自動的に取得してもよい。撮像条件は、前述したように、撮像パラメータである画角、時間（レリーズタイミングまたは動画のフレーム）、露出値、露光時間、絞り値、合焦位置、視点、取得する光強度分布の波長や偏光等によって決まる。本実施例では、合焦位置および絞り値のうち少なくとも一方が異なる複数の撮像条件を取得する。

ステップＳ１０２では、事前情報取得部１０４は、ステップＳ１０１で設定された撮像条件に対応した被写体空間の事前情報を取得する。変化する撮像パラメータが合焦位置および絞り値である場合は、事前情報は被写体空間のデプスの分布（以下、デプス分布という）を示す情報である。このため、事前情報取得部１０４は、スキャン式のレーザ測距計やＴＯＦ（Time of Flight）カメラまたは視差情報が取得できる多視点撮像系等のデプス情報取得装置のうちいずれかを含む。また、事前情報取得部１０４は、互いに合焦位置が異なる２つの画像データを取得し、ＤＦＤ（Depth From Defocus）を用いてデプス分布を求めてもよい。また、事前情報取得部１０４は、被写体空間を撮像して得られた１つの画像データからディープラーニングを用いてデプス分布を推定してもよい。この手法については、以下の参考文献３に詳しい。

参考文献３：D.Eigen,et al.,” Depth Map Prediction from a Single Image using a Multi-Scale Deep Network”,http://arxiv.org/pdf/1406.2283.pdf
ＤＦＤやディープラーニングからデプスを算出する手法は、画像取得部１０１でも実行することができる。このため、これらの手法を用いる場合には、事前情報を画像取得部１０１で取得し、事前情報取得部１０４を設けなくてもよい。

ここで、事前情報がデプス分布である理由を説明する。まず、複数の撮像条件間で変化する撮像パラメータが合焦位置である場合について説明する。

各撮像条件において、合焦する領域に存在しない被写体、つまりはデフォーカス領域の被写体はぼけて撮像される。このため、デフォーカス領域の情報は、低解像に取得してもよい。また、ある撮像条件でのデフォーカス領域は、他の撮像条件で合焦する領域となるため、該他の撮像条件において被写体の高周波成分が取得できる。このため、被写体に対して合焦している撮像条件でのみ、該被写体が存在する領域を高解像に撮像できればよい。どの撮像条件（合焦位置）において被写体空間のうちどの領域が合焦しているかは、被写体空間のデプス分布が分かれば算出することができる。このため、デプス分布を事前情報として得る。

次に、複数の撮像条件間で変化する撮像パラメータが絞り値である場合について説明する。絞り値が異なると、被写界深度と回折限界（取得できる空間周波数の限界）が変化する。絞り値が小さいほど被写界深度が浅く、回折限界の周波数が高くなる。このため、絞り値が小さい撮像条件において合焦位置から被写界深度内の領域が高解像に情報を取得すべき領域であり、それ以外の領域は低解像でよい。被写体空間のうちどの範囲が合焦位置を含む被写界深度内の領域かは、デプス分布から算出することができる。このため、デプス分布を事前情報として得る。

ステップＳ１０３では、画素群設定手段でもある係数分布設定部１０３は、ステップＳ１０２で取得した事前情報に基づいて、撮像素子１０１ｃの複数の画素において第１の画素群と第２の画素群とを設定する。第１および第２の画素群は、複数の撮像条件のうち少なくとも１つにおいて情報（画像データ）を取得する解像度が互いに異なる画素群である。

図５（Ａ）は、撮像シーンの一例を示している。この撮像シーンでは、第１の被写体２０１、第２の被写体２０２および第３の被写体２０３の順で撮像装置１００から遠ざかるように位置している。まず、変化する撮像パラメータが合焦位置である場合について説明する。第１、第２および第３の撮像条件がそれぞれ、第１、第２および第３の被写体２０１，２０２，２０３の位置を合焦位置とし、第４の撮像条件が第３の被写体２０３よりも遠方の背景の位置を合焦位置としているとする。この際、係数分布設定部１０３は、図５（Ｂ）に示すように、撮像素子１０１ｃにおける複数の画素の領域（全画素領域）を、第１の領域２１１〜第４の領域２１４の４つに分ける。第１の撮像条件では第１の領域２１１の情報を高解像に取得し、同様に第２〜第４の撮像条件ではそれぞれ第２〜第４の領域２１２〜２１４の情報を高解像に取得する。逆に言えば、第１の撮像条件ではデフォーカスしている第２〜第４の領域２１２〜２１４の情報は低解像でよく、このことは第２〜第４の撮像条件でも同様である。なお、ここでは撮像条件の総数を４としたが、他の総数であってもよい。

次に、変化する撮像パラメータが絞り値である場合について説明する。最も絞り値が小さい（最も絞り開口径が大きい）第１の撮像条件では、第１の被写体２０１のみが被写界深度（合焦領域）内に入っているものとする。また、次に絞り値が大きい第２の撮像条件では第１および第２の被写体２０１，２０２が、さらに絞り値が大きい第３の撮像条件では第１〜第３の被写体２０１〜２０３が被写界深度内に入っているとする。最も絞り値が大きい（最も絞り開口径が小さい）第４の撮像条件では、背景を含めた全ての領域２１１〜２１４が被写界深度内に入っているとする。この際、第１の撮像条件では、図５（Ｂ）中の第１の領域２１１で高解像に情報が取得されれば、それ以外は低解像でよい。第２の撮像条件では、第１および第２の領域２１１，２１２で高解像に情報が取得されれば、それ以外は低解像でよい。第３の撮像条件では、第１〜第３の領域２１１〜２１３で高解像に情報が取得されれば、背景は低解像でよい。

一方、第４の撮像条件では全被写体が被写界深度に入っていることから、撮像素子１０１ｃの全画素領域において情報を取得する解像度の差はない。ただし、第１の被写体２０１は、第１の撮像条件にて高解像に情報が取得されるため、第４の撮像条件で高解像に情報を取得する必要がない。つまり、第４の撮像条件では、第１の領域２１１の情報を低解像に取得し、同じ第１の領域２１１の情報が高解像に取得された第１の撮像条件に対応する推定画像によって低解像度の第１の領域２１１を置換すればよい。このため、第４の撮像条件を、第４の領域２１４の情報のみを高解像に取得する領域としてもよい。これらのことは、第２および第３の領域２１２，２１３でも同じである。

以下の説明では、簡単のため、全画素領域のうち第１の領域２１１を第１の画素群とし、第２〜第４の領域２１２〜２１４を第２の画素群とする。ただし、第２の画素群を第２の領域２１２のみとし、第３の領域２１３および第４の領域２１４をそれぞれ、第３の画素群および第４の画素群としてもよい。この場合、第４の画素群は、図５（Ｂ）中に白色で示した領域になるため、分離して存在することになる。

ステップＳ１０４では、係数分布設定部１０３は、複数の撮像条件それぞれに対して異なる係数分布を設定する。この際、係数分布設定部１０３は、複数の撮像条件のそれぞれに対応する複数の係数分布のうち少なくとも１つとして、第１の画素群に対する係数分布の基本統計量と第２の画素群に対する係数分布の基本統計量とが互いに異なる第１の係数分布を設定する。係数分布の基本統計量とは、該係数分布に含まれる係数の代表値と散布度の少なくとも一方である。代表値は、平均値、中央値、最頻値、加重平均値等である。散布度は、分散、標準偏差、コントラスト比（最大値と最小値の比）等である。

係数分布における係数の代表値（特に平均値）が高いほど、該係数分布に対応する撮像条件で情報がより多く取得されるため、該情報の解像度が向上する。また、係数分布における係数の散布度（特に分散または標準偏差）が大きいほど、該係数分布に対応する撮像条件で取得される情報は高解像になる。この理由は、各撮像条件の画像が式（２）で表される連立一次方程式を推定を用いて解くことを考えれば理解しやすい。係数の分散が小さいと、該係数分布は全て同じような係数を含むことになるため、連立方程式の独立性が弱く、ノイズの影響を受けやすい。これに対して、係数の分散が大きいと、連立方程式の独立性がノイズに対して高くなるため、高精度な推定が可能となる。

撮像条件によって合焦位置または絞り値が異なり、ステップＳ１０３で説明した第１の撮像条件（特定の撮像条件）に対して設定された係数分布が第１の係数分布である場合について具体例を挙げて説明する。この場合、第１の撮像条件での第１の画素群（第１の領域２１１）に対する係数分布の基本統計量が、第２の画素群（第２〜第４の領域２１２〜２１４）に対する係数分布の基本統計量と異なる。具体的には、第１の画素群における係数の平均値および分散のうち少なくとも一方が、第２の画素群よりも大きい。

以下にその数値例を示す。簡単のため、第１の撮像条件において第１の画素群で高解像になり（第２〜第４の撮像条件は低解像になり）、第２の画素群では他の撮像条件と同程度の解像度になる場合を示す。図６には、撮像素子１０１ｃの画素ごとに付与された係数の分布（係数分布）を示す。図６中の四角形が１つの画素を表す。ここでの撮像条件は第１〜第４の撮像条件の４つであるため、隣り合う４画素での係数が互いに独立になっていれば、式（２）の連立一次方程式が高精度に推定できる。このため、係数分布ｃ_ｋは４画素の分布が周期的に配列されている構成でよい。第１の画素群において、自由度のあるその４画素の係数は、例えば以下の式（１７）で示される。

ここで、Ｃ_{４ｐｅｒｉ}は以下の式（１８）で定義される。

第１の画素群に対しては、各撮像条件に対して式（１７）の各列で示される係数が周期的に配列された係数分布が設定される。第２の画素群に対しては、以下の式（１９）で示される係数分布が設定される。

ここで、ｋ番目の撮像条件に対して設定される係数分布ｃ_ｋ（ｘ_ｍ，ｙ_ｎ）のうち、ｊ番目の画素群Ｇ_ｊに対応する係数の平均値をｃ_{ｋ，ａｖｅ}（Ｇ_ｊ）とし、分散をｃ_{ｋ，ｖａｒ}（Ｇ_ｊ）とする。このとき、式（１７）および式（１９）から、ｃ_{１，ａｖｅ}（Ｇ_１）＝０．５８３３であり、ｃ_{１，ａｖｅ}（Ｇ_２）＝０．５０００である。つまり、第１の撮像条件に対して設定される第１の係数分布では、第１の画素群Ｇ_１に対応する係数の平均値が、第２の画素群Ｇ_２に対応する係数の平均値よりも大きい。さらに、ｃ_{１，ｖａｒ}（Ｇ_１）＝０．１３１９である一方、ｃ_{１，ｖａｒ}（Ｇ_２）＝０．１２５０であるから、係数の分散も第１の画素群に対応する係数の方が第２の画素群に対応する係数より大きい。なお、ここでは、簡単のために、第１および第２の画素群のそれぞれに式（１７）および式（１９）で示した４画素が同じ数だけ含まれているとして係数の平均値と分散を算出した。実際は、各画素群の境界において４画素で構成されるユニット（周期の単位）が欠けることがあるため、前述の値から微小にずれる。

さらに、第２の画素群より第１の画素群において第１の撮像条件での解像度が高くなる条件を以下に示す。第１の撮像条件に対して設定される第１の係数分布のうち各画素群に対応する係数の平均値を、他の撮像条件に対して設定される第２の係数分布のうち同じ画素群に対応する係数の平均値で除した比を平均値比とする。また、第１の係数分布のうち各画素群に対応する係数の分散を、第２の係数分布のうち同じ画素群に対応する係数の分散で除した比を分散比とする。このとき、第１の画素群と第２の画素群について、平均値比と分散比の少なくとも一方を互いに異ならせることが好ましい。特に、第１の画素群に対応する係数の平均値比と分散比のうち少なくとも一方が、第２の画素群に対応する係数のそれより大きいことが好ましい。この条件は、以下の式（２０）および式（２１）により示される。

式（１７）および式（１９）に示した係数は、何れのｋに対しても、式（２０）および式（２１）を満足している。

なお、係数分布における係数は周期的な分布を有する必要はないため、乱数として生成してもよい。乱数としては、例えば正規乱数を用いることができる。この場合、第１の撮像条件に対して、正規乱数としての係数の平均値または分散が、第１の画素群の方が第２の画素群より大きくなるように係数を設定すればよい。

次に、画素群の数を３つにした場合の例について説明する。ここでは、第１の画素群を第１の領域２１１とし、第２の画素群を第２および第３の領域２１２，２１３とし、第３の画素群を第４の領域２１４とする。第１の撮像条件での解像度が他の撮像条件での解像度に対して、第１の画素群では高くなり、第２の画素群では等しくなり、第３の画素群では低くなる第１の係数分布を示す。例えば、第１の画素群に対応する係数分布を、以下の式（２２）で示される４つの係数が周期的に配列された分布とする。

また、第２の画素群に対応する係数分布を、以下の式（２３）で示される４つの係数が周期的に配列された分布とする。

さらに、第３の画素群に対応する係数分布を、以下の式（２４）で示される４つの係数が周期的に配列された分布とする。

この場合において、ｃ_{１，ａｖｅ}（Ｇ_１）＝０．５０００、ｃ_{１，ａｖｅ}（Ｇ_２）＝０．３７５０、ｃ_{１，ａｖｅ}（Ｇ_３）＝０．２５００であるから、第１の画素群に対応する係数分布では係数の平均値が高く、第３の画素群に対応する係数分布では低い。さらに、ｃ_{１，ｖａｒ}（Ｇ_１）＝０．１２５０、ｃ_{１，ｖａｒ}（Ｇ_２）＝０．０７０３、ｃ_{１，ｖａｒ}（Ｇ_３）＝０．０３１３であるため、分散も平均値と同様となる。また、第２の画素群に対応する係数分布では、いずれの撮像条件においても係数の平均値と分散が同じであるため、第２の画素群で取得する情報の解像度に差がつかない。

以上のようにして、係数分布設定部１０３は、撮像前に係数分布の設定を完了する。

次に、撮像後に画像処理部１０２が合成画像から複数の撮像条件に対応する被写体空間の画像データを生成（復元）するために行う画像処理について、図７のフローチャートを用いて説明する。

ステップＳ２０１では、情報取得部１０２ａは、合成画像と係数分布の情報を取得する。合成画像は、前述したように、複数の撮像条件で得られる光強度分布にそれぞれ異なる係数分布を作用させることで得られる複数の光強度分布データが合成された画像である。

ステップＳ２０２では、画像推定部１０２ｂは、推定に用いるパラメータを設定する。パラメータは、式（９）で用いる正則化項の決定やその重み、繰り返し演算の回数、ステップＳ２０４で用いる収束条件等である。また、推定で画像を生成する撮像条件の数等を指定してもよい。

ステップＳ２０３では、画像推定部１０２ｂは、合成画像から複数の撮像条件のそれぞれに対応する画像（光強度分布）データを推定によって生成する。すなわち各撮像条件に対応する画像データの推定処理を行う。この推定より生成される画像データ（以下、推定画像という）は、式（９）の最適化問題を解くことによって生成される。

ステップＳ２０４では、画像推定部１０２ｂは、ステップＳ２０３での推定が収束したか否かを判定する。収束した場合はステップＳ２０５に進み、収束していない場合はステップＳ２０３に戻る。収束判定の条件としては、例えばステップＳ２０３で行った繰り返し演算が既定の回数以上となったことや、繰り返し演算によって更新される推定画像の変化が既定値以下となったこと等が挙げられる。収束条件を満足していない場合は、画像推定部１０２ｂは、ステップＳ２０３でさらに繰り返し計算の回数を増やして推定画像を生成する。

ステップＳ２０５では、画像生成部１０２ｃは、画像推定部１０２ｂにより生成された各撮像条件に対応する推定画像を出力画像として出力する。次に、出力画像の用途に関して一例を挙げるが、用途はこれに限定されない。例えば、合焦位置が異なる複数の推定画像のうち合焦領域のみを合成することでパンフォーカス画像を生成することができる。また、被写界深度が異なる複数の推定画像のうちユーザが指定した絞り値に対応する推定画像（出力画像）を表示することで、撮像後でありながら被写界深度の調整が可能であるかのような機能を実現することができる。

以上の画像処理によって、撮像素子１０１ｃを用いて取得された合成画像から、複数の撮像条件のそれぞれで得られた高解像度な情報を含む複数の推定画像（および出力画像）を生成することができる。

次に、本実施例において満足することが望ましい条件について説明する。第１の係数分布は、第１および第２の画素群のそれぞれに対応する係数分布の基本統計量が、これら基本統計量のうち小さい方の１割以上異なることが望ましい。これにより、より高解像に情報を取得する領域での解像度を高めることができる。さらに望ましくは、第１および第２の画素群のそれぞれに対応する係数分布の基本統計量が、これら基本統計量のうち小さい方の２割以上異なるとよい。これにより、さらなる高解像化を実現できる。

また、第１および第２の画素群で異ならせる基本統計量は、係数の平均値または分散であることが望ましい。

また、第１および第２の画素群のそれぞれに含まれる画素の数は、撮像素子１０１ｃの全画素数の１割以上であることが望ましい。ステップＳ２０３において、各撮像条件に対応する画像データにおけるある画素を推定する際には、該画素に対応する位置に存在する合成画像の画素とその周辺の画素の情報が必要となる。このため、高解像に情報を取得する領域がある程度の画素数を持っていないと、周辺の画素の情報が低解像になってしまうため、高解像な画像を推定することが困難になる。さらに望ましくは、第１および第２の画素群のそれぞれに含まれる画素の数が、撮像素子１０１ｃの全画素数の２割以上であるとよい。

複数の係数分布のうちの１つである第１の係数分布における第１の画素群に対応する係数の平均値が、第２の画素群に対応する係数の平均値より大きいとする。このとき、複数の撮像条件のうち第１の係数分布と異なる少なくとも１つの第２の係数分布における第２の画素群に対応する係数の平均値が、第１の画素群に対応する係数の平均値より大きいことが望ましい。これは、第１および第２の画素群のそれぞれの画素で取得される光量を大きく変化させないための条件である。

第１の係数分布における第１の画素群に対応する係数の平均値が第２の画素群に対応する係数の平均値より大きいということは、第１の画素群でより多くの光が取得されることを意味する。この場合、第１の画素群と第２の画素群とで取得される光量に差が生じ、一方の画素群で輝度飽和や黒潰れを起こしやすくなる。このため、この光量差を打ち消すように、第２の係数分布における第２の画素群に対応する係数の平均値を、第１の画素群に対応する係数の平均値より大きくするとよい。

例えば、式（１７）および式（１９）で示される係数分布では、第２の撮像条件に対して設定される係数分布（第２の係数分布）での第１および第２の画素群に対応する係数の平均値が、ｃ_{２，ａｖｅ}（Ｇ_１）＝０．４５８３、ｃ_{２，ａｖｅ}（Ｇ_２）＝０．５０００である。第４の撮像条件に対して設定される係数分布（これも第２の係数分布という）でも同様である。このように、第２および第４の撮像条件に対して設定される第２の係数分布では、第１および第２の画素群に対応する係数の平均値が、第１の撮像条件に対して設定される第１の係数分布とは逆の大小関係になっている。

より望ましくは、以下の式（２５）で示す条件を満足するように係数分布を設定するとよい。

ここで、ｃ_ａｖｅ（Ｇ_ｊ）は以下の式（２６）で表される。

式（２６）では、撮像素子１０１ｃのｉ番目の画素をｐ_ｉとし、ｋ番目の撮像条件に対する係数分布の画素ｐ_ｉに対応する係数をｃ_ｋ（ｐ_ｉ）とし、第１および第２の画素群に含まれる画素の数をそれぞれＬ_１およびＬ_２としている。

式（２５）は、第１の画素群と第２の画素群で取得される光量の差を表している。式（２５）の値が１に近いほど光量差が小さくなる。上下限を超えると、光量差が大きくなり、輝度飽和や黒潰れを引き起こしやすくなる。

さらに望ましくは、以下の式（２５ａ）で示す条件を満足することで、より輝度飽和と黒潰れを抑制することができる。

また、第１の係数分布のうち第１および第２の画素群のそれぞれに対応する係数では、平均値と分散の両方が互いに異なることが望ましい。これにより、高解像に情報を取得する領域で取得される情報をより高解像にすることができる。

ここで、可変にする撮像パラメータが絞り値のみである場合について説明する。合焦位置が図５（Ａ）の第１の被写体２０１であるとすると、各撮像条件において第１の被写体２０１は殆ど同じように観察される。正確には、各撮像条件で回折限界の周波数が異なるが、絞り値をきわめて高くしなければ、その差異は小さい。このため、第１の被写体２０１について複数の撮像条件で光強度分布を取得する意義がない。この場合における第１の被写体２０１のような各撮像条件で共通した（同等の）光強度分布が得られる画像領域を同強度領域といい、該同強度領域に対応する撮像素子１０１ｃ上の画素群を同強度画素群という。

同強度領域は、合成画像から複数の画像データに分離する必要がないので、ステップＳ２０３で説明した推定処理を行わず、合成画像からそのまま切り出して、各撮像条件に対応する画像データに挿入すればよい。これにより、推定処理に要する負荷を軽減することができる。

ただし、各撮像条件の光強度分布には係数分布が作用しているため、一般に同強度領域の明るさは画素ごとにばらついている。しかしながら、係数分布の各係数は既知であるため、この明るさのばらつき量を算出して画素ごとに補正することで、正しい光強度分布が得られる。また、以下の式（２７）を満足するように係数分布を設定してもよい。

ここで、ｃ_ｋｓｕｍ（ｐ_ｉ）は、複数の撮像条件に対して設定される複数の係数分布の和である総和係数分布であり、以下の式（２８）で表される。

式（２７）において、Ｇ_ｓａｍｅは撮像素子１０１ｃ上の同強度画素群を表し、maxとminはそれぞれ最大値と最小値を示す。式（２７）は、係数分布の作用によって生じる画素ごとの明るさのばらつきを抑える条件である。これによって、明るさの補正処理を行う必要がなくなる。同強度画素群（同強度領域）は、事前情報から割り出すことができ、複数の撮像条件で得られる光強度分布の差異が閾値より小さい画素群（領域）である。式（２７）の下限を超えると明るさのばらつきが大きくなり、補正処理が必要になる。上限は理論的に超えることはできない。

より望ましくは、以下の式（２７ａ）で示す条件を満足することで、より明るさのばらつきを抑制することができる。

また、ステップＳ２０３において、画像推定部１０２ｂは、式（２）の連立一次方程式の解を、式（９）で表されるような推定を用いることで求めている。このため、推定の精度は、連立一次方程式のうち互いに独立な方程式の数が多いほど高くなる。したがって、ある画素ｐ_ｉ＝（ｘ_ｍ，ｙ_ｎ）（ｉ＝１，…，ＭＮ、ｍ＝１，…，Ｍ、ｎ＝１，…，Ｎ）に対して作用する各ｋ（撮像条件）の係数を成分とするベクトルと、該画素の周辺に存在する画素それぞれにおける同様のベクトルが、できる限り一次独立となっていることが望ましい。係数分布は連立一次方程式の係数を表すため、該ベクトルを係数ベクトルと呼ぶこととし、該係数ベクトル（行ベクトル）を配列した行列をＥとおく。この際、推定画像の推定精度を向上させるため、行列Ｅは以下の式（２９）の条件を満足することが望ましい。

ただし、ａを以下の式（３０）で定義した場合、行列Ｅは、以下の式（３１）で与えられる。

式（３０）中のｃｅｉｌは天井関数を表す。行列Ｅは、各一次方程式の係数からなる行列である（このため、本実施例ではＥが９×４行列となる）。つまり、行列Ｅの階数が、１画素あたりの未知数の数であるＫ（ノイズを除いて）に近いほど推定精度が向上することを意味する。このため、係数分布は、全ての画素ｐ_ｉ＝（ｘ_ｍ，ｙ_ｎ）に対して式（２９）の条件を満足するような分布となっていることが望ましい。

より望ましくは、式（２９ａ）で示す条件を満足するとよい。

さらに望ましくは、式（２９ｂ）で示す条件を満足するとよい。

また、上述した総和係数分布ｃ_ｋｓｕｍ（ｐ_ｉ）の最小値が０よりも大きいことが望ましい。総和係数分布ｃ_ｋｓｕｍ（ｐ_ｉ）の値が０となる画素ｐ_ｉ＝（ｘ_ｍ，ｙ_ｎ）には、光が一切入射しないことを意味する。推定画像ベクトルｖを得ることは、先にも述べたように連立一次方程式の解を推定することに他ならない。光が入射しない画素が存在すると、該画素では一次方程式の係数ｃ_ｋが全て０となるため、連立一次方程式の数が減ってしまう。このため、一次方程式の数が減らないように、総和係数分布の最小値は０よりも大きいことが望ましい。

また、ステップＳ２０３での推定は、事前情報に基づいて行うことが望ましい。事前情報から、各撮像条件で得られる画像データのどの領域が、他の撮像条件で得られる画像データと同一になるかや低周波しか存在しないかといった情報を算出することができる。このような情報を推定に組み込むことで、より高精度の推定が可能になる。撮像条件に応じて画像が変化しない領域では、全てのｖ_ｋを共通することで変数の数を減らすことができる。また、低周波しか存在しない領域では、画像が滑らかに変化するような正則化項を与えるとよい。

以上説明した本実施例によれば、少ない観測数で被写体空間の情報を高解像に取得することが可能な撮像装置を実現することができる。

本発明の実施例２である撮像システムについて説明する。本実施例では、可変な撮像パラメータとして、レリーズタイミング（または動画のフレーム）、露光時間（シャッタースピード）および画角を用いる。

図８（Ａ）には本実施例の撮像システムの基本構成を、図８（Ｂ）には該撮像システムの外観を示す。撮像システムは、合成画像を生成する撮像装置３００と、該撮像装置３００とは別の装置として構成され、合成画像から複数の撮像条件のそれぞれで得られる画像データを生成（推定）する画像処理装置３０１とを有する。

撮像装置３００の基本構成は、図３（Ａ）に示したものと同様である。ただし、実施例２では、被写体空間の事前情報を画像取得部１０１が取得するため、事前情報取得部１０４は設けられていない。画像取得部１０１の構成については後述する。

撮像装置３００での撮像により生成された合成画像と撮像時に撮像条件ごとに作用した係数分布の情報は、画像処理装置３０１内の記憶部３０２に記憶される。合成画像が情報取得部３０３、画像推定部３０４および画像生成部３０５で処理されることで、複数の撮像条件のそれぞれで得られる画像データが生成される。生成された画像データは、表示装置３０６、記録媒体３０７および出力装置３０８の少なくとも１つに出力される。表示装置３０６は、液晶ディスプレイやプロジェクタ等に相当する。ユーザは表示装置３０６を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体３０７は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等に相当する。出力装置３０８は、プリンタ等に相当する。画像処理装置３０１は、必要に応じて現像処理やその他の画像処理を行う機能を有していてもよい。

次に、画像取得部１０１について詳細に説明する。本実施例において、結像光学系１０１ａは、変倍機能を有するズームレンズである。撮像素子３２０は、図９に示すようにＣＭＯＳセンサの構成を有し、信号選択部３２５が図３（Ａ）に示した係数分布作用部１０１ｂの役割を果たす。撮像素子３２０は、図１０に示すタイムチャートに従って動作する。画素配列部３２１には複数の画素が配列されている。露光時間中に各画素に入射した光は、該画素内の光電変換部でアナログ電気信号に変換される。各画素はグローバル電子シャッターを備えており、同時刻での露光が可能となっている。各画素からの信号の読み出しは、垂直走査回路部３２２と水平走査回路部３２３によって行われ、読み出しの最中にＡ／Ｄ変換部３２４によってアナログ信号がデジタル信号に変換される。

デジタル信号は信号選択部３２５に入力され、ここで信号が読み出された画素の位置に応じてパタニング（信号の取捨選択）が行われる。このパタニングは、被写体空間の光強度分布に対して０または１の係数分布ｃ_ｋ＝１（ｘ_ｍ，ｙ_ｎ）を作用させることと同義である。ただし、信号選択部３２５は、取捨（０か１か）だけでなく、信号を比例倍する等の演算を行ってもよい。パタニングを受けたデジタル信号（光強度分布データ）は、記憶部３２６に一時的に記憶される。

信号選択部３２５は、次の撮像条件に対して同様のパタニングを行う。ただし、この際、信号選択部３２５は、ｃ_１（ｘ_ｍ，ｙ_ｎ）とは異なる係数分布（図１２のｃ_２）でパタニングを行う。パタニングされた画像データは、記憶部３２６に既に記憶されている画像データと合成（合算）される。このため、画像のデータ量は増えない。撮像条件の数だけパタニングを繰り返してそれぞれの撮像条件で得られた光強度分布に関する情報が合成された合成画像は出力部３２７を通じて、画像処理装置３０１等の外部に出力される。なお、各撮像条件で露光時間を変更した場合は、図１０に示した「露光」の時間がｋによって異なる長さになる。

信号選択部３２５は、撮像前に各撮像条件に対する係数分布を設定する。この係数分布の設定は、実施例１において図１のフローチャートを用いて説明したように行われるが、本実施例では可変な撮像パラメータが実施例１とは異なる。

ステップＳ１０１では、信号選択部３２５は、撮像により光強度分布データを取得する複数の撮像条件を取得（設定）する。本実施例では、前述したように、レリーズタイミング、露光時間および画角を撮像パラメータとして用いる。ただし、画角は撮像倍率の変化のみとする。それ以外の画角変化に関しては、本実施例の最後に述べる。

ステップＳ１０２では、画像取得部１０１は、ステップＳ１０１で設定された撮像条件に対応した被写体空間の事前情報を取得する。該事前情報は、撮像条件ごとに画角が異なる場合は、被写体空間のエッジの分布（以下、エッジ分布という）を示す情報になる。また、撮像条件ごとにレリーズタイミング又は露光時間が異なる場合は、撮像装置３００に対する被写体空間の動きの分布（以下、動き分布という）を示す情報になる。また、画角と露光時間を同時に変化させる場合は、事前情報として、エッジ分布と動き分布の両方を示す情報が必要となる。被写体空間のエッジとは、異なる被写体間の境界等、光強度の値が大きく変化する部分を意味する。事前情報を取得する際は、撮像素子３２０が、Ｋ＝１かつ係数分布ｃ_ｋ＝１（ｘ_ｍ，ｙ_ｎ）を全て１にした状態で動作して画像データを取得する。つまり、係数分布を作用させず、複数の撮像条件で得られる光強度分布データの合算も行わない。エッジ分布を示す情報は取得された画像データに微分フィルタを作用させることで得ることができ、動き分布を示す情報は時間的に連続して取得した複数の画像データから算出することができる。

ここで、撮像条件ごとに画角が異なる場合に取得する事前情報が、エッジ分布を示す情報である理由について説明する。例として、図１１に示すような山と空が存在する撮像シーンを考える。破線の四角形は結像光学系１０１ａの広角端での撮像領域４０１を示し、太い一点鎖線の四角形は望遠端での撮像領域４０２を示す。この２つの画角において得られた光強度分布を合成して合成画像を生成する。係数分布を無視すると、合成画像は図１２（Ａ）に示すような画像となる。図１２（Ａ）では、分かりやすくするために、広角端での光強度分布を破線で示し、望遠端での光強度分布を太い一点鎖線で示している。望遠端での山頂付近には、広角端では空しか存在していない。つまり、エッジ（テクスチャも含む）がない。このため、広角端において空が撮像されている領域は低解像でよく、該領域を低解像にすることで、その分、望遠端での解像度を向上させることができる。これにより、望遠端では山頂付近の山肌の情報が高解像に取得される。

次に、撮像条件ごとにレリーズタイミングが異なる場合を説明する。この場合は、撮像条件ごとに形成される被写体空間光学像の差は被写体空間において撮像装置３００に対して動いている被写体領域となるため、動いている被写体領域の近傍の情報を高解像に取得する場合である。このため、事前情報としては、撮像装置３００に対する被写体空間の動き分布を示す情報を得る。具体的には、被写体空間の各位置における速度（速さとその向き）の情報を得る。ここでの速度は、撮像装置３００が観測を行う静止座標系における撮像装置３００に対する相対速度である。撮像前における動きの情報から、撮像時に動いている被写体領域とその速度を推定する。

次に、撮像条件ごとに露光時間（シャッタースピード）が異なる場合について説明する。この場合においても、撮像条件ごとに形成される被写体空間光学像の差は被写体空間において撮像装置３００に対して動いている被写体領域である。このため、レリーズタイミングが異なる場合と同様に、事前情報として撮像装置３００に対する被写体空間の動き分布を示す情報を取得する。

ステップＳ１０３では、信号選択部３２５は、ステップＳ１０２で取得した事前情報に基づいて、撮像素子３２０の複数の画素において第１の画素群と第２の画素群とを設定する。図１１に示すように撮像条件ごとに画角が異なる場合には、エッジ分布を示す情報から、図１２（Ｂ）に示す第１の領域（雲の領域も含む白色部）４１１の画素群を第１の画素群として設定し、第２の領域（黒色部）４１２の画素群を第２の画素群として設定する。撮像条件ごとにレリーズタイミングまたは露光時間が異なる場合は、時間に伴って変化している領域（動いている被写体領域）と変化していない領域とを切り分けることでそれぞれに対応する画素群を第１および第２の画素群を設定する。

ステップＳ１０４では、信号選択部３２５は、複数の撮像条件それぞれに対して異なる係数分布を設定する。図１１に示すように撮像条件ごとに画角が異なる場合には、広角端に対する係数分布（第１の係数分布）を以下のように設定する。図１２（Ｂ）中の第１の領域（第１の画素群）４１１に対応する係数の平均値または分散が、第２の領域（第２の画素群）４１２に対応する係数の平均値または分散よりも大きくなるようにする。

撮像後に合成画像から複数の撮像条件のそれぞれで得られる画像データを生成（復元）する画像処理は、実施例１で図７のフローチャートに示したものと同じである。撮像条件ごとにレリーズタイミング（または動画のフレーム）が異なっている場合は、撮像素子３２０の受光量を低下させることなく（つまりはＳ／Ｎ比を低下させずに）高速撮像が可能になる。撮像条件ごとに露出時間や画角（撮像倍率）が異なる場合は、ユーザは撮像後でありながらシャッタースピードやズームを変更したような画像データを取得することができる。

画角については、撮像倍率ではなく、撮像する被写体空間の位置（撮像領域）を変更してもよい。図１３および図１４にその例を示す。図１３に示す撮像シーンに対して、第１および第２の撮像領域４０３，４０４を複数の画角（撮像条件）として撮像を行う。この際に生成される合成画像は、係数分布を無視すると、図１４（Ａ）に示すようになる。図１４（Ａ）では、第１および第２の撮像領域４０３，４０４の被写体をそれぞれ、破線と太い一点鎖線で示している。この場合も、撮像倍率を変更するときと同様に、エッジ分布を示す情報から、例えば第１の撮像領域４０３ではエッジがない（平坦な）被写体領域を、第２の撮像領域４０４ではエッジを持つ被写体領域をそれぞれ割り出す。

その結果を図１４（Ｂ）に示す。第１の撮像領域４０３では、第１の領域４１３および第２の領域４１４をそれぞれ第１の画素群および第２の画素群とする。そして、第１の撮像領域４０３に対する第１の係数分布を、第１の画素群に対応する係数の平均値または分散が、第２の画素群に対応する係数の平均値または分散よりも大きくなるように設定する。

合成画像から生成された異なる撮像領域の画角データは、パノラマ画像の作成等に用いることができる。

撮像領域を変更する場合には、撮像領域を変更するための手段が必要になる。例えば、撮像装置３００（画像取得部１０１）をパン、チルトまたはシフトする機構を用いてもよいし、撮像装置３００の前に配置した反射部材を動かすことで撮像領域を変更してもよい。事前情報（エッジ分布の情報）の取得は、画像取得部１０１で行ってもよいし、撮像装置３００より広角な撮像装置を用いて行ってもよい。

以上説明した本実施例によれば、少ない観測数で被写体空間の情報を高解像に取得することが可能な撮像システムを実現することができる。

本発明の実施例３である撮像装置について説明する。本実施例では、可変な撮像パラメータとして、視点を用いる。

本実施例の撮像装置の基本構成は、画像取得部１０１を除いて、実施例１において図３（Ａ）に示したものと同じであり、実施例１と共通する構成要素についての説明は省略する。本実施例において、画像取得部１０１は、図１５に示す構成を有し、それぞれ異なる視点からの光強度分布を同時に取得することができる。撮像素子５０３は、複数の画素を構成する光電変換部５０４（５０４ａ，５０４ｂ，・・・）と、マイクロレンズアレイ５０５とを有する。マイクロレンズアレイ５０５と被写体面５１１とは、結像光学系５０１によって共役に関係付けられている。さらに、結像光学系５０１の瞳と光電変換部５０４（５０４ａ，５０４ｂ，・・・）は、マイクロレンズアレイ５０５により概ね共役に関係付けられている。

マイクロレンズアレイ５０５と光電変換部５０４（５０４ａ，５０４ｂ，・・・）との間には、係数分布作用部５０２が配置されている。係数分布作用部５０２としては、実施例１と同様にＳＬＭ等を用いることができる。図１６に、本実施例での係数分布作用部５０２の構成を示す。係数分布作用部５０２は、透過部と遮光部とを有する。図１５および図１６における黒い部分が遮光部を示す。係数分布作用部５０２は、図１６に示すように、撮像素子５０３の画素ごとに、異なる領域を遮光部によって遮光する。図１６中に破線で描かれた円は、各画素に結像される結像光学系５０１の瞳（集合瞳）の像を表している。図１６から分かるように、係数分布作用部５０２は、各画素に対して、集合瞳内での位置（部分瞳の位置）に応じて異なる係数を与える。本実施例では、係数は０または１であるが、これ以外の係数であってもよい。

次に、本実施例において撮像素子５０３で得られる合成画像について説明する。結像光学系５０１の集合瞳は、本実施例において２×２の４つの部分瞳に分割されている。なお、この分割数は例であり、これ以外の分割数であってもよい。そして、分割された４つの部分瞳うち被写体空間から見て右下の部分瞳を例に説明する。

右下の部分瞳から被写体空間を観察したときの光学像は、該部分瞳を通過した光のみを集めることで再現することができる。このとき、集合瞳は光電変換部に反転して結像されるので、図１６中では各画素の左上に入射する光となる。この光学像、すなわち光強度分布に対して係数分布作用部５０２で与えられる係数分布ｃ_ｋ（ｘ，ｙ）は、図１６における各画素内の左上の係数を並べたものとなる。他の部分瞳（視点）でも同様であり、撮像素子５０３では、複数の部分瞳から観察した光強度分布に対してそれぞれ異なる係数分布が作用することで得られた光強度分布が合成（合算）された合成画像が得られる。

撮像前における係数分布の設定は、実施例１において図１のフローチャートを用いて説明したように行われるが、本実施例では可変な撮像パラメータが実施例１とは異なる。

ステップＳ１０１では、係数分布設定部１０３は、可変の撮像パラメータとして、光強度分布データを取得する視点を設定する。なお、常に一定の視点数（本実施例では２×２＝４）を取得するようにして本ステップをスキップしても構わない。

ステップＳ１０２では、事前情報取得部１０４は、被写体空間のデプス分布を示す情報を事前情報として取得する。本実施例のような多視点の撮像系では、視差によって、ある視点からの撮像により得られた画像に写っている被写体が他の視点からの撮像により得られた画像に写らないオクルージョンが生じる。図１７（Ａ），（Ｂ）には互いに異なる視点からの撮像により得られた２つの画像を示しており、これらの画像間では視差によって手前に存在する人物と後方の背景との位置関係が変化している。図１８に示す第２の領域（黒色部）５２２は図１７（Ａ）の画像には写っているが、図１７（Ｂ）にはオクルージョンによって写っていない。この第２の領域５２２が、図１７（Ａ）の画像を取得した際の撮像条件において、情報を高解像に取得する領域となる。オクルージョンがどこに発生するかは、被写体空間のデプス分布から割り出すことができる。

ステップＳ１０３では、係数分布設定部１０３は、ステップＳ１０２で取得した事前情報に基づいて、撮像素子１０１ｃの複数の画素において第１の画素群と第２の画素群とを設定する。図１７（Ａ），（Ｂ）の例では、図１８に示した第１の領域５２１を第２の画素群とし、第２の領域５２２を第１の画素群とする。図１７（Ｂ）に示した画像のみに写っている領域を第３の画素群としてもよい。

ステップＳ１０４では、係数分布設定部１０３は、複数の撮像条件それぞれに対して異なる係数分布を設定する。具体的には、図１７（Ａ）に示す画像の撮像条件に対する係数分布（第１の係数分布）を、第１の画素群に対応する係数の平均値または分散が、第２の画素群に対応する係数の平均値または分散より大きくなるように設定する。

撮像後に合成画像から複数の撮像条件（視点）のそれぞれで得られる画像データを生成（復元）する画像処理は、実施例１で図７のフローチャートに示したものと同じである。こうして生成された画像データ、すなわち多視点画像を用いることで、例えば、撮像後でありながら合焦位置を変更したリフォーカス画像を提供することができる。

以上説明した本実施例によれば、少ない観測数で被写体空間の情報を高解像に取得することが可能な撮像装置を実現することができる。

本発明の実施例４である撮像装置について説明する。本実施例では、可変な撮像パラメータとして、波長を用いる。ここでの波長は、単波長の場合と、複数の波長を重み付きで足し合わせた場合の両方を含む。

本実施例の撮像装置６００の基本構成および外観を、図１９（Ａ）および図１９（Ｂ）に示す。実施例１（図３（Ａ））と共通する構成要素には、実施例１と同符号を付して説明に代える。本実施例では、事前情報取得部６０４は、複数のカラーフィルタ（例えばＲ，Ｇ，Ｂのフィルタ）が配列された撮像素子６０１ｃを有する撮像部として構成されている。結像光学系６０１ａの前には、図１９（Ｂ）に示すようにそれぞれ異なる分光分布の複数のカラーフィルタ６１０ａ〜６１０ｈを備えた撮像条件変更部６０９が設けられている。図１９（Ｂ）には、カラーフィルタ６１０ａ〜６１０ｈの数が８である場合を示しているが、他の数のカラーフィルタを設けてもよい。

撮像素子６０１ｃは、カラーフィルタ６１０ａ〜６１０ｈを透過した光に対して感度を有するモノクロのイメージセンサである。係数分布作用部６０１ｂは、実施例１と同様に、撮像素子６０１ｃの前面に配置されている。撮像における露光中に撮像条件変更部６０９が回転することで撮像条件としての波長を変更し、係数分布作用部６０１ｂはそれぞれの撮像条件で得られる被写体空間光学像（光強度分布）に対して異なる係数分布を作用させる。

撮像前における係数分布の設定は、実施例１において図１のフローチャートを用いて説明したように行われるが、本実施例では可変な撮像パラメータが実施例１とは異なる。

ステップＳ１０１では、係数分布設定部６０３は、可変の撮像パラメータとして、光強度分布データを取得する波長を設定する。言い換えれば、撮像条件変更部６０９のカラーフィルタ６１０ａ〜６１０ｈのうちいずれを使用するかを設定する。常に全てのカラーフィルタ６１０ａ〜６１０ｈを使用するようにして、ステップＳ１０１はスキップしてもよい。

ステップＳ１０２では、事前情報取得部６０４が、被写体空間の色の分布を示す情報を事前情報として取得する。取得する波長が異なると、被写体の色に応じて取得できる光強度分布の強度が異なる。光強度分布の強度が低いとＳ／Ｎ比が低下するため、ある撮像条件（波長）で光強度が高くなる被写体の領域が該撮像条件において高解像に情報を取得する領域である。その領域を割り出すには、事前情報として被写体空間の色の分布を示す情報を取得する必要がある。このため、事前情報取得部６０４は、撮像素子６０１ｃとは別の撮像素子であって、複数のカラーフィルタ（例えばＲ，Ｇ，Ｂのフィルタ）が設けられた撮像素子を有する。事前情報取得部６０４と撮像条件変更部６０９がそれぞれ有するカラーフィルタの種類数は、必ずしも一致する必要はない。

ステップＳ１０３では、係数分布設定部６０３は、実施例１と同様に、ステップＳ１０２で取得した事前情報に基づいて、撮像素子６０１ｃの複数の画素において第１の画素群と第２の画素群とを設定する。さらに、ステップＳ１０４では、係数分布設定部６０３は、実施例１と同様に、複数の撮像条件それぞれに対して異なる係数分布を設定する。

撮像後に合成画像から複数の撮像条件（波長）のそれぞれで得られる画像データを生成（復元）する画像処理は、実施例１で図７のフローチャートに示したものと同じである。こうして生成された画像データ、すなわち波長が異なる画像データを用いることで、高解像かつ被写体の色の再現性が高い画像を得ることができる。

なお、本実施例では、波長が可視域の波長である場合について説明したが、不可視域（赤外域等）の波長であってもよい。

また、実施例４では、変化させる撮像パラメータを波長（色）としたが、撮像パラメータを偏光としてもよい。この場合、事前情報取得部６０４はそれぞれ偏光軸の方向が異なる複数の偏光フィルタが配列された撮像素子を用い、撮像条件変更部６０９はそれぞれ偏光軸の方向が異なる複数の偏光フィルタを用いる。偏光が異なる画像データを生成することで、高解像に被写体の面法線の向きを算出することができ、これにより撮像後でありながら被写体を照らす照明条件を変更した画像を生成することができる。

また、変化させる撮像パラメータを露出としてもよい。この場合、事前情報取得部６０４は、それぞれ異なる透過率の光減衰フィルタの配列された撮像素子を有する。さらに、異なる露出で複数回撮像を行なってもよい。撮像条件変更部６０９は、それぞれ透過率の異なる複数の光減衰フィルタを有する。露出の異なる画像データを生成することで、ＨＤＲ（ハイダイナミックレンジ）画像を生成することができる。

以上説明した本実施例によれば、少ない観測数で被写体空間の情報を高解像に取得することが可能な撮像装置を実現することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００，３００，６００ 撮像装置
１０１ｂ，５０２，６０１ｂ：係数分布作用部
１０１ｃ，３２０，５０３，６０１ｃ：撮像素子
１０４，６０４ 事前情報取得部
３２５ 信号選択部

Claims (15)

1. 複数の画素を用いた撮像により被写体空間の光強度分布を取得する光強度分布取得手段と、
   前記複数の画素のそれぞれに対応する係数の分布であって前記光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する係数分布設定手段と、
   前記被写体空間に関する情報であって、前記光強度分布とは異なる被写体空間情報を取得する情報取得手段と、
   前記被写体空間情報に基づいて、前記複数の画素において互いに異なる第１の画素群および第２の画素群を設定する画素群設定手段と、
   複数の撮像条件で得られる複数の前記光強度分布に対してそれぞれ異なる前記係数分布が作用することで得られる複数の光強度分布を合成して合成画像を生成する画像生成手段とを有し、
   前記係数分布設定手段は、前記複数の光強度分布のそれぞれに作用する複数の前記係数分布のうち少なくとも１つとして、前記第１の画素群に対する前記係数分布の基本統計量と前記第２の画素群に対する前記係数分布の前記基本統計量とが互いに異なる第１の係数分布を設定することを特徴とする撮像装置。
2. 前記被写体空間情報は、前記被写体空間の光量、エッジ、色、偏光、距離および前記撮像装置に対する動きのうち少なくとも１つの分布を示す情報を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記基本統計量は、前記係数の代表値および散布度のうち少なくとも一方を含むことを特徴とする請求項１に記載の撮像装置。
4. 前記基本統計量は、前記係数の平均値、中央値、最頻値、コントラスト比および分散のうち少なくとも１つを含むことを特徴とする請求項３に記載の撮像装置。
5. 前記第１の係数分布のうち前記第１および第２の画素群のそれぞれに対応する前記係数の平均値または分散が互いに異なることを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
6. 前記第１の係数分布のうち前記第１および第２の画素群のそれぞれに対する係数分布の前記基本統計量が、該基本統計量のうち小さい方の１割以上異なることを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
7. 前記第１および第２の画素群のうち、前記第１の係数分布における前記基本統計量としての前記係数の平均値が大きい方を前記第１の画素群とするとき、
   前記複数の係数分布のうち前記第１の係数分布とは異なる第２の係数分布は、前記第１の画素群に対応する前記係数の平均値よりも前記第２の画素群に対応する前記係数の平均値の方が大きいことを特徴とする請求項１から６のいずれか一項に記載の撮像装置。
8. 前記複数の画素のうちｉ番目の画素をｐ_ｉ、前記複数の撮像条件の総数をＫ、ｋ番目の前記撮像条件での画素ｐ_ｉに対する前記係数をｃ_ｋ（ｐ_ｉ）、前記第１の画素群および前記第２の画素群をそれぞれＧ_１およびＧ_２、前記第１の画素群および前記第２の画素群に含まれる画素数をそれぞれＬ_１およびＬ_２とするとき、
   
   ただし、
   
   なる条件を満足することを特徴とする請求項１から７のいずれか一項に記載の撮像装置。
9. 前記第１の係数分布における前記各画素群に対応する前記係数の平均値および分散をそれぞれ、前記複数の係数分布のうち前記第１の係数分布とは異なる第２の係数分布における前記各画素群に対応する前記係数の平均値および分散で除した比を平均値比および分散比とするとき、
   前記第１の画素群と前記第２の画素群について、前記平均値比と前記分散比のうち少なくとも一方が互いに異なることを特徴とする請求項１から８のいずれか一項に記載の撮像装置。
10. 前記第１の係数分布のうち、前記第１の画素群に対応する前記係数の平均値および分散が、前記第２の画素群に対応する前記係数の平均値および分散よりも共に大きい又は共に小さいことを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
11. 前記複数の画素のうち前記複数の撮像条件で得られる前記複数の光強度分布の差異が閾値より小さい画素群を同強度画素群とし、
    前記複数の画素のうちｉ番目の画素をｐ_ｉ、前記複数の撮像条件の総数をＫ、ｋ番目の前記撮像条件での画素ｐ_ｉに対する前記係数をｃ_ｋ（ｐ_ｉ）、前記同強度画素群をＧ_ｓａｍｅとするとき、
    
    ただし、
    
    なる条件を満足することを特徴とする請求項１から１０のいずれか一項に記載の撮像装置。
12. 画素群設定手段は、前記複数の撮像条件のうち特定の撮像条件において前記第１または第２の画素群を他の撮像条件または他の画素群よりも高解像に前記光強度分布を取得する画素群として設定し、
    前記係数分布設定手段は、前記特定の撮像条件で取得された前記光強度分布に対して前記第１の係数分布を設定することを特徴とする請求項１から１１のいずれか一項に記載の撮像装置。
13. 請求項１から１２のいずれか一項に記載の撮像装置に内蔵された又は該撮像装置とは別の画像処理装置であって、
    前記合成画像から、前記複数の撮像条件のうち少なくとも１つの撮像条件に対応する画像データを推定処理により生成する画像推定手段を有することを特徴とする画像処理装置。
14. 複数の画素を用いた撮像により被写体空間の光強度分布を取得するステップと、
    前記複数の画素のそれぞれに対応する係数の分布であって前記光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する係数分布設定ステップと、
    前記被写体空間に関する情報であって、前記光強度分布とは異なる被写体空間情報を取得するステップと、
    前記被写体空間情報に基づいて、前記複数の画素において互いに異なる第１の画素群および第２の画素群を設定するステップと、
    複数の撮像条件で得られる複数の前記光強度分布に対してそれぞれ異なる前記係数分布が作用することで得られる複数の光強度分布を合成して合成画像を生成するステップとを有し、
    前記係数分布設定ステップにおいて、前記複数の光強度分布のそれぞれに作用する複数の前記係数分布のうち少なくとも１つとして、前記第１の画素群に対する前記係数分布の基本統計量と前記第２の画素群に対する前記係数分布の前記基本統計量とが互いに異なる第１の係数分布を設定することを特徴とする撮像方法。
15. 撮像装置のコンピュータに処理を実行させるコンピュータプログラムであって、
    前記処理は、
    複数の画素を用いた撮像により被写体空間の光強度分布を取得するステップと、
    前記複数の画素のそれぞれに対応する係数の分布であって前記光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する係数分布設定ステップと、
    前記被写体空間に関する情報であって、前記光強度分布とは異なる被写体空間情報を取得するステップと、
    前記被写体空間情報に基づいて、前記複数の画素において互いに異なる第１の画素群および第２の画素群を設定するステップと、
    複数の撮像条件で得られる複数の前記光強度分布に対してそれぞれ異なる前記係数分布が作用することで得られる複数の光強度分布を合成して合成画像を生成するステップとを有し、
    前記係数分布設定ステップにおいて、前記複数の光強度分布のそれぞれに作用する複数の前記係数分布のうち少なくとも１つとして、前記第１の画素群に対する前記係数分布の基本統計量と前記第２の画素群に対する前記係数分布の前記基本統計量とが互いに異なる第１の係数分布を設定することを特徴とする撮像プログラム。