JP6818461B2 - 撮像装置、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、異なるＦ値の画像を複数得るための撮像技術に関する。

被写体空間を異なる撮像条件で撮像することで複数の撮像画像を取得する撮像装置が提案されている。撮像条件の１つとして、Ｆ値（絞り値）は、撮像画像の被写界深度や露出を決定するパラメタであり、互いに異なるＦ値の複数の撮像画像を得ることで様々な機能を実現することができる。特許文献１には、互いに異なるＦ値の複数の撮像画像におけるぼけの変化から被写体距離を算出する方法が開示されている。また、特許文献２には、互いに異なるＦ値の複数の撮像画像における露出の変化からハイダイナミックレンジ（ＨＤＲ）画像を生成する方法が開示されている。

特開２０１４−２０００９７号公報 特開２０１３−１２８２１２号公報

しかしながら、特許文献１，２等に開示された互いに異なるＦ値の複数の撮像画像を取得する方法では、Ｆ値を変えて複数回撮像を行うごとに画像データ量が増大する。

本発明は、画像データ量の増大を抑えつつ、互いに異なるＦ値の複数の撮像画像を取得することができるようにした撮像装置等を提供する。

本発明の一側面としての撮像装置は、光学系により形成された光学像を撮像する撮像素子と、Ｆ値を変更するＦ値制御部と、互いに異なるＦ値ごとに、光学像または撮像により生成された画像データに対して互いに異なる透過率分布を与える透過率分布付与部とを有することを特徴とする。

また、本発明の他の一側面としての画像処理装置は、互いに異なるＦ値ごとに互いに異なる透過率分布が与えられた光学像の撮像により生成された入力画像、または互いに異なるＦ値ごとに互いに異なる透過率分布が与えられた画像データが合成された入力画像を取得する取得部と、入力画像からそれぞれ異なるＦ値に対応する複数のＦ値画像を生成する処理部とを有することを特徴とする。

さらに、本発明の他の一側面としての画像処理方法は、互いに異なるＦ値ごとに互いに異なる透過率分布が与えられた光学像の撮像により生成された入力画像、または互いに異なるＦ値ごとに互いに異なる透過率分布が与えられた画像データが合成された入力画像を取得するステップと、入力画像からそれぞれ異なるＦ値に対応する複数のＦ値画像を生成するステップとを有することを特徴とする。

なお、コンピュータに上記画像処理装置が行う処理を実行させるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、画像データ量の増大を抑えつつ、互いに異なるＦ値に対応する複数のＦ値画像を取得することができる。

本発明の実施例１の撮像装置における処理を示すフローチャート。 実施例１の撮像装置の構成を示すブロック図。 実施例１の撮像装置の外観図。 実施例１における透過率分布付与部を説明する図。 実施例１における露光中の透過率分布の切り替えを示す図。 実施例１における撮像方法の例を示す図。 本発明の実施例２である画像処理システムの構成を示すブロック図。 実施例２における画像処理システムの外観図。 実施例２における撮像素子の構成を示すブロック図。 実施例２における処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。まず具体的な実施例の説明に先だって実施例で行う画像処理の概要について説明する。上述した特許文献１，２において開示されたような従来の構成では、取得する撮像画像の解像度とＦ値の数との積で必要なデータ量が決定される。しかし、実施例では、複数のＦ値の光強度分布を重ね合わせた状態、つまり１画素内に異なるＦ値の画像信号が合成（合算）された状態で撮像画像（合成Ｆ値画像）を取得する。そして、撮像後に画像処理による推定処理を用いて１画素内に合成されたＦ値ごとの画素信号を分離することで互いに異なるＦ値の画像（以下、Ｆ値画像という）を生成する。これにより、画像データ量の増大を抑制しつつ複数のＦ値画像を得ることができる。

合成Ｆ値画像を撮像後にＦ値ごとに分離するために、実施例では撮像時にＦ値ごとの光強度分布に対して互いに異なる透過率分布を付与する。撮像後に該透過率分布の情報を用いた推定処理を行うことで、撮像時に一旦合成されたＦ値ごとの光強度分布の情報を分離することができる。

なお、光強度分布に対する透過率分布の付与とは、撮像前の被写体空間の光学像（被写体像）に対して行ってもよいし、撮像により生成された撮像画像に対して行ってもよい。また、取得する光強度分布のＦ値の数と生成するＦ値画像の数とは必ずしも一致していなくてもよい。例えば、４つのＦ値での光強度分布が合成された撮像画像から推定によって２つのＦ値画像を生成してもよい。

以下の説明は、説明の簡単のためにモノクロ画像について行うが、カラー画像に対しても同様に成り立つ。

上述した画像処理を撮像装置において行う本発明の実施例１について説明する。本実施例の特徴は、時間分割によって互いに異なるＦ値により得られた複数の光強度分布に互いに異なる透過率分布を与えることである。

図２には本実施例の撮像装置の構成を、図３には該撮像装置の外観を示す。被写体空間の光は、画像取得部１０１に入射する。画像取得部１０１は、被写体空間の光学像を形成する結像光学系（以下、単に光学系という）１０２と、透過率分布付与部１０３と、撮像素子１０４とを有する。光学系１０２は、絞り１０２ａを含む。絞り１０２ａはその開口径を変化させることで互いに異なる複数のＦ値を設定する（Ｆ値を変更する）ことができる。撮像素子１０４は、ＣＣＤセンサやＣＭＯＳセンサ等により構成される光電変換素子であり、光電変換部としての画素を複数有する。透過率分布付与部１０３については後に詳しく説明する。

撮像の前に光学系１０２により形成された光学像が撮像素子１０４で受光されて光電変換されることで、被写体空間の光量分布を測定する測光が行われる。測光結果を受けた制御部１１１は、画像取得部１０１の露出を調整する。露出の調整は、シャッタースピード、撮像素子１０４のＩＳＯ感度または減光フィルタ（ＮＤフィルタ）の挿抜のうち少なくとも１つで行う。また、制御部１１１は、Ｆ値制御部として、絞り１０２ａの開口径（つまりはＦ値）が変更されるように該絞り１０２ａを制御する。

本実施例での撮像においては、光学系１０２により形成された光学像は、互いに異なるＦ値ごとに透過率分布付与部１０３によって互いに異なる透過率分布が付与されて撮像素子１０４により光電変換される。撮像素子１０４から出力されたアナログ撮像信号は、Ａ／Ｄコンバータ１０５でデジタル撮像信号に変換されて画像処理部１０６に入力される。画像処理部１０６は、デジタル撮像信号に対してノイズリダクション等の所定の処理を行うことで撮像画像を生成する。撮像画像は、互いに異なるＦ値での光強度分布が合成（合算）された合成Ｆ値画像である。撮像画像は、半導体メモリ等の画像記録媒体１０８に所定のフォーマットで保存される。

この際、状態検知部１０９から得られた画像取得部１０１の状態を示す撮像条件の情報も画像記録媒体１０８に併せて保存される。撮像条件は、撮像距離、露出値、Ｆ値および光学系１０２が変倍可能である場合の焦点距離等である。状態検知部１０９は、制御部１１１を通して画像取得部１０１を制御するシステムコントローラ１１０から撮像条件の情報を得てもよいし、制御部１１１から得てもよい。

合成Ｆ値画像としての撮像画像は、画像処理部１０６によってＦ値ごとの画像であるＦ値画像に分離される。記憶部１０７には、透過率分布付与部１０３でＦ値ごとに付与される透過率分布の情報が予め記憶部１０７されている。画像処理部１０６は、Ｆ値画像の分離に際して該透過率分布の情報を記憶部１０７から読み出して使用する。このようにして生成された互いにＦ値が異なる複数のＦ値画像は、表示部１１２に表示される。なお、表示部１１２に表示する画像は、ユーザが指定した任意のＦ値に対応するＦ値画像でもよいし、複数のＦ値画像を用いて生成されたＨＤＲ画像でもよい。また、複数のＦ値画像を用いて被写体距離情報を取得してもよい。

画像処理部１０６は、第１の取得部１０６ａ、第２の取得部１０６ｂ、パラメタ設定部１０６ｃ、画像生成部１０６ｄおよび推定完了判定部１０６ｅを有する。これらの各部で行われる処理については後に詳しく説明する。

また、表示部１１２で表示されたＦ値画像等を、画像記録媒体１０８に保存してもよい。さらに、撮像からＦ値画像等を表示部１１２に表示するまでの処理を高速化するために、撮像素子１０４で取得された撮像画像を画像記録媒体１０８に保存せずに、そのまま画像処理部１０６で複数のＦ値画像に分離してもよい。

以上の一連の動作および処理は、システムコントローラ１１０により制御される。また、画像取得部１０１における光学系１０２に含まれるフォーカス駆動や絞り駆動等の機械的な駆動はシステムコントローラ１１０の指示を受けた制御部１１１が行う。

次に、本実施例における透過率分布付与部１０３について図４を用いて説明する。透過率分布付与部１０３は、撮像素子１０４上に設置された光減衰フィルタにより構成されており、光学系１０２により形成される光学像に対して透過率分布を付与する。透過率分布付与部１０３は、図中に白く示す複数の透光ブロックと図中に黒く示す複数の遮光ブロックとを有し、これら透光ブロックと遮光ブロックの配列パターンを変更することで透過率分布を変更することができる。１つのブロックが撮像素子１０４の１画素に対応する。図４には、透光ブロックと遮光ブロックの配列パターンの一例を示している。透過率分布付与部１０３は、撮像素子１０４の１回の露光時間（総露光時間）中におけるＦ値の変更とともに透過率分布を変更することにより、互いに異なるＦ値ごとの光強度分布に対して互いに異なる透過率分布を与える。これについて図５を用いて説明する。

本実施例では、撮像画像としての合成Ｆ値画像を得るための総露光時間Ｔ_ｅｘを複数（図ではｋ＝１，２，…，４の４つ）に均等に分割し、それぞれの分割露光時間において互いに異なる透過率分布ｔ_ｋ（ｘ，ｙ）を与える。なお、４つという分割数は例に過ぎず、また複数の分割露光時間は互いに等しくなくてもよい。例えば、それぞれのＦ値での露出を一定にするために、Ｆ値が大きいほど分割露光時間を長くしてもよい。

また、それぞれのＦ値における分割露光時間を互いに等しく一定時間として設定した場合には、Ｆ値ごとの露出を一定にするために、Ｆ値が大きいほど撮像素子１０４のＩＳＯ感度を上げてもよい。さらに、Ｆ値が大きいほど透過率が高いＮＤフィルタを用いることでＦ値ごとの露出を一定に近づけてもよい。また、後述する処理（図１のステップＳ１０４）において推定したＦ値画像に対してＦ値が大きいほど強い強度で明るさ補正処理を行うことで、それぞれのＦ値に対応するＦ値画像の露出を一定としてもよい。

本実施例において透過率分布付与部１０３が光学像に与える透過率分布は、０と１の二値であるが、それ以外の中間値を与えてもよい。透過率分布ｔ_ｋを分割露光時間ごとに変更するには、例えば透過率分布付与部１０３として透過型のＬＣＯＳ（Liquid Crystal on Silicon）素子を用いればよい。また、透過率分布付与部１０３として図６に示すように透過率パターンが固定されたマスク１０３Ｍを用い、該マスク１０３Ｍを分割露光時間ｋ（＝１，２，…，４）ごとに、つまりはＦ値ごとに撮像素子１０４に対して移動させることで透過率分布を変更してもよい。

次に、撮像素子１０４で得られる撮像画像（入力画像）としての合成Ｆ値画像について説明する。合成Ｆ値画像ｓ（ｘ，ｙ）を数式で表すと、以下の式（１）で表すことができる。

式（１）において、ｘとｙはそれぞれ水平方向と垂直方向の座標であり、η（ｘ，ｙ）はノイズを表す。また、Ｋは変更されるＦ値の総数であり、本実施例ではＫ＝４である。さらに、Ｉ_ｋ（ｘ，ｙ）はｋ番目のＦ値における光学像の光強度分布であり、ｔ_ｋ（ｘ，ｙ）はＩ_ｋ（ｘ，ｙ）に作用する透過率分布である。ここで、以後の説明を分かりやすくするため、Ｆ値が小さい方から順に、ｋ＝１，２，３，４とする。

式（１）は、行列表記で以下の式（２）のように書き換えることもできる。

式（２）において、ｓ、ｉおよびηはそれぞれ、ベクトル化された合成Ｆ値画像、各Ｆ値での光強度分布およびノイズである。ＨはＦ値ごとの光強度分布ベクトルｉに対する透過率分布の作用（重ね合わせ）を表す行列である。光強度分布ベクトルｉは、例えば以下の式（３）のように、ｋ番目のＦ値における光強度分布ベクトルｉ_ｋを成分とする列ベクトルである。

式（３）において、ｋ番目のＦ値における光強度分布Ｉ_ｋ（ｘ，ｙ）がＭ×Ｎの成分からなる場合は、ｉ_ｋは以下の式（４）で表されるＭＮ×１の成分を持つ列ベクトルである。

合成Ｆ値画像ベクトルｓとノイズベクトルηもそれぞれ同様にＭＮ×１の成分を持つ列ベクトルであり、以下の式（５）および式（６）で表される。

付与する透過率分布とＦ値ごとの光強度分布との重ね合わせを表す行列Ｈは、以下のような式（７）で与えられるＭＮ×ＫＭＮの成分を持つ行列である。

式（７）において、Ｇ_ｋは以下の式（８）で表されるＭＮ×ＭＮ成分を持つ行列である。

本実施例において、Ｆ値ごとの光強度分布は互いに位置ずれがないように重ね合わされているため、行列Ｇ_ｋは全て式（８）のように対角成分のみを有することとなる。ただし、Ｆ値ごとの光強度分布が互いにずれて重ね合わされている場合は、式（８）はその位置ずれ量に応じた非対角成分に有限な値を持つこととなる。

次に、画像処理部１０６で行われる画像処理について、図１のフローチャートを用いて説明する。この処理により、複数のＦ値での被写体空間の光強度分布が合成された入力画像としての合成Ｆ値画像から、推定処理を用いてＦ値ごとの光強度分布の情報を分離して複数のＦ値画像を得る。画像処理用コンピュータとしての画像処理部１０６は、コンピュータプログラムである画像処理プログラムに従って本処理を実行する。

ステップＳ１０１では、画像処理部１０６（第１の取得部１０６ａ）は、入力画像を取得する。入力画像は、撮像素子１０４を通じて取得され、式（１）に示されたｓ（ｘ，ｙ）である。本実施例では、互いに異なる４つのＦ値（ｋ＝１，２，…，４）での光強度分布が合算された入力画像を取得する。

ステップＳ１０２では、画像処理部１０６（第２の取得部１０６ｂ）は、記憶部１０７から透過率分布付与部１０３ｂでＦ値ごとに付与した透過率分布の情報を取得する。ここにいう透過率分布の情報は、式（１）のｔ_ｋ（ｘ，ｙ）でもよいし、ｔ_ｋの算出を可能とする透過率分布付与部１０３の透過率（ｔ_１０３ａ〜ｔ_１０３ｄ）とＦ値間の光量比ｒ-_ｋの情報でもよい。

ステップＳ１０３では、画像処理部１０６（パラメタ設定部１０６ｃ）は、推定処理に用いるパラメタを設定する。パラメタは、次のステップで述べる正則化項の決定やその重み、繰り返し演算の回数およびステップＳ１０５で用いる収束条件等が挙げられる。また、パラメタとして、推定処理で生成するＦ値画像の数や条件等を指定してもよい。生成するＦ値画像の数は、４つのＦ値に対応する４つ全てでもよいし、そのうちの一部だけでもよい。また、４つのＦ値画像のうち少なくとも２つ以上が合成されたＦ値画像を生成してもよい。この場合、対応する透過率分布は、合成される２つの光強度分布に与えられた透過率分布の加重平均となる。本実施例では、４つのＦ値画像の全てを生成する。

ステップＳ１０４では、画像処理部１０６（生成部１０６ｄ）は、Ｆ値画像の推定画像を生成する。推定画像は、４つのＦ値のそれぞれで被写体空間を観察することで得られるべき画像に相当する。推定画像を生成するためには、式（２）において、入力画像のベクトル（合成Ｆ値画像ベクトル）ｓと行列ＨとからＦ値ごとの光強度分布ベクトルｉを求めることに相当する。この問題は、式（１）又は（２）から分かるように、連立一次方程式の解を得ることに相当する。しかし、未知数（光強度分布ベクトルｉの行数）がＫＭＮ個あるにもかかわらず、連立方程式の数（行列Ｈの行数）はＭＮ個に過ぎない。さらに、未知のノイズを合わせると、未知数は（Ｋ＋１）ＭＮ個である。このため、解が一意的に求まることはなく、光強度分布ベクトルｉを得るには必然的に推定処理が必要となる。

もし推定処理を用いない場合は、画像の解像度（光強度分布ベクトルｉの行数）を落とすことで光強度分布ベクトルｉを求めることができる。つまり、連立方程式の数（行列Ｈの行数ＭＮ）に、未知数（光強度分布ベクトルｉの行数）の数を合わせることを意味する。この場合、各Ｆ値画像の解像度をＭ×Ｎから（Ｍ／Ｋ^０．５）×（Ｎ／Ｋ^０．５）に落とすこととなる。これは、本実施例では、図４中の破線で囲った４画素内のＩ_ｋ（ｘ，ｙ）の値を全て同一の値とすることに相当する。破線で囲った４画素には、それぞれ異なる透過率（係数）で４つの光強度（未知数）Ｉ_ｋ（ｘ，ｙ）が足し合わされているため、４つの連立一次方程式が得られる。各一次方程式が独立ならば（すなわち独立となるように透過率分布が付与されていれば）、方程式の数と未知数の数とが一致するため、解である光強度分布ベクトルｉが求まる。しかし、この方法では特許文献２と同量の解像度低下が発生してしまう。そこで、本実施例では推定処理を併せ用いることで、解像度の低下を抑制しつつ、複数の推定画像（Ｆ値画像）を得る。

各Ｆ値で被写体空間を撮像して得られる推定画像は、以下の式（９）で表される最適化問題の解を求めることで生成される。

ここで、ｖはベクトル化された推定画像である。Ｌは損失関数、Φはｖに対する正則化項であり、それぞれの具体的な例については後述する。損失関数Ｌは、解をモデル（ここでは式（２）の連立方程式）にフィッティングさせる効果を持つ。ただし先にも述べたように、式（２）の連立方程式は未知数の数よりも方程式の数が少ないために解が一意的に求まらない。このため、解を尤もらしいものへと収束させる効果を持つ正則化項Φを利用する。正則化項には、事前知識と呼ばれる解（光強度分布ベクトルｉ）が持つべき性質を用いる。また、正則化項は損失関数のみを考えた際に起こる過剰なフィッティング、すなわちノイズベクトルηの影響を推定画像ベクトルｖへ反映させてしまうことを防ぐ役割も持っている。

推定画像ベクトルｖは、以下の式（１０）のようにｋ番目のＦ値の推定画像ベクトルｖ_ｋを成分とする列ベクトルである。

ここで、ｋ番目のＦ値の推定画像をＶ_ｋ（ｘ，ｙ）とするとき、ｖ_ｋは式（４）と同様に、以下の式（１１）で表されるＭＮ×１の成分を持つ列ベクトルとなる。

次に、式（９）中の損失関数Ｌと正則化項Φの具体例を挙げる。損失関数Ｌの例としては、以下の式（１２）で示される関数が考えられる。

ここで、以下の式（１３）で表される記号はｐ次平均ノルムを表し、ｐ＝２のときはユークリッドノルムを指す。

正則化項Φの例としては、以下の式（１４）で示される１次平均ノルムが挙げられる。

ここで、λは正則化項の重みを表すパラメタである。Ψは画像に対する基底変換を表す行列であり、その例としてウェーブレット変換や離散コサイン変換等が挙げられる。式（１４）の正則化項Φは、画像に対してウェーブレット変換や離散コサイン変換等の基底変換が行われることで、信号成分がスパース（疎）になる、つまりより少ない数の信号で表せるという性質に基づく。これに関しては、以下の参考文献１等に詳しい。
参考文献１：Richard G.Baraniuk, “Compressive Sensing”,IEEE SIGNAL PROCESSING MAGAZINE [118] JULY 2007
式（１４）では各Ｆ値に対して同一の重みλを用いているが、ｋに応じて異なる重みをかけてもよい。

また、以下の式（１５）および式（１６）のそれぞれで示されるTikhonov正則化項やＴＶ（Total Variation）ノルム正則化項を用いてもよい。

式（１６）において、∂_ｘＶ_ｋおよび∂_ｙＶ_ｋはそれぞれ、推定画像Ｖ_ｋのｘ方向とｙ方向に対する１次微分を表す。

最適化問題である推定式（９）を解くには、繰り返し演算を用いた手法を利用し、例えば正則化項Φとして式（１５）を採用した場合は、共役勾配法等を使用すればよい。また、式（１４）または式（１６）を正則化項Φとして採用した場合は、ＴｗＩＳＴ（Two-step Iterative Shrinkage/Thresholding）などを用いるとよい。ＴｗＩＳＴに関しては、以下の参考文献２に詳細が説明されている。
参考文献２：J.M.Bioucas-Dias,et al., “A new TwIST:two-step iterative shrinkage/thresholding algorithms for image restoration”,IEEE Trans.on Image Processing,vol.16,Dec.2007
また、繰り返し演算を用いて式（９）を最適化する際には、繰り返し毎に正則化の重みλ等のパラメタを更新してもよい。
上記のような最適化問題の解法を利用することで、複数のＦ値における被写体空間の光強度分布を表す推定画像が得られる。

ステップＳ１０５では、画像処理部１０６（推定完了判定部１０６ｅ）は、ステップＳ１０４で生成された推定画像が所定の条件を満たすか否かを判定する。画像処理部１０６は、条件を満たしている場合はステップＳ１０６に進み、満たしていない場合はステップＳ１０４に戻る。所定の条件としては、例えばステップＳ１０４で行った繰り返し演算の繰り返し回数が所定回数に達したことや、繰り返し演算によって更新される推定画像の変化が所定値以下となったことが挙げられる。条件を満たしていない場合は、画像処理部１０６はステップＳ１０４でさらに繰り返し演算の回数を増やして推定画像を生成する。

以上の処理によって、撮像素子１０４を通じて取得された入力画像から、画像データ量の増大と解像度の低下を抑えつつ、互いに異なるＦ値に対応する推定画像としてのＦ値画像を生成することができる。
次に、本実施例の画像処理を行う上で望ましい条件について説明する。入力画像にて合成された複数のＦ値での光強度分布のうち、最大のＦ値での光強度分布は、最小のＦ値での光強度分布より、与えられた透過率分布の平均値が大きいことが望ましい。
最大Ｆ値での光強度分布は、他のＦ値での光強度分布に比べて被写界深度が深く、画像全体で背景ぼけのような解像度が低い部分が少ない。一方、最小Ｆ値での光強度分布は、他のＦ値での光強度分布に比べて被写界深度が浅く、解像度が低い背景ぼけ部分が多くなる傾向がある。本実施例では、１画素内に合成された複数のＦ値での光強度分布の情報を推定処理によって分離するが、背景ぼけのような解像度劣化が起きている場合は推定精度が低下する。例えば、Ｆ値が大きい推定画像において解像度劣化が生じる。このため、最大Ｆ値に対しては、解像度が高い領域を増やすように光強度分布に与える透過率分布を設定するとよい。具体的には、最大Ｆ値での光強度分布に与える透過率分布の平均値ｔ_ａｖｅ（ｋ＝Ｋ）を、最小Ｆ値の光強度分布に与える透過率分布の平均値ｔ_ａｖｅ（ｋ＝１）より大きくするとよい。

さらに望ましくは、複数のＦ値での光強度分布のそれぞれに与えられた透過率分布における平均値ｔ_ａｖｅ（ｋ）が、Ｆ値が大きくなるにつれて単調増加するとよい。前述したように、Ｆ値が小さい光強度分布ほど解像度が低い部分が多く、各Ｆ値画像の推定精度（解像度）の低下を招きやすい。このため、Ｆ値が小さい光強度分布ほど平均値が小さくなるように、与える透過率分布を設定するとよい。具体的には、以下の式（１７）を満たすようにすればよい。

式（１７）の上限は、Ｆ値が大きくなるにつれて透過率分布の平均値ｔ_ａｖｅ（ｋ）が単調増加するための条件である。式（１７）の下限は、分子の平均値ｔ_ａｖｅ（ｋ）が０とならない限り超えることができず、０の場合はそのＦ値での光強度分布の情報を得ていないことになるため、条件から除外される。

これに代えて、複数のＦ値での光強度分布のそれぞれに与えられた透過率分布における平均値ｔ_ａｖｅ（ｋ）をＦ値に応じて変化させてもよい。Ｆ値が大きくなるにつれて光学系１０２の収差によるぼけの影響は少なくなるが、回折によるぼけの影響により解像度の低下が生じる。したがって、最も解像度が高くなるＦ値での光強度分布に与えられる透過率分布の平均値が最も大きくなるようにしてもよい。最も解像度が高くなるＦ値は、光学系１０２の収差情報や撮像素子１０４の画素ピッチ等から算出すればよい。例えば、Ｆ１１（特定Ｆ値）で最も解像度が高くなる場合には、Ｆ１１での光強度分布に与える透過率分布の平均値を最大とし、Ｆ値がＦ１１から離れるにつれて与える透過率分布の平均値を減少させる。ただし、最も解像度が高くなるＦ値は、Ｆ１１に限定されるものではない。

また、ｋ番目の（ｋ番目に小さい）Ｆ値での光強度分布に与えられた透過率分布の平均値ｔ_ａｖｅ（ｋ）が、以下の式（１８）で示す条件を満足することが望ましい。

前述したように、各Ｆ値画像の推定精度（解像度）の低下を抑制するためには、大きいＦ値での光強度分布に与えられる透過率分布の平均値を大きくするとよい。しかし、この際にＦ値間での透過率分布の平均値の差が大きすぎると、推定画像の解像度の差も大きくなる。これは、あるＦ値での透過率分布の平均値が小さいことはそのＦ値での光強度分布の情報が少ないことを意味し、情報が少ない分、推定画像の解像度が低下するためである。このため、それぞれのＦ値の推定画像Ｖ_ｋの解像度の差が大きくならないように、透過率分布の平均値が式（１８）を満足することが望ましい。式（１８）の上限および下限を超えると、解像度の差が大きくなるので、好ましくない。

より望ましくは、式（１８）の範囲を以下の式（１８ａ）の範囲とすることで、各推定画像の解像度差をより小さく抑えることができる。

さらに望ましくは、式（１８）の範囲を以下の式（１８ｂ）の範囲とすることで、各推定画像の解像度差をさらに小さく抑えることができる。

また、上述したステップＳ１０４では、解像度を落として連立方程式を解く手法（ステップＳ１０４の説明内で図４を用いて解説した手法）に、式（９）で表されるような推定処理を加えることで高解像に各推定画像を生成した。これは逆に言うと、解像度を落として連立方程式を解く手法で高精度に解が求められる条件の際に、式（９）による推定処理を加えても推定精度が向上することを意味する。その条件とは、先にも述べた通り、連立一次方程式が互いに独立なときである。このため、ある画素（ｘ_ｍ，ｙ_ｎ）（ｍ＝１，…，Ｍ、ｎ＝１，…，Ｎ）を考えた際、当該画素を含む周辺領域の画素のそれぞれにおいて、各ｋについての透過率を成分とするベクトルができる限り一次独立となっていることが望ましい。透過率は連立一次方程式の係数を表すため、該ベクトルを係数ベクトルと呼ぶこととし、該係数ベクトル（行ベクトル）を配列した行列をＥとおく。この際、推定画像の推定精度を向上させるため、行列Ｅは以下の式（１９）で示す条件を満足することが望ましい。

ただし、ａを以下の式（２０）で定義した場合、行列Ｅは実施例１において以下の式（２１）で与えられる。

式（２０）中のｃｅｉｌは天井関数を表す。

行列Ｅは、図４を用いて説明した解像度を落として連立方程式を解く手法における各方程式の係数からなる行列である（本実施例では、Ｅが９×４行列となる）。つまり、行列Ｅの階数が、１画素あたりの未知数の数であるＫに近いほど推定精度が向上することを意味する。このため、透過率分布は全ての画素（ｘ_ｍ，ｙ_ｎ）に対して、式（１９）を満たすような分布となっていることが望ましい。

本実施例では、複数のＦ値での光強度分布が互いにずれなく重ね合わされているため、行列Ｅにおける行ベクトル（係数ベクトル）の各成分は同一の座標にあるが、該光強度分布が互いにずれている場合はそれに合わせて該座標もずれることとなる。

より望ましくは、式（１９）の範囲を以下の式（１９ａ）の範囲とするとよい。

さらに望ましくは、式（１９）の範囲を以下の式（１９ｂ）の範囲とするとよい。

また、透過率分布付与部１０３にて複数の光強度分布のそれぞれに与えられた透過率分布の和からなる分布を総和透過率分布とするとき、該総和透過率分布の最小値が０よりも大きいことが望ましい。総和透過率分布ｔ_ｓｕｍは、式（１）の記法を用いると、以下の式（２２）で表される。

総和透過率分布ｔ_ｓｕｍの値が０となる画素（ｘ_ｍ，ｙ_ｎ）が存在する場合は、該画素には光が一切入射しないことを意味する。推定画像ベクトルｖを得ることは、先にも述べたように連立一次方程式の解を推定することに相当する。光が入射しない画素が存在すると、該画素では一次方程式の係数（透過率ｔ_ｋ）が全て０となるため、連立一次方程式の数が減ってしまうことになる。このため、一次方程式の数が減らないように、総和透過率分布の最小値は０よりも大きいことが望ましい。

以上説明した構成および画像処理により、画像データ量の増大を抑えつつ、互いに異なるＦ値に対応する複数のＦ値画像を生成することができる。

次に、本発明の実施例２である画像処理システムについて説明する。本実施例でも実施例１と同様に、時間分割方式によって複数のＦ値での光強度分布に互いに異なる透過率分布を与える。ただし、本実施例では、各Ｆ値での光透過率分布に与える透過率分布を、各Ｆ値での光強度分布が撮像装置（撮像素子）で取得された撮像画像としての入力画像に対して与える。

図７および図８にはそれぞれ、本実施例における画像処理システムの構成と外観を示す。図７において、パーソナルコンピュータ（サーバー）２０６は通信部２０７を有し、ネットワーク２０５を介して撮像装置２０１と接続されている。この接続は、有線または無線のうちいずれの接続方法を用いてもよい。

撮像装置２０１は、被写体空間からの光を結像させる結像光学系２０２と、複数の画素および信号選択部２０３を有する撮像素子２０４とを有する。信号選択部２０３は、撮像素子２０４の各画素で電気信号に変換された各Ｆ値の光強度分布に対して透過率分布を付与する役割を持つ透過率分布付与部として機能する。撮像素子２０４の詳しい構成に関しては後述する。

撮像装置２０１で取得された撮像画像は自動または手動でサーバー２０６の通信部２０７に送信され、入力画像としてサーバー２０６内の記憶部２０８および画像処理部２０９に送られる。記憶部２０８には、入力画像の他に信号選択部２０３で与えられた透過率分布の情報も記憶される。画像処理部２０９は、入力画像と透過率分布の情報を用いて実施例１で説明した画像処理を行って出力画像としての複数のＦ値画像を生成する。出力画像は、記憶部２０８に記憶されたり、通信部２０７を介して撮像装置２０１に送信されたりする。

次に、撮像素子２０４の構成について説明する。撮像素子２０４は、図９に示すようなＣＭＯＳセンサとして構成されており、図１０のタイムチャートに従って動作する。画素配列部２２１には複数の画素が配列されている。露光時間中に画素（光電変換部）に入射した光は、該画素でアナログ撮像信号に変換される。各画素はグローバル電子シャッタを備えており、全ての画素が同時刻で光電変換が可能である。各画素からの信号の読み出しは、垂直走査回路部２２２と水平走査回路部２２３によって行われ、該読み出しの最中にＡ／Ｄ変換部２２４によってアナログ撮像信号はデジタル撮像信号に変換される。

このようにして１番目（ｋ＝１）のＦ値に対応する露光時間での露光により得られたデジタル撮像信号（画像データ）は信号選択部２０３に入力される。信号選択部２０３は、該デジタル撮像信号が読み出された画素の位置に応じたパタニング（信号の取捨選択）を行う。このパタニングは、撮像素子２０４を通じて取得された画像データに対して０または１の透過率分布ｔ_ｋ＝１（ｘ，ｙ）を付与することに相当する。ただし、信号選択部２０３は、取捨（０か１か）だけでなく、信号を比例倍する等の演算を行ってもよく、これにより０および１以外の透過率を与えることもできる。パタニングされた１番目のＦ値の画像データは、記憶部２２５に一時的に記憶される。

次に、２番目（ｋ＝２）のＦ値に対応する露光時間での露光により得られたデジタル撮像信号が信号選択部２０３に入力される。２番目のＦ値に対応する露光時間は１番目のＦ値に対応する露光時間よりも長い。そして、信号選択部２０３は該２番目のＦ値の入力画像に対しても１番目のＦ値の入力画像に対してと同様に、ただし１番目のＦ値の入力画像に付与した透過率分布とは異なる透過率分布ｔ_ｋ＝２（ｘ，ｙ）を与えるパタニングを行う。パタニングされた２番目のＦ値の画像データは、記憶部２２５に送られる。合成部としても機能する記憶部２２５は、２番目のＦ値の画像データを既に記憶された１番目のＦ値の画像データに合成（合算）する。画像データが合成されることで、記憶部２２５に記憶された画像データ量としては増えない。

このようにして取得予定数の互いにＦ値が異なる画像データ（本実施例では３つ）に対して、Ｆ値が大きくなるほど露光時間を長くして露出を一定にしつつ上記処理が行われる。これにより、それらＦ値での光強度分布（互いに異なる透過率分布が付与された光強度分布）が合成された合成Ｆ値画像が生成される。撮像素子２０４は、合成Ｆ値画像を出力部２２６からサーバー２０６に出力する。

サーバー２０６内の画像処理部２０９で行われる処理は、実施例１にて図１を用いて説明した処理と同じである。

以上の構成により、画像データ量の増大を抑えつつ、互いに異なるＦ値に対応する複数のＦ値画像を生成することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ 撮像装置
１０２ 結像光学系
１０３ 透過率分布付与部
１０４ 撮像素子

Claims (17)

1. 光学系により形成された光学像を撮像する撮像素子と、
   Ｆ値を変更するＦ値制御部と、
   互いに異なる前記Ｆ値ごとに、前記光学像または撮像により生成された画像データに対して互いに異なる透過率分布を与える透過率分布付与部とを有することを特徴とする撮像装置。
2. 互いに異なる前記Ｆ値ごとの撮像により生成された複数の前記画像データを合成する合成部を有することを特徴とする請求項１に記載の撮像装置。
3. 互いに異なる前記Ｆ値ごとに互いに異なる前記透過率分布が与えられた前記光学像の撮像により生成された入力画像、または互いに異なる前記Ｆ値ごとに互いに異なる前記透過率分布が与えられた前記画像データが合成された入力画像から、それぞれ異なる前記Ｆ値に対応する複数のＦ値画像を生成する画像処理部を有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記光学系は、絞りを有し、
   前記Ｆ値制御部は、前記絞りの開口径を変化させることにより前記Ｆ値を変更することを特徴とする請求項１から３いずれか一項に記載の撮像装置。
5. 前記Ｆ値制御部は、前記撮像素子の１回の露光時間中において前記Ｆ値を変更することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
6. 前記Ｆ値制御部は、前記露光時間中における前記Ｆ値ごとの時間を前記Ｆ値が大きいほど長くすることを特徴とする請求項５に記載の撮像装置。
7. 前記Ｆ値制御部は、前記撮像素子の露光時間中において一定時間ごとに前記Ｆ値を変更し、
   前記Ｆ値が大きくなるほど前記撮像素子のＩＳＯ感度を高くすることを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
8. 前記Ｆ値制御部は、前記撮像素子の露光時間中において一定時間ごとに前記Ｆ値を変更し、
   前記光学系は、前記Ｆ値が大きくなるほど透過率が高い減光フィルタを用いることを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
9. 前記Ｆ値制御部は、前記撮像素子の露光時間中において一定時間ごとに前記Ｆ値を変更し、
   前記画像処理部は、前記Ｆ値画像に対応する前記Ｆ値が大きいほど該Ｆ値画像に対する明るさ補正処理の強度を強くすることを特徴とする請求項３に記載の撮像装置。
10. 前記Ｆ値ごとの前記透過率分布は、該透過率分布の平均値が互いに異なることを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
11. 前記平均値は、前記Ｆ値が大きいほど増加することを特徴とする請求項１０に記載の撮像装置。
12. 前記平均値は、前記Ｆ値が該Ｆ値ごとの前記透過率分布のうち最大の平均値を有する透過率分布に対応する特定Ｆ値から離れるほど減少することを特徴とする請求項１０に記載の撮像装置。
13. 前記特定Ｆ値は、少なくとも前記撮像素子の画素ピッチに基づいて設定されることを特徴とする請求項１２に記載の撮像装置。
14. 互いに異なる前記Ｆ値の総数をＫとし、該総数Ｋの前記Ｆ値のうちｋ番目に小さいＦ値に対する前記透過率分布の平均値をｔ_ａｖｅ（ｋ）とするとき、
    
    なる条件を満足することを特徴とする請求項１０から１３のいずれか一項に記載の撮像装置。
15. 互いに異なるＦ値ごとに互いに異なる透過率分布が与えられた光学像の撮像により生成された入力画像、または互いに異なる前記Ｆ値ごとに互いに異なる前記透過率分布が与えられた画像データが合成された入力画像を取得する取得部と、
    前記入力画像からそれぞれ異なる前記Ｆ値に対応する複数のＦ値画像を生成する処理部とを有することを特徴とする画像処理装置。
16. 互いに異なるＦ値ごとに互いに異なる透過率分布が与えられた光学像の撮像により生成された入力画像、または互いに異なる前記Ｆ値ごとに互いに異なる前記透過率分布が与えられた画像データが合成された入力画像を取得するステップと、
    前記入力画像からそれぞれ異なる前記Ｆ値に対応する複数のＦ値画像を生成するステップとを有することを特徴とする画像処理方法。
17. コンピュータに画像処理を実行させるコンピュータプログラムであって、
    前記コンピュータに、
    互いに異なるＦ値ごとに互いに異なる透過率分布が与えられた光学像の撮像により生成された入力画像、または互いに異なる前記Ｆ値ごとに互いに異なる前記透過率分布が与えられた画像データが合成された入力画像を取得させ、
    前記入力画像からそれぞれ異なる前記Ｆ値に対応する複数のＦ値画像を生成させることを特徴とする画像処理プログラム。