JP5563597B2 - 多重化イメージング - Google Patents

Description

本発明はイメージングに関し、写真撮影の用途を有する。本発明のいくつかの実施形態はハイダイナミックレンジ（ＨＤＲ）画像の取得に関する。本発明のいくつかの実施形態はカラー画像の取得に関する。

（関連出願の相互参照）
本出願は２００９年１月１９日に出願された多重化イメージングと題する米国特許出願第６１／１４５６８９号の優先権を主張する。米国において、本出願は米国特許法第１１９条に基づき、２００９年１月１９日に出願された多重化イメージングと題する米国特許出願第６１／１４５６８９号の利益を主張し、同特許出願は参照により本明細書に組み込む。

本発明のさまざまな例示的実施形態が提供するものは以下のとおりである。
・カメラ
・カメラシステム
・カメラのイメージングアレイ
・画像取得方法
・画像データから多数の画像特性を抽出する方法、および
・画像データから多数の画像特性を抽出する装置
本発明の一側面は画像データを取得する方法を提供する。方法は、イメージングアレイを光放射に露出し、イメージングアレイを操作することによって画像データを取得することを含む。画像データを取得することは、可逆的変換のための対応する基底関数に従い光放射の複数の成分の各々に対するイメージングアレイの応答を空間的に変調することを含む。方法は画像データに変換を適用して変換後の画像データを生成する。変換後の画像データはそれぞれ複数の成分に対応する空間的に分離している画像コピーを含む。方法は変換後の画像データから空間的に分離している画像コピーを抽出して、抽出した画像コピーの各々に変換の逆元を適用する。

いくつかの実施形態では、画像データを取得することは、イメージングアレイの画素と相互作用する前に、光放射に光学フィルタを通過させることを含む。
別の側面は、飽和画素の画素値を画像に再構成するための自動化された方法を提供する。方法は、いくつかの飽和画素を有する画像の帯域制限された露出を含む画像データを取得することを含む。露出は空間的に変調される。空間変調は、露出をさまざまに減衰する関数によって、一または複数の空間周波数、またある実施形態では２以上の空間周波数で起こる。方法は画像データ内の飽和画素を特定し、画像データのフーリエ変換を計算して、最適化問題を構成し、最適化問題において、飽和成分の画素値が未知であり、最小化すべき誤差測度が２以上の空間周波数に対応するフーリエドメインの画像コピー間の差を含む。方法は最適化問題を数値的に解いて、飽和画素の画素値を求める。

本発明の別の側面は、複数のスペクトル帯域の各々のフィルタ透過率が異なる空間周波数に対して空間的に変化するフィルタを含むイメージングアレイを提供する。
本発明の別の側面は、プロセッサとプロセッサで実行するためのソフトウェア命令とを備える自動化画像処理システムを提供する。ソフトウェア命令はプロセッサを次のように構成する命令を含む。いくつかの飽和画素を有する画像の帯域制限された露出を含む画像データを取得し、露出は露出をさまざまに減衰する複数の関数によって２以上の空間周波数を空間的に変調されるように構成する命令と、画像データ内の飽和画素を特定するように構成する命令と、画像データのフーリエ変換を計算するように構成する命令と、飽和成分の画素値が未知であり、最小化すべき誤差測度は２以上の空間周波数の対応するフーリエドメインの画像コピー間の差を含む、最適化問題を構成するように構成する命令と、最適化問題を数値的に解いて、飽和画素の画素値を求めるように構成する命令。

添付の図面は、本発明の非制限的な例示的実施形態を図示する。

本発明の第１の例示的な実施形態によるカラーイメージング方法を図示するフローチャートである。 図１の方法のある実施例の画像への適用を示す図である。 複数の空間周波数で空間変動を有する例示的な実施形態によるフィルタを作成するために組み立ててもよいタイルを示す図である。 複数の空間周波数で空間変動を有する例示的な実施形態によるフィルタを作成するために組み立ててもよいタイルを示す図である。 複数の空間周波数で空間変動を有する例示的な実施形態によるフィルタを作成するために組み立ててもよいタイルを示す図である。 本発明の例示的な実施形態によるフィルタの透光性を先行技術のフィルタと比較できるグラフである。 多数のカラーチャネルの関数として本発明の実施形態によるフィルタの透光性を示すグラフである。 例示的な実施形態による勾配フィルタのフーリエドメインにおける操作を模式的に示す図である。 クリッピングがないときの（飽和またはその他の結果として）画像およびそのフーリエ変換の走査線のある実施例の一次元画像信号を示す図である。 クリッピングがないときの（飽和またはその他の結果として）画像およびそのフーリエ変換の走査線のある実施例の一次元画像信号を示す図である。 クリッピングが存在するときの画像およびそのフーリエ変換の走査線の同じ実施例の一次元画像信号を示す図である。 クリッピングが存在するときの画像およびそのフーリエ変換の走査線の同じ実施例の一次元画像信号を示す図である。 例示的な実施形態による飽和画素値を復元する方法を図示するフローチャートである。 例示的な実施形態によるカメラシステムを図示する機能的ブロック図である。

本発明の別の側面および本発明の具体的な実施形態の特徴は以下に説明する。
以下の説明をとおし、本発明のより徹底的な理解を提供するために具体的な詳細を記載する。しかし、本発明はこれら細目なしで実施してもよい。他の例では、本発明を不必要に不明瞭にしないように、よく知られている要素は詳細に図示または説明していない。したがって、本明細書および図面は、制限的な意味ではなく例示的な意味で考えるべきである。

本発明の基本的な実施態様は、光放射への露出を得ることに関わり、その際、光放射の異なる成分に対するイメージングアレイの画素の応答は、変換の２以上の異なる基底関数に従って空間的に変調される。例えば、変換がフーリエ変換の場合、基底関数は正弦関数または余弦関数であってもよい。得られる画像データをさらに変換に従って変換して、変換後の画像データを生成する。変換後の画像データでは、異なる成分に対応する情報は空間的に分離している。例えば、露出を余弦和フィルタに通すと、フーリエ変換画像のより高い空間周波数領域にオリジナル画像の正確なコピーが得られる。その情報は変換後の画像データの対応部分を選択することによって抽出できる。変換後の画像データの対応部分で逆変換を行うと、成分の１つに対応する成分画像データを生成する。

変換後の画像データで成分の分離を最善に達成するために、変換は空間ドメインでの関数による乗算が変換されるドメインでの畳み込みに対応する属性をもつべきである。この属性を有する変換の１つの種類がフーリエ変換である。

この基本的な実施態様は、さまざまな方法で適用してもよい。いくつかの実施形態では、基底関数に従う空間変調をスペクトルフィルタリングと組み合わせる。該実施形態は異なるカラー成分への画像の分離を促す。カラー成分を再結合して１つのカラー画像を提供してもよい。例示的な実施形態では、カラー成分は少なくとも赤色、緑色および青色（Ｒ，ＧおよびＢ）に対応する。

図１は本発明の第１の例示的な実施形態によるカラーイメージングのための方法１０を図示するフローチャートである。図２は方法１０を実施例の画像２１に適用した場合を示す。ブロック１２はイメージングアレイを操作して画像データ２２を取得することを含む。受光画素を実施するために使用される技術は必須ではない。非制限的な実施例として、画素はＣＭＯＳライトセンサ、能動画素センサ（ＡＰＳ）アレイ、電荷結合素子（ＣＣＤ）アレイ等の画素でもよい。各画素は露出中に画素に入射する光の関数である出力を生成する。

イメージングアレイは、受光画素または画像の成分に対する受光画素の応答を空間的に変調する何か他のメカニズムによって検出する前に、光が通過するフィルタを備える。この例示的な実施形態では、フィルタは画像面上にある。そのため各画素はフィルタ上の対応する位置（ｘ，ｙ）を通過した光を受ける。フィルタは位置に対して変化するフィルタ関数ｆを有する。一般に、ｆは波長λと空間座標ｘおよびｙの関数である。そのため画像データ（ｘ，ｙ）は、一般に、以下の式で求められる。

上記式において、τ（ｘ，ｙ，λ）は光に対する感知アレイの画素の応答であり、ｌ（ｘ，ｙ，λ）はセンサ画素上の光放射照度である。τがすべての画素で同じ場合、τはτ（λ）として求めることができる。

フィルタ関数ｆは以下の式によって求めてもよい。

上記式において、ｂ_ｉ（λ）はカラースペクトルを記述する基底関数である。各カラースペクトルｂ_ｉ（λ）はイメージングアレイに入射する入射光（これは任意の光放射にすることができる）の成分を表すと考えることができる。カラースペクトルは非重複でもよく、原色でもよいが、これは必須ではない。以下の実施例では、カラースペクトルは非重複の原色であり、Ｎは原色の数である。ｂ_ｉ（λ）は、例えば、バンドパスフィルタまたは狭帯域ノッチフィルタを含んでもよい。いくつかの実施形態では、ｂ_ｉ（λ）はハイパスおよびローパスフィルタ特性、もしくはその一方に従ってフィルタリングするフィルタを含む。いくつかの実施形態では、それぞれ赤色光、緑色光および青色光を通すｂ_ｉ（λ）が提供される。いくつかの実施形態では、ｂ_ｉ（λ）は印刷装置またはディスプレイ装置の原色に対応する。

本明細書で説明する用途のフィルタはフィルタ上の位置に対して連続的に変化する光学濃度または透過率を有する必要はない。光学濃度または透過率は画像データを取得するのに使用されるイメージングアレイのあらゆる画素の領域にわたり一定でもよい。しかしこれは必須ではない。

いくつかの実施形態では、フィルタの空間周波数は、イメージングアレイ内の画素のピッチの倍数に等しい期間に合わせてフィルタが空間的に周期的になるように選ぶ。該実施形態では、フィルタは同一タイルのアレイとして構成してもよい。例えば、図３Ａはある実施形態でフィルタとして使用してもよい５×５のフィルタアレイを示しており、図３Ｂおよび図３Ｃは他の例示的な実施形態でフィルタとして使用してもよい実施例の４×４のフィルタアレイを示している。該フィルタはイメージングアレイに直接パターン化してもよい。

図３Ｂのフィルタアレイは、モノクロチャネルに加えて３つのスペクトル関数（赤色、緑色および青色フィルタ）をエンコードする。図３Ｂのようなフィルタは、光透過率が４５％より大きく、例えば、約５０％になるように実施してもよい。以下説明するように、任意の数のチャネルに関して透過率５０％である本明細書で説明する一定の種類のフィルタを設計することが可能である。

α_ｉは変換の基底関数である。この実施例では、使用される変換は、異なる空間周波数を有する余弦である基底関数を有するフーリエ変換である。この場合、α_ｉは以下の式によって求めることができる。

上記式において、ｋ_１ ^ｉおよびｋ_２ ^ｉは定数である（どの基底関数についても、互いに等しくてもよく、または等しくなくてもよい）。どの基底関数についてもｋ_１ ^ｉおよびｋ_２ ^ｉのいずれかがゼロでもよいが、ｋ_１ ^ｉおよびｋ_２ ^ｉの両方がゼロではない。

α_１が赤色光を通すフィルタｂ_１に対応し、α_２が緑色光を通すフィルタｂ_２に対応し、α_３が青色光を通すフィルタｂ_３に対応する場合を考えてみる。露出を受けると、画像の赤色光成分は第１空間周波数（これはｋ_１ ^１およびｋ_２ ^１に関して行われる選択に依存する）で空間的に変調され、緑色光は第２空間周波数（これはｋ_１ ^２およびｋ_２ ^２に関して行われる選択に依存する）で空間的に変調され、青色光成分は第３空間周波数（これはｋ_１ ^３およびｋ_２ ^３に関して行われる選択に依存する）で空間的に変調される。

以下説明するように、ブロック１２で取得する画像データは空間的に帯域制限されるはずである。
画像データはイメージングアレイから何らかの適した方法で読み出してもよい。ブロック１４で、画像データのフーリエ変換が判定される。ブロック１４は変換後の画像データ２３を生成する。フーリエ変換後の画像データでは、異なる空間周波数は異なる位置で表される。そのため、フーリエ変換された画像は画像の赤色、緑色および青色成分のフーリエ変換（これは異なる空間周波数で故意に空間的に変調されている）を含み、そのため変換後の画像データ内の離れた異なる位置で起こる。図２では、変換後の画像２３が多数の異なる成分２３Ａを有するのがわかる。赤色、緑色および青色の成分はフーリエ変換された画像の異なる位置に表されるのがわかる。

ブロック１６で、フーリエ変換した画像の赤色、緑色および青色の成分２４がそれぞれ抽出される。これはフーリエ変換された画像を切り抜くことによって、赤色、緑色および青色の成分が位置することが分かっている画像の領域を使ってフーリエ変換された画像の対応する部分を参照することによって、または同様な他の方法によって実現してもよい。赤色、緑色および青色の成分が変調された空間周波数が分かっているため、変換後の画像データ内で成分２４に対応する領域は既知である。変換後の画像データでは、空間位置は周波数に対応する。いくつかの実施形態では、変換後の画像は論理的または物理的にタイルに分割されて、変換された画像内のタイルが成分２４に関連付けられる。

前述したように、ブロック１２は画像を空間的に帯域制限することを含んでもよい（つまり、当初捕捉される画像に存在する最大空間周波数を制限する）。これはさまざまな方法で達成してもよい。例えば、ブロック１２のイメージングアレイに光放射の焦点を合わすために使用される光学システムは、画像を取得している間わずかに焦点をずらしてもよい。イメージングアレイに光を向けるために使用される光学システムが、イメージングアレイまたはその上流の光路に光放射をわずかに拡散するディフューザ、例えばホログラフィックディフューザを含んでもよく、イメージングアレイにアンチエイリアスフィルタを設けてもよく、または同様な他の要素を含んでもよい。画像を空間的に帯域制限すると、画像データは画像データの異なる成分に対応するデータを変換後の画像データで重複させるほど高い空間周波数は含まないことを確実にする。該空間的に帯域制限することにより、変換後の画像データは多数の空間的に分離されているコピーから作成され、コピーの各々はフィルタ関数ｂ_ｉ（λ）の１つに対応する画像データの成分のフーリエ変換を表す。

数式（２）で定義されるフィルタを通して空間的に帯域制限されるシーンを数式（３）で定義されるα_ｉで捕捉すると、スペクトル情報は空間周波数に光学的に変換される。具体的には、フーリエ変換はフーリエ変換の基本空間周波数付近にシーンの複数のコピーを作成する。得られるコピーが変換後の画像データに都合よく配列されるように空間周波数を選ぶことができる。

フィルタの空間変動が以下の式によって求められる場合を考えてみる。

上記式において、ｋ^ｉ _ｘおよびｋ^ｉ _ｙは整数であり、任意の値ｉのｋ^ｉ _ｘおよびｋ^ｉ _ｙの対は一意である。基底関数の適切な集合は、ｋ^ｉ _ｘおよびｋ^ｉ _ｙの値をそれぞれ０からＱの範囲に分布させることによって求めることができる。例えば、Ｑ＝１のとき、（ｋ^ｉ _ｘ，ｋ^ｉ _ｙ）＝｛（０，１），（１，０）および（１，１）｝となる（ｋ^ｉ _ｘ，ｋ^ｉ _ｙ）＝（０，０）は自明であり、除外する。これは３つの基底関数を提供する。この場合、画像データのフーリエ変換では、異なる基底関数に対応するコピーは２×２グリッドのタイルの中心にくる。各コピーの中心に対応する空間周波数は基本周波数ｆ_ｘ ^０およびｆ_ｙ ^０に関して選ばれる値によって判定される。

画像データの２Ｄフーリエ変換は、カラーチャネルｂ_ｉ（λ）とスペクトルセンサ応答τ（λ）の積によって求められる特定のスペクトル分布によってフィルタリングされるオリジナル信号の２Ｄフーリエ変換に対応するタイルを包含する。これは数学的には以下の式で表すことができる。

上記式において、Ｆはフーリエ変換を表し、Ｌ_ｓは画像データを表す。そのため各チャネルは対応するフーリエタイルを切り抜いて、二次元逆フーリエ変換を行うことによって再構成できる。

余弦関数のフーリエ変換は対称であるため、一対のコピーは各チャネルに対応する。各対の２つのコピーは同じ情報をエンコードする。ブロック１６は、チャネルの２つのコピーのいずれか１つを抽出する、または２つのコピーを抽出すること、それを結合すること（例えば、加算により）を含んでもよい。

ブロック１８では、逆フーリエ変換はフーリエ変換後の画像データ２３から抽出された成分２４の各々について計算される。これにより各カラーチャネルに関して再構成された画像２５が生成される。

ブロック１９で、画像成分を組み合わせて、いずれか適した画像フォーマットでよい再構成された画像２６を生成する。例えば、画像成分を組み合わせて、画像データを適したＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＰＮＧ、ＢＭＰまたはＲＡＷデータフォーマット（またはいずれか他の適した画像フォーマット）で提供する。再構成された画像２６は保管する、転送する、表示のためにディスプレイデバイスに送る、印刷のためにプリンタに送る、またはいずれか他の望ましい形態で適用してもよい。

方法１０は適したいずれのセンサアレイでも行うことができる。例えば、方法１０の画像取得は、イメージングアレイに適用される適したフィルタを有する標準的なデジタルカメラで行ってもよい。このフィルタは標準的なカラーフィルタ（デジタルカメラのイメージングアレイにしばしば提供される赤色、緑色および青色のフィルタエレメントのベイヤーパターンなど）の代わりに提供してもよい。前述の例示的な実施形態は輝度の余弦和分布に従う空間的に変化する半透過フィルタを適用する。

前述の方法は３色に制限されるものではなく、あらゆる数のカラー成分で実施してもよい。また、フィルタ特性ｂ_ｉは必ずしもカラーに従ってフィルタリングしなくてもよい。フィルタ特性は偏光などの入射放射の何か他の特性に従って全部または一部をフィルタリングすることができよう。また、フィルタ特性は単一色成分を通すことに制限されるものではない。例えば、複数の異なる波長帯域で光を通して、その帯域間の波長を有する光を遮断するフィルタをある空間周波数で変調することができよう。

画像データの変換および逆変換は、汎用目的または特殊目的のプログラム式データプロセッサの適用により、および／または適切に構成した論理パイプライン（例えば、特定用途向け集積回路（ＡＳＩＣ）にハードワイヤードされるか、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの構成可能な論理で提供される）によって判定してもよい。例えば、前述の例示的な実施形態では、ブロック１４は高速フーリエ変換（ＦＦＴ）アルゴリズムまたは離散フーリエ変換（ＤＦＴ）アルゴリズムを実行して行ってもよい。

実数フィルタは光を減衰できるだけで、光を増幅するまたは「負の光」を生成することはできない。光学フィルタを使用して画像成分を空間的に変調する場合、フィルタのために選択される特定の素材は、限られたコントラストまたは同様な他のものなど、他の制限をもつことがある。満足のいく結果を生成できる実数フィルタは、例えば、各画素について数式（４）で規定されるフィルタを線形関数で再正規化することによって達成してもよい。

例えば、ｆ_ｍｉｎ（ｘ，ｙ）を波長全体の位置（ｘ，ｙ）に関するフィルタの最小透過値とし、ｆ_ｍａｘ（ｘ，ｙ）を位置（ｘ，ｙ）の任意の波長に関するフィルタの最大透過値とする。物理的に実現可能なフィルタ

は以下の式で定義できる。

上記式において、

および

である。

追加の制約、例えば、光透過性全体の制約を満たすには、φおよびγのさまざまな値が可能である。このように修正されたフィルタによるイメージングは修正センサ画像

を生成する。

の個々の画素はオリジナル範囲に容易にマッピングしなおすことができ、前述のように処理できる画像ｓを生成する。

カラー信号を取得するためにベイヤーパターンまたは何らかの他の構成に配列された従来の赤色、緑色および青色のフィルタを使用すること以上に前述の方法の１つの有利な点は、フィルタが同じカラー分離のできる標準的なフィルタよりも光効率的にできることである。図４は前述のフィルタの透光性（曲線３０）と、ナラシマン，Ｓ．およびナイヤル，Ｓ．（Ｎａｒａｓｉｍｈａｎ，Ｓ．，ａｎｄ Ｎａｙａｒ，Ｓ．）、Ｅｎｈａｎｃｉｎｇ Ｒｅｓｏｌｕｔｉｏｎ ａｌｏｎｇ Ｍｕｌｔｉｐｌｅ ｉｍａｇｉｎｇ Ｄｉｍｅｎｓｉｏｎｓ ｕｓｉｎｇ Ａｓｓｏｒｔｅｄ Ｐｉｘｅｌｓ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２７，４（Ａｐｒ），５１８〜５３０ページ（２００５年）に記述される分類された画素アプローチに基づくフィルタ（曲線３１）のものとの比較を示す。本明細書に説明するフィルタは、特にチャネル数が多くなると、より光効率的であることがわかる。本明細書に説明するフィルタの光透過性は、例えば、数式（５）のγに対するφの比率を上げることによって変更できる。これはフィルタのフーリエ変換のＤＣ項を増加させる（これは空間フィルタの平均光透過性に対応する）。

１つの正規化された正弦波の積分は５０％である。そのため本明細書で説明するフィルタ（または「マスク」）の合計透過率は、個々の原色ｂ_ｉ（λ）の透過率の合計の半分にすることができる。図４Ａはこのような実施形態によるフィルタが任意の数のカラーチャネルに関して５０％の透過率をもつことができることを示す（曲線３２）。

フーリエ画像データに多重化される情報量は、画像データを取得するときに位相をずらした正弦波に従い光放射を変調することによって増やしてもよい。例えば、フィルタ関数は以下の式によって求めてもよい。

各空間周波数で２位相シフトした正弦波を提供することで、ある空間周波数でｉ∈｛１．．．Ｎ｝のときの２つのスペクトル関数ｂ^１ _ｉ（λ）およびｂ^２ _ｉ（λ）をエンコードすることができる。得られるフーリエ変換はもはや実数ではなく、複素数である。ｍおよびｎがフーリエドメイン内にそれぞれ数式（４）のフィルタを使用した場合と同じ情報を包含するコピーを包含するタイルを特定する場合、スペクトルｂ^１ _ｎ（λ）およびｂ^２ _ｎ（λ）でフィルタリングされる画像はそれぞれ以下の式から復元してもよい。

チャネルのすべてがフーリエ変換画像データの中央タイルのコピーに寄与する。フーリエ変換画像データのこの「ＤＣ」成分を逆フーリエ変換で処理して輝度画像を生成してもよい。輝度画像はセンサ雑音が比較的低い傾向がある。輝度画像は出力画像２６の作成に際して再構成された画像２５と組み合わせて、または併用してもよい。例えば、再構成された画像２５から得られるＲＧＢ画像は、適した行列を乗じて輝度チャネルを有する空間（ＹＵＶ空間など）に変換してもよい。得られる輝度値をさらに輝度画像と組み合わせる、または輝度画像によって置き換えてもよい。望むなら、さらにＲＧＢ空間または別の望むカラー空間への変換戻しを行ってもよい。

記録するチャネル数とチャネルの空間解像度とにはトレードオフの関係があることは認識できる。いくつかの実施形態では、画像解像度とフーリエコピー数との比は非分数である。該実施形態では、空間タイルを構成する画素数はフーリエドメインのディラックピークの数に等しい。これは、ｘおよびｙ方向のｆ_ｘ ^０およびｆ_ｙ ^０で基本周波数を適切に選択することによって達成できる。

本明細書で説明する方法および装置はカラー情報の抽出に限定されるものではない。例えば、適したフィルタを使用して、スペクトル情報、偏光情報、時間情報およびダイナミックレンジ情報のうちのいずれか、またはその組み合わせをエンコードできる。光学フィルタの核は、画像情報の記録がフーリエドメイン内の離れている異なる位置で記録されるように、異なる空間周波数で他の画像情報をエンコードするように設計してもよい。以下の実施例は画像の空間周波数の導関数または勾配を近似化するフィルタを適用する。この情報はさまざまな用途を有する。

ある関数の導関数を畳み込みによって計算することを考えてみる。互いに近接しておよび符号が反対の関数の２つのサンプルを提供することによってこれを行うことができる。これは以下のように表すことができる（フーリエ空間内）。

上記式において、δはディラックデルタ関数であり、

は畳み込みを表す。正弦関数とは、フーリエドメインでディラックデルタ関数に対応する空間ドメイン内の関数である。そのため、第１導関数ｄＦ／ｄωを表すフーリエドメイン内のコピーは、以下の形態

を有する空間光学フィルタを適用し、さらに得られた画像データのフーリエ変換を行うことによって作成できる。実際上、フィルタはεにある小さい値を与えて作成する。数式（１２）で定義するもののようなフィルタの適用の模式的な一次元図を図５に示す。このフィルタは容易に二次元に一般化できる。わずかに異なる周波数を有する２つの正弦波で画像の露出を変調するフィルタを前述のように適用して、信号の二次元フーリエ勾配の復元を可能にしてもよい。

画像取得で生じる１つの問題が飽和である。飽和はハイダイナミックレンジ画像の取得においては特に難点となる可能性がある。これはハイダイナミックレンジ画像がシャドウ領域およびハイライト領域、もしくはその一方で従来の画像では再現が期待できなかったディテールを表示できるため、およびハイダイナミックレンジ画像は高画質が望まれる場合に、望まれるための２つの理由がある。飽和により画像のハイライト領域およびシャドウ領域、もしくはその一方でディテールが欠落することになる。

本発明のある側面は画像の飽和領域を再構成する方法を提供する。図６Ａから図６Ｄに図示するように、飽和は画像により高い空間周波数を人工的に導入するのが通例である。これらより高い周波数は周波数ドメイン全体に分布してもよい。それぞれハイダイナミックレンジ画像からとる単一の走査線から作成された帯域制限信号とそのフーリエ変換を示す図６Ａおよび図６Ｂを、強度レベル０．８でクリッピングした同じ信号とそのフーリエ変換を示す図６Ｃおよび図６Ｄと比較する。図６Ｂでは、図６Ａの信号に存在する空間周波数はすべて帯域３４内にとどまることが分かる。これは図６Ａによって表される信号が帯域制限されているために予想される。対して、図６Ｄは図６Ｃの信号に存在する空間周波数は広いスペクトルにわたって広がっており、実質的に高い周波数成分を含んでいることを示している。

図７は画像の飽和部分を再構成するための実施例の方法５０を図示する。方法５０はモノクロ画像を生成するが、以下説明するようにカラー画像を生成するように一般化できる。ブロック５２で、方法５０はイメージングアレイで帯域制限画像を取得する。ブロック５２は画像に既知の空間変調を適用することを含む。空間変調は入射光放射を２以上の正弦波の和を含むフィルタ関数（例、余弦または正弦）を有するフィルタ、またはより一般的には周期が第１および第２の空間周波数の空間変動を有するフィルタを通すことによって施してもよい。異なる正弦波が異なる振幅を有してもよい。ブロック５２は画像データを生成する。

ブロック５３は、画像データの飽和画素を特定する。
ブロック５４は、ブロック５２で取得された画像データのフーリエ変換を判定する。これにより多数のさまざまにスケールされたコピーを含む変換画像が得られる。飽和が存在しない場合、コピーはフーリエ空間内で互いに離れている。しかし、飽和は高周波数を導入するため、一般的な場合では、これらコピーは減光フィルタ（ｎｅｕｔｒａｌ ｄｅｎｓｉｔｙ ｆｉｌｔｅｒ）の中でもっとも低い透過が飽和しない場合でも損なわれる。

方法５０の次の部分は、ブロック５２で取得した画像データの性質に関して２つの情報をもつことに留意すれば理解できる。一つ目は、変調される前のオリジナル信号は帯域制限されているということである。そのため、捕捉される画像は高い空間周波数を包含することはない。二つ目は、フィルタは減衰係数が変化しながらオリジナル信号をコピーするということである。

画像は信号が画像データで飽和する、Ｌ_ｓａｔで表される領域と、対応する画像データが飽和しない、Ｌ_{ｕｎｓａｔ}で表される領域とに分解してもよい。Ｌ_{ｕｎｓａｔ}はＬに等しいが、飽和したすべての画像部分でゼロを有する。Ｌ_ｓａｔは不飽和画素のすべてにゼロを有し、他の場所では未知の値を有する。フーリエ変換は線形であるため、信号の成分のフーリエ表現には同じ関係、すなわち以下の式が成り立つ。

画像データの飽和部分を再構成する目標は、画像データからＬ_ｓａｔ内の未知の値を判定すること、または少なくとも受け入れられる画像特性になる値を判定することである。

信号の既知の品質を組み入れるフーリエ空間における誤差測度は、以下のように表すことができる。

上記式において、Ｅｒは誤差測度であり、Ｔ_ｉはフーリエドメイン内の信号の単一のコピーを記述するタイルであり、以下の式によって求められる。

ｓ_ｉは信号に適用される変調によって判定されるフーリエドメイン内の個々のタイルの基準倍率であり、η_ｉはセンサ雑音を表す。

数式（１３）から、Ｔ_ｉは以下のように書くことができる（ｓ_ｉを無視する）。

上記式において、Ｆ_ｉは空間ドメインからのフル解像度画像をタイルｉによって広がる周波数空間の部分集合に変換するフーリエ変換である。例えば、オリジナル画像がサイズｍ×ｎで、フーリエ変換した画像の各タイルのサイズがｐ×ｑの場合、Ｆ_ｉはサイズｐｑ×ｍｎの矩形離散フーリエ変換（ＤＦＴ）を適用することによって求めてもよい。

数式（１６）において、Ｆ_ｉ｛Ｌ_{ｕｎｓａｔ}｝の項は捕捉される画像データから容易に計算できる（センサ雑音の影響を無視する）。Ｆ_ｉ｛Ｌ_ｓａｔ｝は未知の値（Ｌ_ｓａｔのゼロではない画素）を含む。これら未知の値がクリッピングされる代わりに画像データに正確に存在した場合、得られる信号は帯域制限されることが分かっている。これは画像データ内のこれらの値を、帯域制限信号の周波数帯域外の高周波数飽和雑音を含めフーリエドメイン内に飽和雑音を生じさせる飽和値（例、イメージングアレイの最大出力の値、または飽和閾値を超える値）で置換することである。

数式（１４）および数式（１６）を組み合わせると、以下のようにＬ_ｓａｔおよびＬ_{ｕｎｓａｔ}に関する誤差の式が得られる。

センサ雑音を考慮したい場合、センサ雑音の形式に関して合理的な仮定を行うことができる。例えば、センサ雑音η_ｉは空間ドメイン内で独立して分布しており、画素あたりの画像輝度でガウス雑音分布を観察すると仮定できる。この仮定を用いると、Ｆ｛η_ｉ｝は各フーリエ係数にガウス特性をもつ均一なパワースペクトルを有する。この雑音モデルはイメージングアレイの雑音レベルより上の値に関して多くの実画像センサに関して妥当である。センサ雑音に関して適切な仮定を行えば（ある場合の適切な仮定とは、センサ雑音がないということもあろう）、フーリエ空間の最適化に関して二次誤差ノルムの適用が容易になる。

数式（１７）は未知数としてクリッピングされたＬ_ｓａｔの画素の値を有する線形方程式の系として表現できる。線形方程式の系を解いて、誤差測度を最小化する傾向がある解または近似解を出すことができる。

単純な実施例として、画像取得中に、画像データのフーリエ変換でより高い周波数帯域にＤＣピークおよび１つのコピーが存在するように光学フィルタを適用する場合を考えてみる。この場合、センサ雑音は無視して、誤差測度を最小化するタスクは以下のような行列方程式で書くことができる。

上記式において、ＲおよびＦは行列である。行列Ｒは一般には最大階数にはならない。これは予想される解の性質に関して適切な仮定を行うことによって処理してもよい。例えば、結合信号Ｌ_ｓａｔ＋Ｌ_{ｕｎｓａｔ}の性質に対して条件を課すことができる。この実施例では、条件は空間的滑らかさの制約、具体的には曲率最小化項を課す。数式（１８）に追加制約を追加すると、以下の式が得られる。

上記式において、Ｔは正則化項、この場合空間曲率作用素であり、λは加重因子である。

誤差測度の最小二乗の記述は、Ｌ_ｓａｔに関して数式（１９）を微分し、勾配をゼロに設定することによって求めてもよい。この最小二乗の記述は以下のように表現してもよい。

上記式において、Ｆ_ｓおよびＴ_ｓはそれぞれフーリエ変換と正則化項の部分的な線形系であり、飽和画像領域に作用し、Ｆ_ｕおよびＴ_ｕは不飽和画像領域に作用するその対応物である。数式（２０）の右側は一定であり、この画像データの不飽和部分の値によって判定される。

Ｌ_ｓａｔの飽和画素の値の集合は数式（２０）を解いて求めてもよい。これは数値的に行われる。例えば、ハンセン，Ｐ．Ｃ．（ＨＡＮＳＥＮ，Ｐ．Ｃ．）、Ｒａｎｋ−Ｄｅｆｉｃｉｅｎｔ ａｎｄ Ｄｉｓｃｒｅｔｅ Ｉｌｌ−Ｐｏｓｅｄ Ｐｒｏｂｌｅｍｓ：Ｎｕｍｅｒｉｃａｌ Ａｓｐｅｃｔｓ ｏｆ Ｌｉｎｅａｒ Ｉｎｖｅｒｓｉｏｎ． Ｓｏｃｉｔｅｔｙ ｆｏｒ Ｉｎｄｕｓｔｒｉａｌ ａｎｄ Ａｐｐｌｉｅｄ Ｍａｔｈｅｍａｔｉｃｓ， Ｐｈｉｌａｄｅｌｐｈｉａ， ＰＡ， ＵＳＡ（１９９８年）に記述される最小二乗アルゴリズムの共役勾配法を適用して、数式（２０）の解を求めてもよい。このアルゴリズムは実際の行列を構成する代わりに、高速画像処理ルーチンにより行列積を実施できるため有利である。他の適した最適化アルゴリズムを適用してもよい。このようなアルゴリズムは数多く知られている。

方法５０は、ブロック５５で、未知の変数が画像データの飽和領域の画素値である最適化問題を構成して、ブロック５６で未知の画素値の最良適合値を求めるために最適化アルゴリズムを適用することによって、前述のアプローチを適用する。ブロック５６で判定された画素値を画像データの飽和領域に挿入することによって、ブロック５７で再構成された画像データが得られる。

いくつかの実施形態は任意で、ブロック５６で最適化アルゴリズムを適用する前に、画像データの飽和領域内の画素値の真値を推定する推定アルゴリズムを適用することを含む。例えば、推定は、画素値が飽和領域の重心でまたはその近傍で極大となり、その極大値から飽和領域の境界の値まで滑らかに変化するという仮定に基づくことができよう。いくつかの実施形態では、最大値は、飽和領域のサイズ（例、重心から飽和領域の境界にもっとも近い点までの距離）および飽和領域の境界近傍の画素値の勾配のうち一または複数に基づいて選択してもよい。飽和領域の尤もらしい画素値に関する推定を行うと（一般に、妥当な見当）、ブロック５６で適用される最適化アルゴリズムの収束率を改善できよう。推定は自動的に生成してもよい。

方法５０の実施態様に多くの変型例が可能である。方法５０の基本原則は以下のとおりである。
・画像の帯域制限された露出を得て、そうする際に、異なる空間周波数で露出を空間的に変調する一または複数のフィルタ関数を適用して、異なる量で露出を減衰する。

・得られる画像データの飽和成分および不飽和成分を特定し、境界画定する。
・得られる画像データのフーリエ変換を計算する。
・不飽和成分の画素値が既知で、最小化すべき誤差測度は画像の露出中に課された異なる空間周波数に対応するフーリエドメインの画像コピー間の差に関わる最適化問題を構成する。

・最適化問題を数値的に解いて、飽和領域の画素値を求める。および、
・飽和領域の画素値を画像データに挿入する。
方法５０で再現された画像データは、オリジナル画像データを取得するために適用されるイメージングアレイのものより大きいダイナミックレンジを表してもよい。

上記実施例は、モノクロ画像の飽和画素を再構成するが、同じアプローチをカラー画像の画素の再構成に適用してもよい。これを行える多様な方法がある。例えば、画像の輝度チャネルに関して方法５０と同様の方法を行ってもよい。別の実施例として、画像内の異なるカラー成分に関して方法５０と同様の方法を個別に行ってもよい。後者の場合、異なるカラー成分は２以上の空間周波数の各々での露出中に、空間周波数の各々の減衰の異なる平均レベルで空間的に変調されてもよい。

方法５０およびその変型は、２以上の空間周波数を有するカラーフィルタで空間変調をかけて、フーリエドメイン内で、該フィルタで取られた画像が画像の２以上のコピーを提示するようにする場合にも実施してもよい。一般的に使用されるベイヤーフィルタなどのタイル状のフィルタアレイはこの特性を有する。そのため、代替実施形態では、帯域制限画像データはベイヤーカラーフィルタを含むイメージングアレイを使って取得する。得られる画像データのフーリエ変換を判定する。画像データ内の飽和画素を特定する。飽和画素の未知の値に関わる最適化を、フーリエドメインからのコピーのうち２以上を使用して構成する。最適化は適した制約を前提に解いて、飽和画素の値を出す。

有利なことに、いくつかの実施形態では、飽和領域の再構成用の画像のすべての成分およびすべてのデータ、もしくはその一方は１つの露出で得てもよい。多数の露出は必要ない。

本発明は多様な方法で実施してもよいことは認識できる。本明細書で説明するように、画像データを取得した後、画像のさまざまな成分を抽出するための処理、または画像の飽和領域を再構成するための処理などの他の処理をさまざまな方法で行ってもよい。例えば、いくつかの実施形態では、カメラまたは他の画像取得デバイスは、捕捉した画像を処理して本明細書で説明する画像成分を抽出するおよび画像成分を抽出して画像成分にさらに別の処理を行う、もしくはその一方のための論理を組み込んでいる。他の実施形態では、捕捉した画像を画像取得デバイスから別のプロセッサ（これはパーソナルコンピュータ、コンピュータシステム、または同様な他のものにすることができよう）に転送して、画像データがダウンロードされるデバイス上で画像データの一部またはすべての処理を行ってもよい。本明細書に説明する処理は、画像がカメラまたは他のイメージングデバイスからプロセッサに転送されたときにプロセッサで自動で行ってもよい。

図８はある例示的な実施形態によるカメラシステム６０を図示する。カメラシステム６０は、イメージングアレイ６４によって光を結像できる画像面６３に光の焦点を合わせる光学システム６２を有するカメラ６１を備える。ぼかしフィルタ６６および異なる画像成分に空間変調を適用するフィルタ６５がイメージングアレイ６４に設けられている。

制御システム６８はイメージングアレイ６４を操作してあるシーンの露出を得て、得られた画像データをデータストア６７に保管する。この例示的な実施形態では、カメラ６１は、カメラ６１が取得した画像データに処理を行うホスト処理システム７０に接続されている（または接続可能である）。いくつかの実施形態ではこれは必須ではなく、単一デバイスがカメラ６１およびホスト処理システム７０の機能を提供し、またはカメラ６１およびホスト処理システム７０との間で機能を何か代わりの方法で割り当てる。

ホスト処理システム７０は、カメラ６１から検索される画像データのフーリエ変換を計算するフーリエ変換機能７２を備える。データ抽出コンポーネント７４は異なる画像成分のフーリエ変換を抽出して、抽出されたフーリエ変換を逆フーリエ変換成分７６に提供するように構成されている。

画像エンコーディングシステム７８は逆フーリエ変換成分７６から画像成分を受信して、画像成分から所望のフォーマットで画像データを生成し、得られた画像データをデータストア７９に保管する。図示する実施形態では、ホスト処理システム７０はディスプレイ８０とプリンタ８１とを備える。ディスプレイドライバ８２はデータストア７９の画像データに対応する画像をディスプレイ８０に表示するように構成されている。プリンタドライバ８３はデータストア７９の画像データに対応する画像をプリンタ８１に印刷するように構成されている。

図示する実施形態では、最適化システム８５はデータ抽出コンポーネント７４から画像成分を受信して、飽和画像領域に画像データの値を生成する。これらの値はそれを画像データに組み込む画像エンコーディングシステム７８に提供される。

いくつかの実施形態では、ホスト処理システム７０は汎用コンピュータシステムを備えており、ホスト処理システム７０のコンポーネントはそのコンピュータシステムの一または複数のプロセッサ上で実行するソフトウェアによって提供される。他の実施形態では、ホスト処理システム７０の少なくともいくつかの機能ブロックは、ハードワイヤード論理回路または構成可能な論理回路によって提供される。他の実施形態では、ホスト処理システム７０の少なくともいくつかの機能ブロックは、デジタル信号プロセッサまたはグラフィックスプロセッサなどの特殊目的プログラム式データプロセッサによって提供される。

本発明の実施にあたり多数の変型が可能である。光学フィルタはイメージングアレイに直接印刷してもよく、またはイメージングアレイに適用される一または複数の別のレイヤに設けてもよい。

いくつかの実施形態では、光学フィルタはイメージングアレイへの光路に空間光変調器として設けられている。該実施形態では、入射する光放射を変調する空間周波数は露出中に変更してもよい。例えば、空間光変調器は露出の第１部分中に入射光を第１空間周波数または空間周波数の第１セットで変調し、露出の第２部分中に入射する光放射を第２空間周波数または空間周波数の第２セットで変調するように設定してもよい。露出の第１および第２の部分は任意で長さが異なる。該実施形態では、フーリエドメイン内の異なるコピーは時間情報を提供し、飽和画素値または同様な他のものを再構成しながら、ハイダイナミックレンジの再構成に使用してもよい画像の別々に露出されたコピーを提供してもよい。

いくつかの実施形態では、空間フィルタの光変調はイメージングアレイの画素グリッドに対して回転される。その結果、異なるスペクトルコピーはわずかに異なるサブ画素配列を有する。これは帯域制限に使用される光学ローパスフィルタに対応する小さいフィルタ核で逆畳み込みを行うことによって、オリジナル画像の解像度を復元するために使用できる。

フィルタが画素アレイに対して回転される実施形態では、フーリエ空間内のフィルタ自体の画像を補償するのが望ましいことがある。これは、例えば、均一に照射される白いスクリーンの校正画像をフィルタに通すことによって行うことができる。フーリエドメインのフィルタのタイルの点広がり関数は得られる画像をフーリエ変換して求めてもよい。フィルタとイメージングアレイの画素との位置ずれから生じるフーリエドメイン内のアーチファクトは、校正画像を使って実質的に除去してもよい。

光学的な事前変調を提供する光学フィルタの代替例として、一定の種類のフィルタをイメージングアレイの画素の異なるセットの感度を選択的に制御することによって実施してもよい。これは、例えば、異なるセットの画素の露出時間を異なるように設定することによって、または画素全体の光感度を変えるために異なるサイズの画素を使用することによって行ってもよい。いずれの場合も、画素の感度は、画像のある画像成分に所望の変調をかける空間周波数を有するパターンを変化させてもよい。

いくつかの実施形態では、画像の飽和領域の輝度を再現するための情報を捕捉する個別のセンサを提供するカメラが設けられている。個別のセンサは前述の方法のいずれかを適用してもよい。個別のセンサは、グレアがハイダイナミックレンジのコンテンツの空間解像度の効果を制限する傾向があるため、比較的低い解像度を有していてもよい（ただし、これは必須ではない）。

本発明のある実施態様は、本明細書に説明する変調された露出から画像データを処理するためにプロセッサに本発明による方法を行わせるソフトウェア命令を実行するコンピュータプロセッサを備える。例えば、カメラおよびカメラからの画像が転送される画像処理システム内の一または複数のプロセッサ、もしくはそのいずれかは、プロセッサにアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、本明細書に説明する方法を実施してもよい。本発明はプログラム製品の形態で提供してもよい。プログラム製品は、データプロセッサによって実行されると、データプロセッサに本発明の方法を実行させるコンピュータ読取可能命令のセットを記憶するあらゆる媒体を備えてもよい。本発明によるプログラム製品は多様な形態のいずれであってもよい。プログラム製品は、例えば、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体または同様な他のものなどの物理的媒体を備えてもよい。プログラム製品上のコンピュータ読取可能命令は、任意で圧縮または暗号化してもよい。

コンポーネント（例、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路等）が上記で参照される場合、別段の指摘がない限り、そのコンポーネントへの参照（「手段」への参照を含む）は、そのコンポーネントの同等物として、図示する本発明の例示的な実施形態で機能を行う、開示する構造に構造的に同等でないコンポーネントを含め、説明されるコンポーネントの機能を行う（つまり、機能的に同等である）あらゆるコンポーネントを含むと解釈するべきである。

上記開示に鑑みて当業者には明らかになるように、本発明の実施にあたりその精神または範囲を逸脱することなく多くの改変または変更が可能である。例えば、
・多数の異なる実施形態が本明細書で例示されているが、異なる実施形態の特徴を別の組み合わせで組み合わせて、さらに別の実施形態にしてもよい。

したがって、本発明の範囲は以下の請求項によって定義される本質に従い解釈するべきである。

Claims (15)

1. 画像データを取得する方法であって、
   イメージングアレイを光放射に露出し、前記イメージングアレイを操作することによって画像データを取得することであって、前記光放射の複数の成分のそれぞれに対するイメージングアレイの応答を、可逆的変換のための対応する基底関数に従って空間的に変調することを含む、前記画像データを取得すること、
   前記画像データに前記変換を適用して変換後の画像データを生成することであって、前記変換後の画像データは、前記複数の成分にそれぞれ対応する複数の空間的に分離している画像コピーを含む、前記生成すること、
   前記変換後の画像データから、前記複数の空間的に分離している画像コピーを抽出すること、
   複数の抽出された画像コピーの各々に前記変換の逆元を適用すること
   を含む方法。
2. 前記画像データを取得することは、前記イメージングアレイの画素と相互作用する前に、前記光放射に光学フィルタを通過させることを含む、請求項１に記載の方法。
3. 前記光学フィルタは、少なくとも第１および第２の空間周波数を有する空間変動を有する、請求項２に記載の方法。
4. 前記光学フィルタは、前記イメージングアレイの画素のピッチの倍数で繰り返すタイルを含む、請求項３に記載の方法。
5. 前記光学フィルタは、４５％を超える透過率を有する、請求項２に記載の方法。
6. 前記複数の成分に対応する前記基底関数は互いに直交する、請求項１に記載の方法。
7. 前記成分は原色を含む、請求項６に記載の方法。
8. 前記成分は、赤色成分と青色成分と緑色成分とを含み、前記画像データを取得することは、前記赤色成分、青色成分および緑色成分の各々を異なる空間周波数で変調することを含む、請求項６に記載の方法。
9. 前記画像データを取得することは、前記光放射に前記イメージングアレイを相互作用させる前に、前記光放射の空間周波数を帯域制限することを含む、請求項１に記載の方法。
10. 空間変調の方向は、前記イメージングアレイの行または列と一致しない、請求項１に記載の方法。
11. 前記変調は空間的に周期的であり、前記成分の各々に関して異なる空間周波数を有する、請求項１に記載の方法。
12. 前記基底関数は正弦波を含む、請求項１に記載の方法。
13. 前記画像データを取得することは、第１空間周波数を有する第１正弦波に従って前記光放射の複数の成分のうちの第１の成分に対する前記イメージングアレイの応答を空間的に変調すること、前記第１空間周波数を有しており、前記第１正弦波との位相差が１／４波である第２正弦波に従って前記光放射の複数の成分のうちの第２の成分に対する前記イメージングアレイの応答を空間的に変調することを含む、請求項１１に記載の方法。
14. 各々が前記第１空間周波数に対応する一対の空間的に分離しているコピーを抽出すること、前記一対の空間的に分離しているコピーの和の実数部および前記一対の空間的に分離しているコピーの差の虚数部を計算すること、前記実数部および前記虚数部に前記変換の逆元を適用することを含む、請求項１３に記載の方法。
15. 前記成分は偏光状態を含む、請求項１に記載の方法。