JP6887223B2 - プレンオプティック・フォービエイテッド・カメラ - Google Patents

Description

本開示の分野は、ライトフィールドイメージングに関係がある。特に、本開示は、カラーのライトフィールドイメージを記録するための技術に関連する。

より具体的には、本開示は、プレンオプティックカメラのセンサに取り付けられることを対象としたカラーフィルタアレイ（ＣＦＡ；Color Filter Array）に関係がある。

本項目は、以下で記載及び／又は請求される本開示の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本開示の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。

従来のイメージキャプチャデバイスは、３次元の場面を２次元のセンサの上にレンダリングする。動作中、従来のキャプチャデバイスは、デバイス内のセンサ（又は光検出器）の上の各点に届く光の量を表す２次元（２Ｄ）イメージを捕捉する。しかし、この２Ｄイメージは、センサに届く光線の方向分布に関する情報（ライトフィールドと呼ばれ得る。）を含まない。例えば、奥行きは、捕捉の間に失われる。よって、従来のキャプチャデバイスは、場面からの光分布に関する情報の大部分を保持しない。

ライトフィールドキャプチャデバイス（“ライトフィールドデータ収集デバイス”とも呼ばれる。）は、場面の異なる視点からの光を捕捉することによって、その場面の４次元（４Ｄ）ライトフィールドを計測するよう設計されてきた。よって、センサを横断する光の各ビームに沿って移動する光の量を計測することで、そのようなデバイスは、後処理によって新しいイメージングアプリケーションを提供するために、追加の光情報（光線の束の方向分布に関する情報）を捕捉することができる。ライトフィールドキャプチャデバイスによって収集／入手された情報は、ライトフィールドデータと呼ばれる。ライトフィールドキャプチャデバイスは、ライトフィールドデータを捕捉することができる如何なるデバイスとしてもここで定義される。

ライトフィールドデータの処理は、特に、しかし制限なしに、場面のリフォーカシングされたイメージを生成すること、場面の夫々のビューを生成すること、場面の深度マップを生成すること、拡張焦点深度（ＥＤＯＦ；extended depth of field）イメージを生成すること、立体イメージを生成すること、及び／又はそれらのあらゆる組み合わせを含む。

ライトフィールドキャプチャデバイスの幾つかの既存のグループの中でも、“プレンオプティックデバイス”又は“プレンオプティックカメラ（plenoptic camera）”は、センサの前で、メインレンズのイメージ焦点フィールドに位置するマイクロレンズアレイを備える。センサ上には、マイクロレンズごとに１つのマイクロイメージが投影される。以下の記載において、１つ（又は複数）のマイクロイメージが投影されることを対象とするセンサのエリアは、“マイクロイメージエリア”又は“センサマイクロイメージ”又は“センサのマイクロイメージ”又は“露光区間”又は“投影の区間”と呼ばれる。結果として得られる場面のロー（raw）イメージは、１つのセンサマイクロイメージ及び／又は他に属するセンサの全ピクセルの和である。その場合に、ライトフィールドの角度情報は、マイクロイメージエリアにおけるピクセルの、それらの中心に対する相対位置によって与えられる。このローイメージに基づき、特定の視点からの捕捉された場面のイメージの抽出（“デマルチプレキング”とも呼ばれる。）は、実行され得る。デマルチプレキングプロセスは、２Ｄのローイメージから４Ｄのライトフィールドへのデータ変換と見なされ得る。結果として起こるデマルチプレキングされたライトフィールドデータは、全てのビューが水平及び垂直に整列されているビューのマトリクスによって表され得る。

色検出に関して、大部分のセンサのピクセルは、それらを通過する可視光子の量のみを、それらの色にかかわらず記録する。カラーの４Ｄライトフィールドデータを得るために、センサの上にカラーフィルタアレイ（ＣＦＡ）を実装することが、背景技術から知られている。例えば、２×２のピクセルを覆い、２×２マトリクス内でＲＧＧＢの順序で置かれた３つの異なった色Ｒｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）、Ｂｌｕｅ（Ｂ）を有するベイヤー（Bayer）フィルタは、ＣＦＡとして広く使用されている。しかし、当業者であれば、以下の記載で使用される表現“カラーフィルタアレイ”は、ベイヤーフィルタだけでなく、当該技術の代替のＣＦＡの全てを指すことが理解されるであろう。

この技術の主たる欠点の１つは、光子の少なくとも半分がＣＦＡによってブロックされるので、センサの光感度を低下させることである。加えて、色収差がセンサマイクロイメージの端で起こり、従って、レンダリングされるイメージの品質に影響を及ぼし得る。それらの問題を解決しようとして、米国特許出願公開第２０１４／０１４６２０１（Ａ１）号明細書（特許文献１）には、センサマイクロイメージの一部分のみを覆うＣＦＡが開示されている。しかし、それは、センサの光感度を改善するには不十分である。

従って、背景技術に対する改善を示すセンサを提供することが望ましい。

特に、満足な色感度を保ち且つ色収差の出現のリスクを制限しながら、より良い光感度を特色とする斯様なセンサを提供することが望ましい。

米国特許出願公開第２０１４／０１４６２０１（Ａ１）号明細書

「一実施形態」、「実施形態」、「例となる実施形態」との明細書での言及は、記載されている実施形態が特定の機構、構造、又は特性を有してよいが、あらゆる実施形態が必ずしもその特定の機構、構造又は特性を有さなくてよいことを示す。更には、そのようなフレーズは、必ずしも同じ実施形態に言及しているわけではない。更には、特定の機構、構造、又は特性が実施形態に関連して記載される場合に、明示的に記載されていようとなかろうと、他の実施形態に関連してそのような機構、構造、又は特性に作用することは、当業者の知識範囲内にあることが提示される。

当該技術の１つの特定の実施形態において、プレンオプティックカメラに取り付けられることを対象としたセンサが開示される。センサは、マイクロレンズアレイによって屈折されたマイクロイメージを検知することを対象とした少なくとも１つのマイクロイメージエリアを有する。マイクロイメージエリアは、カラーフィルタアレイによって少なくとも部分的に覆われている。カラーフィルタアレイの色飽和は、マイクロイメージエリアの重心から遠ざかる場合に低下する。

以下の記載において、表現“部分的に覆われる”は、センサマイクロイメージ（マイクロイメージエリア）と比較されるＣＦＡのポジションを指す。一実施形態において、そのようなＣＦＡは、センサマイクロイメージの全体を覆う。他の実施形態において、ＣＦＡは、センサマイクロイメージの一部分のみを覆う。その部分は、マイクロイメージエリアの重心を含み、あるいは、含まない。考えられるべきＣＦＡの点とセンサマイクロイメージの重心との間の距離に基づき、この点の色飽和は、この距離が大きくなる場合に低下する。

ＣＦＡの色飽和の低下は、センサマイクロイメージの境界へ近づく場合に、背景技術のＣＦＡよりも多く光子を捕捉することを可能にする。従って、そのようなセンサは、改善された光感度を特徴とする。加えて、重心にあるピクセルは、メインレンズの瞳境界を通る光子と比較して収差が小さい光子によって照射されるので、そのようなセンサは更に、その色感度を飽和レベルに保ちながら、色収差の出現のリスクを制限することを可能にする。

一実施形態において、カラーフィルタアレイの重心は、マイクロイメージエリアの重心に対応する。

色収差現象に起因して、センサマイクロイメージの重心にあるピクセルは、センサマイクロイメージの境界に位置するピクセルよりも鮮明なディテール及び色をもたらす。よって、等しい値を持つＣＦＡ表面に関し、センサマイクロイメージの重心においてＣＦＡを位置付けることは、レンダリングされるマイクロレンズイメージの品質を改善することを可能にする。

実施形態に従って、カラーフィルタアレイの色飽和は、マイクロイメージエリアの重心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）から該マイクロイメージエリアの境界へ向かって低下する。

一実施形態において、カラーフィルタアレイの色飽和は、マイクロイメージエリアの重心での１からマイクロイメージエリアの境界での０まで変化する。

一実施形態において、ＣＦＡはベイヤーフィルタであり、色成分は、次の数１のように、ＨＳＶ色空間において与えられる：

このとき、（ｘ，ｙ）は、マイクロレンズ（ｉ，ｊ）の下にあるピクセルの座標であり、（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）は、マイクロイメージエリアの重心の座標であり、ｐは、２つの隣接したマイクロイメージエリアの夫々の重心の間の距離である。

マイクロイメージエリアの重心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）から境界への飽和のそのような滑らかな変化は、リフォーカシングされたイメージの色飽和における階段効果を防ぐ。

一実施形態において、マイクロイメージエリアは、カラーフィルタアレイによって部分的にのみ覆われる。

この特定のＣＦＡレイアウトに従って、光子の総数と比較される記録された光子の数に対応する比は、ＣＦＡによって覆われるピクセルが少ないほど高くなる。よって、センサは、センサマイクロイメージの全体を覆うＣＦＡと比較して光に敏感である。

一実施形態において、カラーフィルタアレイは、マイクロイメージエリアの重心にある４×４のピクセルエリアのみを覆う。

この特定のレイアウトに従って、夫々のマイクロレンズイメージは５０．２６個のピクセルを覆い、１６個のピクセルのみがより少ない光を受ける。センサマイクロイメージは、１６個のピクセルからは個数を減らされた光子を、そして、残りのピクセルからは全ての可視的な光子を収集する。従って、そのようなセンサは、８４％よりも多い光子を捕捉した。これは、先行技術のＣＦＡと比較して相当な改善である。実例として、全てのピクセルを覆う一般的なベイヤーパターンに関し、この比は約５０％になる。

当該技術の１つの特定の実施形態において、カラーフィルタアレイによって部分的に覆われているマイクロイメージエリアの少なくとも１つのリフォーカシングされたイメージの色成分Ｒ_ｘを決定する方法が開示される。そのような方法は、
前記カラーフィルタアレイによって覆われている前記マイクロイメージエリアのピクセルのリフォーカシングされたイメージＲ_ａ，ｂを決定するステップであり、前記カラーフィルタアレイの色飽和は、前記マイクロイメージエリアの重心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）から遠ざかる場合に低下する、ステップと、
前記カラーフィルタアレイによって覆われていない前記マイクロイメージエリアのピクセルのリフォーカシングされたイメージＲ_Ｔを決定するステップと、
前記リフォーカシングされたイメージＲ_ａ，ｂと前記リフォーカシングされたイメージＲ_Ｔとを結合することで前記色成分Ｒ_ｘを決定するステップと
を有し、
前記色成分Ｒ_ｘを決定するステップは、前記リフォーカシングされたイメージＲ_Ｔに対して重みを導入する。

そのような重みの導入は、メインレンズの光収差によってほとんど影響を受けない光子を、より大きい光収差を受ける光子と区別するという利点を有する。当業者であれば、表現“色成分”が、実装されるＣＦＡの如何なる色成分もさすことを理解するであろう。例えば、ベイヤーフィルタによって覆われているセンサを考えたとき、決定される色成分は赤色、緑色又は青色成分であることができる。

当該技術の１つの特定の実施形態において、本開示は、通信ネットワークからダウンロード可能であり、且つ／あるいは、コンピュータによって読み出し可能な及び／又はプロセッサによって実行可能な媒体において記録されているコンピュータプログラム製品に関連する。そのようなコンピュータプログラム製品は、方法を実施するプログラムコード命令を有する。

当該技術の１つの特定の実施形態において、本開示は、プロセッサによって実行されることが可能であり、方法を実施するプログラムコード命令を含むコンピュータプログラム製品が記録されている非一時的なコンピュータ読み出し可能なキャリア媒体に関連する。

明示的には記載されていないが、本実施形態は、如何なる組み合わせ又は部分組み合わせにおいても用いられてよい。

本開示は、保護の適用範囲を制限することなしに一例として与えられている以下の記載及び図面を参照して、より良く理解され得る。
一般的なベイヤーフィルタを表す概略図である。 ＨＳＶ色空間を表す概略図である。 様々なカラーフィルタのピクセル応答を表すダイアグラムである。 プレンオプティックカメラを表す概略図である。 プレンオプティックカメラのセンサによって記録されるライトフィールドデータを表す概略図である。 Ｗ＞Ｐを有するプレンオプティックカメラを表す概略図である。 Ｗ＜Ｐを有するプレンオプティックカメラを表す概略図である。 色収差現象の概略図である。 プレンオプティックカメラを表す概略図である。 様々な光線波長について、プレンオプティックカメラのセンサによって記録されるライトフィールドデータを表す概略図である。 プレンオプティックカメラの、ベイヤーフィルタによって覆われているセンサによって記録されるライトフィールドデータを表す概略図である。 本開示の一実施形態に従って、プレンオプティックカメラのセンサによって記録されるライトフィールドデータを表す概略図である。 ＣＦＡによって部分的に覆われているセンサによって記録されるライトフィールドデータを表す概略図である。 本開示の一実施形態に従う方法を実行する場合に実施される一連のステップのフローチャートである。 本開示の一実施形態に従って、リフォーカシングされたイメージの色成分を決定する装置を表す略ブロック図である。 図中のコンポーネントは必ずしも実寸通りではなく、代わりに、本開示の原理を説明するために強調されている。

本開示の特定の実施形態の一般概念及び具体的な詳細は、そのような実施形態の完全な理解を提供するよう、以下の記載において、及び図１乃至１３において、示されている。なお、当業者であれば、本開示は、更なる実施形態を有してよく、あるいは、以下の記載において記載されている詳細の幾つかによらずとも実施されてよいことが理解されるであろう。

［１ 一般概念］
［１．１ カラーフィルタアレイ］
カラーイメージは、通常は、ピクセルごとに３つの色成分を用いて形成される。一般的な成分は、目の色感度に若干対応する赤（Red）、緑（Green）及び青（Blue）である。あいにく、センサの大部分は、光子波長と無関係に、ピクセルに入る可視光子を記録する。グレーレベルセンサをカラー対応のセンサにするよう、カラーフィルタアレイ（ＣＦＡ）が一般的にセンサに取り付けられる。最も一般的なＣＦＡは、２×２のピクセルから成り、図１で表されるようにセンサにわたって複製されるいわゆるベイヤーパターン（フィルタ）である。

ＣＦＡを用いて記録されたイメージは、ピクセルごとに１つの色しか記録されないので、不完全である。所与のピクセルの２つの他の色の計算は、ベイヤーパターンの場合に、“Adaptive color plan interpolation in single sensor color electronic camera”と題された米国特許第５５０６６１９（Ａ）号明細書において記載されるように、いわゆるデモザイキングアルゴリズムに従い周囲の色を用いて補間により行われる。そのようなアルゴリズムは、イメージ品質に影響を与え、重い計算負荷を必要とし得る。

［１．２ ＲＧＢ及びＨＳＶ色空間に関する考え］
ＲＧＢ（Red-Green-Blue）は、３つの色成分によりピクセルの色を特性化するために使用される色空間である。それら３つの値は、例えば、色相−彩度−明度（ＨＳＶ；Hue Saturation Value）色空間のような、他の色空間に変換され得る。ＨＳＶ空間は、図２に表されているように、純粋色（最大値に設定された所与の色相、彩度及び明度）から白（同じ色相、０に設定された彩度、及び最大値に設定された明度）までの色こう配を定義することを可能にする。

ＲＧＢ色空間からＨＳＶ空間への変換は、次の式（数２）によって実行される：

ＨＳＶ色空間からＲＧＢ色空間への変換は、次の数３によって実行される：

このとき、｛Ｈ｝はＨ′の小数部分を表す。トリプレット（Ｐ，Ｖ，Ｑ）から、Ｈ′よりも小さい最大整数
（外１）

に応じて、値（Ｒ，Ｇ，Ｂ）が定義される。Ｉ＝０の場合に（Ｒ，Ｇ，Ｂ）＝（Ｖ，Ｔ，Ｐ）、Ｉ＝１の場合に（Ｒ，Ｇ，Ｂ）＝（Ｑ，Ｖ，Ｐ）、Ｉ＝２の場合に（Ｒ，Ｇ，Ｂ）＝（Ｐ，Ｖ，Ｔ）、Ｉ＝３の場合に（Ｒ，Ｇ，Ｂ）＝（Ｐ，Ｑ，Ｖ）、Ｉ＝４の場合に（Ｒ，Ｇ，Ｂ）＝（Ｔ，Ｐ，Ｖ）、Ｉ＝５の場合に（Ｒ，Ｇ，Ｂ）＝（Ｖ，Ｐ，Ｑ）。

上記の式は、３つの色成分が０から１の間の実数であると仮定する。見返りとして、成分Ｓ及びＶは０から１の間の実数であり、Ｈは０から３６０度の間の実数である。

ここで先に指摘されたように、ＣＦＡの重要な欠点は、一部の光子がカラーフィルタによってブロックされ、結果として、センサの感度が下げられることである。例えば、ベイヤーパターンによれば、光子の少なくとも半分はフィルタにおいて失われる。図３は、Ｋｏｄａｋのセンサの様々なカラーフィルタについて、ピクセルに入る光子の総数に対してどの程度の光子が収集されるのかを表す。センサの効率は、カラーフィルタによって大いに影響を及ぼされる。

［１．３ プレンオプティックカメラの説明］
図４は、メインレンズ２、マイクロレンズ３、及びセンサ４を有する概要のプレンオプティックカメラ１を表す。メインレンズ２は、そのオブジェクトフィールドにおいて捕捉される場面からの光を受け、光をマイクロレンズアレイ３を通してレンダリングする。マイクロレンズアレイ３は、メインレンズのイメージフィールドに位置する。一実施形態において、このマイクロレンズアレイ３は、２次元（２Ｄ）アレイにおいて配置されている複数の円形のマイクロレンズを含む。他の実施形態において、そのようなマイクロレンズは、本開示の適用範囲から逸脱することなしに、種々の形状、例えば、楕円形状を有する。夫々のマイクロレンズは、対応するマイクロイメージの光をセンサ４上の専用のエリア、すなわち、センサマイクロイメージ５に向けるレンズ特性を有する。

一実施形態において、夫々のレンズの周囲でマイクロレンズアレイ３とセンサ４との間には何らかのスペーサが置かれ、１つのレンズからの光がセンサ側で他のレンズの光と重なり合うことを防ぐ。

［１．４ ４Ｄライトフィールドデータ］
センサ４で捕捉されるイメージは、２Ｄイメージ内で配置される２Ｄの小イメージの集合から成る。夫々の小イメージは、マイクロレンズアレイ３の中のマイクロレンズ（ｉ，ｊ）によって生成される。図５は、センサ４によって記録されるイメージの例を表す。夫々のマイクロレンズ（ｉ，ｊ）は、円によって表されているマイクロイメージを生成する（小イメージの形状は、通常円形であるマイクロレンズの形状に依存する。）。ピクセル座標は（ｘ，ｙ）と標示されている。ｐは２つの連続したマイクロイメージ５の間の距離である。マイクロレンズ（ｉ，ｊ）は、ｐがピクセルサイズδよりも大きいように選択される。マイクロレンズイメージエリア５は、それらの座標（ｉ，ｊ）によって参照される。幾つかのピクセル（ｘ，ｙ）は、如何なるマイクロレンズ（ｉ，ｊ）からの如何なる光も受けないことがある。そのようなピクセル（Ｘ）は捨てられる。実際に、マイクロレンズ間の空間は、光子がマイクロレンズから外へ出ることを防ぐようマスクされる（マイクロレンズが四角形状を有する場合には、マスキングは不要である。）。マイクロレンズイメージ（ｉ，ｊ）の中心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）は、座標（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）でセンサ４において位置する。θは、ピクセルの正方格子とマイクロレンズの正方格子との間の角度である。（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）は、マイクロレンズイメージ（０，０）のピクセル座標を（ｚｘ_０，０，ｙ_０，０）として、次の式１（数４）によって計算され得る：

この式は、マイクロレンズアレイ３が正方格子に従って配置されると仮定する。なお、本開示は、この格子に制限されず、六方格子又は不規則格子に等しく当てはまる。

図５は、場面からのオブジェクトが幾つかの隣接したマイクロレンズイメージ（黒点）において可視的であることを更に表す。オブジェクトの２つの連続したビューの間の距離はｗであり、この距離は語“視差（disparity）”とも呼ばれる。

［１．５ ライトフィールドカメラの光学的性質］
先のサブセクション１．４において導入された距離ｐ及びｗは、ピクセル単位で与えられる。それらは、ピクセルサイズδを乗じることによって、夫々物理的な単位距離Ｐ及びＷ（メートル）に変換される：

Ｗ＝δｗ 及び Ｐ＝δｐ

それらの距離は、ライトフィールドカメラの特性に依存する。

図６及び図７は、完ぺきな薄型レンズモデルを仮定して、概略のライトフィールドを表す。メインレンズは焦点長さＦ及び開口Φを有する。マイクロレンズアレイは、焦点長さｆを有するマイクロレンズを有する。マイクロレンズアレイのピッチはφである。マイクロレンズアレイは、メインレンズからの距離Ｄ、及びセンサからの距離ｄに位置する。オブジェクト（図中見えない。）は、メインレンズ（左）からの距離ｚに位置する。このオブジェクトは、メインレンズ（右）からの距離ｚ′でメインレンズによってフォーカシングされる。図６及び図７は、夫々、Ｄ＞ｚ′及びＤ＜ｚ′の場合を表す。いずれの場合にも、マイクロレンズイメージは、ｄ及びｆに応じて焦点が合うことができる。

視差Ｗは、オブジェクトの距離ｚによって異なる。

［１．６ イメージのリフォーカシング］
ライトフィールドカメラの主たる特性は、リフォーカシング距離が自由に調整可能である場合に２Ｄのリフォーカシングされたイメージを計算する可能性である。４Ｄライトフィールドデータは、マイクロレンズイメージを単にシフトし且つズームし、次いでそれらを２Ｄイメージへと加算することによって、２Ｄイメージ内に投影される。シフトの量は、リフォーカシング距離を制御する。リフォーカシングされた２Ｄイメージ座標（Ｘ，Ｙ）への４Ｄライトフィールドピクセル（ｘ，ｙ，ｉ，ｊ）の投影は、次の式２（数５）によって定義される：

このとき、ｓは、２Ｄのリフォーカシングされたイメージのサイズを制御し、ｇは、リフォーカシングされたイメージの焦点調整距離を制御する。

［１．７ 色収差問題］
図８によって表されるように、色収差問題はレンズの不完全さに由来する。これは、同じイメージ平面における点源の全ての色の焦点を合わせることを妨げる。

図９及び図１０によって表されるようにプレンオプティックカメラシステムにおける色収差の影響を検討するとき、波長に依存した収束平面の変動が、同じく波長に依存した視差Ｗの変動に変わることが観測され得る。

このことに関して、当業者であれば、メインレンズ２の境界で入る光子が、瞳の中央で入る光子よりもずっと大きく色収差によって影響を及ぼされることに気付く。このとき、メインレンズ瞳の中央及び境界を通る光子は、センサマイクロイメージ５の中心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）及び境界で夫々収集される光子である。よって、センサマイクロイメージ５の境界で収集される光子は、その中心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）の近くで収集される光子よりもずっと大きく色収差によって影響を及ぼされる。

すなわち、夫々のマイクロレンズイメージのイメージ品質は、中心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）から境界まで変化する。センサマイクロイメージ５の中心にあるピクセルは、センサマイクロイメージ５の境界に位置するピクセルよりも鮮明なディテール及び色をもたらす。

［１．８ プレンオプティックカメラに取り付けられるＣＦＡ］
カラー４Ｄライトフィールドを記録するよう、ＣＦＡはセンサに置かれる。センサは４Ｄライトフィールドを記録する。例えば、ＣＦＡは、（ａ，ｂ）∈［０，Ｍ］^２として、座標（ａ，ｂ）のＭ×Ｍのピクセルから成るとする。４Ｄライトフィールドに色パラメータを加えたものは、５Ｄライトフィールド（ｘ，ｙ，ｉ，ｊ，ｃ_ａ，ｂ）になる。このとき、ｃ_ａ，ｂは、ＣＦＡ座標（ａ，ｂ）の色である。図１１は、４Ｄライトフィールドを記録するセンサの上にセットされたベイヤーパターン（Ｍ＝２）を表す。

５Ｄライトフィールドのリフォーカシングは、式２により実行されるが、ＣＦＡの夫々の色ｃ_ａ，ｂとは無関係に適用される。このようにして、Ｍ^２個のリフォーカシングされたイメージＲ_ａ，ｂが得られた。それらのイメージは、次いで、リフォーカシングされたＲＧＢイメージの３つの色成分Ｒ_ｒｅｄ、Ｒ_{ｇｒｅｅｎ}及びＲ_ｂｌｕｅを計算するよう結合される。

例えば、ベイヤーパターンの場合に、Ｍ＝２、ｃ_０，_０ ＝赤（Red）、ｃ_１，_１＝青（blue）、ｃ _０ ， _１ ＝ｃ_１，_０＝緑（Green）。リフォーカシングされたＲＧＢイメージの３つの色成分は、Ｒ_ｒｅｄ＝Ｒ_０，_０、Ｒ_{ｇｒｅｅｎ} ＝（Ｒ_０，_１＋Ｒ_１，_０）／２及びＲ_ｂｌｕｅ＝Ｒ_１，_１に等しい。

［２ 本開示の第１実施形態の説明］
図１２は、本開示の一実施形態に従うセンサ４を表す。このセンサ４は、プレンオプティックカメラ１に取り付けられ得、複数のマイクロイメージエリア５を有する。マイクロイメージエリア５の夫々は、ＣＦＡ６によって覆われている。

センサ４は、ＣＭＯＳ（相補型金属酸化膜半導体；Complementary Metal Oxide Semiconductor）技術を用いたＣＣＤ（電荷結合デバイス；Charge-Coupled Device）タイプである。なお、当業者であれば、そのようなセンサ４は、ニューロモーフィック・スパイク（neuromorphic spike）に基づくセンサ（例えば、人工網膜）、あるいは、背景技術から知られている何らかの他のタイプの光センサを代替的に有してよいことが理解されるであろう。

図１２によって表されているＣＦＡ６はベイヤーフィルタである。なお、当業者であれば、そのようなＣＦＡ６は、本開示の適用範囲から逸脱することなしに、ＲＧＢＥフィルタ、ＣＹＹＭフィルタ、あるいは、背景技術から知られている何らかの他のタイプのＣＦＡを代替的に有してよいことが理解されるであろう。

本開示の一実施形態において、ＣＦＡ６の色飽和は、センサマイクロイメージ５の中心（Ｘ）から境界に向かって低下している。図１２の上部分は色飽和のそのような低下を表す。色飽和は、中心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）に、並びに中心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）から１、２及び３ピクセル離れて、夫々位置するピクセルについて、１００％、５０％、２５％及び１２．５％に設定されている。

本開示の他の実施形態において、図１２の下部分によって表されるように、色の飽和は、関数ｆに従って、次の数６のように与えられる。関数ｆは、［０．０，１．０］の間の値を返し、ｆ（ｄ＝０）からｆ（ｐ／２）まで低下する：

この特定の実施形態において、色の飽和は、センサマイクロイメージ５の中心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）での１からその境界での０まで線形に変化する。色成分は、次の数７のように、ＨＳＶ色空間において与えられる：

マイクロイメージエリア５の中間（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）から境界への飽和のそのような滑らかな変化は、リフォーカシングされた画像の色飽和における階段効果を防ぐ。

このＣＦＡにおける飽和の低下は、一般的なベイヤーフィルタよりも多く光子を捕捉することを可能にし、従って、センサ４の光感度を改善する。加えて、中心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）にあるピクセルは、メインレンズの瞳境界を通る光子と比較して収差が小さい光子によって照射されるので、そのようなセンサ４は、満足な色感度を保ちながら、色収差の出現のリスクを制限することを可能にする。

［３ 本開示の第２実施形態の説明］
本開示の第２実施形態に従って、ＣＦＡ６は、センサマイクロイメージ５の一部分にのみ適用される。図１３は、正方格子及びピッチφ＝８δ（８ピクセル）を有するマイクロレンズアレイ３を備えたプレンオプティックカメラ１によって捕捉された４Ｄライトフィールドを表す。ベイヤーパターンは、夫々のセンサマイクロイメージ５の中心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）にある４×４のピクセルでのみ複製される。マイクロレンズイメージの直径ｐは、ｐ＝φ（Ｄ＋ｄ）／Ｄに等しい。なお、（Ｄ＋ｄ）／Ｄは１．０に極めて近いので、マイクロレンズイメージの直径はマイクロレンズアレイのピッチによって与えられると考えられてよい。

この特定の設計は、センサマイクロイメージ５の全体を覆うＣＦＡ６と比較して、センサ４が光より敏感であることを可能にする。

実例として、第２実施形態に従うが、図１３によって表されるＣＦＡ６の一定の色飽和を有するセンサ４は、動作条件において試験される。そのようなセンサ４に関し、夫々のマイクロレンズイメージは５０．２６個のピクセルを覆い、１６個のピクセル（すなわち、ベイヤーパターンによって覆われている４×４のピクセル）のみがより少ない光を受ける。センサマイクロイメージ５は、１６個のピクセルからは半分の光子を、そして、残りのピクセルからは全ての可視的な光子を収集する。光子の総数と比較される記録された光子の数は、｛（５０．２６−１６×０．５）／５０．２６｝×１００＝８４％である。この比は、全てのピクセルを覆うベイヤーパターンの約５０％よりも大きい。

当業者であれば、ＣＦＡの色飽和がセンサマイクロイメージ５の中心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）から境界へ向かって低下する、第２実施形態に従うセンサ４の場合に、光子の総数と比較される記録された光子の数に対応する比は、相当により高く、センサ４の光感度を更に改善することが理解されるであろう。

［４ リフォーカシングされたＲＧＢイメージの計算］
以下の段落は、本開示の第２実施形態に従うセンサ４に関連する。当業者であれば、そのような実施は、本開示の適用範囲から逸脱することなしに、本開示の第１実施形態に従うセンサ４に適用され得ることが理解されるであろう。

これより、本開示の第２実施形態に従うセンサ４を考えると、ＣＦＡパターンのＭ^２個のフィルタに対応するＭ^２個のリフォーカシングされた画像Ｒ_ａ，ｂと、カラーフィルタ６によって覆われていないピクセルに対応する単一のリフォーカシングされたイメージＲ_Ｔとを計算することが可能である。

幾つかの方法が、Ｍ^２個のリフォーカシングされたイメージＲ_ａ，_ｂ及びリフォーカシングされたイメージＲ_Ｔを、リフォーカシングされたイメージの３つの色成分Ｒ_ｒｅｄ、Ｒ_{ｇｒｅｅｎ}及びＲ_ｂｌｕｅに変換するために使用され得る。例えば、ベイヤーパターンの場合に、Ｍ＝２、ｃ_０，_０ ＝赤（Red）、ｃ_１，_１＝青（blue）、ｃ _０ ， _１ ＝ｃ_１，_０＝緑（Green）。リフォーカシングされたＲＧＢイメージの３つの色成分は、Ｒ_ｒｅｄ＝（Ｒ_０，_０＋Ｒ_Ｔ）／２、Ｒ_{ｇｒｅｅｎ} ＝（Ｒ_０，_１／２＋Ｒ_１，_０／２＋Ｒ_Ｔ）／２及びＲ_ｂｌｕｅ＝（Ｒ_１，_１＋Ｒ_Ｔ）／２によって計算され得る。明らかに、他の組み合わせは、本開示の適用範囲から逸脱することなしに、使用されてよい。

図１４によって表されるように、本開示の一実施形態に従う本方法は：
・カラーフィルタアレイ６によって覆われているマイクロイメージエリアピクセル（ｉ，ｊ）のリフォーカシングされたイメージＲ_ａ，ｂを決定するステップ７と、
・カラーフィルタアレイ６によって覆われていないマイクロイメージエリアピクセル（ｉ，ｊ）のリフォーカシングされたイメージＲ_Ｔを決定するステップ８と、
・リフォーカシングされたイメージＲ_ａ，ｂ及びリフォーカシングされたイメージＲ_Ｔを結合することで色成分Ｒ_ｘを決定するステップ９と
を有する。Ｒ_ｘを決定するステップ９は、リフォーカシングされたイメージＲ_Ｔに対して重み（Ｗ）を導入する。

当業者であれば、表現“色成分”は、実装されるＣＦＡの如何なる色成分もさすと理解するであろう。例えば、ベイヤーフィルタによって覆われているセンサを考えたとき、決定される色成分は赤Ｒ_ｒ、緑Ｒ_ｇ、又は青Ｒ_ｂ成分である。

リフォーカシングされたイメージＲ_Ｔは、メインレンズ２の光収差によってより影響を及ぼされた光子を収集するので、他のリフォーカシングされたイメージＲ_ａ，ｂよりも低いイメージ品質を有する。このイメージ特性を考慮に入れるよう、Ｒ_Ｔ及びＲ_ａ，ｂの値は、局所的なコントラストに応じて混合される。例えば、Ｒ_ａ，ｂに対するＲ_Ｔの重み（Ｗ）は、Ｒ_ａ，ｂにおいて局所的に識別されたテスクチャの周囲で下げられる。

Ｒ_ａ，ｂ及びＲ_Ｔの組み合わせへの、Ｒ_ａ，ｂに対するＲ_Ｔのそのような重みＷの導入は、メインレンズの光収差によってそれほど影響を及ぼされない光子を、より大きい光収差を受ける光子と区別するという利点を有する。

図１５は、本開示の実施形態に従って、カラーフィルタアレイ６によって部分的に覆われているマイクロイメージエリア５の少なくとも１つのリフォーカシングされたイメージの色成分Ｒ_ｘを決定する装置１０の例を表す略ブロック図である。そのような装置１０は、バス１４によって接続されているプロセッサ１１、記憶ユニット１２、インターフェイスユニット１３及びセンサ４を含む。当然、コンピュータ装置１０の構成要素は、バス１４によるバス接続以外の他の接続によって接続されてよい。

プロセッサ１１は、装置１０の動作を制御する。記憶ユニット１２は、プロセッサ１１によって実行される少なくとも１つのプログラムと、プレンオプティックイメージのデータ、プロセッサ１１によって実行される計算で使用されるパラメータ、プロセッサ１１によって実行される計算の中間データ、などを含む様々なデータとを記憶する。プロセッサ１１は、あらゆる既知の適切なハードウェア若しくはソフトウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、形成されてよい。例えば、プロセッサ１１は、プロセッシングユニットのような専用のハードウェアによって、あるいは、そのメモリに記憶されているプログラムを実行するＣＰＵのようなプログラム可能なプロセッシングユニットによって、形成されてよい。

記憶ユニット１２は、プログラム、データ、又は同様のものをコンピュータ読出可能な様態で記憶することができる如何なる適切なストレージ又は手段によっても形成されてよい。記憶ユニット１２の例には、半導体メモリデバイス並びに、リード及びライトユニットにロードされた磁気、光、又は光学磁気記録媒体のような、非一時的なコンピュータ読出可能な記憶媒体が含まれる。プログラムは、プロセッサ１１に、図１４を参照して上述されたような本開示の実施形態に従って、カラーフィルタアレイ６によって部分的に覆われているマイクロイメージエリア５の少なくとも１つのリフォーカシングされたイメージの色成分Ｒ_ｘを決定するためのプロセスを実行させる。

インターフェイスユニット１３は、装置１０と外部装置との間のインターフェイスを提供する。インターフェイスユニット１３は、ケーブル又は無線通信を介して外部装置と通信してよい。この実施形態において、外部装置はプレンオプティックカメラであってよい。この場合に、プレンオプティックイメージは、プレンオプティックカメラから装置１へインターフェイスユニット１３を通じて入力され、次いで、記憶ユニット１２において記憶され得る。

装置１０及びプレンオプティックカメラは、ケーブル又は無線通信を介して互いと通信してよい。

たとえ図１５においてプロセッサ１１が１つしか示されていないとしても、当業者であれば、そのようなプロセッサは、本開示の実施形態に従う装置１０によって実行される機能を具現する種々のモジュール及びユニットを有してよい。例えば：
・カラーフィルタアレイ６によって覆われているマイクロイメージピクセル（ｉ，ｊ）のリフォーカシングされたイメージＲ_ａ，ｂを決定するモジュール；
・カラーフィルタアレイ６によって覆われていないマイクロイメージピクセル（ｉ，ｊ）のリフォーカシングされたイメージＲ_Ｔを決定するモジュール；
・リフォーカシングされたイメージＲ_ａ，ｂ及びリフォーカシングされたイメージＲ_Ｔを結合することで色成分Ｒ_ｘを決定するモジュール。

それらのモジュールは、互いに通信し且つ協働する幾つかのプロセッサ９においても具現されてよい。

当業者に明らかなように、本原理の態様は、システム、方法又はコンピュータ読出可能な媒体として具現され得る。然るに、本原理の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む。）、又はソフトウェア及びハードウェア態様を組み合わせた実施形態の形をとることができる。

本原理が１つ以上のハードウェアコンポーネントによって実装される場合に、ハードウェアコンポーネントは、中央演算処理装置のような集積回路であるプロセッサ、及び／又はマイクロプロセッサ、及び／又は特定用途向け集積回路（ＡＳＩＣ）、及び／又は特定用途向け命令セットプロセッサ（ＡＳＩＰ）、及び／又はグラフィクス処理ユニット（ＧＰＵ）、及び／又は物理処理ユニット（ＰＰＵ）、及び／又は浮動小数点ユニット、及び／又はネットワークプロセッサ、及び／又はオーディオプロセッサ、及び／又はマルチコアプロセッサを有する。更には、ハードウェアコンポーネントは、ベースバンドプロセッサ（例えば、メモリユニット及びファームウェアを有する。）、及び／又は無線信号を送受信可能な無線電子回路（アンテナを有することができる。）を更に有することができる。一実施形態において、ハードウェアコンポーネントは、ＩＳＯ／ＩＥＣ１８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、グローバルプラットフォーム（すなわち、セキュアエレメント）のような１つ以上の標準に従う。変形例において、ハードウェアコンポーネントは、無線周波数識別（ＲＦＩＤ）タグである。一実施形態において、ハードウェアコンポーネントは、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、及び／又はＷｉ−Ｆｉ（登録商標）通信、及び／又はＺｉｇｂｅｅ（登録商標）通信、及び／又はＵＳＢ通信、及び／又はファイアワイヤ通信、及び／又はＮＦＣ（近距離）通信を可能にする回路を有する。

更には、本原理の態様は、コンピュータ読出可能な記憶媒体の形をとることができる。１つ以上のコンピュータ読出可能な記憶媒体の如何なる組み合わせも利用されてよい。

よって、例えば、如何なるフローチャート、フロー図、状態遷移図、擬似コード、及び同様のものも、コンピュータ読出可能な記憶媒体において実質的に表され、故に、コンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと実行され得る様々なプロセスを表す。

本開示は１つ以上の例を参照して記載されてきたが、当業者に認識されるように、本開示及び／又は添付の特許請求の範囲の適用範囲から逸脱することなしに、形態及び詳細において変更がなされてよい。
［付記１］
プレンオプティックカメラに取り付けられることを対象としたセンサであって、
マイクロレンズアレイによって屈折されたマイクロイメージを検知することを対象とした少なくとも１つのマイクロイメージエリアを有し、
前記マイクロイメージエリアは、カラーフィルタアレイによって少なくとも部分的に覆われており、
前記カラーフィルタアレイの色飽和は、前記マイクロイメージエリアの重心から遠ざかる場合に低下する、
センサ。
［付記２］
前記カラーフィルタアレイの重心は、前記マイクロイメージエリアの重心に対応する、
付記１に記載のセンサ。
［付記３］
前記カラーフィルタアレイの前記色飽和は、前記マイクロイメージエリアの重心から該マイクロイメージエリアの境界へ向かって低下する、
付記１又は２に記載のセンサ。
［付記４］
前記カラーフィルタアレイの前記色飽和は、前記マイクロイメージエリアの重心での１から前記マイクロイメージエリアの境界での０まで変化する、
付記１乃至３のうちいずれか一項に記載のセンサ。
［付記５］
前記カラーフィルタアレイはベイヤーフィルタであり、色成分は、

のように、ＨＳＶ色空間において与えられ、このとき、（ｘ，ｙ）は、マイクロレンズ（ｉ，ｊ）の下にあるピクセルの座標であり、（ｘ _ｉ，ｊ ，ｙ _ｉ，ｊ ）は、前記マイクロイメージエリアの重心の座標であり、ｐは、２つの隣接したマイクロイメージエリアの夫々の重心（ｘ _ｉ，ｊ ，ｙ _ｉ，ｊ ）の間の距離である、
付記４に記載のセンサ。
［付記６］
前記マイクロイメージエリアは、前記カラーフィルタアレイによって部分的にのみ覆われる、
付記１乃至５のうちいずれか一項に記載のセンサ。
［付記７］
前記カラーフィルタアレイは、前記マイクロイメージエリアの重心にある４×４のピクセルエリアのみを覆う、
付記６に記載のセンサ。
［付記８］
カラーフィルタアレイによって部分的に覆われているマイクロイメージエリアの少なくとも１つのリフォーカシングされたイメージの色成分Ｒ _ｘ を決定する方法であって、
前記カラーフィルタアレイによって覆われている前記マイクロイメージエリアのピクセルのリフォーカシングされたイメージＲ _ａ，ｂ を決定するステップであり、前記カラーフィルタアレイの色飽和は、前記マイクロイメージエリアの重心から遠ざかる場合に低下する、ステップと、
前記カラーフィルタアレイによって覆われていない前記マイクロイメージエリアのピクセルのリフォーカシングされたイメージＲ _Ｔ を決定するステップと、
前記リフォーカシングされたイメージＲ _ａ，ｂ と前記リフォーカシングされたイメージＲ _Ｔ とを結合することで前記色成分Ｒ _ｘ を決定するステップと
を有し、
前記色成分Ｒ _ｘ を決定するステップは、前記リフォーカシングされたイメージＲ _Ｔ に対して重みを導入する、方法。
［付記９］
センサを有し、該センサは、マイクロレンズアレイによって屈折されるマイクロイメージを検知することを対象とした少なくとも１つのマイクロイメージエリアを有し、
前記マイクロイメージエリアは、カラーフィルタアレイによって少なくとも部分的に覆われており、
前記カラーフィルタアレイの色飽和は、前記マイクロイメージエリアの重心から遠ざかる場合に低下する、
ライトフィールドデータ収集デバイス。
［付記１０］
通信ネットワークからダウンロード可能であり、且つ／あるいは、コンピュータによって読み出し可能な及び／又はプロセッサによって実行可能な媒体において記録されているコンピュータプログラムであって、
付記８に記載の方法を実施するプログラムコード命令を含むコンピュータプログラム。
［付記１１］
プロセッサによって実行されることが可能であり、付記８に記載の方法を実施するプログラムコード命令を含むコンピュータプログラムが記録されている非一時的なコンピュータ読み出し可能なキャリア媒体。

Claims (11)

1. プレンオプティックカメラに取り付けられることを対象としたセンサであって、
   マイクロレンズアレイによって屈折されたマイクロイメージを検知することを対象とした少なくとも１つのマイクロイメージエリアを有し、
   前記マイクロイメージエリアは、カラーフィルタアレイによって少なくとも部分的に覆われており、
   前記カラーフィルタアレイの色成分の点での色飽和は、前記マイクロイメージエリアの重心から前記カラーフィルタアレイの前記色成分の前記点まで、距離が増加するにつれて低下する、
   センサ。
2. 前記カラーフィルタアレイの重心は、前記マイクロイメージエリアの重心に対応する、
   請求項１に記載のセンサ。
3. 前記カラーフィルタアレイの前記色飽和は、前記マイクロイメージエリアの重心から該マイクロイメージエリアの境界へ向かって低下する、
   請求項１又は２に記載のセンサ。
4. 前記カラーフィルタアレイの前記色飽和は、前記マイクロイメージエリアの重心での１から前記マイクロイメージエリアの境界での０まで変化する、
   請求項１乃至３のうちいずれか一項に記載のセンサ。
5. 前記カラーフィルタアレイはベイヤーフィルタであり、色成分は、
   

   

   
   のように、ＨＳＶ色空間において与えられ、このとき、（ｘ，ｙ）は、マイクロレンズ（ｉ，ｊ）の下にあるピクセルの座標であり、（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）は、前記マイクロイメージエリアの重心の座標であり、ｐは、２つの隣接したマイクロイメージエリアの夫々の重心（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）の間の距離である、
   請求項４に記載のセンサ。
6. 前記マイクロイメージエリアは、前記カラーフィルタアレイによって部分的にのみ覆われ、
   前記マイクロイメージエリアは、前記カラーフィルタアレイの前記エリアより大きい、
   請求項１乃至５のうちいずれか一項に記載のセンサ。
7. 前記カラーフィルタアレイは、前記マイクロイメージエリアの重心にある４×４のピクセルエリアのみを覆い、
   前記マイクロイメージエリアは、前記カラーフィルタアレイの前記エリアより大きい、
   請求項６に記載のセンサ。
8. カラーフィルタアレイによって部分的に覆われているマイクロイメージエリアの少なくとも１つのリフォーカシングされたイメージの色成分Ｒ_ｘを決定する方法であって、
   前記カラーフィルタアレイによって覆われている前記マイクロイメージエリアのピクセルのリフォーカシングされたイメージＲ_ａ，ｂを決定するステップであり、前記カラーフィルタアレイの色成分の点での色飽和は、前記マイクロイメージエリアの重心から前記カラーフィルタアレイの前記色成分の前記点まで、距離が増加するにつれて低下する、ステップと、
   前記カラーフィルタアレイによって覆われていない前記マイクロイメージエリアのピクセルのリフォーカシングされたイメージＲ_Ｔを決定するステップと、
   前記リフォーカシングされたイメージＲ_ａ，ｂと前記リフォーカシングされたイメージＲ_Ｔとを結合することで前記色成分Ｒ_ｘを決定するステップと
   を有し、
   前記色成分Ｒ_ｘを決定するステップは、前記リフォーカシングされたイメージＲ_Ｔに対して重みを導入する、方法。
9. センサを有し、該センサは、マイクロレンズアレイによって屈折されるマイクロイメージを検知することを対象とした少なくとも１つのマイクロイメージエリアを有し、
   前記マイクロイメージエリアは、カラーフィルタアレイによって少なくとも部分的に覆われており、
   前記カラーフィルタアレイの色成分の点での色飽和は、前記マイクロイメージエリアの重心から前記カラーフィルタアレイの前記色成分の前記点まで、距離が増加するにつれて低下する、
   ライトフィールドデータ収集デバイス。
10. 通信ネットワークからダウンロード可能であり、且つ／あるいは、コンピュータによって読み出し可能な及び／又はプロセッサによって実行可能な媒体において記録されているコンピュータプログラムであって、
    請求項８に記載の方法を実施するプログラムコード命令を含むコンピュータプログラム。
11. プロセッサによって実行されることが可能であり、請求項８に記載の方法を実施するプログラムコード命令を含むコンピュータプログラムが記録されている非一時的なコンピュータ読み出し可能なキャリア媒体。
    

Images