JP4752031B2 - 撮像の装置と方法 - Google Patents

Description

本発明は、一般的には撮像用途に関し、より詳しくは、画像データを処理して、この画像データを結像および／または補正することに関する。

カメラ、ビデオカメラ、顕微鏡、望遠鏡などに関連するような撮像用途では、一般的に、集光量が制限されていた。すなわち、ほとんどの撮像デバイスでは、このデバイスに入ってくる光分布に関する情報のほとんどが記録されない。例えば、ディジタル式のスチールカメラやビデオカメラなどの従来のカメラでは、外界から入ってくる光分布に関する情報のほとんどが記録されない。このようなデバイスでは、集められた光は、さまざまな深度（撮像デバイスからの距離）での焦点合わせ、レンズ収差に対する補正、画角操作などのさまざまな方式のための操作のために修正することが不可能である場合が多い。

スチール撮像用途の場合、特定の場面をキャプチャする一般的な撮像デバイスは、一般に、場面中の被写体や物体に焦点を合わせるが、この場面の他の部分は焦点からはずされる。ビデオ撮像用途でも、類似の問題が広がっており、ビデオの応用例で用いられる画像の収集物では、複数の場面をピントが合った状態でキャプチャすることが不可能である。

多くの撮像用途では、光を収集するために用いられる装置（レンズ）に収差が発生するという問題がある。このような収差には、例えば、球面収差、色収差、歪み、光照射野の湾曲、斜め非点収差などがある。収差補正では、一般的に補正光学系が使用されていたが、これが大きくなるに連れて、撮像デバイスの値段と重量が増す。カメラ電話やセキュリティカメラなどの小規模光学系の利点を持っている一部の応用例では、この応用例にまつわる物理的限界のため、追加の光学系を組み込むことは望ましくない。

上記の問題に関連する難しさが、ディジタル画像の獲得と変更にともなう課題と共に撮像用途にとっての課題となっている。

本発明は、撮像デバイスとその実現に関連する上記の課題と他の課題を克服することを意図する。本発明は、多くの実施例と応用例で例示されるが、その一部を以下に要約する。

本発明の例示の実施形態によれば、光を検出して、指向性情報でこの検出された光の特徴を表す。この指向性情報を検出光と一緒に用いて、再結像された画像と補正された画像の内の一方または双方に対応して仮想画像を生成する。

本発明の別の例示的実施形態によれば、ある画面内の互いに異なった焦点深度を持った２つ以上の被写体を撮像し、この場面にあって各々の被写体に対応する部分をさまざまな焦点面で結像させる。画面からの光を物理的焦点面に焦点合わせして検出し、これと一緒に、この物理的焦点面上の特定のロケーションに光が到達した方向を特徴付ける情報を得る。物理的焦点面に焦点があっていない被写界の深度にある少なくとも１つの被写体に対応する、この物理的焦点面とは異なった仮想の焦点面が決定される。検出された光とこの指向性特徴を用いて、この少なくとも１つの被写体の仮想焦点面における結像に対応するこの光の部分を集光して加算して、この少なくとも１つの被写体の仮想結像を形成する。

本発明の別の例示的実施形態によれば、場面はディジタル的に撮像される。焦点面上のさまざまなロケーションに対して場面から到達した光が検出され、この焦点面上のさまざまなロケーションにおける検出光の入射角度が検出される。検出光の元の場面内の部分の被写界深度を検出し、測定された入射角度と一緒に用いて、この検出光をディジタル的に再ソーティングする。用途次第では、この再ソーティングは、再焦点合わせおよび／またはレンズ収差の補正を含む。

本発明に関する上記の要約は、本発明の図示する各々の実施形態やすべての実施例を説明することを意図するものではない。以下の図面と詳細な説明は、これらの実施形態をさらに特定的に例示するものである。

本発明は、さまざまなタイプのデバイスに対して有用であると信じられており、また、本発明は、電子撮像デバイスとその用途には特に適していることが分かっている。本発明は必ずしもこのような用途に限られるわけではないとはいえ、本発明のさまざまな態様が、この文脈を用いたさまざまな例を検討することによって理解される。

本発明の例示の実施形態によれば、４次元（４Ｄ）の光照射野（例えば、フリーな空間などの領域中の各々のレイに沿って進行する光）を、焦点面におかれたセンサーに到達する光の量と方向を測定する動作を伴う方式を用いて検出する。焦点面上の光の２次元位置を検出して、それと共に、光がこの面内の特定のロケーションに到達した方向の特徴を表す情報を得る。この方式によって、センサーのさまざまなロケーションに到達する指向性の光分布が測定され、これを用いて画像を形成する。光照射野の感知および／または測定のために実現されるアセンブリは、「光線センサー」または「レイセンサー」と呼ばれる。

１つの応用例では、上記の方式に類似した方式を、撮像面に入射する光線の空間を、測定されたレイの集合からさまざまな仕方で画像を表現する計算機能によってサンプリングする光学系とセンサーとを有する撮像システムを用いて実現している。これら光学系、センサーおよび計算機能体は各々が、実施レイ次第で、組み合わせてまたは別個にさまざまな方式を用いて実現される。例えば、画像を撮像面上に置かれた光センサーアレイ（複数のセンサー）上に結像させるレンズ（光学系）を有するカメラを用いて、光線の空間をサンプリングすることが可能である。この光センサーアレイからの出力を計算機能体（例えば、カメラの内部および／または外部にあるプロセッサ）で用いて、さまざまな深度でまたはさまざまな被写界深度で結像される写真を計算することおよび／またはレンズ収差を計算で補正して高品質の画像を生成することなどによって、画像を表現する。

本発明の別の例示の実施形態では、撮像システムの光学系とセンサーのコンポーネントが、光のレイをセンサー部品に対して発射し、これで、センサー部品の各々が、特定の方向で発する光線を含む光線の集合を感知するようにする。多くの応用例では、このレイの集合は、空間と方向の双方で限定されたレイの束である。多くの応用例では、このレイの束は、光学系とセンサーの解像度が増すに連れて１つの幾何学的光のレイに収束する。この点、以下の記述では、さまざまな部分で、センサー部品が感知した値を、一般的に幾何学的光線には限られないが、「光のレイ」もしくは「光線」または単に「レイ」と呼んでいる。

ここで図面に目を向けると、図２８に、本発明の別の例示の実施形態による撮像装置２８９０を示す。この撮像装置２８９０は、メインレンズ２８１０と、自身のさまざまなロケーションに、さまざまな入射方向から到達する光の値を測定する光線センサーとを含んでいる。この文脈では、光の値の測定は、センサーのさまざまなロケーションに到達する光を、強度などのこの光の特徴と共に検出して、値を生成することによって実施される。

図１に、本発明の例示の実施形態による撮像システム１００を示す。この撮像システム１００は、メインレンズ１１０、マイクロレンズアレイ１２０および光センサーアレイ１３０を有する撮像装置１９０を含んでいる。この場合、マイクロレンズアレイ１２０と光センサーアレイ１３０で光線センサーを実現している。図１では特定のメインレンズ１１０（単一部品）と特定のマイクロレンズアレイ１２０を示しているが、当業者には、さまざまなレンズおよび／マイクロレンズアレイ（現在入手可能または将来開発されるもの）が、例えば、図示のメインレンズおよび／またはマクロレンズアレイを交換することによって類似の方式で選択的に実現されることが認識されるであろう。

撮像された場面中の被写体１０５上の１つのポイントからの光のレイは、マイクロレンズアレイ１２０の焦点面上の１つの収束ポイントに集められる。例えば、被写体１０５の撮像ポイントが、マイクロレンズからメインレンズへの距離と共役であるメインレンズからからの距離のところにあれば、図示するように、ディメンジョン「ｄ」はディメンジョン「ｓ」にほぼ等しい。この収束ポイントにあるマイクロレンズ１２２が、これら光のレイをこの光の方向に基づいて分離して、マイクロレンズの下方に光センサーのメインレンズ１１０のアパーチャを結像する。

光センサーアレイ１３０は、自身に入射する光を検出して出力するが、この出力は、さまざまなコンポーネントの内の１つ以上を用いて処理される。この応用例では、この出力された光データは、センサーデータ処理回路１４０に送られ、ここで、このデータを各々の光センサーに関する位置情報とともに用いて、場面（例えば、被写体１０５、１０６および１０７を含む場面）の画像を生成する際のデータを提供する。センサーデータ処理回路１４０は、例えば、コンピュータによって、または、共通のコンポーネント（例えばチップ）または互いに異なったコンポーネントとして選択的に実現されている他の処理回路によって実現される。１つの実施例では、センサーデータ処理回路１４０の一部分が撮像装置３９０中で実現され、別の部分が外部コンピュータ中で実現されている。検出された光（それと、例えば、検出光の特徴も）を、光がマイクロレンズアレイに到達した周知の方向（各々の光センサーの周知のロケーションを用いて計算されている）と共に用いて、センサーデータ処理回路１４０は、光データを選択的に再結像および／または補正して、画像を形成する（ここで、再結像は補正であってもよい）。検出光を処理するさまざまな方式を以下に、他の図を参照したりしなかったりして詳述する。これらの方式は、上記と呼応したセンサーデータ処理回路１４０で選択的に実施される。

撮像システム１００のさまざまな部分が、特定の応用例にしたがって共通のまたは別個の物理的装置中で選択的に実現される。例えば、さまざまな応用物で実現すると、マイクロレンズアレイ１２０と光センサーアレイ１３０は、共通の装置１８０として合成される。ある応用例では、マイクロレンズアレイ１２０と光センサーアレイ１３０は、共通のチップまたは他の回路装置上に一緒にカップリングされている。カメラのようなデバイスなどの手持ち式デバイスで実現すると、メインレンズ１１０、マイクロレンズアレイ１２０および光センサーアレイ１３０は、手持ち式デバイスに組み込まれる共通の撮像装置１９０中に選択的に組み合わされる。さらに、ある種の応用例では、センサーデータ処理回路１４０の内の一部またはすべてを、光センサーアレイ１３０と一緒に（例えば共通のチップ上に）共通の回路装置中で実現する。

ある応用例では、撮像装置１００が、画像をキャプチャしようとしているユーザに対してプレビュー画像を提示するプレビュー装置１５０を含んでいる。このプレビュー装置は光センサーアレイ１３０と通信可能に結合されており、光センサーアレイ１３０から画像データを受信する。プレビュープロセッサ１６０は、この画像データを処理して、プレビュー画像を生成し、これがプレビュー画面１７０に表示される。ある応用例では、プレビュープロセッサ１６０は、画像センサー１８０と共に共通チップ上に及び／または共通回路中で実現される。センサーデータ処理回路１４０が上記したように光センサーアレイ１３０と共に実現される応用例では、プレビュープロセッサ１６０は、センサーデータ処理回路１４０と共に選択的に実現するが、光センサーアレイ１３０が収集した画像データの一部または全部を用いて、プレビュー画像を生成する。

このプレビュー画像は、最終画像を生成するために用いられる場合よりも比較的少ない計算機能および／またはデータを用いて生成される。例えば、カメラや携帯電話などの手持ち式撮像デバイスで実現されると、なんら焦点合わせやレンズ補正をしないプレビュー画像で十分である。この点で、比較的安価および／または小型でもプレビュー画像を生成するような処理回路を実現することが望ましい。このような応用例では、プレビュープロセッサは、例えば、上述したような第１の拡大された被写界深度を計算する方法を用いることによって、比較的低い計算コストおよび／または少ないデータで画像を生成する。

撮像システム１００は、応用例によってさまざまな仕方で実現される。例えば、マイクロレンズアレイ１２０は例としていくつかの顕著なマイクロレンズを含んでいるものとして示されているが、このアレイは一般に多くの（例えば数千から数百万の）マイクロレンズで実現される。光センサーアレイ１３０は、一般的に、そのピッチはマイクロレンズアレイ１２０より比較的小さく、マイクロレンズアレイ１２０中のマイクロレンズ各々に対して数個の光センサーが対応している。加えて、マイクロレンズアレイ１２０中のマイクロレンズ、及び光センサーアレイ１３０中の光センサーは、一般に、各々のマイクロレンズを介して光センサーアレイにまで通過する光が隣のマイクロレンズを介して通過する光とオーバーラップしないように位置付けされる。

さまざまな応用例では、メインレンズ１１０は、その光軸に沿って平行移動（図１に示すように、水平方向に）されて、例えばメインレンズと例示の撮像被写体１０５の間で所望の深度「ｄ」のところにある対象被写体に焦点を合わせる。一例として、被写体１０５の１つのポイントからの光線をこの議論の目的で示す。これらの光線は、マイクロレンズアレイ１２０の焦点面上のマイクロレンズ１２２のところにある１つの収束ポイントに集められる。マイクロレンズ１２２は、これら光のレイを方向に基づいて分離して、マイクロレンズの下方の画素のアレイ中の画素１３２の集合のところにあるメインレンズ１１０のアパーチャを結像する。図１０に、光線を分離させ、これで、メインレンズ１０１０上のあるポイントから発して同じマイクロレンズ（例えば１０２２）の表面のどこかに到達するすべてのレイがこのマイクロレンズによって方向付けされて、光センサー（例えば１０２３）上の同じポイントに収束するようにする１つの例示の方式を示す。図１０に示すこの方式は、例えば、図１と関連させて実施される（すなわち、メインレンズ１０１０はメインレンズ１１０の代わりに実現されており、マイクロレンズアレイ１０２０はマイクロレンズアレイ１２０の代わりに実現されており、光センサーアレイ１０３０は光センサーアレイ１３０の代わりに実現されている）。

マイクロレンズアレイ１２２中の特定のマイクロレンズの下に形成される画像は、撮像面上のそのロケーションでのシステムの指向性解像度を決定する。一部の応用例では、指向性解像度は、メインレンズの主要面上にマイクロレンズの焦点を合わせている状態で、マイクロレンズの画像の鮮明化を促進することによって向上される。ある種の応用例では、マイクロレンズは、マイクロレンズアレイとメインレンズ１１０間の分離距離より少なくとも２桁小さい。これらの応用例では、メインレンズ１１０は、実質的にマイクロレンズの光学的無限遠にあり、したがって、マイクロレンズのピントを合わせるために、光センサーアレイ１３０はマイクロレンズの焦点深度のところの平面上に置かれている。

メインレンズ１１０とマイクロレンズアレイ１２０間の分離距離「ｓ」は、マイクロレンズの被写界深度以内で鮮明な画像を達成するように選択される。多くの応用例では、この分離距離は正確に約Δｘ_p・（ｆ_m／Δｘ_m）であり、ここで、Δｘ_pはセンサー画素の幅であり、ｆ_mはマイクロレンズの焦点深度であり、Δｘ_mはマイクロレンズの幅である。１つの特定の応用例では、Δｘ_pは約９ミクロンであり、ｆ_mは約５００ミクロンである。Δｘ_mは約１２５ミクロンであり、マイクロレンズアレイ１２０と光センサーアレイ１３０間の分離距離は約３６ミクロンである。

マイクロレンズアレイ１２０はさまざまなマイクロレンズとその装置の内の１つ以上を用いて実現される。１つの例示の実施形態では、潜在的に空間的特定画変動するマイクロレンズの平面は、マイクロレンズアレイ１２０として実現される。例えば、マイクロレンズアレイは、均等および／または不均等で、その及ぶ範囲が方形または非方形であり、規則的に分布または不規則的に分布しており、繰り返しまたは非繰り返しパターンを持ち、オプションとして隠蔽される部分を持つレンズを含む。これらマイクロレンズ自身は、凸形状であったり、凹形状であったり、所望の物理的な光方向を実現する任意のプロフィールを有し、また、平面上のマイクロレンズごとにプロフィールが変動する。さまざまな分布とレンズプロフィールとが選択的に組み合わされている。これらのさまざまな実施形態では、サンプリングパターンが、アレイのある領域では空間的に高く（それに応じて、角度が低く）、別の領域では角度が高い（それに応じて、空間的には低い）。このようなデータの１つの用途として、４Ｄ空間での所望の空間解像度と角度解像度にマッチするように内挿しやすくする用途がある。

図２４Ａに、本発明の別の例示の実施形態による、マイクロレンズアレイの一部を示す（視線が平面に対して直角）。マイクロレンズは方形であり、アレイに規則的に分布している。

図２４Ｂに、本発明の別の例示の実施形態による、マイクロレンズアレイの一部を示す。マイクロレンズの平面分布が不規則または繰り返しであり、マイクロレンズの形状が任意である。

図２４Ｃに、凸形状プロフィールと円形アパーチャを有するメインレンズを持つ図２４Ａに示すような分布で、本発明の別の例示の実施形態による光センサーに現われる画像を示す。

他の例示の実施形態では、より大きいマイクロレンズやより小さいマイクロレンズからなる規則的なモザイク模様が用いられる。１つの実施例では、結果として得られる光センサーデータが内挿されて、モザイク中の１つ以上のマイクロレンズの空間解像度と角度解像度が最大である均等なサンプリングが得られる。

図１９Ａ〜１９Ｆは、本発明の１つ以上の例示の実施形態による、上記のようなモザイクアレイを実現する方式を示す。図１９Ａは、マイクロレンズの例示の相対的なサイズと配置を示す平面の俯瞰図である。図１９Ｂは、図１９Ａの各々のマイクロレンズを介して投射した後の光センサーアレイ上に形成される画像の形状を示す。図１９Ｃは、図１９Ａのアレイの断面図であり、これらマイクロレンズが同じＦナンバーを有しており、また、これらの焦点が同じ平面を共有していることを示している。このため、より小さいマイクロレンズを、大きいマイクロレンズの場合より焦点面に対してより近づける必要がある。これによって、各々のマイクロレンズの下方に現われるメインレンズの画像がオーバーラップすることなくより大きくなり、すべてが、焦点を含んでいる平面に置かれた光センサー上にピントが合うようになる。

図１９Ｄに、本発明の別の例示の実施形態による、メインレンズ１９１０、モザイク風マイクロレンズアレイ１９２０および光センサー装置１９３０を含む完全な撮像装置中で実現される図１９Ａと１９Ｃに示すマイクロレンズの断面図を示す。ここで、この図はいくつかのマイクロレンズとマイクロレンズごとにいくつかの画素を持つものとして示しているが、実際のマイクロレンズと画素の数は、所与の応用例の解像度用件を決定してこれら各々適当な数を実現することなどのさまざまな方式を用いて選択される。

図１９Ｅは、メインレンズ１９１０上のｕからスタートしてマイクロレンズ１９２０アレイ上のｓで終わるレイの空間を示すレイのデカルト図である（レイの空間を分かりやすいように２Ｄで示してあるが、実際にはレイの全体的空間は４Ｄである）。図１９Ｃ中の各々の光センサー（Ａ〜Ｐちラベル付けされている）で加算されるレイの集合を、図１９Ｄのレイのデカルト図に示す。レイの全体４Ｄ空間では、各々の光センサーはレイの４Ｄボックスを累積する。より大きいマイクロレンズの下の光センサーに対する４Ｄボックスは、より小さいマイクロレンズの下の光センサーの（ｕ，ｖ）方向軸では半分の幅（倍の解像度）と（ｘ，ｙ）空間軸では倍の幅（半分の解像度）を有している。

別の例示の実施形態では、光センサーの値を規則的なグリッドに内挿し、これで、すべての軸方向の解像度がすべての軸方向での最大の解像度となるようにする。図１９Ｆにこのような方式を示すが、この方式では、各々の光センサーの値を表すレイのボックスを近傍のボックス値を内挿することによって分割する。図示する２Ｄのレイ空間では、各々のボックスを２つに分割しているが、４Ｄ空間では、各々のボックスを４つに分割している（その長手方向の側部の各々に沿って２分割ずつしている）。一部の実施形態では、この内挿された値を、近傍の値を分析することによって計算している。別の実施形態では、この内挿値を、所望の値の近傍にあるオリジナルの分割されていないボックスの値の重み付けされた和として実現している。

一部の応用例では、重み付け、近傍の値に基づいている判定関数によって異なる仕方で実現している。例えば、重み付けで、４Ｄ関数空間中のエッジを含む尤度が最も低い軸に沿って内挿する。エッジがこの値の近傍にある尤度は、これらのロケーションでの関数値の勾配の大きさと関数のラプラス演算子のコンポーネントとから推定可能である。

別の例示の実施形態では、マイクロレンズ（例えば、図１９Ｄのアレイ１９２０または類似物中のそれら）は各々が内側に傾斜しており、これで、これらの光軸がすべてメインレンズのアパーチャの中心に来るようになっている。この方式によって、マイクロレンズの下でアレイのエッジに向かって形成される画像の収差が減少する。

再度図１を参照すると、メインレンズ１１０とマイクロレンズアレイ１２０中のマイクロレンズとのアパーチャサイズもまた（例えば、レンズの開口部の実効的なサイズ）、撮像装置１００が実現されている特定の応用例に合うように選択される。多くの応用例では、相対的なアパーチャサイズは、収集された画像がオーバーラップすることなくできり限り大きくなるように（すなわち、光が隣の光センサーにオーバーラップするような好ましい事態が発生することがないように）選択される。この方法は、メインレンズとマイクロレンズのそれぞれのＦナンバー（焦点比、すなわち、レンズの実効的な焦点距離に対するアパーチャの比）を整合させると実施しやすい。この例では、メインレンズ１１０のＦナンバーで表した実効的な焦点距離は、メインレンズ１１０とマイクロレンズ１２０間の距離「ｓ」に対するメインレンズのアパーチャの直径の比である。メインレンズ１１０の主要面が、マイクロレンズアレイ１２０が置かれている平面に対して平行移動される応用例では、メインレンズのアパーチャを選択的に修正し、これで、この比を維持し、したがって、マイクロレンズアレイ中の各々のマイクロレンズの下に形成される画像のサイズを維持するようにする。一部の応用例では、方形などのさまざまなメインレンズアパーチャの形状を用いて、光センサー表面上のマイクロレンズアレイの下に画像のアレイを望ましいように（例えば、効率的に）詰め込むようにする。

以下の説明では、本発明の１つ以上の例示の実施形態と共に、図１の撮像装置１００の一般的な応用例を参照する。撮像装置１００の内側の２面光照射野「Ｌ」を考えると、Ｌ（ｕ，ｖ，ｓ，ｔ）は、メインレンズ１１０と（ｕ，ｖ）のところで交差し、マイクロレンズアレイ１２０の平面とは（ｓ，ｔ）のところで交差する光線にそって進行する光を示している。マイクロレンズアレイ１２０中に理想的なマイクロレンズがあり、光センサーアレイ１３０中の並んだグリッド上に理想的な光センサー（例えば、軸）があると仮定すると、光センサーにまで進行する光もまたすべてが、マイクロレンズアレイ１２０中の自身の方形の親マイクロレンズを通過行し、さらに、メインレンズ１１０上の光センサーの共役な方形を通過する。メインレンズ１１０とマイクロレンズ上のこれら２つの方形の領域が、光照射野中の小型の４次元ボックスを指定して、光センサーが、このボックスが表すレイの集合中での光の総量を測定する。これに応じて、各々の光センサーが、光照射野中のこのような４次元ボックスを検出し、したがって、光センサーアレイ１３０によって検出された光照射野は、Ｌ（ｕ，ｖ，ｓ，ｔ）のボックスフィルタリングして、直線サンプリングしたものとなる。

図１１に、本発明の別の例示の実施形態による、センサー画素のロケーションを収集されたデータを基準としてＬ（ｕ，ｖ，ｓ，ｔ）空間中の光線に対してマッピングする方式を示す。図１１に示し本書に説明する方式は、例えば、光センサーアレイ１３０中の各々の光センサーがセンサー画素に対応している図１に応用可能である。底部右側の画像１１７０は、レイセンサー（光センサー）１１３０から読み取られた生データをダウンサンプリングしたものであり、丸で囲んだ１つのマイクロレンズの下に円形の画像１１５０が形成されている。底部左側の画像１１８０は、丸で囲んだマイクロレンズ画像１１５０の周りの生データの一部を、マイクロレンズ画像内で丸で囲った１つの光センサー値１１４０と一緒にクローズアップして表してものである。この円形状画像１１５０はレンズアパーチャの画像であるので、ディスク内部での選択された画素のロケーションが、メインレンズ上の図示するレイ１１０の開始位置の（ｕ，ｖ）座標となる。センサー画像１１７０内部でのマイクロレンズ画像１１５０のロケーションが、レイ１１２０の（ｘ，ｙ）座標となる。

センサー部品のレイに対するマッピングを図（と他の例示の実施形態）を参照して説明したが、さまざまなセンサー部品と関連する値は、各々の特定のセンサー部品に対して光学系を通って出力されるレイの集合の値で選択的に表される。図１の文脈では、光センサーアレイ中の各々の光センサーをこのように実現して、メインレンズ１１０とマイクロレンズアレイ１２０を介して光センサーに出力される光線の集合を現す値を提供することが可能である。すなわち、各々の光センサーが、この光センサーに入射した光に応答して出力を生成し、マイクロレンズアレイ１２０に対する各々の光センサーの位置が、入射光に関する方向情報を提供するために用いられる。

１つの例示の実施形態では、マイクロレンズアレイ１２０の解像度を、特定の応用例での最終的な画像の所望の解像度とマッチするように選択する。この光センサーアレイ１３０の解像度は、各々のマイクロレンズが、この応用例の所望の方向情報、すなわち、光センサーの実現され得る最も細かい解像度とマッチするために必要とされるできるだけ多くの光センサーをカバーするように選択される。この点で、撮像システム１００（および本書に記載する他のシステム）の解像度は、撮像のタイプ、経費、複雑性、および特定の解像度を達成するために用いられる入手可能な装置などを考慮して、特定の応用例にあるように選択的に調整される。

いったん画像データを光学系とセンサーによって（例えば、図１の撮像装置１９０を用いて）キャプチャすると、さまざまな計算機能と配慮を実施して、この画像データを選択的に処理する。本発明の１つの例示の実施形態では、さまざまな光センサー集合が、各々のマイクロレンズからのこれらの分離した光線をキャプチャして、このキャプチャされた光線に関する情報をプロセッサなどの計算コンポーネントに渡す。この画面の画像を、測定された光線の集合から計算する。

図１の文脈では、センサーデータ処理回路１４０は、画像データを処理して、被写体１０５、１０６、１０７を含んでいる画面の画像を計算するように実現されている。一部の応用例では、プレビュー装置１５０もまた、プレビュープロセッサ１６０を用いてプレビュー画像を生成するが、このプレビュー画像はプレビュー画面１７０に表示される。プレビュープロセッサ１６０は、センサーデータ処理回路１４０で実現され、プレビュー画像は、例えば、以下に説明する方式と矛盾しない仕方で生成される。

別の実施形態では、センサー装置から出力される画像中の画素ごとに、計算コンポーネントが、測定された光のレイのサブ集合に重み付けしてこれらを加算する。加えて計算コンポーネントが、例えば、画像複合方式を用いて、上述したように計算した画像の集合を分析して合成する。本発明は必ずしもこのような応用例には限られないが、本発明のさまざまな態様が、このような計算コンポーネントのいくつかの例示の実施形態を検討することによって考えられる。

さまざまな例示の実施形態に関して、画像データ処理では、キャプチャされている画像の少なくとも一部分が再結像される。一部の実施形態では、出力画像を、特定の場面の所望の要素にピントを合わせた写真に関連させて生成される。一部の実施形態では、この計算された写真を、世界（場面）の特定の所望の深度にピントを合わせるが、ピンボケは、従来の写真同様に、この所望の深度から離れるに連れて増す。場面中の被写体が異なれば、それにピントを合わせる焦点深度も異なる。

図１２に、本発明の別の例示の実施形態にしたがって測定された１つの光照射野から計算された、さまざまな深度で再結像された複数の画像１２００〜１２４０を示す。図１２に示す方式は、例えば、図１に示すような撮像装置を用いて実施される。

図１３Ａと１３Ｂに、本発明の別の例示の実施形態による、再結像方式を示す。この方式は、例えば、図１に示すセンサーデータ処理回路１４０などの撮像システムの計算コンポーネント／プロセッサコンポーネントで実施される。撮像装置からの各々の出力画素（例えば１３０１）は、仮想フィルム面１３１０上の３次元（３Ｄ）ポイント（例えば１３０２）に対応している。この仮想フィルム面１３１０はメインレンズ１３３０の背後に置かれるが、この位置では、平面１３１０が世界（図示せず）内での所望の焦点面と光学的に共役である。すなわち、仮想フィルム面１３１０は、フィルム面が１つの２次元（２Ｄ）画像をキャプチャするのに望ましい位置に置かれる（例えば、この位置は、写真フィルムが、２Ｄ画像をキャプチャするために従来型のカメラで位置付けされる位置と同等である）。光を方向によって（例えば、図１のマイクロレンズアレイ１２０を用いて）分離することによって、仮想フィルム面１３１０に到達する光を選択的に計算することが可能である。この点で、出力画素１３０１の値は、対応する３Ｄポイント１３０２に収束する光線１３２０が成す円錐体を加算することによって計算される。これらのレイの値は、レイセンサー１３５０によって収集されたデータから探り出される。図１３Ａは、見た目の単純さのために、撮像構造を２Ｄで示す。図１３Ｂでは、３Ｄポイント１３４０からのレイ１３３０の円錐体を、選択された世界の焦点深度が、メインレンズにより近ければ、これで同じ画素１３１０に対して加算する。

一部の実施形態では、必要とされる光線値は、レイセンサーがキャプチャする離散したサンプルロケーションには正確には対応していない。一部の実施形態では、この光線値は、選択された近接サンプルロケーションの重み付けされたとして推定される。一部の実現例では、この重み付け方式は、離散したセンサーサンプルから連続した４次元の光照射野を再構築する４次元フィルタカーネルに対応している。一部の実現例では、この４次元フィルタは、４次元空間中での１６個の最も近いサンプルの４線性内挿に対応する４次元のテント関数で実現される。

図３５は、本発明の別の例示の実施形態による、受信した光線センサーデータから再結像画像を計算するプロセスフローチャートである。ブロック３５２０で、サブアパーチャ画像の集合を光線センサーデータ３５１０から抽出するが、ここで、サブアパーチャ画像は各々が、画素がそのマイクロレンズの下の同じ相対的な位置にある各々のマイクロレンズ画像の下の１つの画素から成っている。ブロック３５３０で、サブアパーチャ画像を合成して最終的出力画像を発生する。このサブアパーチャ画像は、オプションとして、互いに対して平行移動されて複合され、所望の平面にピントを合わせる。

別の例示の実施形態では、出力画像の境界に近い画素と関連する暗化（darkening）が軽減される。例えば、出力画像の境界の近くの画素では、必要とされるレイの一部が測定された光照射野ではキャプチャされていない（これらのレイは、図１のマイクロレンズアレイ１２０と光センサーアレイ１３０などの撮像装置の空間的境界と方向的境界を越えている）。この暗化が望まれない応用例の場合、画素値は、画素（光センサーアレイでキャプチャされた画素）と関連する値を、測定された光照射野中で実際に発見されたレイの割合で除算することによって正規化される。

上述したように、互いに異なったさまざまな計算方式がさまざまな応用例に対して選択される。以下に説明では、このようなさまざまな方式に対応している。図面を参照している応用例もあれば、これらの方式を概説している応用例もある。これらの応用例の各々で、特定の方式が、図１に示すセンサーデータ処理回路１４０などの計算タイプのコンポーネントを用いて実現される。

別の例示の実施形態では、特定の撮像システムの各々の出力画素の撮像方法は、仮想フィルムが任意におよび／または選択的に回転されたり変形されたりし、仮想メインレンズアパーチャがこれに連れて適切に移動したりそのサイズが修正されたりする仮想のカメラモデルに対応している。例えば、図２５に、仮想画像をそれが、物理的メインレンズ面２５１０と一致しなくてもよい仮想レンズ面２５３０上で任意のサイズを持つ仮想レンズアパーチャ２５２０の背後に存在していた場合に、仮想フィルム２５６０上に現われたときに計算する、例示の実施形態を示す。仮想フィルム２５６０上のポイント２５５０に対応する画素の値を、レイセンサー２５７０との交差ポイントと入射角度によって発見される、仮想アパーチャ２５２０を通過してポイント２５５０に収束するレイを加算することによって計算する。

図２６に、本発明の別の例示の実施形態による、仮想レンズ面を操作する方式を示す。仮想レンズ面２６３０および／または仮想フィルム面２６６０は、物理的メインレンズまたは他の基準物に対して選択的に傾斜させる。この方式を用いて計算された画像は、結果として、撮像面とは平行でない世界の焦点面を有している。

図２７に例示するような別の例示の実施形態では、仮想フィルム２５６０は平面状である必要はなく、いかなる形状でもよい。

さまざまな方式では、さまざまなアパーチャが選択的に実現される。１つの例示の実施形態では、仮想レンズ面上の仮想アパーチャは概して円形の穴であり、別の実施形態では、仮想アパーチャは概して非円形であるおよび／またはいずれかの形状の複数の互いに別個の領域で実現される。これらの実施形態および他の実施形態では、「仮想アパーチャ」という概念は、一般化可能であり、一部の応用例では、これが、選択された「仮想の」アパーチャを介して受信される光に対応する光データが処理される方式に対応している。

さまざまな実施形態で、仮想アパーチャ方式は、仮想レンズ面での所定のしかし任意の関数で実施される。図３１Ａ〜３１Ｄに、本発明の別の例示の実施形態に関わる、仮想アパーチャ関数として選択的に実施されるさまざまなスカラー関数を示す。これらさまざまな関数には、例えば、値をスムースに変動させる（図３１Ｂに例示するように）関数、互いに別個の複数の領域を実現する（図３１Ａに示すように）関数、負の値をとる（図３１Ｄに例示するように）関数などがある。仮想フィルム上のポイント値を計算するために、仮想レンズ上のさまざまなポイントから発し、仮想フィルム上のポイントに収束するすべてのレイが、仮想アパーチャ関数と加算器とによって重み付けされる。他のさまざまな実施形態では、最終的な値が、レイの値によって異なる任意の計算関数で計算される。例えば、この計算関数は、仮想アパーチャ関数による重み付けには対応しないが、レイ値に基づいて計算されたテスト関数の値次第で不連続なプログラム分岐を含むことがある。

他の例示の実施形態では、本書に記載する他の例示の実施形態と関連して実施される出力画素計算方法を独立に選択する。例えば、１つの例示の実施形態では、仮想レンズ面の向きと仮想アパーチャのサイズとを含むパラメータを、出力画素ごとに連続的に変動させる。別の例では、図３２に示すように、出力画素ごとにレイを累積するために用いられる仮想アパーチャ関数を画素ごとに変化させる。出力画像３２００では、画素３２０１が仮想アパーチャ関数３２１０を用いており、画素３２５１が仮想アパーチャ関数３２５０を用いている。

別の例示の実施形態では、仮想アパーチャ関数は画素ごとに変化する。１つの特定の実施形態では、前景の好ましくない物体のような特定の場面の望ましくない部分からのレイを隠蔽するように関数を選ぶ。

別の例示の実施形態では、人間であるユーザが仮想アパーチャパラメータを対話して選ぶが、光データは、この選択にしたがって処理される。図３３は、このような１つの例示の実施形態を示すプロセスフローチャートである。第１のブロック３３１０で、プロセスは光線センサーからデータを受信する。ブロック３３２０で、ユーザは出力画像の領域を選択し、ブロック３３３０で、ユーザは画像形成方法を選択し、ブロック３３４０で、ユーザは選択された方法にあるようにパラメータを変更して、ブロック３３５０で（例えばコンピュータのモニター上で）画面の計算画像を目視で検査する。ブロック３３６０で、ユーザが画像部分を編集したかどうかチェックし、編集していなければ、ブロック３３３０に戻る。ブロック３３７０で、ユーザが編集すべき画像の部分を選んだかどうかチェックし、選んでいなければ、ブロック３３２０に戻る。編集が完了すれば、ブロック３３８０で最終的な編集画像をセーブする。

別の例示の実施形態では、被写界深度を拡大した画像を、２つ以上の被写体に対して同時にピントを合わせることによって計算する。１つの実施形態では、出力画像の被写界深度を、メインレンズのアパーチャを絞って（サイズを小さくして）実施する従来式の写真撮像をシミュレートすることによって拡大する。出力画素ごとに、レイの感知で用いられたアパーチャより小さい（仮想レンズ面上の）アパーチャを介して出力画素に収束する光のレイを用いて評価する。

図１に示す例示のシステム１００を用いる１つの実施例では、被写界深度は、各々のマイクロレンズ画像の下にある光センサーの値を抽出することによって拡大されるが、ここで、光センサーは各々が各々のマイクロレンズ画像中の同じ相対的な位置に置かれる。図１を参照すると、被写界深度を拡大すると、被写体１０５が（距離「ｄ」と「ｓ」間の相関関係のおかげで）ピントが合っているだけではなく、被写体１０６や１０７などの別の深度にある物体も、さもなければピンボケのためにぶれていたであろうが、ピントが合っている。結果として得られる画像をオプションとしてダウンサンプリングする動作とあいまって、この被写界深度を拡大する方式は、計算という点では効率的である。この方式は、生成された画像がプレビュー目的（例えば、図１のプレビュー画面１７０で表示させる目的など）であるような、画像と共に発生したノイズが許容されるような応用例で選択的に実施される。以下に説明する図４は、プレビュー画像を生成する方式をさらに対象とするものである。

図１４Ａと１４Ｂに、１つ以上の例示の実施形態と関連する、さまざまな被写界深度を持つ画像を計算する方式を示す。図１４Ａは、ある画像と再結像で計算されたクローズアップ画像とを示す。ここで、このクルーズアップの顔は、被写界深度が浅いためぶれている。中間にある図１４Ｂに、前のパラグラフで説明したような拡大被写界深度方式で計算された最終的な画像を示す。

図８は、本発明の別の例示の実施形態による、画像中の被写体深度を拡大する別の計算方式のプロセスフローチャートである。ブロック８１０で、特定の画面中のあらゆる焦点深度で再結像された画像の集合を再結像する。ブロック８２０で、また、画素ごとに、ローカルコントラストが最大の画素を画像の集合から判定する。ブロック８３０で、最高のローカルコントラストを有する画素を組み立てて最終的な仮想画像とする。この方式では、所望の信号対ノイズ比（ＳＮＲ）を、比較的多くの（例えば、マイクロレンズアレイ中のマイクロレンズごとに１つの画素（光センサー）を選択する場合に対して比較的多くの）画素を用いて得ることが可能である。図１４Ｃを参照すると、図示されている例示の画像は、図８を参照して説明され、比較的画像ノイズが低い方式に類似した方式を用いて生成される。

１つの代替実施形態では、計算すべき再結像画像の最小集合を、再結像画像ごとの仮想フィルム面と、画像の光が仮想フィルム面に進行する際に通過するメインレンズの主要面との間の距離という観点から次のように定義する。最小距離がメインレンズの焦点距離に設定され、最大距離が場面中の最も近い物体の共役深度に設定される。仮想フィルム面同士間の分離距離はΔｘ_mｆ／Ａであり、ここで、Δｘ_mはマイクロレンズの幅であり、ｆはメインレンズとマイクロレンズアレイ間の分離距離であり、Ａはレンズアパーチャの幅である。

別の例示の実施形態では、再結像された画像を合成して、各々の最終的画素のところに拡大された被写界深度を持つ画像を生成して、再結像画像のどの集合でも最良にピントが合った画素を維持するようにする。別の実施形態の画像では、維持すべき画素を、ローカルコントランスと隣の画素とのコヒーレンスとを高めることによって選ぶ。撮像に関する一般的な情報とローカルコントラストを高める撮像方式に関する特定的な情報については、Ａｇａｒｗａｌａ， Ａ．、Ｄｏｎｙｃｈｅｖａ， Ｍ．、Ａｇｒａｗａｌａ， Ｍ．、Ｄｒｕｃｋｅｒ， Ｓ．、Ｃｏｌｂｕｒｎ， Ａ．、Ｃｕｒｅｌｅｓｓ Ｂ．、Ｓａｌｅｓｉｎ， Ｄ．、Ｃｏｈｅｎ， Ｍ．による、参照してその全体をここに組み込む２００４年３月２３日発行のグラフィックに関するＡＣＭトランザクションの対話式ディジタルモンタージュ写真作成法（２９２〜３００ページ）を参照のこと。

本発明の別の例示の実施形態では、被写界深度が拡大された画像を次のように計算する。出力画像の画素ごとに、再結像計算を画素に対して実行してさまざまな深度に焦点を合わせる。深度ごとに、収束するレイの均等性の尺度を計算する。（相対的な）最大均等性を生成する深度を選んで、この画素の値に対する深度として保持する。画像画素にピントが合わされているこの方式では、そのレイのすべてが場面中の同じポイントから発し、したがって、類似の色と強度を有する尤度が高い。

均等性の尺度はさまざまな方法で定義可能であるが、多くの応用例では、次の均等性尺度を用いている。すなわち、各々のレイの色コンポーネントごとに、その色の強度と中心レイ（メインレンズの光軸に最も近い角度にある画素に到達するレイ）の対応する色コンポーネント間の差の自乗を計算する。これら差の自乗値をすべて加算して、この和の逆数を均等性であるとする。

図３４は、本発明の別の例示の実施形態による、画像中の被写界深度を拡大するプロセスフローチャートである。ブロック３４１０で、計算予定の仮想画像中の画素を選択する。ブロック３４２０で、この画素を複数の焦点深度のところで再結像して、各々の深度で再結像するために合成されたレイの均等性を計算する。ブロック３４３０で、合成されたレイの最高の均等性と関連した再結像された画素の値を最終的な出力画像画素値として維持する。すべての画素が処理されるまで、プロセスはブロック３４４０に進行する。

別の例示の実施形態では、上記のプロセスを適用して、最終的な画素値を、隣の画素の値と、このような画素値を計算するために合成された関連のレイの均等性とを考慮に入れて選択するようにしている。

本発明の別の例示の実施形態では、被写界深度を、この方向で最も近い物体の深度に各々の画素を焦点合わせすることによって拡大している。図９は、このような例示の実施形態による、画像中の被写体深度を拡大するプロセスフローチャートである。ブロック９１０で、計算すべき最終的な仮想画像中の画素を選択する。ブロック９２０で、最も近い物体の深度を、選択された画素からレンズの中心を通って場面中にトレースされた光線（または光線の集合）に対して推定する。

ブロック９３０で、推定された深度で再結像された画像中での、この選択された画素の値を計算する。ブロック９４０で追加の画素を処理することが望ましい場合、別の画素をブロック９１０で選択して、ブロック９２０で、この新たに選択された画素のためにブロック９２０に進行する。ブロック９４０で追加の画素を処理することが望ましくない場合、計算された値を各々の選択された画素ごとに用いて、最終的な仮想画像を作成する。

被写界深度が拡大される一部の実施形態では、各々の出力画素での値を、所望の物体の深度より近い深度から発する光線を無視して計算し、これで、レンズに近い物体の境界の周りにおける「ブルーミング（blooming）」影響または「ハロ（halo）」影響と一般に呼ばれる影響のような影響を軽減または解消している。一例として、図２３に、対象被写体２３１０に対して世界内の所望の焦点２３０１を介して達するレイの集合を示す。これらのレイの一部はメインレンズ２３０１から物体２３２０によって遮断されるが、これらは、レイセンサー２３５０によって検出される光線２３４０に対応しているが、ポイント２３０１の画像値を計算する際には無視される。一部の実施形態では、無視されるレイは、中心レイの色との不整合によって検出される。一部の実施形態では、結果として得られる画素値は、無視されなかったレイの割合で除算することによって正規化される。これらの実施形態は、単独で用いたり、互いにまたは、被写界深度を拡大することを対照とする実施形態を含むいずれかの他の実施形態と組み合わせたりして用いられる。

上述したように、光データは、さまざまな例示の実施形態にしたがって処理して、画像を焦点合わせおよび／または補正する。後者の補正方式をさまざま次に説明する。このような実施形態の内の一部では、収差を、レイをキャプチャする際に用いられる光学系の実際の光学部品（例えば１つ以上のレンズ）によってレイをトレースし、このトレースされたレイを光をキャプチャする特定の光センサーに対してマッピングすることによって補正している。光データを、この光学系で示された周知の欠陥と、光を検出するセンサーの周知の位置とを用いて再構成する。

１つの補正タイプの実施形態では、理想化された光学系によって形成された各々の画素に寄与するレイの世界を、合成された写真にフィルム上の画素ごとに計算する。１つの実施例では、これらのレイを、仮想フィルムのロケーションからレイを理想的な光学系を介して世界にまでトレースバックすることによって計算する。図１５に、このような１つの例示の実施形態に関連する、仮想フィルム面１５１０上の３Ｄポイント１５１０からの光線を理想的な薄いメインレンズ１５２０を介して世界レイ１５３０から成る円錐体中にまでトレースする方式を示す。一部の実施例では、所望のレイ１５２５の集合は必ずしも理想的なレンズを通る方向に対応していないが、所望の画像値を生成するために重み付けされた加算されるレイのいずれかの集合には対応する。

図１６に、本発明の別の例示の実施形態に関連する、特定の応用例の場合の理想的なレイに沿って走行する光の値を発見する方式を示す。これらの値は、球状界面を持つ１つの部品を有し、レイを測定する（検出する）際にときに理想的な世界レイをレイセンサー１６４０に対して物理的に出力するために用いられる理想的なメインレンズ１６５０を介して所望の理想的な世界レイ１６３０をトレースすることによって計算する。この実施形態では、１つの３Ｄポイント（１６０１）に対して理想的には収束するレイは、実際には収束しないで、球面収差と呼ばれる球状海面を持つレンズの欠陥を表す。レイセンサー１６４０は、ずれたレイ（１６５１など）の各々に対する個々の値を提供するが、この値を用いて、球面収差を補正する。

図１７Ａ〜１７Ｃに、レンズを補正する方式でコンピュータシミュレーションを用いた例示の結果を示す。図１７Ａの画像は、理想的な５１２×５１２の写真（完全な光学系を介してみた場合）である。図１７Ｂの画像は理想的なｆ／２両凸球面レンズで生成したものいであり、コントラストとぼかしにロスがある。図１７Ｃの画像は、各々の５１２×５１２マイクロレンズでの１０×１０の指向性（ｕ，ｖ）解像度を容易なものとする光学系とセンサーとによって、上記の画像補正方式を用いて計算された写真である。

本発明の別の例示の実施形態では、色収差を、画像をキャプチャするために用いられるメインレンズで補正している。色収差は、光のレイが、光学系中を物理的に出力される際にこれらのレイが、光の波長によって定まる物理的方向の差のために発生する発散によって引き起こされる。入射光線を、磁際の光学系で発生する波長によって異なる光の屈折を考慮に入れて、実際の光学系を解してトレースする。一部の実施形態では、システムの各々の色成分を、主要な波長に基づいて別々にトレースする。

別の例示の実施形態では、カラー撮像システムでは共通である赤、緑、青の各々を、図１８Ａに示すように別々にトレースする。緑の世界の光線は、計算で撮像システム中にトレースバックして緑色レイ１８３０を生成して、どこで色レイセンサー１８１０と交差し、どの方向で色レイセンサー１８１０と交差するかを測定する。同様に、図１８Ｂに、緑の光線より大きく屈折する所望の青色世界光線１８２０の計算的にトレーする方法を示す。図１８Ｃに、緑の光線より小さく屈折する所望の赤色世界光線１８３０の計算的にトレーする方法を示す。各々のレイの値は、例えば、本書に記載する他の例示の実施形態と関連して検討した方式を用いて、レイセンサー１８１０から得られた値に基づいて計算する。各々のレイの光照射野の値を累積して、各々の特定のフィルム画素に対する補正済みの画像値を計算する。一部の実施形態の場合、色収差を、各々の色チャネルを自身の波長がもっとも良くピントが合う平面上に再結像させることによって改善している。

所望の光線は、レイセンサーでサンプリングされた離散したレイの値の内の１つに正確に収束することはない。一部の実施形態では、このような例に対して用いられる値は、離散的なレイ値の関数として計算される。一部の実施形態では、この関数は、所望の光線の近傍にある離散的なレイの値の重み付けされた和に対応する。一部の実施形態では、この重み付けされた和は、所定の重畳カーネル関数を持つ離散的サンプル値の４Ｄ重畳値に対応している。他の実施形態では、この重み付けは、１６個の最も近いものに基づいた四線形性（quadrilinear）内挿に対応している。さらに別の実施形態では、この重み付けは、１６個の最も近いものに基づいたキュービックまたはバイキュービック内挿に対応している。

例示の補正プロセスは、概念を簡略化する目的にとってはレイをトレーするという点に関して説明したが、補正に関してさまざまな他の方式が実施されることに注意する必要がある。１つの実施形態では、所望の出力画素ごとに、寄与する光センサー値の集合を、その相対的な重みと共に事前計算する。上述したように、このような重みは、光学系、センサー、出力画素ごとに重み付けされた加算されるレイの所望の集合および所望の光照射野再構築フィルタを含む多くの要因のプロパティである。これらの重みは、選択的にレイとレース方式を用いて事前計算されてストアされる。補正済みの画像は、出力画素ごとに適切な感知光照射野値を重み付けして加算することによって形成される。

図２９と図３０に、上記の補正方式に関連して用いられる他の例示の実施形態を示す。図２９は、レイ（光）センサーと関連する重みと各々のレイセンサーと関連する出力画像画素値のデータベースを事前計算するするプロセスフローチャートである。最初の２つのブロック２９１０と２９２０で、データ集合（例えばデータベース中のそれ）を、出力画像画素値を生成するために重み付けされる理想的な世界光線の集合と、光線センサーに光線を物理的に出力するために用いられる実際のメインレンズ光学系の規定とから成る所望の形成プロセス用に受信する。ブロック２９２５で、画像画素を選ぶ。この画素の出力値に対して、世界レイの関連集合を、メインレンズの仮想表示物を介してレイセンサーまでブロック２９３０で計算的にトレースする。この結果、重みの集合が、各々のレイセンサーに対して適用されて、出力画素値を計算する。これらの値はブロック２９４０で出力データベースに記憶する。ブロック２９５０で、すべての画素が処理されたかをチェックして、そうでなければ、ブロック２９２５に戻る。すべての画素が処理されたら、最終ブロック２９６０で、計算されたデータベースをセーブする。

図３０は、図２９のプロセスなどのプロセスで計算された重みのデータベースを用いて出力画像を計算するプロセスのフローチャートである。ブロック３０１０でと３０２０で、データベースと、このデータベースの計算に用いられたメインレンズ光学系でキャプチャされたレイセンサー値の集合とを受信する。ブロック３０２５で、出力画像から画素を選んで、その最終的画像値を計算する。選択された画素に対して、ブロック３０３０で、データベースを用いて、寄与するレイセンサーの集合とその重みを発見する。ブロック３０４０で、３０２０で与えられた各々のセンサー値を重み付けして、この画像画素値の和に加算する。ブロック３０５０で、すべての画像画素が処理されたかチェックする。そうでなければ、プロセスはブロック３０２５に戻り、そうであれば、出力画素をブロック３０６０でセーブする。

さまざまな例示の実施形態では、光データを周波数ドメインで処理しているが、ある種の方式では、フーリエドメインで動作する再結像のための計算的方式を対象としている。図２０は、別の例示の実施形態に関わる、このような１つの方式を示すフローチャートである。アルゴリズムに対する入力は離散４Ｄ光照射野２０１０であり、これは、メインレンズ上の（ｕ，ｖ）から発してマイクロレンズ面上の（ｓ，ｔ）で終わる（例えば、図１のメインレンズ１１０から発し、マイクロレンズアレイ１２０の平面で終わる）レイを表すＬ（ｓ，ｔ，ｕ，ｖ）とわれわれは呼んでいる。第１のステップで、光照射野の離散４Ｄフーリエ変換２０２０を計算する。（ｋ_s，ｋ_t，ｋ_u，ｋ_v）この４Ｄフーリエ変換値をあえて値Ｍ（ｋ_s，ｋ_t，ｋ_u，ｋ_v）と呼んで次式で定義する。

ここで、ｅｘｐ関数は指数関数であり、ｅｘｐ（ｘ）＝ｅ^xである。一部の実施形態では、離散光照射野を４Ｄ空間中の四線性グリッド上でサンプリングして、フーリエ変換を、高速フーリエ変換（ＦＦＴ）アルゴリズムで計算する。

次のステップは、われわれが画像をピント合わせすることを希望する深度ごとに１回実行されるが、これで、４Ｄフーリエ変換の適切な２Ｄスライス２０３０を抽出して、さまざまな深度２０４０でピント合わせされた写真であるこの抽出スライスの逆２Ｄフーリエ変換を計算する。関数Ｇ（ｋ_x，ｋ_y）の逆フーリエ変換ｇ（ｘ，ｙ）は次式で定義される。

抽出された２Ｄスライス上の値は、われわれが再結像したい深度で決定される。所望の世界焦点面の共役平面（レンズの画像側にある）を考慮すると、この共役面とメインレンズ間の分離距離と、マイクロレンズ面とメインレンズ間の分離距離とがＦであれば、座標（ｋ_x，ｋ_y）における抽出された２Ｄスライスの値は、次式で与えられる。

さまざまな方式を用いて、離散化、再サンプリングおよびフーリエ変換によってもたらされる影響が選択的に改善される。一般的な信号処理という点では、信号をサンプリングするとき、この信号はデュアルドメインで周期的に複製される。このサンプリングされた信号を重畳によって再構築するとき、それをデュアルドメインで重畳フィルタをフーリエ変換して乗算する。この点で、オリジナルの中心の複製が隔離されて、他のすべての複製が消滅する。望ましいフィルタとしては４Ｄのｓｉｎｃ関数、すなわち、ｓｉｎｃ（ｓ）ｓｉｎｃ（ｔ）ｓｉｎｃ（ｕ）ｓｉｎｃ（ｖ）があるが、ここで、ｓｉｎｃ（ｘ）＝ｓｉｎ（πｘ）であるが、この関数は無限の広がりを有している。

さまざまな方式で、有限範囲フィルタを周波数ドメイン処理で用いているが、このようなフィルタは欠陥があり、これを選択的に軽減している。図２１Ａに、特定の１Ｄフィルタに関するこのような欠陥を示すが、これに対応する以下の説明は、このような欠陥の軽減を対象としている。図２１Ａは、１Ｄでの線形内挿で（または４Ｄ四線形式フィルタの基底として）実施される三角フィルタ方式を示す。図２１Ｂに、三角フィルタ方式のフーリエ変換を示すが、これは、帯域限界（２０１０を参照）内の単位値ではなく、また、周波数が増大するに連れて小さくなる端数値に徐々に減衰する値である。加えて、このフィルタは、真に帯域が制限されているわけではなく、所望の拒絶帯（２０２０）の外側の周波数でエネルギを含んでいる。

上記の第１の欠陥は「ロールオフアーティファクト」を引き起こすが、これは、計算された写真の境界を暗化させかねない。周波数が増すと発生するこのフィルタの周波数スペクトルの減衰は、このスペクトルで変調される空間光照射野もまた、エッジに近づくに連れて端数値に「ロールオフ」することを意味する。

上記の第２の欠陥は、上記の帯域限界を上回る周波数でのエネルギに関連する計算済み写真中のエリアシング影響である。帯域限界を超えて非ゼロエネルギが拡大するということは、周期的な複製が完全には解消されていなくて、２種類のエリアシングが発生すること意味する。第一に、スライス平面に平行であるように見える複製は、最終的な写真の境界を侵害する画像の２Ｄ複製のように見える。第二に、この平面に直角に置かれた複製は、画像平面に投射されて加算され、ゴーストを発生させ、コントラストが落ちる。

この例示の実施形態では、上記のロールオフタイプの欠陥補正は、フィルタの逆フーリエ変換の逆数を入力光照射野に乗算することによって解決され、これで、再サンプリング中に引き起こされた影響を無力化する。この例示の実施形態では、乗算は、４Ｄフーリエ変換をアルゴリズムの事前処理ステップで取り上げる以前に実行される。これでロールオフ誤差は補正されるが、事前乗算によって、自身の境界近くにある光照射野のエネルギーを拡大させて、エリアシング（aliasing）として所望の視野に折り返されるエネルギが最大となる。

エリアシングの影響を抑圧する３つの方法、すなわち、オーバーサンプリング、優越フィルタリングおよびゼロパディングを、以下のさまざまな例示の実施形態では個別にまたは組み合わせて用いている。抽出された２Ｄスライス内でオーバーサンプリングすると、空間ドメインでの複製周期が増す。これは、面内の複製のテールのエネルギーの内で、最終的な写真の境界内に入るエネルギーは少ないことを意味する。一方のドメイン中でのサンプリングレートを増すと、他方のドメインでの視野が増す。隣の複数からのエリアシングエネルギーは、このような外部領域に入るが、これは、消されて、対象となるオリジナルの中心画像を隔離させる。

エリアシングを軽減する別の方式として、完全なスペクトル（理想的なフィルタを用いて示されるようなもの）をできる限り緊密に近似する有限範囲フィルタを対象とするものがある。ある例示の実施形態では、４Ｄカイザー・ベッセル分離形関数、ｋｂ４（ｓ、ｔ、ｕ、ｖ）＝ｋｂ（ｓ）ｋｂ（ｔ）ｋｂ（ｕ）ｋｂ（ｖ）をこのフィルタとして用いるが、ここで、次式が成り立つ。

この式で、Ｉ₀は、第１の種類の標準のゼロ次の修正カイザー・ベッセル関数であり、Ｗは所望のフィルタの幅であり、ＰはＷによって決まるパラメータである。この例示の実施形態では、Ｗの値は、５，４．５，４．０，３．５，３．０，２．５，２．０及び１．５であり、Ｐの値は、それぞれ、７．４３０２，６．６２９１，５．７５６７，４．９１０７，４．２０５４，３．３８００，２．３９３４および１．９９８０である。エリアシングに関する一般的な情報については、また、本発明の１つ以上の例示の実施形態に関わるエリアシング軽減方式に関する特定的な情報については、その全体を参照してここに組み込む、Ｊａｃｋｓｏｎ Ｊ．Ｉ、Ｍｅｙｅｒ Ｃ．Ｈ．、Ｎｉｓｈｉｍｕｒａ、Ｄ．Ｇ．およびＭａｃｏｖｓｋｉ Ａ．、１９９７年による医療用撮像に関するＩＥＥＥトランザクションの１０、３の４７３〜４７８ページのフーリエ逆変換のための重畳関数の選択を参照のこと。１つの実現例では、約２．５未満の幅「Ｗ」を実現して、望ましい画像品質を達成している。

別の例示の実施形態では、エリアシングを、事前乗算とそのフーリエ変換に先立ってゼロ値の小さい境界で光照射野をパディングすることによって軽減している。これによってエネルギが境界からさらに少し押されて、事前乗算によるエリアシングエネルギの増幅を最小化してロールオフを補正する。

図２２は、本発明の別の例示の実施形態による、上記のさまざまな補正値を用いて周波数ドメインで再結像する方式を示すフローチャートである。ブロック２２１０で、離散４Ｄ光照射野が受信される。入力された光照射野ごとに１回発生する事前処理位相において、ブロック２２１５で、エリアシングの減少が望まれているかチェックし、望ましければ、ブロック２２２０を実行して、ゼロ値の小さい境界（例えば、このディメンジョンでの幅の５％）で光照射野をパディングする。ブロック２２２５で、ロールオフ補正が望まれているかチェックして、望まれていれば、光照射野をブロック２２３０で再サンプリングフィルタのフーリエ変換の逆数で変調する。この事前処理フェーズの最終ブロックで、光照射野の４Ｄフーリエ変換をブロック２２４０で計算する。

所望の焦点距離ごとに１回発生する再結像フェーズにおいて、例えばユーザの方向によって、ブロック２２５０で再結像画像の所望の焦点深度を受信する。ブロック２２６０で、エリアシングの減少が望まれるどうかチェックする。望まれなければ、ブロック２２７０で、所望の４Ｄ再サンプリングフィルタで光照射野のフーリエ変換の２Ｄスライスを抽出するが、ここで、２Ｄスライスの軌跡は、所望の焦点深度に対応しており、ブロック２２７５で、抽出されたスライスの逆２Ｄフーリエ変換を計算して、ブロック２２９０に進む。ブロック２２６０でエリアシングの減少が望まれれば、ブロック２２８０に進み、ここで、所望の４Ｄ再サンプリングフィルタとオーバーサンプリング（例えば、２次元のそれぞれで２ｘオーバーサンプリングする）での２Ｄスライスが抽出される。ブロック２２８３、このスライスの逆２Ｄフーリエ変換を計算し、結果得られる画像を、ブロック２２８６でのオーバーサンプリングなしでオリジナルサイズにまで縮小して、その後で、ブロック２２９０に進む。ブロック２２９０で、再結像が完了したかどうかチェックする。完了していなければ、別の焦点深度をブロック２２５０で選んで、上記の通りに進行する。再結像が完了したら、ブロック２２９５から脱出する。

この周波数ドメインアルゴリズムの漸近的な計算上の複雑性は、上記の代替実施形態で説明したように例を明示的に加算することによる再結像の場合より少ない。入力された離散光照射野は、その４つのディメンジョンの各々にＮ個のサンプルを持っているもの仮定する。そして、新たな深度ごとに再結像に対して、明示的にレイを加算するアルゴリズムの計算的複雑性はＯ（Ｎ⁴）（Ｎ⁴のオーダー）である。新たな深度ごとの再結像に対して、この周波数ドメインアルゴリズムの計算的複雑性はＯ（Ｎ²ｌｏｇＮ）であり、逆２Ｄフーリエ変換の経費が大きい。しかしながら、事前処理ステップでは、新たな光照射野データ集合ごとにＯ（Ｎ⁴ｌｏｇＮ）が必要である。

別の例示の実施形態では、キャプチャされた光線は光学的にフィルタリングされる。このような応用例には限られないが、このようなフィルタの例には、ニュートラルデンシティフィルタや、色フィルタや、分極フィルタがある。既存のまたは将来開発されるいかなるフィルタを用いて、光の例を所望の通りにフィルタリングしてもよい。１つの実施形態では、光線をグループでまたは個別に光学的にフィルタリングし、これで、各々のグループや個々のレイが互いに別々にフィルタリングされるようにする。別の実施例では、フィルタリング、メインレンズに取り付けられた空間的に変動するフィルタを用いて適用している。１つの例示の応用例では、ニュートラルデンシティ勾配フィルタなどの勾配フィルタを用いて光をフィルタリングしている。別の実施例では、空間的変動フィルタを、レイセンサー、マイクロレンズアレイおよび光センサーの内の１つ以上のものの前部で用いている。図１をレイとして参照すると、このようなフィルタを１つ以上選択的に、メインレンズ１１０、マイクロレンズアレイ１２０および光センサーアレイ１３０の内の１つ以上のものの前部で用いている。

本発明の別の例示の実施形態では、プロセッサなどの計算コンポーネントをプログラムして、出力画素を計算する際に合成されるレイを選択して、この画素値に対して所望のネットのフィルタリングを実行する。一例として、光学的にニュートラルな勾配デンシティフィルタがメインレンズのところにある実施形態を考えると、マイクロレンズの下に現われるレンズアパーチャの各々の画像に対して、この範囲全体にわたってフィルタ勾配が重み付けされる。１つの実施例では、出力画像は、この出力画像の画素に対する所望のレベルのニュートラルデンシティフィルタリングを選択することによって重み付けされる。例えば、すべての画素が広い範囲にわたってフィルタリングされた画像を生成するために、すべての画素値を、最大フィルタリングに対応する勾配の末端にある対応するマイクロレンズの下の光センサーの値に設定する。

図２は、本発明の他の例示の実施形態に関連する画像処理方式を示すデータフローチャートである。画像センサー装置２１０は、例えば、図１に示し、上述したマイクロレンズ１２０と光センサーアレイ１３０に類似した方法でマイクロレンズ／光センサーチップ装置２１２を用いて画像データを収集する。画像センサー装置２１０は、収集された画像データを転送するように準備するために、ある処理回路を持つ組み込み処理回路２１４を光学的に含んでいる。

画像センサー装置２１０で作成されたセンサーデータは信号プロセッサ２２０に送られる。この信号プロセッサは、低解像度画像プロセッサ２２２と、圧縮プロセッサ２２４および（光）レイ方向プロセッサ２２６の一方または双方とを含むが、これらのプロセッサは各々が、応用例次第で共通のプロセッサで別個にまたは機能単位で選択的に実現される。さらに、図２に示すプロセッサの各々が、他の図面または本書のどこかに関連して説明した１つ以上の処理機能で選択的にプログラムされる。信号プロセッサ２２０は、オプションとして、共通回路上および／または共通画像デバイス中でなど、画像センサー装置２１０で共通デバイスまたは共通コンポーネント中に実現される。

低解像度画像プロセッサ２２２は、画像センサー装置２１０から受信したセンサーデータを用いて、低解像度画像データを生成し、これがビューファインダディスプレイ２３０に送られる。カメラやビデオカメラの押しボタンなどの入力デバイス２３５は、画像キャプチャ要求を信号プロセッサ２２０に送って、例えば、ビューファインダディスプレイ２３０に表示されている特定の画像のキャプチャおよび／またはこのように実施された場合におけるビデオ撮像の開始を要求する。

画像キャプチャ要求に応答してまたは別様に指示されて、信号プロセッサ２２０は、画像センサー装置２１０がキャプチャしたセンサーデータを用いて、処理済みのセンサーデータを生成する。一部の応用例では、圧縮プロセッサ２２４を実現して、圧縮生データを生成し、これをデータ記憶装置２４０（例えばメモリー）に転送する。すると、このような生データを信号プロセッサ２２０および／または外図コンピュータ２６０もしくは他の処理デバイスで選択的に処理して、レイ方向プロセッサ２２６で実施されるようにレイ方向処理を実施するが、これを以下に詳述する。

ある応用例では、レイ方向プロセッサ２２６を実現して、信号プロセッサ２２０が受信したセンサーデータを処理して、結像されたおよび／または補正された画像データを生成する際に用いられるセンサーデータを再構成する。レイ方向プロセッサ２２６は、画像センサー装置２１０から受信したセンサーデータと画像記憶装置２４０に送られた生データの内の一方または双方を用いる。このような応用例では、レイ方向プロセッサ２２６は、画像センサー装置２１０が実現されている特定の撮像デバイス（例えば、カメラ、ビデオカメラ、モバイル電話）のレイマッピング特徴を利用して、マイクロレンズ／光センサーチップ２１２で感知された光線の再構成を決定する。レイ方向プロセッサ２２６で作成された画像データは、データ記憶装置２４０および／または、画像データのストリーミングや遠隔地への画像データの別様の送出などのさまざまな応用例で用いられる通信リンク２５０に送られる。

一部の応用例では、組み込み処理回路２１４は、例えば、適切な機能を持つＣＭＯＳタイプのプロセッサまたは他のプロセッサを実現することによって、信号プロセッサ２２０の処理機能の内の一部またはすべてを含んでいる。例えば、低解像度画像プロセッサ２２２は、組み込み処理回路２１４と一緒に含まれて、低解像度画像データが、画像センサー装置２１０からビューファインダディスプレイ２３０に対して直接に送られる。同様に、圧縮プロセッサ２２４またはこれと類似の機能が、組み込み処理回路２１４で実現される。

一部の実施形態では、最終的画像の計算を、組み込み処理回路２１４（例えば、最終的画像しか出力しない一部のディジタル式スチールカメラ）で実施される。画像センサー装置２１０が、単に、生の光線データまたはこれを圧縮したデータをデスクトップコンピュータなどの外部計算デバイスに送信するような実施形態もある。この場合、最終的画像を外部デバイスでこれらのデータから計算する。

図３は、本発明の別の例示の実施形態による、画像データ処理のフローチャートである。ブロック３１０で、画像データを、メインレンズまたは、図１に示すようなマイクロレンズ／光センサーアレイを持つレンズスタックを用いてカメラまたは他の撮像デバイスでキャプチャする。プレビュー画像がブロック３２０で望まれる場合、プレビュー画像を、例えば、ビューファインダまたは他のタイプのディスプレイを用いてブロック３３０で生成する。プレビュー画像を、例えば、キャプチャされた画像データのサブ集合を用いてカメラやビデオカメラのビューファインダに表示する。

光センサーアレイからの生データを、ブロック３４０で処理して圧縮して使用できるようにする。光線データを、この処理・圧縮されたデータからブロック３５０で抽出する。この抽出では、例えば、光センサーアレイ中の特定の光センサーに入射した光線の束または集合が検出される。レイマッピングデータを、画像データがキャプチャされる撮像装置用にブロック３６０で検索する。このレイマッピングデータと抽出された光線データとを用いて、再ソーティング済み画像をブロック３７０で合成する。例えば、抽出、マッピングおよび合成のブロック３５０〜３７０は、光線を収集する対象である画面の特定の画素に対する光線の束を決定し、この光線のエネルギを累積してこの特定の画素の値を合成することによって選択的に実施される。一部の応用例では、レイマッピングデータを用いて、各々の特定の画素に対する光線を、画像データ獲得目的で用いられる実際のレンズを解してトレースする。例えば、適当なレイ集合を決定してこれを一緒に加算して、特定の焦点深度にある選択された被写体に対してブロック３７０で収束させることによって、これらのレイを再ソーティングして、ピントがあっている画像に到達することが可能である。同様に、適当なレイ構造を決定して、撮像デバイス中のレンズ収差などの状態を補正することによって、このようなレイを再ソーティングして、収差や他の状態に関連する特徴が比較的ない画像を生成することが可能である。

さまざまな方式を選択的に用いて、カメラタイプの応用例や他の応用例に対してプレビュー画像を生成する。図４は、本発明の別の例示の実施形態による、このようなプレビュー画像を生成するプロセスフローチャートである。図４に示し、以下に説明するこの方式は、例えば、図３のブロック３３０でのプレビュー画像生成に関連して実施される。

生のセンサー画像データのプレビュー命令をブロック４１０で受信する。ブロック４２０で、中心画素を、この生のセンサー画像データ中の各々のマイクロレンズ画像から選択する。この選択された中心画素を収集して、ブロック４３０で高い被写界深度を持つ画像を形成する。ブロック４４０で、この高被写界深度画像を、ビューファインダディスプレイで用いられるように修正可能な解像度にまでダウンサンプリングする。例えば図２を参照すると、このようなダウンサンプリングは、１つ以上の画像センサー装置２１０または信号プロセッサ２２０で選択的に実行される。生成されたプレビュー画像データを、ブロック４５０でビューファインダディスプレイに送って、ブロック４６０で、ビューファインダディスプレイがこのプレビュー画像データを持つ画像を表示する。

図５は、本発明の別の例示の実施形態による、画像データを処理して圧縮するプロセスフローチャートである。図５に示し、以下に説明するこの方式は、例えば、図３のブロック３４０での画像データの処理と圧縮に関連して実施される。図２に示すような装置で実施されると、図５に示す方式は、例えば、画像センサー装置２１０と信号プロセッサ２２０の一方または双方で実施される。

ブロック５１０で、生の画像データをセンサーアレイから受信する。ブロック５２０でカラリングが所望されると、色フィルタアレイ値をブロック５３０でデモシアス（ｄｅｍｏｓｉａｃｅ）されて、センサーのところに色を発生する。ブロック５４０で修正と整列が所望されれば、ブロック５５０で、マイクロレンズ画像を修正して光センサーアレイと整列させる。ブロック５６０で内挿が所望されれば、画素値を、各々のマクロレンズと関連する画素の整数に対してブロック５７０で内挿する。ブロック５８０で、処理された生の画像データを合成処理されるように（例えば、再結像および／補正された画像を形成するために）圧縮して提示する。

図６は、本発明の別の例示の実施形態による、画像合成のプロセスフローチャートである。図６に示し、以下に説明する方式は、例えば、図３のブロック３７０に示し、以下にさらに説明する画像合成方式と関連して実施される。

ブロック６１０で、生の画像データを光センサーアレイから受信する。ブロック６２０で再結像を所望されれば、画像データを、例えば、生画像データで表される選択的に光を再ソーティングする本書に記載の方式を用いてブロック６３０で再結像する。ブロック６４０で画像補正が所望されれば、画像データをブロック６５０で補正する。さまざまな応用例で、ブロック６５０での画像補正を、再結像と画像補正の双方が所望される応用例のブロック６３０で再結像する前にまたはそれに同時に実行する。結果としての画像を、適用可能であれば再結像データと補正データを含む処理済み画像データを用いて、ブロック６６０で生成する。

図７Ａは、本発明の別の例示の実施形態による、あるレンズ配置で画像を再結像するプロセスフローチャートである。図７に示し、以下に解説する方式は、例えば、図６のブロック６３０での画像データの再結像と関連して実施される。

ブロック７１０で、画像部分を再結像させる仮想焦点面を選択する。ブロック７２０で、仮想焦点面に対する仮想画像の画素を選択する。ブロック７３０で補正（例えばレンズ収差に対する補正）が所望されれば、選択された画素と各々の特定のレンズ位置間を通過する仮想光線（または光線の仮想集合）がブロック７４０で計算される。１つの応用例では、この計算は、選択された画素に当たる共役の光線を計算して、このレイをレンズアレイ中の経路をトレースすると容易となる。

ブロック７５０で、特定の焦点面に対する各々のレンズ位置の光線（または光線の仮想集合）の和を加算して、選択された画素の合計値を決定する。一部の応用例では、ブロック７５０で加算される和は重み付けされた和であり、この場合、ある光線（または光線の集合）には他の光線より大きい重み付けがされる。ブロック７６０で再結像する画素がまだあれば、別の画素をブロック７２０で選択して、再結像が望まれる画素がなくなるまで継続される。画素がすべて再結像されると、画素データをブロック７７０で合成して、ブロック７１０で選択された仮想の焦点面のところで再結像された仮想画像を生成する。図７のブロック７２０、７３０、７４０および７５０ｎ一部またはすべてを伴う再結像方式は、さまざまな応用例のより具体的な機能によって実行される。

本書に記載する１つ以上の例示の実施形態で実現されているセンサーデータ処理回路は、実施例にしたがって、１つ以上のマイクロプロセッサ、特定用途向けＩＣ（ＡＳＩＣ）、ディジタル信号プロセッサ（ＤＳＰ）および／またはプログラム可能ゲートアレイ（例えば、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ））を含む。この点で、センサーデータ処理回路は、現在周知のまたは将来開発されるどのようなタイプまたは形態の回路でもよい。例えば、センサーデータ処理回路は、１つのコンポーネントまたは複数のコンポーネント（マイクロプロセッサ、ＡＳＩＣ、ＤＳＰ）を含むが、これらは、能動素子であれ受動素子であれ、一緒にカップリングされて、所望の動作／機能／応用を実施、提供および／または実行する。

さまざまな応用例において、センサーデータ処理回路は、本書に記載および／または図示された特定の方法、タスクまたは動作を実行する１つ以上のアプリケーション、ルーチン、プログラムおよび／またはデータ構造を実施または実行する。これらアプリケーション、ルーチンまたはプログラムの機能性は、ある応用例では選択的に組み合わせたり配分させたりしている。一部の応用例では、アプリケーション、ルーチンまたはプログラムを、現在周知のまたは将来開発されるさまざまなプログラム言語の内の１つ以上を用いてセンサー（または他の）データ処理回路で実施している。このようなプログラム言語には、例えば、ＦＯＲＴＲＡＮ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＢＡＳＩＣが含まれるが、これらは、コンパイル済みコードであれ未コンパイルコードであれ、本発明の１つ以上の態様と関連して選択的に実施される。

上記のさまざまな実施形態は解説目的だけのものであり、本発明を制限するものと解釈すべきではない。上記の説明と図示に基づいて、当業者であれば、本書に図示し記載した例示の実施形態と応用例を厳格に追随することなく、本発明に対してさまざまな修正と変更が可能であることが容易に認識されるであろう。例えば、このような変更には、さまざまなタイプの応用例でさまざまな光学的撮像用のアプリケーションやデバイスを実現したり、画素（または選択された他の画像エリア）ごとに収集されるレイの数を増減させたり、上記の例とは異なったアルゴリズムおよび／式を実施して画像データを組み立てるまたは別様に処理したりすることが含まれる。他の変更として、極座標などの、デカルト座標とは異なった座標表示を用いたりまたはこれに付け加えたりすることがある。このような修正と変更は、本発明の精神と範囲から逸脱しない。

本発明は、次の添付図面と一緒にして本発明のさまざまな実施形態に関する以下の詳細な説明を読めばより完全に理解されるであろう。

本発明はさまざまな修正形態や代替形態に変更することが可能であるとはいえ、その固有性は図面中に例として示されており、詳細に説明する。しかしながら、本発明は、記載される特定の実施形態に限られることを意図するものではないことを理解すべきである。それどころか、本発明は、本発明の精神と範囲から逸脱しないあらゆる修正例、等価例および代替例をその範囲に含むものである。

本発明の例示の実施形態による、光線キャプチャ・処理装置を示す図である。 本発明の別の例示の実施形態による、光学的撮像デバイスを示す図である。 本発明の別の例示の実施形態による、画像処理のプロセスフローチャートである。 本発明の別の例示の実施形態による、プレビュー画像を生成するプロセスフローチャートである。 本発明の別の例示の実施形態による、画像データを処理して圧縮するプロセスフローチャートである。 本発明の別の例示の実施形態による、画像合成のプロセスフローチャートである。 本発明の別の例示の実施形態による、画像再結像のプロセスフローチャートである。 本発明の別の例示の実施形態による、画像中の被写体深度を拡大するプロセスフローチャートである。 本発明の別の例示の実施形態による、画像中の被写体深度を拡大する別の方式のプロセスフローチャートである。 本発明の別の例示の実施形態による、光線を分離させる１つの例示の方式を示す図である。 本発明の別の例示の実施形態による、センサー画素のロケーションを収集されたデータを基準としてＬ（ｕ，ｖ，ｓ，ｔ）空間中の光線に対してマッピングする方式を示す図である。 本発明の別の例示の実施形態による、さまざまな深度で再結像されたいくつかの画像を示す図である。 本発明の別の例示の実施形態による、２次元での撮像構造を示す図である。 本発明の別の例示の実施形態による、ある画素に対して加算された３次元のポイントからの光線から成る円錐体を示す図である。 本発明の別の例示の実施形態による、さまざまな被写界深度を持つ画像を計算する方式を示す図である。 本発明の別の例示の実施形態による、さまざまな被写界深度を持つ画像を計算する方式を示す図である。 本発明の別の例示の実施形態による、さまざまな被写界深度を持つ画像を計算する方式を示す図である。 本発明の別の例示の実施形態による、仮想フィルム面上の３次元ポイントからの光線をトレースする方式を示す図である。 本発明の別の例示の実施形態による、光の値を発見する方式を示す図である。 本発明の別の例示の実施形態による、理想的な５１２×５１２画素の写真を示す図である。 本発明の別の例示の実施形態による、ｆ／２球面両凸レンズで生成される画像を示す図である。 本発明の別の例示の実施形態による、画像補正方式を用いて計算された画像を示す図である。 本発明の別の例示の実施形態による、カラー撮像システムでは共通の光線トレース法を示す図である。 本発明の別の例示の実施形態による、カラー撮像システムでは共通の光線トレース法を示す図である。 本発明の別の例示の実施形態による、カラー撮像システムでは共通の光線トレース法を示す図である。 本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。 本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。 本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。 本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。 本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。 本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。 本発明の別の例示の実施形態による、フーリエドメイン中での再結像の計算による方式のプロセスフローチャートである。 本発明の別の例示の実施形態による、三角フィルタ方式を示す図である。 本発明の別の例示の実施形態による、三角フィルタ方式のフーリエ変換を示す図である。 本発明の別の例示の実施形態による、周波数ドメインでの再結像の方式のプロセスフローチャートである。 本発明の別の例示の実施形態による、所望の焦点を通過するレイの集合を示す図である。 本発明の別の例示の実施形態による、マイクロレンズアレイの一部を別々に見た図である。 本発明の別の例示の実施形態による、マイクロレンズアレイの一部を別々に見た図である。 本発明の別の例示の実施形態による、光センサーに現われる画像を示す図である。 仮想画像をそれが仮想フィルム上に現われたときに計算する、本発明の例示の実施形態を示す図である。 本発明の別の例示の実施形態による、仮想レンズ面を操作する方式を示す図である。 本発明の別の例示の実施形態による、仮想フィルムがいかなる形状をもとりえることを示す図である。 本発明の別の例示の実施形態による、撮像装置を示す図である。 本発明の別の例示の実施形態による、各々の出力画像画素と各々の光線センサー値と関連する重みのデータベースを事前計算するプロセスフローチャートである。 本発明の別の例示の実施形態による、重みのデータベースを用いて出力画像を計算するプロセスフローチャートである。 本発明の別の例示の実施形態による、仮想アパーチャ関数として選択的に実施されるさまざまなスカラー関数を示す図である。 本発明の別の例示の実施形態による、仮想アパーチャ関数として選択的に実施されるさまざまなスカラー関数を示す図である。 本発明の別の例示の実施形態による、仮想アパーチャ関数として選択的に実施されるさまざまなスカラー関数を示す図である。 本発明の別の例示の実施形態による、仮想アパーチャ関数として選択的に実施されるさまざまなスカラー関数を示す図である。 本発明の別の例示の実施形態による、画素ごとに変化する仮想アパーチャ関数を示す図である。 本発明の別の例示の実施形態による、ユーザが出力画像の領域を選択し、ある画像の部分を編集し、出力画像をセーブするプロセスフローチャートである。 本発明の別の例示の実施形態による、画像中の被写界深度を拡大するプロセスフローチャートである。 本発明の別の例示の実施形態による、受信した光線センサーデータから再結像画像を計算するプロセスフローチャートである。

Claims (36)

1. 場面をディジタル的に撮像する方法において、
   前記方法が、
   光センサーアレイを用いて、物理焦点面上の互いに異なったロケーションに送られる場面からの光を同時に検出することと、
   前記光センサーアレイにおける互いに異なった光センサーで検出された光線が前記物理焦点面上の特定の場所において入射するときの入射角を、前記物理焦点面上の前記特定の場所に対する前記光センサーの位置に基づいて判定することと、
   前記光センサーアレイによって検出された光線のデータを、前記判定された光線の入射角に基づいて選択的に組み合わせることにより、画像の少なくとも一部分を再結像して出力画像を計算することと、
   を含む方法。
2. 前記出力画像を計算することが、前記検出された光線のデータを選択的に組み合わせることにより、前記検出された光線を前記物理焦点面とは異なる仮想焦点面で再結像して画像の少なくとも一部を形成して前記出力画像を形成することを含む、請求項１に記載の方法。
3. 前記検出された光線を再結像させることが、
   前記検出された光線のデータを選択的に組み合わせることにより、前記仮想焦点面に結像された前記画像の少なくとも一部分を形成する光線の集合を判定することと、
   前記測定された光線の集合を合成して、前記仮想焦点面のところに結像された前記出力画像の部分を形成することと、
   を含む、請求項２に記載の方法。
4. 前記検出された光線を再結像させることが、前記検出された光線のデータを選択的に組み合わせることにより、光を検出する際に用いられる光学系の状態を補正することを含む、請求項１に記載の方法。
5. 前記検出された光線を再結像させることが、前記検出された光線のデータを選択的に組み合わせることにより、レンズの収差を補正することを含む、請求項１に記載の方法。
6. 場面から画像を合成するディジタル撮像システムにおいて、前記システムが、
   複数の光センサーを有する光センサーアレイと、
   物理的焦点を有し、場面からの光を物理焦点面を介して前記光センサーアレイに対して出力するように適用された光学装置であって、前記物理焦点面の特定の部分を介して通過する光線の集合に対して、複数の光センサーを配置して、前記物理焦点面の前記特定の部分のところに、互いに異なった入射角で同時に到達する光線の集合の内の互いに異なった光線を検出する、前記光学装置と、
   前記光センサーアレイにおける互いに異なった光センサーで検出された光線の前記物理焦点面における入射角に基づいて、前記光センサーアレイによって検出された光線のデータを選択的に組み合わせることにより、再結像画像を計算するようにプログラムされたプロセッサと、
   を備えるシステム。
7. 前記光学装置が、前記焦点面上に置かれたマイクロレンズアレイを含み、前記マイクロレンズアレイが複数のマイクロレンズを含み、各々のマイクロレンズが、前記マイクロレンズに入射した光線を分離して、前記分離した光線を前記光センサーアレイ中の所定の複数の光センサーに対して出力するように適用される、請求項６に記載のシステム。
8. 前記プロセッサが、前記マイクロレンズに対する各々の光センサーの位置を用いて各々の光センサーに対する光線の入射角を判定する、請求項７に記載のシステム。
9. 前記プロセッサが、前記検出された光線のデータを選択的に組み合わせることにより、検出された光を発する元の場面中の被写体の被写界深度を決定し、また、前記被写界深度と前記検出された光の入射角とを用いて、前記物理焦点面とは異なる仮想焦点面に結像された再結像画像を計算するようにプログラムされた、請求項６に記載のシステム。
10. 前記プロセッサが、
    前記検出された光線が前記物理焦点面に入射するときの入射角を、前記物理焦点面に対する前記光センサーの位置に基づいて判定し、
    判定された前記光線の入射角を用いて、前記光線の経路をマッピングする、
    請求項６に記載のシステム。
11. 前記光学装置が、複数のマイクロレンズを含むマイクロレンズアレイを有し、
    前記マイクロレンズアレイ中のマイクロレンズ毎に、複数の光センサーが対応しており、
    前記マイクロレンズは、光学装置から、対応する前記光センサーへ光を向けるように構成されている、
    請求項６に記載のシステム。
12. 前記プロセッサが、仮想焦点面を規定するデータと、前記光線集合の物理的方向と、に基づいて前記検出された光線のデータを選択的に組み合わせることにより、前記再結像画像を計算する、
    請求項６に記載のシステム。
13. 前記仮想焦点面は、前記物理焦点面に対して傾斜された仮想焦点面である、請求項１２に記載のシステム。
14. 前記仮想焦点面は、非平面状の仮想焦点面である、請求項１２に記載のシステム。
15. 前記光学装置が、場面からの光を、物理的被写界深度で前記物理焦点面に投影するように構成されており、
    前記プロセッサが、前記物理的被写界深度とは異なる選択された仮想被写界深度と、前記光線集合の前記物理焦点面における物理的方向と、に基づいて前記検出された光線のデータを選択的に組み合わせることにより、前記選択された仮想被写界深度を有する前記再結像画像を計算する、請求項６に記載のシステム。
16. 前記選択された仮想被写界深度は、前記物理的被写界深度よりも深い、請求項１５に記載のシステム。
17. 前記プロセッサが、前記光学装置のレンズ収差に基づいて、前記検出された光線のデータを選択的に組み合わせることにより前記再結像画像を計算する、請求項６に記載のシステム。
18. 前記プロセッサが、
    前記検出された光線が前記物理焦点面に入射するときの入射角を、前記物理焦点面に対する前記光センサーの位置に基づいて判定し、
    前記検出された光線の入射角に基づいて収差を有する光線を判定し、
    前記収差を有する光線を整列することにより、前記光学装置の収差を補正し、
    前記検出された光線および前記整列された収差を有する光線のデータを選択的に組み合わせることにより前記再結像画像を計算する、
    請求項６に記載のシステム。
19. 前記プロセッサが、
    前記検出された光が前記物理焦点面上に入射するときの入射角を、前記物理焦点面に対する前記光センサーの位置に基づいて判定し、
    判定された前記光の前記入射角を用いて、前記光の経路をマッピングし、
    前記マッピングされた光の経路に基づいて収差を有する光線を判定し、
    前記収差を有する光線を整列させ、
    前記検出された光および前記整列された収差を有する光線のデータを選択的に組み合わせて再結像画像を計算することにより前記光学装置の収差を補正する、
    請求項６に記載のシステム。
20. キャプチャされた光線の集合から画像を合成するディジタル撮像システムにおいて、前記システムが、
    物理焦点を有し、場面からの光線を物理焦点面に向けるメインレンズと、
    複数の光センサーを有し、各前記光センサーが互いに異なる光線を検出するように構成された、光センサーアレイと、
    前記メインレンズと前記光センサーアレイ間に配置されたマイクロレンズアレイであり、前記光線の集合を、前記メインレンズから前記光センサーアレイへ物理的に向けるように構成された、前記マイクロレンズアレイと、
    前記メインレンズから前記マイクロレンズを介して前記光センサーアレイに至る前記光線集合が前記マイクロレンズに入射する際の物理的方向に基づいて、前記光センサーアレイによって検出された光線のデータを選択的に組み合わせることにより、合成された再結像画像を計算するデータプロセッサと、
    を備えるシステム。
21. 前記データプロセッサが、前記検出された光線のデータを選択的に加算して、前記再結像画像を計算する、請求項２０に記載のシステム。
22. 前記データプロセッサが、前記検出された光線のデータを選択的に重み付けして加算して、前記再結像画像を計算する、請求項２０に記載のシステム。
23. 前記データプロセッサが、前記検出された光線のデータを選択的に組み合わせることにより、前記マイクロレンズアレイが置かれている平面とは異なった平面に画像の一部分を再結像させる、請求項２０に記載のシステム。
24. 前記データプロセッサが、前記検出された光線のデータを選択的に組み合わせることにより、レンズ収差を補正する、請求項２０に記載のシステム。
25. 前記データプロセッサが、前記検出された光線のデータを選択的に組み合わせることにより、前記合成画像の被写界深度を拡大する、請求項２０に記載のシステム。
26. 前記光センサーアレイが、前記マイクロレンズアレイ中のマイクロレンズごとに、複数の光センサーを含む、請求項２０に記載のシステム。
27. 前記メインレンズが場面の２次元画像を前記マイクロレンズアレイ上にピントを合わせ、 前記マイクロレンズ中の各々のマイクロレンズが、自身のところに焦点合わせされた光線を前記メインレンズによって発散させ、また、前記発散した光線を前記マイクロレンズの前記複数の光センサーに対して出力するように適用される、請求項２０に記載のシステム。
28. 前記データプロセッサが、前記光センサーアレイから検出された光線のデータを選択的に組み合わせることにより、後出の各々のサブ画像のさまざまな焦点深度を分離することによって検出された光線が表す場面のさまざまな部分から結像されたサブ画像を作成する、請求項２０に記載のシステム。
29. 前記データプロセッサが、前記結像されたサブ画像を組み合わせることによって最終的な画像を合成する、請求項２８に記載のシステム。
30. 前記前記マイクロレンズアレイが、複数のマイクロレンズを含み、
    前記マイクロレンズアレイ中のマイクロレンズ毎に、複数の光センサーが対応しており、
    前記マイクロレンズは、前記メインレンズから、対応する前記光センサーへ光を向けるように構成されている、
    請求項２０に記載のシステム。
31. 前記データプロセッサが、仮想焦点面に関するデータと、前記光線集合の物理的方向と、に基づいて前記検出された光線のデータを選択的に組み合わせることにより、前記再結像画像を計算する、
    請求項２０に記載のシステム。
32. 前記仮想焦点面は、前記物理焦点面に対して傾斜された仮想焦点面である、請求項３１に記載のシステム。
33. 前記仮想焦点面は、非平面状の仮想焦点面である、請求項３１に記載のシステム。
34. 前記メインレンズが 場面からの光線を、所定の物理的被写界深度で前記物理焦点面に投影し、
    前記データプロセッサが、前記物理的被写界深度とは異なる選択された仮想被写界深度と、前記光線集合の前記物理焦点面における物理的方向と、に基づいて前記検出された光線のデータを選択的に組み合わせることにより、前記選択された仮想被写界深度を有する前記再結像画像を計算する、請求項２０に記載のシステム。
35. 前記選択された仮想被写界深度は、前記物理的被写界深度よりも深い、請求項３４に記載のシステム。
36. 前記プロセッサが、前記メインレンズのレンズ収差に基づいて、前記検出された光線のデータを選択的に組み合わせることにより前記再結像画像を計算する、請求項２０に記載のシステム。

Images