JPWO2020157681A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020157681A5
JPWO2020157681A5 JP2021544554A JP2021544554A JPWO2020157681A5 JP WO2020157681 A5 JPWO2020157681 A5 JP WO2020157681A5 JP 2021544554 A JP2021544554 A JP 2021544554A JP 2021544554 A JP2021544554 A JP 2021544554A JP WO2020157681 A5 JPWO2020157681 A5 JP WO2020157681A5
Authority
JP
Japan
Prior art keywords
light field
microlens
calibration target
image
magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021544554A
Other languages
English (en)
Other versions
JP7453981B2 (ja
JP2022518847A (ja
Publication date
Priority claimed from US16/265,220 external-priority patent/US11030776B2/en
Application filed filed Critical
Publication of JP2022518847A publication Critical patent/JP2022518847A/ja
Priority to JP2024021099A priority Critical patent/JP2024045554A/ja
Publication of JPWO2020157681A5 publication Critical patent/JPWO2020157681A5/ja
Application granted granted Critical
Publication of JP7453981B2 publication Critical patent/JP7453981B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

(関連出願)
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、2019年2月1日に出願された、米国特許出願第16/265,220号の優先権を主張する。
ライトフィールド顕微鏡は、従来の顕微鏡と対照的に、同一オブジェクトの多視点を1つのライトフィールド画像内の異なる角度から記録する。これらの記録されるビューは、オブジェクトの異なる部分に関する深度情報の再構築を可能にする。深度情報は、そのいずれも従来の顕微鏡を用いて可能ではない、計算された2次元投影のデジタル再集束またはオブジェクトの3次元再構築等の種々の用途を可能にする。しかしながら、ライトフィールド顕微鏡を用いて実施される、そのような投影および再構築は、概して、従来の顕微鏡検査画像と比較して、より低い空間分解能のトレードオフを伴う。
従来の顕微鏡は、従来の画像センサとカメラアレイを置換することによって、またはマイクロレンズアレイを画像センサの正面に挿入することによって、ライトフィールド顕微鏡に変換されることができる。マイクロレンズアレイの使用は、多くの場合、そのより低いコストおよび既存の従来の顕微鏡に対して容易に改造される能力に起因して、好ましい選択肢である。明確に異なる性質を伴う、2つの構成が、顕微鏡の対物レンズレンズおよび画像センサに対するマイクロレンズアレイの位置に応じて、画定されることができる。「LF1.0」と標識される、第1の構成では、マイクロレンズアレイは、対物レンズレンズと画像センサとの間の中間像面にあって、画像センサは、マイクロレンズアレイの背面焦点面にある。「LF2.0」と標識される、第2の構成では、これらの制限は、除去され、マイクロレンズアレイは、対物レンズレンズと画像センサとの間の恣意的場所を有することができる。故に、LF2.0では、マイクロレンズアレイの場所は、ライトフィールド顕微鏡の所望の性能基準(例えば、側方および軸方向分解能および焦点深度)を最適化するように選択されることができる。
3次元オブジェクト空間(x,y,z)の定量的再構築をライトフィールド顕微鏡画像から実施することが可能であるために、オブジェクト空間と2次元ライトフィールド空間との間の関係が、ライトフィールド画像のマイクロレンズサブ画像(x”,y”)毎に、把握される必要がある。マッピング関数は、
として定義される。原理上、マッピング関数は、関連光学要素の基本平面から画像センサまでの相対的距離等の実験設定の幾何学的パラメータに関する値に基づいて、計算されることができる。実践では、これらの基本平面の正確な場所は、未知であって、ライトフィールド顕微鏡の内側の相対的距離は、要求される正確度に対して容易に決定されことができない。精密な幾何学的情報の本欠如は、ライトフィールド顕微鏡の内側のマイクロレンズアレイの位置付けのための明確に定義された光学基準(対物レンズレンズの中間像面およびマイクロレンズアレイの焦点面等)が存在しない、LF2.0構成にとってより問題となる。加えて、実レンズシステムの光学効果(例えば、マイクロレンズアレイのレンズまたはライトフィールド顕微鏡の他の光学要素によって引き起こされる、収差または誤差)は、外部から測定された仮定される光学幾何学形状と比較して、実際の光学幾何学形状における逸脱につながり得る。関連幾何学形状を外部測定から決定する際のこれらの固有の難点以外にも、幾何学形状に対するユーザ誘発変化(例えば、顕微鏡の再集束または非意図的不整合に起因して)が、高頻繁で生じ得る。実際の幾何学形状に対する仮定される幾何学形状における全ての逸脱は、投影および再構築における誤差につながり、正しくない深度情報、コントラストの損失、または再構築の完了失敗をもたらすであろう。
ライトフィールド空間とオブジェクト空間との間のマッピングを可能にする、システム、方法、および装置が、ライトフィールド顕微鏡またはカメラの較正のために必要とされる。
本開示は、ライトフィールド結像システムを較正する方法、較正方法を実施するためのライトフィールド結像システム、較正方法のための較正標的、および較正されたライトフィールド結像システムを使用してオブジェクトのライトフィールド画像をオブジェクト空間の中に投影する方法を提供する。例示的較正方法は、マイクロレンズアレイと、画像センサとを含む、ライトフィールド結像システムを用いて実施される。較正標的のライトフィールド画像のz-スタックが、較正標的が複数の異なるz-位置に位置する間、画像センサを使用して捕捉され得る。結像システムの総拡大率およびマイクロレンズアレイのマイクロレンズ拡大率が、z-スタックの各ライトフィールド画像から決定され得る。
本発明は、例えば、以下の項目を提供する。
(項目1)
マイクロレンズアレイと、画像センサとを有するライトフィールド結像システムを較正する方法であって、前記方法は、
較正標的が複数の異なるz-位置に位置する間、前記画像センサを使用して、前記較正標的のライトフィールド画像のz-スタックを捕捉することと、
前記ライトフィールド結像システムの総拡大率および前記マイクロレンズアレイのマイクロレンズ拡大率を前記z-スタックの各ライトフィールド画像から決定することと
を含む、方法。
(項目2)
前記ライトフィールド画像のz-スタックを使用して、前記較正標的のz-位置の関数として、点拡がり関数を計算することをさらに含む、項目1に記載の方法。
(項目3)
前記ライトフィールド画像のz-スタックを使用して、前記較正標的のz-位置の関数として、前記マイクロレンズアレイの少なくとも1つのマイクロレンズに関する半径方向歪曲を決定することをさらに含む、項目1に記載の方法。
(項目4)
マイクロレンズ拡大率を決定することは、前記z-位置毎に、前記マイクロレンズアレイのピッチを使用して、前記マイクロレンズアレイに関する少なくとも1つのマイクロレンズ拡大率を計算する、項目1に記載の方法。
(項目5)
前記較正標的は、第1の周期的繰り返しと、第2の周期的繰り返しとを形成するように配列される少なくとも1つのタイプのマーカを有し、前記第1の周期的繰り返しは、前記z-位置のそれぞれにおける総拡大率を決定するために使用され、前記第2の周期的繰り返しは、前記z-位置のそれぞれにおける少なくとも1つのマイクロレンズ拡大率を決定するために使用される、項目1に記載の方法。
(項目6)
前記第1の周期的繰り返しは、グリッドを画定するように複数回繰り返されるマーカによって形成され、前記第2の周期的繰り返しは、前記グリッドのノードからの前記マーカの周期的不在によって形成される、項目5に記載の方法。
(項目7)
前記較正標的は、ピンホールの2次元アレイを含む、項目1に記載の方法。
(項目8)
前記ピンホールは、グリッドのノードに位置し、ピンホールは、前記グリッドのノードから周期的に不在である、項目7に記載の方法。
(項目9)
前記較正標的は、それぞれが同一グリッドの異なるノードに位置するマーカのアレイを有し、各マーカは、光透過性または発光性であり、前記グリッド内のノードのサブセットは、光透過性または発光性のマーカを有していない非透過性または非発光性のノードである、項目1に記載の方法。
(項目10)
前記非透過性または非発光性のノードは、前記グリッド内で2次元において周期的に繰り返される、項目9に記載の方法。
(項目11)
前記方法はさらに、
オブジェクトのライトフィールド画像を捕捉することと、
前記ライトフィールド画像を、オブジェクト空間の平面の中に、前記平面に対応する前記結像システムの総拡大率と、前記平面に対応する前記マイクロレンズアレイの少なくとも1つのマイクロレンズ拡大率とを使用して、投影することと
を含む、項目1に記載の方法。
(項目12)
前記投影することは、少なくとも1つの点拡がり関数を使用して、ぼけを低減させ、前記少なくとも1つの点拡がり関数は、前記z-スタックのライトフィールド画像のうちの1つ以上のものから計算される、項目11に記載の方法。
(項目13)
前記投影することは、前記マイクロレンズアレイのマイクロレンズによって生成された半径方向歪曲を補正することを含む、項目11に記載の方法。
(項目14)
ライトフィールド結像システムであって、
較正標的と、
前記較正標的を照明するための光源と、
前記照明された較正標的からの光を収集するための対物レンズと、
前記対物レンズの下流のマイクロレンズアレイと、
前記較正標的のライトフィールド画像を捕捉するための画像センサと、
総拡大率およびマイクロレンズ拡大率を前記ライトフィールド画像から決定するように構成されるコンピュータと
を備える、システム。
(項目15)
前記コンピュータは、少なくとも1つの点拡がり関数を前記ライトフィールド画像から計算するように構成される、項目14に記載のシステム。
(項目16)
前記コンピュータは、前記マイクロレンズアレイの少なくとも1つのマイクロレンズに関する半径方向歪曲を前記ライトフィールド画像から決定するように構成される、項目14に記載のシステム。
(項目17)
前記較正標的は、第1の周期的繰り返しと、第2の周期的繰り返しとを形成するように配列される少なくとも1つのタイプのマーカを含み、前記コンピュータは、前記第1の周期的繰り返しを使用して、前記総拡大率を決定するように構成され、前記コンピュータは、前記第2の周期的繰り返しを使用して、前記マイクロレンズ拡大率を決定するように構成される、項目14に記載のシステム。
(項目18)
前記第1の周期的繰り返しは、グリッドを画定するように複数回繰り返されるマーカによって形成され、前記第2の周期的繰り返しは、前記グリッドのノードからの前記マーカの周期的不在によって形成される、項目17に記載のシステム。
(項目19)
ライトフィールド結像システムを使用して、オブジェクトのライトフィールド画像をオブジェクト空間の中に投影する方法であって、前記方法は、
オブジェクト空間内に支持される前記オブジェクトのライトフィールド画像を捕捉することと、
前記ライトフィールド画像のピクセルを、オブジェクト空間の平面に、前記平面に対応する前記ライトフィールド結像システムの総拡大率に関する値と、前記平面に対応するマイクロレンズ拡大率に関する少なくとも1つの値とを使用して、幾何学的にマッピングすることと
を含む、方法。
(項目20)
(i)マッピングすることは、点拡がり関数を使用して、ぼけを低減させる、および/または
(ii)マッピングすることは、マイクロレンズのアレイによって、前記ライトフィールド画像内に生成された半径方向歪曲を補正する、
項目19に記載の方法。
図1は、ライトフィールド顕微鏡が較正されるにつれて、例示的較正標的を支持する、ライトフィールド顕微鏡を含む、例示的ライトフィールド結像システムの概略図である。 図2は、図1のライトフィールド顕微鏡の選択されたコンポーネントを用いて作成された光線略図であって、オブジェクト空間の平面内に位置する点オブジェクトから2次元ライトフィールド空間内のセンサ平面までの例示的光線の伝搬を図示する。 図3は、概して、図2の線3-3に沿って得られる、図2のライトフィールド顕微鏡のための例示的マイクロレンズアレイの正面図である。 図4は、図2の光線略図に類似するが、オブジェクト平面が、顕微鏡の対物レンズに対してより近いz-位置を有する、光線略図である。 図5は、図2の光線略図に類似するが、オブジェクト平面が、顕微鏡の対物レンズからより遠いz-位置を有する、別の光線略図である。 図6Aは、ライトフィールド顕微鏡の概略図であって、代表的光線とともに、マイクロレンズアレイによる実反転画像の結像を図示し、また、オブジェクト空間内の点をライトフィールド空間内の複数の点に関連させる、マッピング関数の基礎を図示する。 図6Bは、ライトフィールド顕微鏡の別の概略図であって、代表的光線とともに、マイクロレンズアレイによる仮想反転画像の結像を図示し、また、オブジェクト空間内の点をライトフィールド空間内の複数の点に関連させる、マッピング関数の基礎を図示する。 図7は、黒色で示される光透過性領域と、白色で示される光遮断領域とを伴う、図1のライトフィールド結像システムのための例示的較正標的の平面図である。 図8Aは、概して、図7における「8A」に示される領域の周囲から得られる、図7の較正標的の断片図である。 図8Bは、較正標的上に重畳されるマーカで画定された矩形グリッドを用いて得られる、図8Aの断片図である。 図9は、概して、図8Aの線9-9に沿って得られる、図8Aの較正標的の断面図である。 図10は、ライトフィールド結像システムを用いて捕捉され得る、図7の較正標的の、例示的負のライトフィールド画像である。 図11は、概して、図10における「11」に示される領域の周囲から得られる、図10の負のライトフィールド画像の拡大された断片図である。 図12は、概して、図10の負のライトフィールド画像内に存在する別個のサブ画像のうちの1つにおける、図11における「12」に示される領域の周囲から得られる、図10の負のライトフィールド画像の別の拡大された断片図である。 図13は、その特徴および属性を識別する、図12のサブ画像の重畳された形態である。 図14は、図12のものに類似するが、サブ画像が、ライトフィールド結像システムのマイクロレンズアレイの対応するマイクロレンズによって生成された半径方向歪曲を呈する、サブ画像の重畳された形態である。 図15は、黒色で示される光透過性領域と、白色に示される光遮断領域とを伴う、ライトフィールド結像を較正するための別の例示的較正標的の断片平面図である。 図16は、ライトフィールド結像システムを較正するためのさらに別の例示的較正標的の平面図である。 図17は、黒色で示される光透過性領域と、白色で示される光遮断領域とを伴う、ライトフィールド結像システムを較正するためのさらに別の例示的較正標的の平面図である。 図18は、概して、図17における「18」に示される領域の周囲から得られる、図17の較正標的の断片図である。 図19および20は、較正標的およびライトフィールド顕微鏡の物理的実施形態を用いて測定された、z-位置の関数としての拡大率値をプロットする、グラフである。 図19および20は、較正標的およびライトフィールド顕微鏡の物理的実施形態を用いて測定された、z-位置の関数としての拡大率値をプロットする、グラフである。
本開示は、ライトフィールド結像システムを較正する方法、較正方法を実施するためのライトフィールド結像システム、較正方法のための較正標的、および較正されるライトフィールド結像システムを用いてオブジェクトのライトフィールド画像をオブジェクト空間の中に投影する方法を提供する。例示的較正方法は、マイクロレンズアレイと、画像センサとを含む、ライトフィールド結像システムを用いて実施される。較正標的のライトフィールド画像のz-スタックが、較正標的が複数の異なるz-位置に位置する間、画像センサを使用して捕捉され得る。結像システムの総拡大率およびマイクロレンズアレイのマイクロレンズ拡大率が、z-スタックの各ライトフィールド画像から決定され得る。本明細書に開示されるシステムおよび方法は、より高いサンプルスループットおよび3次元における顕微鏡オブジェクトの低コストマッピングおよび追跡を可能にし得る。
ライトフィールド(プレノプティック)結像は、単一ライトフィールド画像からの、3次元オブジェクトの再構築、または少なくともオブジェクトのデジタル再集束を可能にする。前提条件は、精密なライトフィールド較正情報を取得することである。本開示は、結像システムが「ブラックボックス」光学系を有するときでも、アルゴリズムとして、ライトフィールド結像システムのライトフィールド特性を自動的に較正するためのプロシージャを提供する。マッピング関数と、マッピング関数の使用を可能にするために、ライトフィールド結像システムの光学経路の単純であるが正確な較正とが、提供される。較正は、自動化されることができ、したがって、必要に応じて、マッピング関数を使用して、常時、オブジェクト(例えば、着目サンプル)の高品質再構築のための基礎としての正しい幾何学形状を有するように繰り返されることができる。
較正アプローチは、別個のカメラのアレイを用いて実施される、ライトフィールド写真撮影のために利用可能であるが、ライトフィールド顕微鏡検査の実験状況および課題は、有意に異なる。第1に、ライトフィールド写真と対照的に、オブジェクトから像面への画像形成幾何学形状は、顕微鏡検査では、比較的に固定される。本幾何学形状は、主として、顕微鏡の機械的構造によって決定される、所定の範囲内でのみ変化し得る(主に、オブジェクトと対物レンズとの間の距離の変化を通して)。現代の顕微鏡は、本オブジェクト-対物レンズ距離を調節するための高精度xyz-ステージを装備するため、所与の顕微鏡の任意の特定の測定幾何学形状は、その顕微鏡のために、高正確度を伴って、繰り返し再現されることができる。第2に、オブジェクト平面における空間分解能は、顕微鏡検査に関して、写真よりはるかに高くある必要がある。同時に、視野および焦点深度は、顕微鏡検査では、写真と比較してはるかに小さい。これは、較正される必要がある、オブジェクトボリュームのサイズが、顕微鏡検査では、はるかに小さいが、また、較正の品質が、はるかに高い必要があることを意味する。第3に、典型的顕微鏡幾何学形状では、オブジェクトが、対物レンズの正面焦点面のより近くに着座する。これは、オブジェクト拡大率とオブジェクト-対物レンズ距離(オブジェクトのz-位置とも呼ばれる)との間の高度に非線形な関係につながる。拡大率の本軸方向依存性は、較正の間、考慮される必要がある。
本開示は、主に、ライトフィールド顕微鏡検査およびライトフィールド接写に照準される、単純であるが簡潔な較正概念を提供する。本概念は、好適な較正標的の測定されたライトフィールドデータおよびマイクロレンズアレイのピッチに関する値を使用して、較正を可能にする。較正標的のライトフィールド画像から、システムの総拡大率およびマイクロレンズアレイ単独に起因する拡大率が、較正標的の一連の異なるz-位置に関して決定されることができる。これらの拡大率に関する値は、3次元オブジェクト空間と2次元ライトフィールド空間との間のマッピング幾何学形状を一意に決定することができる。結像経路内のマイクロレンズアレイの特性およびマイクロレンズアレイと結像システム全体の交互作用が、3次元において較正され、オブジェクト空間内のその原点に戻るように光学光線のトレーシングを可能にし得る。
本開示の方法は、異なるライトフィールド構成(例えば、タイプLF1.0およびLF2.0)を有する、ライトフィールド結像システムと併用されることができる。特に、本方法は、拡大率が横方向オブジェクト平面から対物レンズまでの距離(すなわち、オブジェクト平面のz-位置)に依存する、非テレセントリック幾何学形状を有する、ライトフィールド結像システムに適用される。本方法は、マッピング関数のための大域的パラメータの値を決定するためだけではなく、また、レンズ誤差によって引き起こされるもの等の任意の局所的収差を補正するためにも使用されることができる。較正データは、捕捉(すなわち、記録)され、一連のz-位置に関して自動化された方式で分析されることができるため、本方法は、必要に応じて、システムの光学幾何学形状の任意の変化を決定し、それに適合させるために、繰り返し使用されることができる。
本明細書に開示される方法は、較正標的のパラメータが、適宜、適合され、再現可能なz-位置付けのための好適な較正ステージが採用されることを前提として、巨視的オブジェクトのライトフィールド写真撮影を実施するように構築される、ライトフィールド結像システムに適用されることができる。較正ステージは、概して、オブジェクト空間内の着目ボリュームの中の較正標的からライトフィールドカメラまでの距離を正確に調節するために必要とされる。実践的理由から、ライトフィールド顕微鏡検査における使用に加え、本方法は、オブジェクト空間内の着目ボリュームの軸方向長が、典型的には、約1~100センチメートル未満である、比較的に拡大された接写のために最も好適であり得る。
本明細書に開示される方法は、レンズベースのライトフィールドシステムが実行可能である、全ての波長体系のために使用されることができる。例えば、波長体系は、紫外線、可視、近赤外線、または同等物である、光学放射を含むことができる。
本開示は、ライトフィールド画像からの投影およびオブジェクト再構築のために要求されるシステムパラメータに関する値を決定する、較正方法を説明する。本方法は、専用較正標的を利用してもよく、これは、2つの周期的パターンの重畳を含んでもよい。較正標的を用いることで、オブジェクト再構築のために要求される局所的パラメータに関する値が、較正標的の捕捉されたライトフィールド画像から決定されることができる。局所的値から、大域的パラメータに関する値が、局所的パラメータに関する値および光学アーチファクトに起因する局所的収差の平均を通して、高精度で計算されることができる。
較正方法は、直接、3次元オブジェクト空間を2次元ライトフィールド空間に関連させる、マッピング関数の関連パラメータを測定してもよい。パラメータは、オブジェクト空間内の着目z-位置の範囲全体にわたる、総拡大率およびマイクロレンズアレイに起因する拡大率を含んでもよい。較正方法はまた、少なくとも1つのマイクロレンズに関する半径方向歪曲(例えば、マイクロレンズアレイの複数のマイクロレンズ毎の個別の半径方向歪曲および/またはマイクロレンズアレイに関する平均半径方向歪曲)および/または点拡がり関数(例えば、複数のマイクロレンズ毎の個別の点拡がり関数および/またはマイクロレンズアレイに関する平均点拡がり関数)を測定してもよい。本情報は全て、マイクロレンズアレイのピッチ以外、システムの光学系の明示的構成(システム内の光学要素のタイプ、その光学パラメータ、および相互に対するその相対的距離等)についての任意の以前の仮定を伴わずに、捕捉されたライトフィールド画像から抽出され得る。情報はまた、複雑な光学モデルの自由パラメータを決定するための反復最適化プロセスの必要なく、抽出され得る。
総システム拡大率およびマイクロレンズアレイの拡大率は、これらの拡大率が有意に異なる絶対値を有する場合でも、同一ライトフィールド画像から測定されることができる。ライトフィールド画像のみが、評価される必要があり、ビーム経路(例えば、マイクロレンズアレイの正面の中間像面)における他の位置での他の画像は、記録される必要がない。換言すると、ライトフィールド結像システム全体が、ブラックボックスとして取り扱われることができる。
本明細書に開示される方法は、較正標的のライトフィールド画像を捕捉し、較正標的は、いくつかのz-位置(例えば、2つを上回る)に位置する。軸方向位置とも呼ばれる、これらのz-位置は、z-位置の関数として総およびマイクロレンズ拡大率の非線形依存性を決定するために十分な正確度を伴って、相互に対して把握され得る。z-位置の正確度は、概して、オブジェクト空間内のオブジェクトの再構築のための所望の軸方向分解能より良好である。原理上、本潜在的制限は、顕微鏡システムが、通常、高精度xyz-ステージを装備するため、ライトフィールド顕微鏡検査にとって不利点を構成しない。
本明細書に開示される方法およびシステムは、スクリーニング用途において、3次元細胞集団の構造(例えば、回転楕円体、オルガノイド)を迅速に決定することを可能にし得る。現在、これらのスクリーニング用途のスループットは、各着目部位における一連のz-画像(概して、10枚を上回る画像)を入手するために必要とされる時間によって限定される。スループットは、共焦点顕微鏡がその部位における3次元ボリュームを結像するために採用される場合、さらにより限定される。対照的に、本開示の方法およびシステムは、較正後、細胞集団についての3次元情報を単一ライトフィールド画像から発生させることができる。
本開示のさらなる側面は、以下の節、すなわち、(I)定義、(II)ライトフィールド結像システム、(III)オブジェクト空間とライトフィールド空間との間の幾何学的マッピング、(IV)幾何学的マッピングを可能にするための較正標的、(V)較正およびマッピングの方法、および(VI)実施例に説明される。
I.定義
本開示で使用される技術的用語は、当業者によって一般に認識されている意味を有する。しかしながら、以下の用語は、以下のようにさらに定義され得る。
コンピュータ-可変プログラムによって提供され得る、命令に従って、典型的には、バイナリ形態における、データを記憶および処理するための電子デバイス。コンピューティングデバイスとも呼ばれる、例示的コンピュータは、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、および同等物を含む。
検査領域-較正標的またはサンプル(例えば、生物学的細胞)等のオブジェクトが画像センサを用いて結像され得る、ライトフィールド結像システムの光学軸によって交差される、ボリューム。
特徴-較正標的のマーカの編成されるセットに対する外挿および/または補間によって精密に画定可能な位置における、較正標的のマーカまたはマーカの不在。
画像-オブジェクトおよび/または視野の光学またはデジタル表現。表現は、光学である場合、とりわけ、空間内の平面(例えば、中間像面)または(例えば、画像センサの)表面における光によって形成され得る。表現は、デジタルである場合、画像センサによって捕捉された未加工ライトフィールド画像、その処理された形態、または少なくとも1つのライトフィールド画像を使用して作成されたオブジェクト空間内の2次元または3次元画像であり得る。
画像センサ-2次元における光の空間変動(例えば、強度の変動)を検出することが可能な光学センサであって、光は、センサの感光検出エリア上に入射する。画像センサは、電荷結合素子(CCD)センサ、アクティブピクセルセンサ(例えば、相補的金属-酸化物-半導体(CMOS)センサ)、ハイブリッドCCD-CMOSセンサ、または同等物等の2次元アレイセンサであってもよい。画像センサは、ピクセルの矩形アレイとして、ラスタ画像(すなわち、ビットマップ)を作成してもよく、カラー画像、グレースケール(モノクロ)画像、または両方を作成するように構成されてもよい。
レンズアレイ-レンズの2次元アレイ。ライトフィールド顕微鏡検査のためのアレイ内で好適であり得る、例示的レンズは、マイクロレンズ、すなわち、それぞれ、約1ミリメートル未満の直径を有する、レンズである。マイクロレンズアレイのために好適であり得る、例示的マイクロレンズ直径は、とりわけ、マイクロレンズ毎に、約750、500、400、300、200、または100マイクロメートル未満を含む。ライトフィールド接写のための例示的レンズ直径は、少なくとも1ミリメートルの直径を有する、レンズ、またはある場合には、上記に説明されるようなマイクロレンズである、レンズを含む。
アレイは、任意の好適な性質を有してもよい。アレイのピッチ(レンズ間間隔)は、レンズ直径の約50%、25%、20%、または10%以下で上回る等、レンズ直径に類似する場合がある(そうではない場合もある)。レンズは、とりわけ、矩形グリッドまたは六角形グリッドを形成してもよい。アレイは、任意の好適な数のレンズ、概して、少なくとも4つを含有してもよい。いくつかの実施形態では、アレイは、とりわけ、少なくとも25、50、または100個のレンズを含有してもよい。例えば、アレイは、アレイによって画定された一対の直交軸のそれぞれに沿って、少なくとも2、3、4、5、6、7、または10個のレンズを含有してもよい。アレイのレンズは、サイズおよび/または形状が相互に実質的に同じであってもよい、またはサイズおよび/または形状が異なってもよい。さらに、アレイは、統合されたユニットであってもよく、および/またはアレイのレンズは、相互に一体的に形成されてもよい。
光-紫外線放射、可視放射(すなわち、可視光)、および/または赤外線放射を含む、光学放射。
ライトフィールド画像-画像センサ上のマイクロレンズアレイによって光を用いて形成され、アレイのマイクロレンズに対応するサブ画像の2次元アレイまたはその捕捉された(デジタル)形態から成る、光学画像。サブ画像は、概して、重要なこととして、全くではないにしても、相互に重複しない。サブ画像は、実質的に合焦している場合とそうではない場合がある。
光源-光を、随意に、光のビームとして発生させ、随意に、電気によって給電される、デバイス。光源は、少なくとも1つの発光要素を含み、また、発光要素によって放出される光を成形、サイズ変更、フィルタリング、偏光、散乱、指向、および/または別様にそれと相互作用する、任意の関連付けられる光学要素を含んでもよい。これらの光学要素は、少なくとも1つの導波管(例えば、ファイバ光学系または液体光ガイド)、レンズ、ミラー、フィルタ、拡散器、マスク、開口、ビームスプリッタ、格子、プリズム、偏光器、および/または同等物の任意の組み合わせを含んでもよい。例示的発光要素は、半導体デバイス、レーザ(例えば、エキシマレーザ、ガスレーザ、染料レーザ、ソリッドステートレーザ、半導体結晶またはダイオードレーザ、自由電子レーザ等)、アークランプ、および/または同等物を含む。例示的半導体発光要素は、とりわけ、レーザダイオード、発光ダイオード(LED)、およびスーパールミネセントダイオードを含む。
対物レンズ-オブジェクトおよび/または視野からの光を集め、集められた光を集束させる、単一光学要素または光学要素の組み合わせ。本明細書で使用されるような対物レンズは、ライトフィールド結像システムの検査領域とマイクロレンズアレイとの間の光学軸に沿って位置する、各光学要素を含んでもよい。
光学系-光源と検査領域(照明光学系)との間の光学経路に沿って、および/または検査領域と画像センサ(収集光学系)との間の光学軸に沿って配列され得る、結像システムの光学要素のセット。光学要素は、光を収集、指向、集束、フィルタリング、偏光、散乱、コリメート、および/または部分的に遮断する等、光と相互作用する、任意のデバイスまたは構造であってもよい。光学要素は、とりわけ、反射、屈折、散乱、回折、吸収、および/またはフィルタリング等の任意の好適な機構によって機能してもよい。例示的光学要素は、レンズ、ミラー、拡散器、格子、プリズム、フィルタ、開口、マスク、ビームスプリッタ、導波管、偏光器、および同等物を含む。
ピンホール-約1ミリメートル未満の直径または幅を有する、孔または開口部。本明細書に開示される較正標的の特徴を作成するために好適であり得る、例示的ピンホールは、とりわけ、約100、50、20、または10マイクロメートル未満の直径または幅を有する。ピンホールは、任意の好適な形状を有してもよい。例えば、ピンホールは、円形、矩形、または同等物であってもよい。
サンプル-任意の好適な性質を有する、試料。サンプルは、有機および/または無機の自然および/または製造されたものであってもよく、任意の好適な組立物、材料、物質、単離物、抽出物、粒子、または同等物を含んでもよい。例示的実施形態では、サンプルは、生物学的細胞(単離された細胞または細胞の1つ以上の集団等)を含む。生物学的細胞は、真核生物(例えば、哺乳類細胞)または原核生物(例えば、細菌細胞)であってもよい。例示的生物学的細胞は、確立された細胞(細胞株)、一次細胞、組織サンプルの細胞、トランスフェクト細胞、臨床サンプル(例えば、血液サンプル、流体吸引、組織切片等)からの細胞、細胞のクローン、および/または同等物を含む。細胞は、サンプルホルダによって含有され、随意に、任意の好適な液体媒体と接触してもよい(例えば、その中に浸潤される)。液体媒体は、とりわけ、水、塩、緩衝剤、グルコース、洗剤、染料、タンパク質、アミノ酸、またはそれらの任意の組み合わせを含み得る、水性媒体であってもよい。液体媒体は、細胞のための成長媒体であってもよい。
サンプルホルダ-少なくとも1つのサンプルまたは空間的に単離されたサンプルの任意のアレイを保持し、随意に、サンプルが本デバイスの水平透明壁(例えば、ウェルの底部壁)を通して結像されることを可能にするためのデバイス。ライトフィールド顕微鏡検査のための例示的サンプルホルダは、マイクロプレート、培養皿、培養フラスコ、スライド、流路チップ等を含む。
ライトフィールド画像のz-スタック-随意に、オブジェクト空間内のオブジェクトの側方位置を変化させずに、オブジェクトがオブジェクト空間内の異なるz-位置に位置する間に捕捉される、オブジェクト(例えば、較正標的)の一連のライトフィールド画像。
z-位置-オブジェクトが配置され得る、ライトフィールド結像システムの光学軸に沿った場所のうちの1つ。z-位置は、光学軸と平行に測定される、オブジェクトとライトフィールド結像システムの対物レンズとの間の距離として画定されることができ、オブジェクトまたは対物レンズを光学軸と平行に移動させることによって変化されることができる。
II.ライトフィールド結像システム
本節は、ライトフィールド結像システム50によって例示されるような本開示のライトフィールド結像システムの概要を提供する(図1-5参照)。
ライトフィールド結像システム50は、ライトフィールド顕微鏡52(またはライトフィールド接写のためのライトフィールドカメラ)と、較正標的54とを含む。ライトフィールド顕微鏡52(および/またはライトフィールドカメラ)は、較正標的54または他の着目オブジェクト(例えば、1つ以上のサンプルを含有する、サンプルホルダ)のいずれかを支持するためのステージ56を有する。較正標的または他のオブジェクトは、対物レンズ62によって画定された光学軸60上の検査領域58内に支持される。較正標的54は、較正標的がステージ56によって動作可能に支持されるとき、光学軸60(z-軸)に直交し、対物レンズ62(特に、その集光モジュール66)の正面焦点面の近傍に位置し得る、オブジェクト平面64(xy平面)を画定し得る。較正標的54は、光源68によって発生された光学放射(例えば、可視光)で照明され得、光学放射の空間的に制限された部分のみが、較正標的54によって、対物レンズ62の集光モジュール66に透過され得る。透過される光学放射は、例えば、集光モジュール66、随意のチューブレンズ70、および2次元アレイに配列される任意の好適な数のマイクロレンズ74を有する、マイクロレンズアレイ72を通して伝搬し得る。マイクロレンズアレイ72の個々のマイクロレンズ74は、少なくとも部分的に、光学放射を画像センサ76上に集束させ、それぞれ、マイクロレンズの異なるものに対応する、個々のサブ画像を形成し得る。画像センサ76は、サブ画像のライトフィールド画像を捕捉し、これは、処理するために、コンピュータ78に通信される(例えば、とりわけ、第III-VI節参照)。(例えば、ライトフィールド接写のための)他の実施形態では、マイクロレンズアレイ72は、必ずしも、マイクロレンズではない、レンズから成る、レンズアレイによって置換されてもよい。他の実施形態では、較正標的54は、ライトフィールド画像を形成する、光を反射または放出し得る。
ライトフィールド顕微鏡52は、駆動機構80を介して、光学軸60に沿って、較正標的54のz-位置の調節を可能にする。より具体的には、駆動機構は、光学軸60に沿って較正標的54と集光モジュール66との間の距離を変化させるように動作することができる。故に、駆動機構80は、図1に示されるように、ステージ56に結合され、集光モジュール66のz-位置(例えば、仰角)が固定されたままである間、ステージの移動(例えば、垂直移動)を駆動してもよい。代替として、駆動機構80は、集光モジュール66(および/または対物レンズ62)に結合され、ステージ56のz-位置(例えば、仰角)が固定されたままである間、集光モジュール66(および/または対物レンズ62)の移動(例えば、垂直移動)を駆動してもよい。駆動機構80は、モータ82を含んでもよく(または手動で駆動されてもよく)、完全に自動化された較正方法の実施の間、z-位置付けのために、コンピュータ78によって制御されてもよい。
光学軸60は、任意の好適な配向および性質を有してもよい。光学軸は、典型的には、集光モジュール66において垂直であって、検査領域58およびオブジェクト平面64(およびその中に配置される較正標的54または他のオブジェクト)を通して、集光モジュール66から垂直に上向きに(ここに示されるように)または垂直に下向きに延在してもよい。換言すると、ライトフィールド顕微鏡52は、ここに示されるように、集光モジュール66を検査領域58の下方に伴う、反転構成、または集光モジュール66を検査領域58の上方に伴う、非反転構成を有してもよい。しかしながら、他の実施形態では、光学軸60は、集光モジュール66において水平または斜め(略水平または略垂直のいずれでもない)であってもよい。光学軸60は、ここに示されるように、折畳されなくてもよい、または光学軸に沿った1つ以上の部位において、折畳されてもよい(例えば、ミラーを伴う)。
光源68は、任意の好適な光源(例えば、第I節参照)を用いて、検査領域58の任意の好適な照明を提供するように配列されてもよい。照明は、とりわけ、徹照照明(ここに示されるように)、落射照明、傾斜照明、またはそれらの組み合わせであってもよい。任意の好適な光学要素が、光源68と検査領域58との間の照明経路上に位置付けられ、検査領域の上流の光源によって発生された光学放射を指向および/または調整するように動作可能であってもよい。照明経路内に位置する例示的光学要素は、拡散器、スペクトルフィルタ、コリメート型レンズまたはミラー、折畳ミラー、集光モジュール66、光ガイド、および/または同等物を含んでもよい。
図2は、ライトフィールド顕微鏡52の選択されたコンポーネントのみとともに、光線略図を示す。略図は、光学放射が、オブジェクト空間のオブジェクト平面64におけるオブジェクト点84から、画像センサ76上の複数の別個のライトフィールド像点/スポット86まで伝搬し得る様子を描写する。光学放射は、オブジェクト点84から中間像面92における中間点90まで延在する、上流周縁光線88と、中間点90から2次元ライトフィールド空間内の画像センサ76によって画定されたセンサ平面96まで延在する、下流周縁光線94とによって表される。本例示的構成では、オブジェクト平面64、中間像面92、およびセンサ平面96は、光学放射がライトフィールド像点86に精密に集束されるように、相互に共役される。
例示的マイクロレンズアレイ72の平面図が、図3に示される。マイクロレンズ74は、2次元アレイに配列されてもよい。マイクロレンズは、示されるように、アレイの平面における一対の直交軸に沿って分散され、矩形グリッドを画定してもよいが、マイクロレンズの非矩形配列が、使用されてもよい。いくつかの実施形態では、マイクロレンズ74は、対の軸の各直交軸に沿って、相互から均一に離間されてもよく、随意に、示されるように、軸の両方に沿って、相互から同一間隔、すなわち、ピッチdを有してもよい。
像点86間の距離は、視差(図2参照)に起因してマイクロレンズ74の間隔(例えば、図3におけるピッチd)を上回り得る。中間点90からの光学放射は、マイクロレンズ毎に、異なる角度で、マイクロレンズアレイ72の個々のマイクロレンズ74の少なくともサブセット上に入射し得る。換言すると、中間点90からサブセットの各マイクロレンズを通して伝搬する、各主光線は、異なる配向を有する。中間点90からの光学放射は、中間点90から伝搬する光学放射の円錐サイズが上流(例えば、集光モジュール66内)に位置する開口(例えば、停止要素97)によって限定され得るため、示されるように、マイクロレンズアレイ72のマイクロレンズのサブセット上にのみ入射し得る(しかしながら、ライトフィールド顕微鏡52は、概して、拡大率が集光モジュール66からの距離に伴って変動するように、非テレセントリック光学構成を有する)。オブジェクト点84が、オブジェクト平面64において十分に側方に移動されるにつれて、マイクロレンズの異なるサブセットが、オブジェクト点84から光学放射を受光し得る。故に、オブジェクト平面64における十分に離間されたオブジェクト点84のセットが、マイクロレンズの異なるサブセットによって結像され得、画像センサ76によって捕捉されたライトフィールド画像内のサブ画像の異なるサブセット内に共役点/スポットを有し得る。
他の場合では、像点86間の距離は、マイクロレンズ74の物理的間隔(例えば、図3におけるピッチd)未満であり得る。例えば、ハイパーセントリックGalileoタイプ設定では、画像センサ上のマイクロレンズの投影された画像のピッチは、マイクロレンズアレイの物理的ピッチより小さくあり得る。同様に、本設定では、像点86間の距離は、マイクロレンズアレイの(投影および物理的)ピッチより小さい。
図2に示されるライトフィールド顕微鏡52の対物レンズ62は、上流において、無限遠補正集光モジュール66を用いて、光学放射をコリメートし、コリメートされた放射を下流のチューブレンズ70を用いて集束させる。他の実施形態では、チューブレンズ70は、排除されてもよく、光学放射は、例えば、集光モジュール66を用いて、収集および集束の両方が行われてもよい。
いくつかの実施形態では、ステージは、較正標的または他のオブジェクトを異なるz-位置に保持するための手動の仕掛けによって置換されてもよい。例えば、ユーザは、対物レンズの上部に手動で設置された既知のサイズの1つ以上のスペーサを用いて、z-位置を設定および調節してもよい。各スペーサは、例えば、とりわけ、約5、10、15、20、25、30、40、50、または100マイクロメートル厚であってもよい。
図2は、センサ平面96と精密に共役する、z-位置zに位置する、オブジェクト平面64を示す。しかしながら、オブジェクトの場所に関する本精密な関係は、要求されない。より具体的には、本開示の方法のために好適なライトフィールド画像は、z-位置zにおける集光モジュール66のより近くに、およびz-位置zにおける集光モジュール66からより遠くに位置する、オブジェクト平面64に関して、画像センサ76によって捕捉されてもよい(それぞれ、図4および5参照)。いずれの場合も、中間点90からの光学放射は、図2の像点86が図4および5におけるより大きい画像スポットとなるほど、図2におけるものほどセンサ平面96に集束されない。
好適であり得る、ライトフィールド結像システム50、ライトフィールド顕微鏡52(またはライトフィールド接写システム)、および較正標的54のさらなる例示的側面は、第I節および第III-VI節において等、本明細書にいずれかの場所に説明される。
III.オブジェクト空間とライトフィールド空間との間の幾何学的マッピング
本節は、光学軸に沿った所与のz-位置におけるオブジェクト平面に関して、オブジェクト空間およびライトフィールド空間を相互に関連させる幾何学的マッピング関数に関する基礎を説明する(図6Aおよび6B参照)。マッピング関数は、とりわけ、ライトフィールド顕微鏡またはライトフィールド接写システムと併用されてもよい。
図6Aおよび6Bのライトフィールド顕微鏡52は、図1および2におけるように構築され得るが、幾分、異なる形態で描写される。対物レンズ62は、別個の集光モジュールおよびチューブレンズの代わりに、単一レンズとして示され、マイクロレンズアレイ72は、より様式化された形態で示される。これらの簡略化は、下記に説明される関連パラメータを除き、対物レンズおよびマイクロレンズが、そうでなければ、「ブラックボックス」構造を有し得ることを強調する。さらに、マッピングを図示するように選択されている、マイクロレンズ74のうちの1つは、k番目のマイクロレンズ「74k」として標識されている。オブジェクト点84は、図2、4、および5におけるように、オブジェクト平面64に位置するが、光学軸60から側方にオフセットされている(図2と比較して)。周縁光線88および主光線98は、オブジェクト点84から、対物レンズ62を通して、中間点90まで延在する。周縁光線は、像点90の下流に延在して示され、オブジェクト点84からマイクロレンズアレイ72上に入射する光学放射の円錐の境界を示す。主光線98は、図6Aでは、中間点90の下流の図面の複雑性を低減させるために、中間点90において通常より早く終了するように示される。
3次元オブジェクト空間を2次元ライトフィールド空間に関連させるマッピング関数は、以下のように、マイクロレンズ74kに対して定義されることができる。
式中、添字xyは、関連付けられるベクトルの側方成分を示す。本方程式は、結像システムが反転画像を表示するかどうか、およびマイクロレンズアレイが実(反転または非反転画像)または仮想画像(反転または非反転画像)を結像するかどうかに関係なく、保持される。反転の存在または不在は、下記に説明されるように、対応する拡大率値の符号に含有される。
方程式1に関するマッピング幾何学形状の概略は、それぞれ、マイクロレンズアレイによる実反転画像および仮想反転画像の結像を図示する、図6Aおよび6Bに示される。ベクトル
は、3次元オブジェクト空間のオブジェクト平面64におけるオブジェクト点84を表す、ベクトルであって、
は、マイクロレンズ74kの光学軸の位置を表す、ベクトルであって、MTotalは、システムの総拡大率(例えば、対物レンズ62およびマイクロレンズアレイ72の組み合わせによって生成される)であって、MMLは、マイクロレンズアレイ72単独に起因する、拡大率であって、
は、オブジェクト空間内の
に対応する、2次元ライトフィールド空間(センサ平面96)内の点を表す、ベクトルである。方程式1を用いた、順方向投影画像を作成するためのライトフィールド画像からオブジェクト空間へのマッピングのさらなる側面は、下記の第IV-VI節に説明される。
ベクトル
はそれぞれ、テールを光学軸60に有する。しかしながら、マッピングのために使用される光学軸は、実際の光学軸である必要はなく、代わりに、本明細書のいずれかの場所で説明されるように(例えば、第V節参照)、ライトフィールド画像から仮想大域的光学軸として画定されてもよい。下流主光線100は、上記の図2、4、および5に説明されるように、中間像点90から、画像センサ76上のライトフィールド像点の数に対応する、マイクロレンズ74の少なくとも2次元サブセットを通して延在する。主光線100のうちの1つは、マイクロレンズ74kを通して通過し、
において、センサ平面96上に入射する。
方程式1は、以下のように導出されることができる。オブジェクト平面64におけるオブジェクト点
は、方程式2に従って、ベクトル
によって表される、中間像点90にマッピングされる。
式中、Mobjectiveは、中間オブジェクト平面64におけるライトフィールド顕微鏡52の対物レンズ62によって提供される集合拡大率であって、rxy’は、ベクトル
の側方成分である。図6Aおよび6Bの場合、Mobjectiveは、負の数となるであろう。
中間像点
は、方程式3に従って、マイクロレンズ74kを介して、2次元ライトフィールド空間(すなわち、センサ平面96)の
にマッピングされる。
図6Aの場合、MMLは、顕微鏡によって生成された実画像を再び反転させるであろうため、負となるであろう一方、図6Bの場合、MMLは、正の数となるであろう。
方程式3は、方程式4および5を生成するために、再配列および再グループ化されることができる。
方程式2に従って、方程式5における
を代入することは、方程式6をもたらす。
ライトフィールド顕微鏡52内の拡大率は、方程式7によって説明されることができる。
方程式7に従って、方程式6の右項内を代入することは、方程式1をもたらす。
マッピング幾何学形状は、いったん総拡大率およびマイクロレンズ拡大率が把握(例えば、測定)されると、十分に画定される。一般に、これらの拡大率はそれぞれ、オブジェクト平面64と集光モジュール66との間の距離(すなわち、オブジェクト平面64のz-位置)に依存する。局所的収差(例えば、マイクロレンズアレイに起因する)は、各マイクロレンズ画像に伴って変動する、総拡大率によって表されることができる。これは、方程式8および9につながる。
マイクロレンズアレイに起因する拡大率は、方程式10を使用して、較正標的の同一オブジェクト点の近傍のビュー間の視差(仮想深度とも呼ばれる)を評価することによって、較正標的を用いて決定されることができる。
式中、dMLAは、マイクロレンズアレイのピッチであって、x”(z)は、i番目のマイクロレンズの画像内の共通オブジェクト点の(z依存)位置である。MMLの正しい標識を決定するために、マイクロレンズアレイが、顕微鏡像面の像面の上流または下流に設置されているかどうかを把握する必要がある。第1の場合では、マイクロレンズアレイは、仮想画像を、第2の場合では、実画像を結像する。一般に、これは、顕微鏡像面の場所が、本来の画像センサ位置に位置するか、または画像センサをマイクロレンズアレイに対して顕微鏡の対物レンズの下流のz-軸に沿って移動させることによって容易に位置され得るかのいずれかであるため、アプローチの可用性を制限しない。MTotalの符号はまた、MobjectiveおよびMMLの反転性質および関連付けられる符号に応じて変動し得ることに留意されたい。しかしながら、総拡大率の符号変化のみが、オブジェクト空間内の反転につながる、すなわち、一般に、関連しない。換言すると、マイクロレンズアレイが顕微鏡の本来の像面と上流光学系または本来の像面の下流との間に挿入されるかどうかのみを把握する必要がある。マイクロレンズアレイと本来の像面との間の正確な距離を把握することは、必要ではない。
例示的較正標的および総およびマイクロレンズ拡大率値、半径方向歪曲値、および点拡がり関数を測定するための較正標的の使用のさらなる側面は、第IV-VI節において下記にさらに説明される。
IV.幾何学的マッピングを可能にするための較正標的
本節は、較正標的54の実施形態102によって例示されるように、例示的較正標的を説明する(図7、8A、8B、および9参照)。
較正標的54は、背景層内および/または上に位置する、少なくとも1つの光学的に検出可能なマーカを含んでもよい。少なくとも1つのマーカおよび背景層は、透過率、反射率、フォトルミネセンス、および/または同等物等の少なくとも1つの光学性質に関して、相互に異なる。例えば、各マーカは、ライトフィールド結像システムの光源からの光学放射を用いた照明に応答して、背景層より実質的に透過性、反射性、および/またはフォトルミネセンス性であって、マーカが背景層から光学的に区別されることを可能にし得る。各マーカまたはマーカ画定特徴は、同義的に、基点と呼ばれ得る。
いくつかの実施形態では、較正標的は、背景層によって画定された平面と平行な2次元アレイに配列される、複数の光学的に検出可能なマーカを含んでもよい。マーカは、単一タイプ、またはサイズ、形状、および/または光学性質等によって、ライトフィールド結像システム内で相互から光学的に区別可能である、少なくとも2つのタイプであってもよい。
マーカの少なくともサブセットは、複数の平行線に沿って、および/または複数の非平行線(例えば、相互に直交する線)に沿って配列され、グリッドを形成してもよい。故に、マーカの少なくともサブセットは、グリッドを画定してもよく、および/またはその中心をグリッドのノードに伴うように配列されてもよい。グリッドは、とりわけ、矩形または六角形であってもよい。グリッドの隣接するノード間の周期(すなわち、間隔)は、グリッドの少なくとも1つの軸に沿って、および/またはグリッドによって画定された一対の非平行(例えば、直交)軸に沿って、均一であってもよい。同一の第1のタイプ(例えば、同一サイズおよび/または形状を有する)のマーカが、グリッド内のノードのサブセットのみに位置し、第1の周期を有する、第1の繰り返し構造を作成してもよい。第2のタイプのマーカまたは無マーカが、グリッド内の他のノードに存在し、第2の周期を有する、第2の繰り返し構造を画定してもよい。第2の周期は、第1の周期の整数倍であってもよい。
各マーカは、任意の好適なサイズおよび形状を有してもよく、マーカは、集合的に、任意の好適な間隔および/または周期を画定してもよい。各マーカのサイズが、画定および把握されてもよい。例示的マーカサイズは、とりわけ、約100、50、25、20、15、10、5、または2マイクロメートル未満の幅および/または直径を含む。少なくとも1つのタイプのマーカのサイズは、マーカによって画定された周期未満であってもよく、例えば、周期は、そのサイズの少なくとも2、3、または4倍である。
各マーカは、任意の好適なプロセスによって形成される、任意の好適な構造を有してもよい。マーカは、背景層内のピンホールまたはスリット等の開口部であってもよい。開口部は、レーザ穿孔(例えば、レーザ誘発順方向転写)、フォトリソグラフィ、または同等物等の材料除去によって、背景層内に作成されてもよい。他の実施形態では、マーカは、背景層の漂白領域等の化学的に改変された領域であってもよい。さらに他の実施形態では、マーカは、材料を背景層上に堆積させることによって作成されてもよい。堆積される材料は、例えば、とりわけ、フォトルミネセンス性または反射性であってもよい。
較正標的54は、本段落に説明されるように、第1の要件を満たし得る。較正標的は、明確に画定されたサイズの少なくとも1つの光学的に検出可能マーカ、または明確に画定された周期(または間隔)の少なくとも2つのマーカの配列を含有し、z-位置の範囲に関するライトフィールドシステムの総拡大率の測定を可能にし得る。マーカまたは配列の周期の最大の好適なサイズも、依然として、明示的に較正されているz-位置の軸方向範囲全体にわたって、単一のマイクロレンズサブ画像内において、マーカまたは配列がその全体として結像されることを可能にする。マーカまたは配列の最小サイズは、ライトフィールドシステムの側方分解能によって決定されてもよい。より具体的には、マーカまたは配列は、オブジェクト空間内で明示的に較正される全てのz-位置に関して分解され得るほど十分な大きさであるべきである。
較正標的54は、本段落に説明されるように、第2の要件を満たし得る。較正標的は、マーカの特定のインスタンス、またはライトフィールド画像の少なくとも2つのマイクロレンズサブ画像内で結像され、その位置が、ピクセル分解能またはそれを上回って決定され得る、少なくとも2つのマーカによって画定された特徴の特定のインスタンスを含有し、オブジェクト空間内の複数のz-位置に関するマイクロレンズ拡大率の測定を可能にし得る。位置は、例えば、マーカまたは特徴の縁、角、または質量中心であってもよい。総拡大率を測定するために使用される、マーカまたは特徴のタイプまたはインスタンスは、マイクロレンズ拡大率を測定するために使用されるものと同一または異なってもよい。
較正標的は、とりわけ、単一タイプのマーカの1つのみのインスタンス、1つのみのタイプのマーカの複数のコピー、または少なくとも2つの異なるタイプの区別可能なマーカの複数のコピーを含有することによって、上記に説明される第1および第2の要件を満たし得る。例えば、較正標的は、単一の周期的配列、または1つ以上のタイプのマーカのコピーによって形成される、2つ以上の異なる周期的配列の重畳を有してもよい。重畳される、2つの周期的配列の場合、配列のうちの少なくとも1つの周期は、正確に把握されるべきであって、本構造は、第1および第2の要件を満たすべきである。異なる配列の周期は、上記の第1および第2の要件が満たされることを前提として、相互に明確に画定された関係を有する必要はない。
較正標的は、視野全体を網羅する必要はない。既知のサイズの関連マーカまたはマーカ配列が、関連z-位置の範囲全体にわたって、2つのマイクロレンズ画像内で結像され得る場合、十分である。拡大パラメータにおける局所的収差を決定し、正確度を増加させることが可能であるために、視野の大部分または全てを横断して分散される、または延在する、その較正標的のマーカを有することが有利であり得る。換言すると、較正標的の少なくとも1つのマーカが、ライトフィールド結像システムを較正するために、較正標的の捕捉された各ライトフィールド画像のサブ画像の少なくとも50%、75%、80%、90%、または全て内に表され得る。
例証的較正標的102が、黒色で表される光透過性領域と、白色で表される光遮断領域(図9を除く)とともに、図7、8A、8B、および9に示される。較正標的は、平面上部または底部表面106を有する、平坦基板104を含んでもよい。背景層108が、表面106に接合される、または別様に、取り付けられてもよい。背景層は、それぞれ、上記に説明される性質の任意の好適な組み合わせを有する、少なくとも1つまたは複数の光学的に検出可能マーカ110を形成または支持する。描写される実施形態では、マーカ110は、照明および/または結像のために使用されている光学放射の波長に関して光学的に透過性である、ピンホール112によって作成される(図9参照)。さらに、基板104は、光学放射に関して実質的に透過性または透明であってもよく、背景層108は、光学放射に関して実質的に非透過性(すなわち、遮断または不透明)であってもよい。いくつかの実施形態では、基板104は、背景層108および/または較正標的102のみが単一層であるように、較正標的102から省略されてもよい。
拡大パラメータを高正確度を伴って決定する(いくつかの測定を平均することによって)ことが可能であるために、かつ平均から局所的収差(例えば、光学収差に起因する)を特性評価することが可能であるために、較正標的102は、視野全体にわたって延在する、少なくとも2つの周期的配列の重畳を含み得る。例えば、図8Aでは、2つの周期的配列、すなわち、マーカ周期114を画定する、マーカ110の第1の周期的配列(一対の直交側方軸に沿って同一であり得る)と、マーカ110が周期的に不在である、特徴116の第2の周期的配列(概して、破線ボックスを用いて示される)とが、可視である。特徴116は、一対の直交側方軸に沿って同一であり得る、特徴周期118を画定する。図8Bは、マーカ110の第1の周期的配列によって画定され、較正標的上に重畳される、矩形グリッド120を示す。マーカ110は、図8Bに示されるように、グリッド120のノード122から周期的に不在であって、第2の周期的配列を作成し得る。他の実施形態では、異なるタイプのマーカが、これらのノードに存在してもよい(例えば、実施例1参照)。他の実施形態では、第2の周期的配列は、グリッド120からオフセットされてもよく、および/またはグリッド120のノード間隔に関連しない、特徴周期118を有してもよい。
マーカ周期114は、総拡大率を決定するために利用されてもよい。周期は、複数の近傍の対のマーカ110が、各マイクロレンズによって、z-位置毎に結像されるように、最適化され得、これは、総拡大率、およびその任意の局所的収差が、高正確度を伴って決定されることを可能にし得る。ある場合には、マーカ周期114の少なくとも2、3、4、またはそれを上回るインスタンスが、マイクロレンズ画像あたりで各側方次元において結像されてもよい。
較正標的102は、固定された周期を伴う、マーカ110の2次元アレイを有し、これは、
(すなわち、z-位置およびマイクロレンズ位置の関数としての総拡大率)を決定するために使用され得、上記に説明される第1の要件を満たす。本周期的構造では、n個おきのマーカ110は、欠落している(例えば、nは、少なくとも2、3、4、5、またはそれを上回る)。これらの欠落マーカ110は、z-位置の関数としてのマイクロレンズの拡大率を決定するために使用され、上記に説明される第2の要件を満たす、第2の周期的特徴116を構成する。マーカ110が欠落している、グリッド120の各ノード122の正確な位置は、近傍のグリッドノード間の補間(またはそこからの外挿)によって高精度で決定されることができる。マーカ110が、回折限界分解能と類似サイズまたはより小さい場合、システムの点拡がり関数もまた、抽出されることができる。
マイクロレンズ拡大率に関する値を決定するために使用される、特徴116の周期的配列は、上記に説明される第2の要件を満たす。特徴の周期は、概して、近傍のサブ画像134内の特徴の特定のインスタンスの対応が一意に定義されるように選択される。本基準を満たすために、特徴116の1つのみのインスタンスが各マイクロレンズによって結像される場合、十分である。特徴の複数のインスタンスが、各マイクロレンズによって結像される場合、周期は、近傍のビュー内の特徴のインスタンス間の対応が、(例えば、MMLに関する正しい値は、2つのサブ画像間のあらゆる可能性として考えられる組み合わせの対応から抽出される、MMLに関するあらゆる可能性として考えられる値から、ゼロに最も近いものであるという)単純仮定を通して確立され得るように選択されるべきである。
種々の他の較正標的が、ライトフィールド結像システムのために好適であり得、上記に説明される第1および第2の要件を充足し得る。例えば、較正標的は、
を決定するための画定されたサイズの円形等のマーカ110の単一インスタンスのみを含んでもよい。円形の中心質量が、MML(z)を決定するために使用されることができる。他の実施例では、較正標的は、
の決定を可能にするために、既知の周期を伴う、周期的線格子を形成する、マーカを有してもよい。MML(z)を決定するために、格子の1つの線の角が、使用されることができる。
V.較正およびマッピングの方法
本節は、ライトフィールド顕微鏡を較正する例示的方法と、較正後のライトフィールド空間とオブジェクト空間との間のマッピングとを説明する。本節に説明される方法ステップは、システムコンポーネント、較正標的、および/または本開示の他の側面のいずれかを使用して、任意の好適な順序および組み合わせで実施されてもよい。本明細書に開示される方法ステップはそれぞれ、コンピュータによって、および/またはその制御下で、実施されてもよい。方法ステップは、較正標的102と、マイクロレンズ74の10×10のアレイ72を装備する、ライトフィールド結像システム50の実施形態とともに例示される(図10-14参照(また、図1、2、および7-9参照))。
較正標的が、ライトフィールド結像システム50のステージ56上に設置され、オブジェクト空間内の関連z-位置に位置し得る。関連z-位置では、較正標的は、サンプルまたは他の着目オブジェクトが結像のために設置されるであろう、オブジェクト空間内の着目ボリュームと交差する。較正のために、較正標的のライトフィールド画像のz-スタックが、記録され得る。より具体的には、較正標的の個別のライトフィールド画像が、ライトフィールド結像システムの画像センサ76を用いて、オブジェクト空間内の較正標的の少なくとも2つ、3つ、またはそれを上回る関連z-位置のそれぞれにおいて、ライトフィールド顕微鏡52のステージ56または集光モジュール66の場所をz-軸に沿って(すなわち、光学軸60と平行に)調節することによって、捕捉され得る。較正標的の側方位置(光学軸60に直交する)は、捕捉されたライトフィールド画像に関して同一である場合とそうではない場合があるが、概して、同一較正標的を用いた較正の間、本側方位置を変化させる動機にはならない。
図10-12は、較正標的が、ステージ56によって、z-位置のうちの1つに支持される間、ライトフィールド結像システム50の画像センサ76によって捕捉され得る、較正標的102の例示的負のライトフィールド画像130を示す(また、図7-9参照)。ライトフィールド画像130は、サブ画像134のアレイ132から成り、各サブ画像134は、アレイ72の異なるマイクロレンズ74に対応し、それによって生成される。サブ画像134は、後続画像処理を促進するために、相互に別個(すなわち、重複しない)であってもよい、または若干重複してもよい。近傍のサブ画像134間の分離距離は、概して、各サブ画像によって含有される画像データの量を最大限にするように最小限にされる。
サブ画像134は、較正標的102の重複ビューを表し、ライトフィールド画像130によって画定された側方軸136、138に沿って配列される。故に、較正標的102の所与のマーカ110および/または特徴116は、各軸136、138に沿った少なくとも2つの近傍のサブ画像134内の対応する(結像される)マーカ140および/または(結像される)特徴142によって表され得る。例えば、描写される実施形態では、ライトフィールド画像130内のより中心で結像される、較正標的102のマーカ110および特徴116はそれぞれ、サブ画像134の3×3アレイを中心として提示され得るが、他の実施形態では、各マーカ/特徴は、ライトフィールド画像130のサブ画像134のより小さいまたはより大きい2次元アレイで表されてもよい。
所与の結像されるマーカ140または結像される特徴142の位置は、視差に起因して、各軸136、138に沿って、隣接するサブ画像134内で偏移する。本偏移の範囲は、本明細書のいずれかの場所で説明されるように、マイクロレンズ74の拡大率を計算するために使用されることができる。図11は、較正標的102内の特徴116の同一インスタンスを表す、特徴142aが、軸136に沿って、連続サブ画像間で約2列のマーカ140と、軸138に沿って、連続サブ画像間で約2行のマーカ140とのぶんだけ偏移する様子を示す。
光学軸が、ライトフィールド画像毎に画定され得る。マイクロレンズアレイの真の光学軸とライトフィールド画像の実際の交点は、概して、把握されない。代わりに、仮想(大域的)光学軸が、任意の好適な方法によって、ライトフィールド画像の前処理の間、画定され得る。例えば、ライトフィールド画像は、各側方寸法における2つの中心サブ画像がサブ画像アレイの中央で正確に衝合する、すなわち、サブ画像アレイの4つの中心ピクセルが衝合するように、心合およびクロッピングされ得る。本点は、仮想光学軸がライトフィールド空間の中へのマイクロレンズアレイの直交投影と交差する、点として画定され得る(そのように画定された仮想光学軸はまた、4つのマイクロレンズ間に心合される点において、物理的マイクロレンズアレイと交差すると仮定され得る)。光学軸の本画定は、較正(ライトフィールド画像内の距離のみが評価される)およびライトフィールド空間からオブジェクト空間の中へのマッピング(例えば、方程式1に基づく)の両方のために十分であり得る(また、第III節参照)。マッピングは、真の光学軸と仮想光学軸との間の偏移が、オブジェクト空間内の大域的偏移に対応し、これが、大部分の用途において重要ではないため、光学軸の本画定を用いることで十分に正確となる。図10および11は、本アプローチに従って画定されたライトフィールド画像130内の仮想光学軸144を示す。
各較正ライトフィールド画像のサブ画像が、識別され得る。例えば、各サブ画像の中心点、サイズ、および/または境界が、ライトフィールド画像を処理することによって決定されてもよい。図13は、中心146および境界148がサブ画像に関して識別される、サブ画像134のうちの1つを示す。
各サブ画像134内のマーカ/特徴の位置が、検出され得る。例えば、質量中心または最大強度点が、マーカ140毎に決定されてもよい(および/または特徴がマーカ140と異なるタイプのマーカによって作成される場合、特徴142(例えば、実施例1参照))。
メッシュが、サブ画像毎に、四角化によって、マーカ/特徴の検出された位置を使用して作成され得る。図13は、四角化によって作成された例示的メッシュ150を示す。メッシュ150は、較正標的102によって画定されたグリッド120の一部に対応する。メッシュは、実質的歪曲がシステム光学系(例えば、マイクロレンズアレイ)によって発生されない場合、示されるように、矩形であってもよい。図14は、ピンクッション半径方向歪曲がマイクロレンズアレイ72の対応するマイクロレンズ74によって生成される、較正標的102の例示的サブ画像152を示す。ここでは、メッシュ150は、矩形ではない。他の場合では、半径方向歪曲は、たる形歪曲であり得る。
較正標的の結像される特徴が、検出され得る。例えば、結像される特徴142を表す、メッシュ150のノード(マーカ140は、その周期的配列から欠落している)が、識別され、その位置が決定されてもよい(図13参照)。他の実施形態では、異なるタイプのマーカによって生成された結像される特徴(例えば、実施例1参照)が、検出され、その位置が決定されてもよい。
ライトフィールド結像システムの総拡大率が、決定され得る。総拡大率は、方程式11に従って計算されることができる。
式中、DistLFは、ライトフィールド画像のサブ画像内の2つの点間の距離であって、DistOBは、オブジェクト空間内の同一の2つの点間の距離である。2つの点は、オブジェクト空間および2次元ライトフィールド空間内の較正標的によって画定され、とりわけ、較正標的の単一マーカ(例えば、画定されたサイズのマーカの特性寸法(直径または長さ等))、または近傍の対のマーカ(例えば、対のマーカ間の中心間または縁間距離)によって提供されてもよい。例示的実施形態では、オブジェクト空間内の距離は、既知のマーカ周期114(例えば、図8A参照)であって、2次元ライトフィールド空間内の対応する距離は、測定された周期156(図12参照)である。
いくつかの実施形態では、測定された周期156は、結像されるマーカ140の位置を規則的グリッドに適合させることによって決定されてもよい。グリッドの周期は、方程式11に関するDistLFを提供する。
大域的総拡大率が、決定され得る。例えば、大域的総拡大率は、既知の周期114にわたる測定された周期156の平均として計算されることができる。局所的収差は、約1つの周期の分解能を用いて決定されることができ、したがって、局所的に変動する総拡大率を採用することによって、または捕捉されたライトフィールド画像を前処理ステップにおいて補正すること等によって、再構築プロセス(例えば、第III節参照)の中に組み込まれることができる。
少なくとも1つのマイクロレンズ拡大率が、決定され得る。例えば、マイクロレンズアレイに関する平均マイクロレンズ拡大率が、決定され、次いで、ライトフィールド空間からオブジェクト空間へのマッピングのために使用されてもよい、またはマイクロレンズ特有の拡大率が、決定され、マッピングのために使用されてもよい。マイクロレンズアレイの拡大率は、較正標的の同一オブジェクト点の異なるビュー間の視差を測定することによって決定される。ビューは、同一オブジェクト点が結像される限り、相互に隣接するサブ画像によって提供される必要はない。例えば、マイクロレンズ拡大率は、方程式12に示されるように、計算されることができる。
式中、Δは、基準オブジェクト点の視差であって、n-1は、検討中の2つのビュー間のマイクロレンズサブ画像の数であって、dは、マイクロレンズアレイの周期である。同様に、マイクロレンズ拡大率は、方程式10に従って決定されることができる。例えば、近傍のサブ画像134内の所与の特徴142a間の距離158が、決定され得(図11参照)、距離158とマイクロレンズピッチdMLAの比率が、計算され得る。マイクロレンズアレイの(公称)ピッチに関する値は、とりわけ、アレイの製造業者から取得されてもよいまたはユーザによって測定されてもよい。
画定されたz-位置において、上記に説明されるように取得される総およびマイクロレンズ拡大率値は、次いで、補間または外挿され、具体的に較正されていない、他のz-位置における、対応する拡大率値を取得することができる。
ビネット分布が、測定され得る。例えば、ビネット分布は、側方位置に従って、結像されるマーカ140の強度を説明し得る。強度は、結像されるマーカ毎のピーク強度、総強度、または同等物であってもよい。
ライトフィールド画像の場歪曲が、決定され得る。場歪曲は、ライトフィールド画像の対応するサブ画像内のマイクロレンズアレイ72の個々のマイクロレンズ74によって引き起こされる、ピンクッション歪曲またはたる形歪曲等の半径方向歪曲であり得る。所与のマイクロレンズに関する半径方向歪曲は、例えば、(ii)マーカ位置によって画定された最小二乗適合された規則的グリッドからの(i)対応するサブ画像に関する測定されたマーカ位置の逸脱として計算され得る。平均半径方向歪曲が、計算され得る、またはマイクロレンズ特有の半径方向歪曲が、マッピングのために使用され得る。半径方向歪曲は、ライトフィールド空間からオブジェクト空間にマッピングする(すなわち、サンプルまたは他の着目オブジェクトの捕捉されたライトフィールド画像から)とき、マッピング関数(例えば、方程式1)において考慮され得る。例えば、半径方向歪曲は、マイクロレンズサブ画像の中心からのサブ像点の半径方向距離に依存する、補正係数を使用して考慮され得る。対物レンズによる大域的半径方向歪曲もまた、または代替としては、概して、ほぼ各マイクロレンズのサイズの分解能を用いて評価されることができる。マイクロレンズアレイを横断したマイクロレンズあたりの平均総拡大率に関する値の変化が、大域的半径方向歪曲を決定するために評価されることができる。
点拡がり関数が、各較正ライトフィールド画像のサブ画像のうちの少なくとも1つから決定され得る。例えば、逆畳み込み演算が、サブ画像内で結像されるマーカ140および較正標的の対応するマーカ110を用いて、サブ画像を作成したマイクロレンズに関する点拡がり関数を計算するために実施されてもよい。平均点拡がり関数が、オブジェクト空間の中へのマッピングのために、ライトフィールド画像内の捕捉されたサブ画像の全てとの併用のために、マイクロレンズアレイに関して算出され得る。代替として、各マイクロレンズは、マッピングのために使用されるために、異なる点拡がり関数を割り当てられてもよい。
オブジェクト空間とライトフィールド画像空間との間の幾何学的マッピングが、方程式1等における一次光学系(共線形変換)に基づいて、実施され得る。本マッピングは、オブジェクトが、ライトフィールド空間からオブジェクト空間の1つ以上の平面へのライトフィールド画像の順方向投影によって、少なくとも部分的に、再構成されることを可能にし得る。マッピングは、代替として、または加えて、オブジェクト空間からライトフィールド空間へのオブジェクトの逆方向投影によって、ライトフィールド画像(またはその一部)が再構成されることを可能にし得る。2次元画像を形成する、またはオブジェクトを3次元で再構築するための順方向投影は、マイクロレンズおよび/または結像システムの別の光学要素(例えば、対物レンズ)によって生成された歪曲(例えば、半径方向歪曲)を補正し得る。順方向投影は、代替として、または加えて、少なくとも1つの点拡がり関数(例えば、マイクロレンズに関する平均点拡がり関数)を利用して、ぼけを低減させ得る。
VI.実施例
本節は、本開示のライトフィールド結像システムの選択された実施形態および側面、較正標的、較正方法、およびマッピング方法を説明する。これらの実施形態および側面は、例証のみのために意図され、本開示の範囲全体を限定するべきではない。
(実施例1)さらなる較正標的
本実施例は、本開示のシステムおよび方法のために好適であり得る、さらなる例示的較正標的54を説明する(図15-18参照)。
図15は、同一矩形グリッドのノードに位置する、2つのタイプの周期的マーカ110、172を有する、較正標的54の例示的実施形態170を示す。較正標的170は、較正標的102(図7および8A参照)に類似するが、マーカ172は、特徴116(マーカ110によって画定されたグリッドのノードにおける任意のマーカの不在によって作成される)に取って代わる。マーカ172の各コピーは、マーカ110の各コピーから光学的に区別可能にする、サイズおよび/または形状を有し、マーカに関する特徴周期118を画定するために、周期的に繰り返され得る。
図16は、単一のタイプのマーカ110のみを有する、較正標的54の別の例示的実施形態180を示す。較正標的180は、較正標的102と同一であるが、特徴116を形成するために、5個おきのマーカの代わりに、10個おきのマーカ110が、欠落している。
図17および18は、較正標的54のさらに別の例示的実施形態190を示す。較正標的54は、相互に垂直に配列される2つのセットの格子194、196から成る、繰り返しユニット192を有する。他の実施形態では、1つのみのユニット192が、較正標的によって提供されてもよい。
(実施例2)較正データ
本実施例は、ライトフィールド顕微鏡の作業実施形態および較正標的とともに、z-位置の関数として測定された総およびマイクロレンズ拡大率値を説明する(図19および20参照)。
拡大パラメータM(z)毎に測定された拡大率値が、下記の方程式13に示される形態の関数に適合され、明示的に較正されていない、他のz-位置への外挿および補間を可能にし得る。
式中、aおよびbは、定数である。他の適合関数も、代わりに、好適であり得る。
(実施例3)選択された実施形態
本実施例は、一連のインデックス化された段落として、本開示の選択された実施形態を説明する。
段落1.レンズアレイ(例えば、マイクロレンズアレイ)と、画像センサとを有する、ライトフィールド結像システムを較正する方法であって、(a)較正標的が複数の異なるz-位置に位置する間、画像センサを使用して、較正標的のライトフィールド画像のz-スタックを捕捉するステップと、(b)ライトフィールド結像システムの総拡大率およびレンズアレイのレンズ拡大率をz-スタックの各ライトフィールド画像から決定するステップとを含み、随意に、結像システムは、ステージを有し、較正標的は、z-位置のそれぞれにおけるステージによって支持される、方法。
段落2.ライトフィールド画像のz-スタックを使用して、較正標的のz-位置の関数として、点拡がり関数を計算するステップをさらに含む、段落1に記載の方法。
段落3.z-スタックの各ライトフィールド画像は、複数のサブ画像を含み、点拡がり関数を計算するステップは、平均点拡がり関数をライトフィールド画像の複数のサブ画像から計算するステップを含む、段落2に記載の方法。
段落4.点拡がり関数を計算するステップは、逆畳み込み演算をz-スタックの各ライトフィールド画像の少なくとも一部上で実施するステップを含む、段落2または3に記載の方法。
段落5.ライトフィールド画像のz-スタックを使用して、較正標的のz-位置の関数として、レンズアレイの少なくとも1つのレンズに関する半径方向歪曲を決定するステップをさらに含む、段落1-4のいずれかに記載の方法。
段落6.半径方向歪曲は、較正標的のz-位置の関数としてのレンズアレイのレンズに関する平均半径方向歪曲である、段落5に記載の方法。
段落7.レンズ拡大率を決定するステップは、レンズアレイのピッチを使用して、z-位置毎にレンズアレイに関する少なくとも1つのレンズ拡大率を計算する、段落1-6のいずれかに記載の方法。
段落8.較正標的は、第1の周期的繰り返しと、第2の周期的繰り返しとを形成するように配列される、少なくとも1つのタイプのマーカを有し、第1の周期的繰り返しは、z-位置のそれぞれにおける総拡大率を決定するために使用され、第2の周期的繰り返しは、z-位置のそれぞれにおける少なくとも1つのレンズ拡大率を決定するために使用される、段落1-7のいずれかに記載の方法。
段落9.z-スタックの各ライトフィールド画像は、サブ画像の2次元アレイから成り、サブ画像内の第1の周期的繰り返しの周期は、各サブ画像の直径より小さい、段落8に記載の方法。
段落10.第1の周期的繰り返しは、グリッドを画定するように複数回繰り返されるマーカによって形成され、第2の周期的繰り返しは、グリッドのノードからのマーカの周期的不在によって形成される、段落8または9に記載の方法。
段落11.較正標的は、ピンホールの2次元アレイを含む、段落1-10のいずれかに記載の方法。
段落12.ピンホールは、グリッドのノードに位置する、段落11に記載の方法。
段落13.ピンホールは、グリッドのノードから周期的に不在である、段落12に記載の方法。
段落14.較正標的は、それぞれ、同一グリッドの異なるノードに位置する、マーカのアレイを有し、マーカはそれぞれ、光透過性または発光性(例えば、フォトルミネセンス性)であって、グリッド内のノードのサブセットは、光透過性または発光性のマーカを有していない、非透過性または非発光性のノードである、段落1-13のいずれかに記載の方法。
段落15.非透過性または非発光性のノードは、グリッド内で2次元において周期的に繰り返される、段落14に記載の方法。
段落16.本方法はさらに、オブジェクトのライトフィールド画像を捕捉するステップと、ライトフィールド画像を、オブジェクト空間の平面の中に、その平面に対応する、結像システムの総拡大率と、その平面に対応する、レンズアレイの少なくとも1つのレンズ拡大率とを使用して、投影するステップとを含む、段落1-15のいずれかに記載の方法。
段落17.投影するステップは、少なくとも1つの点拡がり関数を使用して、ぼけを低減させ、少なくとも1つの点拡がり関数は、z-スタックのライトフィールド画像のうちの1つ以上のものから計算される、段落16に記載の方法。
段落18.投影するステップは、レンズアレイのレンズによって生成された半径方向歪曲を補正するステップを含む、段落16または17に記載の方法。
段落19.ライトフィールド結像システムであって、(a)較正標的と、(b)較正標的を支持するための随意のステージと、(c)較正標的を照明するための光源と、(d)照明された較正標的からの光を収集するための対物レンズと、(e)対物レンズの下流のレンズアレイ(例えば、マイクロレンズアレイ)と、(f)較正標的のライトフィールド画像を捕捉するための画像センサと、(g)総拡大率およびレンズアレイのレンズ拡大率をライトフィールド画像から決定するように構成される、コンピュータとを備える、システム。
段落20.コンピュータは、少なくとも1つの点拡がり関数をライトフィールド画像から計算するように構成される、段落19に記載のシステム。
段落21.コンピュータは、逆畳み込み演算をライトフィールド画像の少なくとも一部上で実施し、少なくとも1つの点拡がり関数を計算するように構成される、段落20に記載のシステム。
段落22.コンピュータは、レンズアレイの少なくとも1つのレンズに関する半径方向歪曲をライトフィールド画像から決定するように構成される、段落19-21のいずれかに記載のシステム。
段落23.コンピュータは、レンズアレイのレンズに関する平均半径方向歪曲をライトフィールド画像から決定するように構成される、段落22に記載のシステム。
段落24.較正標的は、第1の周期的繰り返しと、第2の周期的繰り返しとを形成するように配列される、少なくとも1つのタイプのマーカを含み、コンピュータは、第1の周期的繰り返しを使用して、総拡大率を決定するように構成され、コンピュータは、第2の周期的繰り返しを使用して、レンズ拡大率を決定するように構成される、段落19-23のいずれかに記載のシステム。
段落25.第1の周期的繰り返しは、グリッドを画定するように複数回繰り返されるマーカによって形成され、第2の周期的繰り返しは、グリッドのノードからのマーカの周期的不在によって形成される、段落24に記載のシステム。
段落26.較正標的は、ピンホールの2次元アレイを画定する、段落24または25に記載のシステム。
段落27.ピンホールの2次元アレイは、矩形アレイである、段落26に記載のシステム。
段落28.ピンホールは、グリッドのノードに位置し、ピンホールは、周期的に、グリッド内の他のノードから不在である、段落27に記載のシステム。
段落29.ピンホールが周期的に不在である、他のノードは、光透過性ではない、段落28に記載のシステム。
段落30.ピンホールの2次元アレイのピンホールは、実質的に同一サイズを有する、段落26-29のいずれかに記載のシステム。
段落31.較正標的は、同一矩形グリッドのノードに位置する、マーカのアレイを有し、マーカはそれぞれ、光透過性または発光性であって、矩形グリッド内のノードのサブセットは、マーカのうちの1つを欠いており、光透過性または発光性ではない、段落19-30のいずれかに記載のシステム。
段落32.ライトフィールド結像システムのための較正標的であって、少なくとも1つの所定の波長の光学放射の透過を実質的に遮断し、光学放射に関して透過性の複数の開口部を画定する、層を備え、開口部は、グリッドを画定し、グリッド内のノードの周期的2次元サブセットの各ノードは、(i)層内に開口部を欠いており、光学放射に関して非透過性である、または(ii)複数の開口部のそれぞれからサイズおよび/または形状が区別可能な異なるタイプの開口部を有する、較正標的。
段落33.層は、光学放射に関して透過性の基板に接合される、段落32に記載の較正標的。
段落34.少なくとも1つの所定の波長は、紫外線放射、可視光、および/または赤外線放射を含む、段落32または33に記載の較正標的。
段落35.ライトフィールド結像システムを使用して、オブジェクトのライトフィールド画像をオブジェクト空間の中に投影する方法であって、(a)オブジェクト空間内に、随意に、ステージによって支持される、オブジェクトのライトフィールド画像を捕捉するステップと、(b)ライトフィールド画像のピクセルを、オブジェクト空間の平面に、その平面に対応する、顕微鏡の総拡大率に関する値と、その平面に対応する、レンズ拡大率に関する少なくとも1つの値とを使用して、幾何学的にマッピングするステップとを含む、方法。
段落36.マッピングするステップは、点拡がり関数を使用して、ぼけを低減させる、段落35に記載の方法。
段落37.ライトフィールド結像システムは、レンズのアレイを含み、マッピングするステップは、レンズのアレイによってライトフィールド画像内に生成された半径方向歪曲を補正する、段落35または36に記載の方法。
段落38.マッピングするステップは、オブジェクトを3次元で再構成するステップを含む、段落35-37のいずれかに記載の方法。
段落39.結像システムの仮想大域的光学軸の位置を、ライトフィールド結像システムの画像センサによって捕捉されたライトフィールド画像から画定するステップをさらに含み、マッピングするステップは、ライトフィールド空間およびオブジェクト空間内の仮想大域的光学軸に対して実施される、段落35-38のいずれかに記載の方法。
段落40.オブジェクトは、複数の生物学的細胞を含む、段落35-39のいずれかに記載の方法。
本開示で使用されるような用語「例示的」は、「例証的」または「実施例としての役割を果たす」ことを意味する。同様に、用語「~を例示する」は、「実施例を与えることによって、~を例証する」ことを意味する。いずれの用語も、望ましいまたは優れていることを含意するものではない。
上記に記載される本開示は、独立した有用性を伴う、複数の明確に異なる発明を包含し得る。これらの発明はそれぞれ、その好ましい形態において開示されているが、本明細書に開示および図示されるようなその具体的実施形態は、多数の変形例が可能性として考えられるため、限定的意味であると見なされるべきではない。本発明の主題は、本明細書に開示される種々の要素、特徴、機能、および/または性質の全ての新規および非明白な組み合わせおよび副次的組み合わせを含む。以下の請求項は、特に、新規および非明白であると見なされる、ある組み合わせおよび副次的組み合わせを指摘する。特徴、機能、要素、および/または性質の他の組み合わせおよび副次的組み合わせ内に具現化される発明が、本または関連出願から優先権を主張する出願において請求され得る。そのような請求項はまた、異なる発明または同一発明を対象とするかどうかにかかわらず、かつ原請求項より範囲が広い、より狭い、等しい、または異なるかどうかにかかわらず、本開示の本発明の主題内に含まれると見なされる。さらに、識別された要素に関する、第1、第2、または第3等の序数インジケータは、要素間で区別するために使用され、そうでないことが具体的に述べられない限り、そのような要素の特定の位置または順序を示すものではない。

Claims (16)

  1. マイクロレンズアレイと、画像センサとを有するライトフィールド結像システムを較正する方法であって、前記方法は、
    較正標的が複数の異なるz-位置に位置する間、前記画像センサを使用して、前記較正標的のライトフィールド画像のz-スタックを捕捉することと、
    前記ライトフィールド結像システムの総拡大率および前記マイクロレンズアレイのマイクロレンズ拡大率を前記z-スタックの各ライトフィールド画像から決定することと
    を含み、前記較正標的は、第1の周期的繰り返しと、第2の周期的繰り返しとを形成するように配列される少なくとも1つのタイプのマーカを有し、前記第1の周期的繰り返しは、前記z-位置のそれぞれにおける総拡大率を決定するために使用され、前記第2の周期的繰り返しは、前記z-位置のそれぞれにおける少なくとも1つのマイクロレンズ拡大率を決定するために使用される、方法。
  2. 前記ライトフィールド画像のz-スタックを使用して、前記較正標的のz-位置の関数として、点拡がり関数を計算することをさらに含む、請求項1に記載の方法。
  3. 前記ライトフィールド画像のz-スタックを使用して、前記較正標的のz-位置の関数として、前記マイクロレンズアレイの少なくとも1つのマイクロレンズに関する半径方向歪曲を決定することをさらに含む、請求項1に記載の方法。
  4. マイクロレンズ拡大率を決定することは、前記z-位置毎に、前記マイクロレンズアレイのピッチを使用して、前記マイクロレンズアレイに関する少なくとも1つのマイクロレンズ拡大率を計算する、請求項1に記載の方法。
  5. 前記第1の周期的繰り返しは、グリッドを画定するように複数回繰り返されるマーカによって形成され、前記第2の周期的繰り返しは、前記グリッドのノードからの前記マーカの周期的不在によって形成される、請求項に記載の方法。
  6. 前記較正標的は、ピンホールの2次元アレイを含む、請求項1に記載の方法。
  7. 前記ピンホールは、グリッドのノードに位置し、ピンホールは、前記グリッドのノードから周期的に不在である、請求項に記載の方法。
  8. 前記較正標的は、それぞれが同一グリッドの異なるノードに位置するマーカのアレイを有し、各マーカは、光透過性または発光性であり、前記グリッド内のノードのサブセットは、光透過性または発光性のマーカを有していない非透過性または非発光性のノードである、請求項1に記載の方法。
  9. 前記非透過性または非発光性のノードは、前記グリッド内で2次元において周期的に繰り返される、請求項に記載の方法。
  10. 前記方法はさらに、
    オブジェクトのライトフィールド画像を捕捉することと、
    前記ライトフィールド画像を、オブジェクト空間の平面の中に、前記平面に対応する前記結像システムの総拡大率と、前記平面に対応する前記マイクロレンズアレイの少なくとも1つのマイクロレンズ拡大率とを使用して、投影することと
    を含む、請求項1に記載の方法。
  11. 前記投影することは、少なくとも1つの点拡がり関数を使用して、ぼけを低減させ、前記少なくとも1つの点拡がり関数は、前記z-スタックの前記ライトフィールド画像のうちの1つ以上のものから計算される、請求項10に記載の方法。
  12. 前記投影することは、前記マイクロレンズアレイのマイクロレンズによって生成された半径方向歪曲を補正することを含む、請求項10に記載の方法。
  13. ライトフィールド結像システムであって、
    較正標的と、
    前記較正標的を照明するための光源と、
    前記照明された較正標的からの光を収集するための対物レンズと、
    前記対物レンズの下流のマイクロレンズアレイと、
    前記較正標的のライトフィールド画像を捕捉するための画像センサと、
    総拡大率およびマイクロレンズ拡大率を前記ライトフィールド画像から決定するように構成されるコンピュータと
    を備え、前記較正標的は、第1の周期的繰り返しと、第2の周期的繰り返しとを形成するように配列される少なくとも1つのタイプのマーカを含み、前記コンピュータは、前記第1の周期的繰り返しを使用して、前記総拡大率を決定するように構成され、前記コンピュータは、前記第2の周期的繰り返しを使用して、前記マイクロレンズ拡大率を決定するように構成される、システム。
  14. 前記コンピュータは、少なくとも1つの点拡がり関数を前記ライトフィールド画像から計算するように構成される、請求項13に記載のシステム。
  15. 前記コンピュータは、前記マイクロレンズアレイの少なくとも1つのマイクロレンズに関する半径方向歪曲を前記ライトフィールド画像から決定するように構成される、請求項13に記載のシステム。
  16. 前記第1の周期的繰り返しは、グリッドを画定するように複数回繰り返されるマーカによって形成され、前記第2の周期的繰り返しは、前記グリッドのノードからの前記マーカの周期的不在によって形成される、請求項13に記載のシステム。
JP2021544554A 2019-02-01 2020-01-29 ライトフィールド結像システムの較正 Active JP7453981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024021099A JP2024045554A (ja) 2019-02-01 2024-02-15 ライトフィールド結像システムの較正

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/265,220 US11030776B2 (en) 2019-02-01 2019-02-01 Calibration of a light-field imaging system
US16/265,220 2019-02-01
PCT/IB2020/050711 WO2020157681A2 (en) 2019-02-01 2020-01-29 Calibration of a light-field imaging system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024021099A Division JP2024045554A (ja) 2019-02-01 2024-02-15 ライトフィールド結像システムの較正

Publications (3)

Publication Number Publication Date
JP2022518847A JP2022518847A (ja) 2022-03-16
JPWO2020157681A5 true JPWO2020157681A5 (ja) 2024-02-28
JP7453981B2 JP7453981B2 (ja) 2024-03-21

Family

ID=69528883

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021544554A Active JP7453981B2 (ja) 2019-02-01 2020-01-29 ライトフィールド結像システムの較正
JP2024021099A Pending JP2024045554A (ja) 2019-02-01 2024-02-15 ライトフィールド結像システムの較正

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024021099A Pending JP2024045554A (ja) 2019-02-01 2024-02-15 ライトフィールド結像システムの較正

Country Status (5)

Country Link
US (2) US11030776B2 (ja)
EP (1) EP3918402B1 (ja)
JP (2) JP7453981B2 (ja)
CN (1) CN113412441A (ja)
WO (1) WO2020157681A2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256741B (zh) * 2021-07-14 2021-10-22 清华大学 用于扫描光场成像系统的镜头标定方法及装置
CN113686881A (zh) * 2021-09-23 2021-11-23 云智汇(深圳)高新科技服务有限公司 一种高反光镜面环境的视觉全角度成像装置
CN113923445B (zh) * 2021-10-13 2023-09-26 中国航发湖南动力机械研究所 用于移轴成像条件下的光场相机校准方法及系统
US20240129604A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Plenoptic sensor devices, systems, and methods
DE102022128078A1 (de) 2022-10-25 2024-04-25 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zur mikroskopie
CN116625648A (zh) * 2023-07-21 2023-08-22 武昌理工学院 一种基于液晶微透镜阵列的距离测量方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10332161B4 (de) 2003-07-15 2015-03-26 Daimler Ag Kalibrationskörper und Kalibrationsverfahren für ein Kamerasystem
EP1941314A4 (en) * 2005-10-07 2010-04-14 Univ Leland Stanford Junior ARRANGEMENTS AND APPROACHES FOR MICROSCOPY
US8189089B1 (en) * 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US8531581B2 (en) * 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
JP2013157713A (ja) 2012-01-27 2013-08-15 Canon Inc 画像処理装置および画像処理方法、プログラム
US9153026B2 (en) * 2012-11-26 2015-10-06 Ricoh Co., Ltd. Calibration of plenoptic imaging systems
DE102013009634B4 (de) * 2013-06-10 2015-07-30 Technische Universität Dortmund Plenoptisches Bildgebungsverfahren
US10120180B2 (en) * 2014-09-28 2018-11-06 Massachusetts Institute Of Technology Methods and apparatus for stretched light field microscope
US9544583B2 (en) 2015-01-09 2017-01-10 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems
CN104614847B (zh) * 2015-01-14 2017-02-01 浙江大学 一种宽视场高分辨率显微成像系统和方法
CN104849852B (zh) * 2015-05-07 2017-03-08 清华大学 基于相机阵列的光场显微成像系统及方法
EP3098778A1 (en) 2015-05-29 2016-11-30 Thomson Licensing Method for obtaining a refocused image from 4d raw light field data
DE102015120965B3 (de) 2015-12-02 2017-04-06 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Ermittlung von Kalibrierparametern zur metrischen Kalibrierung einer plenoptischen Kamera
US9952422B2 (en) * 2016-01-14 2018-04-24 University Of Vienna Enhancing the resolution of three dimensional video images formed using a light field microscope
CN105488810B (zh) 2016-01-20 2018-06-29 东南大学 一种聚焦光场相机内外参数标定方法
US10194139B2 (en) * 2016-02-22 2019-01-29 Ricoh Company, Ltd. Disparity-to-depth calibration for plenoptic imaging systems
JP2017161740A (ja) * 2016-03-10 2017-09-14 オリンパス株式会社 ライトフィールド顕微鏡
FR3051584B1 (fr) 2016-05-20 2019-11-01 Safran Procede de reconstruction tridimensionnelle a l'aide d'une camera plenoptique.
US20190204578A1 (en) 2016-09-01 2019-07-04 Leica Microsystems Cms Gmbh Microscope for observing individual illuminated inclined planes with a microlens array
US10690898B2 (en) * 2016-09-15 2020-06-23 Molecular Devices (Austria) GmbH Light-field microscope with selective-plane illumination
CN108363196B (zh) * 2017-01-26 2019-10-15 中国科学院上海生命科学研究院 光场显微系统、光场显微镜及其光学组件
CN108363197B (zh) * 2017-01-26 2019-10-15 中国科学院上海生命科学研究院 光场显微系统、光场显微镜及其光学组件
CN108364342B (zh) * 2017-01-26 2021-06-18 中国科学院脑科学与智能技术卓越创新中心 光场显微系统及其三维信息重构方法和装置
CN108873302B (zh) * 2018-06-28 2021-02-05 香港理工大学 一种光场显微图像的自动校正和重新聚焦方法
CN109270678A (zh) * 2018-10-31 2019-01-25 许之敏 一种新型高分辨率光场显微镜结构
CN109541791A (zh) * 2019-01-30 2019-03-29 清华大学 基于亚像素平移的高分辨率光场显微成像系统及方法

Similar Documents

Publication Publication Date Title
JP7453981B2 (ja) ライトフィールド結像システムの較正
JP5829621B2 (ja) 顕微鏡センサ
US7761257B2 (en) Apparatus and method for evaluating optical system
US10823936B2 (en) Real-time autofocus focusing algorithm
JP6364193B2 (ja) 焦点位置調整方法および検査方法
CN111133359B (zh) 二维和三维固定z扫描
WO2014125804A1 (ja) マルチスペクトル撮像装置およびマルチスペクトル撮像方法
JPWO2020157681A5 (ja)
JP2004524577A (ja) デジタル顕微鏡
CN111971607B (zh) 试样观察装置
US20220270279A1 (en) Sample imaging via two-pass light-field reconstruction
JP2012159794A (ja) 顕微鏡装置
JP2007163455A (ja) レンズ評価装置
You Subcellular Trafficking with Single Molecule Microscopy in Three Dimensions
JP2004301551A (ja) 被測定物の回折角測定方法