JP2024501730A - 基板厚誤差を補償するための方法およびシステム - Google Patents
基板厚誤差を補償するための方法およびシステム Download PDFInfo
- Publication number
- JP2024501730A JP2024501730A JP2023540731A JP2023540731A JP2024501730A JP 2024501730 A JP2024501730 A JP 2024501730A JP 2023540731 A JP2023540731 A JP 2023540731A JP 2023540731 A JP2023540731 A JP 2023540731A JP 2024501730 A JP2024501730 A JP 2024501730A
- Authority
- JP
- Japan
- Prior art keywords
- sample
- coverslip
- image
- point spread
- spread function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 239000000758 substrate Substances 0.000 title description 6
- 238000012360 testing method Methods 0.000 claims abstract description 87
- 238000003384 imaging method Methods 0.000 claims abstract description 70
- 238000007689 inspection Methods 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims description 170
- 230000006870 function Effects 0.000 claims description 146
- 230000004075 alteration Effects 0.000 claims description 73
- 238000012937 correction Methods 0.000 claims description 47
- 238000012634 optical imaging Methods 0.000 claims description 24
- 230000006872 improvement Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 22
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 62
- 238000005516 engineering process Methods 0.000 description 42
- 238000003860 storage Methods 0.000 description 13
- 239000011324 bead Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 239000006059 cover glass Substances 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 239000012530 fluid Substances 0.000 description 8
- 238000013442 quality metrics Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 7
- 238000000386 microscopy Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 238000002952 image-based readout Methods 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 206010003445 Ascites Diseases 0.000 description 2
- 239000012491 analyte Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000013101 initial test Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000399 optical microscopy Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241000656145 Thyrsites atun Species 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000007865 diluting Methods 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003722 extracellular fluid Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 210000004251 human milk Anatomy 0.000 description 1
- 235000020256 human milk Nutrition 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 210000002220 organoid Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- -1 tungsten halogen Chemical class 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0088—Inverse microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/242—Devices for focusing with coarse and fine adjustment mechanism
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
Abstract
サンプルカバースリップの真下に配置される対物レンズを使用して、サンプルカバースリップの上部表面上のサンプルのサンプル画像を捕捉する、サンプルカバースリップの上部表面のサンプルを撮像するためのシステムおよび方法。これらは、較正カバースリップの上部表面から反射される光から取得される、基準画像データを捕捉し、サンプルカバースリップの上部表面から反射される光から取得される、検査画像データを捕捉し、基準画像データおよび検査画像データを処理し、対物レンズおよび使用中のカバースリップと関連付けられる、計算された点広がり関数を生成し、計算された点広がり関数を使用してサンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減させる。
Description
(関連出願の相互参照)
本願は、2022年1月5日にPCT国際特許出願として出願されており、その開示が参照することによってその全体として本明細書に組み込まれる、2021年1月5日に出願された、米国仮出願第63/134,033号の優先権および利益を主張する。
本願は、2022年1月5日にPCT国際特許出願として出願されており、その開示が参照することによってその全体として本明細書に組み込まれる、2021年1月5日に出願された、米国仮出願第63/134,033号の優先権および利益を主張する。
技師は、多くの場合、顕微鏡検査サンプルの画質を取得するために、ハイコンテントスクリーニング(HCS)の間に光学顕微鏡検査撮像システムを使用する。サンプル保持器、例えば、マイクロタイタプレート、スライド、皿等は、スクリーニングプロセスの間に顕微鏡検査サンプルを支持し得る。自動化された顕微鏡検査撮像システムは、顕微鏡検査サンプルの画像を生成するために、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)チップ等の電子撮像デバイスに結合される、対物レンズを含み得る。サンプル保持器に対する対物レンズの位置が、顕微鏡検査サンプルを撮像デバイス上で集束した状態にもたらすように調節され得る。
撮像の効率を向上させるために、複数の撮像デバイスが、並行して(すなわち、同時に)複数のウェルを撮像するために使用され得る。しかしながら、複数の撮像デバイスのそれぞれの対物レンズを集束させるために要求される時間は、並行撮像から獲得され得るいかなる効率も排除し得る。さらに、各対物レンズを個々に集束させることはまた、撮像システムの複雑性を増大させ得る。倒立顕微鏡または落射蛍光顕微鏡等の種々の撮像構成では、サンプルは、ガラスカバースリップ、スライドガラス、およびサンプル保持器の底部プレート(例えば、ペトリ皿、マイクロタイタプレート)を通して視認される。しかしながら、サンプル保持器の基部の厚さおよび/または曲率の変動が、測定場所のある範囲にわたって正確な焦点を妨げ得る。結果として、対物レンズの焦点位置が、全ての測定場所に関する個別の合焦画像を取得するために、厚さおよび/または曲率変動を有する、各測定場所において補正される必要がある。ハイコンテントスクリーニングは、数百または数千もの測定サンプルを撮像し得るため、いくつかの顕微鏡検査撮像システムが、各測定場所において自動的に焦点維持を実施するように構成され得る。
自動焦点機器を用いた場合でも、光学システム内の他の誤差が、測定場所のある範囲にわたって正確な焦点を妨げ得る。概して、高倍率対物レンズは、その厚さおよび屈折率が事前決定されている、カバーガラス片を使用して、固定された試料を観察するときに明確な画像を取得するような方法において設計される。その厚さおよび屈折率が標準から逸脱し得るカバーガラス片を使用して観察すると、明確な画像を不明瞭にし得る、収差が、生じる。より大きい開口数を伴うレンズが、より小さい開口数を伴うレンズより微細な詳細を可視化することができる。さらに、より大きい開口数を伴うレンズは、より多くの光を収光し、概して、より明るい画像を提供するが、より浅い被写界深度を犠牲にするであろう。しかしながら、対物レンズの開口数が大きくなるほど、画像内の歪曲(球面収差等)が、より顕著なものになるであろう。
典型的には、商業的に利用可能な対物レンズは、そのようなサンプル保持器またはカバーの具体的な厚さのために設計されるであろう。異なる厚さの底部プレートを伴うサンプル保持器が、使用されると、規定される厚さからの逸脱が、サンプル保持器によってもたらされる球面収差に起因する画質の有意な劣化を引き起こし得る。球面収差の補償を可能にする、補正カラーが、提供されてもよい。一般的な検査室慣行では、技師は、顕微鏡を使用して、(1)コンピュータ画面上でライブ画像を観察しながらのカラーの手動の回転および/または(2)顕微鏡対物レンズ上に設置されるスケールを使用して、カラーを既知のサンプル保持器厚に設定することによって、球面収差補正設定を調節する。
したがって、いくつかの対物レンズ撮像システムでは、対物レンズを成すレンズシステムの一部が、光軸に対して移動されることができる。そのような対物レンズは、当技術分野では、補正カラーを伴う対物レンズとして公知である。補正カラーを使用するとき、サンプル保持器の厚さおよび/または曲率の変動または逸脱にもかかわらず、明確な画像が、取得され得る。しかしながら、補正カラーを用いて収差を補正することは、簡単ではなく、通常、熟練した技師のみが、画像が最も明確である位置を見出すことができる。
全体または一部を問わず、概して本明細書に説明されるいくつかの問題、および/または当業者によって観察され得る他の問題に対処するために、本開示は、下記に述べられる実装において実施例として説明されるような方法、プロセス、システム、装置、器具、および/またはデバイスを提供する。
ある実施形態によると、光学撮像システムであって、サンプルカバースリップの上部表面上で撮像されるべきサンプルを保持するように構成される、サンプルステージと、サンプルステージの真下に配置され、サンプルカバースリップの上部表面上でサンプルを撮像するように構成される、対物レンズと、サンプルカバースリップ上で少なくともサンプルのサンプル画像を捕捉するように構成される、光学検出器と、較正カバースリップから捕捉された基準画像から基準画像データを取り出し、対物レンズの焦点面においてサンプルカバースリップの上部表面から反射された光から捕捉された検査画像から検査画像データを取り出し、基準画像データおよび検査画像データを処理し、(検査画像データの逆畳み込みを介して)対物レンズおよび使用中の他の光学コンポーネントと関連付けられる、計算された点広がり関数を生成し、計算された点広がり関数を使用してサンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減させるようにプログラムされる、プロセッサとを備える、光学撮像システムが、提供される。
別の実施形態によると、光学撮像システムであって、対物レンズと、a)サンプルを保持するためのサンプルカバースリップまたはb)較正カバースリップの上部表面を対物レンズの焦点面に位置付けるように構成される、サンプルステージと、少なくともa)サンプルカバースリップ上のサンプルのサンプル画像、b)対物レンズの焦点面から較正カバースリップを通して後方反射される光からの基準画像、およびc)対物レンズの焦点面からサンプルカバースリップを通して後方反射される光からの検査画像を捕捉するように構成される、光学検出器と、基準画像から基準画像データを取り出し、検査画像から検査画像データを取り出し、対物レンズおよびカバースリップに関する初期の点広がり関数として、基準画像データを使用して、検査画像データを逆畳み込みし、検査画像データの少なくとも1つの逆畳み込みを通して、対物レンズと、サンプルカバースリップを含む、使用中の他の光学コンポーネントとのための計算された点広がり関数と関連付けられる、逆畳み込みされた試験画像を生成し、検査画像データの逆畳み込みから計算された点広がり関数を使用して、サンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減させるようにプログラムされる、プロセッサとを備える、光学撮像システムが、提供される。
別の実施形態によると、サンプルを撮像するためのコンピュータ化された方法であって、サンプルを保持するサンプルカバースリップの真下に配置される対物レンズを使用して、サンプルのサンプル画像を捕捉するステップと、較正カバースリップから取得される、基準画像データを取得するステップと、対物レンズの焦点面においてサンプルカバースリップの上部表面から反射される光から取得される、検査画像データを捕捉するステップと、基準画像データおよび検査画像データを処理し、(検査画像データの逆畳み込みを介して)対物レンズおよび使用中の他の光学コンポーネントと関連付けられる、計算された点広がり関数を生成するステップと、計算された点広がり関数を使用してサンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減させるステップとを含む、コンピュータ化された方法が、提供される。
本技術の他のデバイス、装置、システム、方法、特徴、および利点が、以下の図および詳細な説明の精査の結果、当業者にとって明白になる、または明白な状態になるであろう。そのような付加的なシステム、方法、特徴、および利点の全てが、本説明内に含まれ、本技術の範囲内であり、添付の請求項によって保護されることが意図される。
本技術は、以下の図を参照することによって、より深く理解されることができる。図内のコンポーネントは、必ずしも縮尺通りではなく、代わりに、本技術の原理を例証することに重点が置かれている。図では、同様の参照番号は、異なる図の全体を通して対応する部分を指定する。
詳細な説明
全ての数値が、本明細書では、明示的に示されているかどうかにかかわらず、用語「約」または「おおよそ」によって修飾されると仮定され、用語「約」および「おおよそ」は、概して、当業者が、列挙される値と同等である(すなわち、同一の機能または結果を有する)と見なすであろう、ある範囲の数を指す。いくつかの事例では、用語「約」および「おおよそ」は、最近傍の有効数字に丸められた数を含み得る。終点による数値範囲の列挙は、その範囲内の全ての数値を含む(例えば、1~5は、1、1.5、2、2.75、3、3.80、4、および5を含む)。
全ての数値が、本明細書では、明示的に示されているかどうかにかかわらず、用語「約」または「おおよそ」によって修飾されると仮定され、用語「約」および「おおよそ」は、概して、当業者が、列挙される値と同等である(すなわち、同一の機能または結果を有する)と見なすであろう、ある範囲の数を指す。いくつかの事例では、用語「約」および「おおよそ」は、最近傍の有効数字に丸められた数を含み得る。終点による数値範囲の列挙は、その範囲内の全ての数値を含む(例えば、1~5は、1、1.5、2、2.75、3、3.80、4、および5を含む)。
本明細書および添付の請求項において使用されるように、単数形「a」、「an」、および「the」は、コンテンツが別様に明確に指示しない限り、複数の指示物を含む。本明細書および添付の請求項において使用されるように、用語「または」は、概して、コンテンツが別様に明確に指示しない限り、「および/または」を含む、その意味において採用される。付随の図に図示される、開示される技術の描写される実施形態を説明するステップでは、具体的な専門用語が、説明の明確性および容易性のために採用される。しかしながら、本特許明細書の開示は、そのように選択された具体的な専門用語に限定されることを意図しておらず、各具体的な要素が、類似の様式において動作する全ての技術的均等物を含むことを理解されたい。さらに、異なる例証的実施形態の種々の要素および/または特徴が、本開示および添付の請求項の範囲内において可能性として考えられる場合には、相互と組み合わせられる、および/または相互に代用され得ることを理解されたい。
開示される技術の種々の実施形態が、以降において、図を参照して説明される。図が、縮尺通りに描かれていないこと、および類似構造または機能の要素が、図の全体を通して同様の参照番号によって表されることに留意されたい。また、図が、実施形態の説明を促進することのみを意図することにも留意されたい。それらは、本技術の包括的説明として、または添付の請求項およびそれらの均等物のみによって定義される、開示される技術の範囲に関する限定として意図されていない。加えて、開示される技術の例証される実施形態は、示される側面または利点の全てを有する必要はない。例えば、開示される技術の特定の実施形態と併せて説明される、ある側面またはある利点が、必ずしもその実施形態に限定されるわけではなく、そのように例証されていない場合でも、任意の他の実施形態において実践されることができる。
下記の説明において使用されるように、用語「撮像」、「画像捕捉」、「画像の捕捉」、または「画像を検出するステップ」は、画像捕捉デバイスから光学データを収集するための任意のプロセスを指すものとする。画像は、記憶のため、すなわち、強度、色、または他のタイプのデータ等の光学特性を測定するための、デジタル画像として捕捉されてもよい。
下記の説明において使用されるように、用語「カバースリップ」は、サンプルが堆積され得るコンテナを支持するように構成される、任意のサンプル保持構造を指すものとする。特に、用語「カバースリップ」は、「マイクロウェル」、「消耗品」、「マイクロタイタ」、および「マイクロプレート」を含む用語によって当技術分野において公知である、そのようなサンプル保持構造を含む、トレイまたは類似構造を含み得る。代替として、「プレート」は、単一のサンプルウェルまたは複数のサンプルウェルを保持することが可能である、構造を指すように理解されるものとする。
本明細書で使用されるように、用語「サンプル」は、概して、検体を含有することが既知である、またはそのように疑われる材料を指す。サンプルタイプは、限定ではないが、オルガノイドおよび同等物の実験のための増殖された細胞培養物を含む、細胞または組織のものであることができる。細胞印刷からのサンプルもまた、使用され得る。他の実施例では、サンプルは、源から取得された状態で直接、またはサンプルの特性を修正するための事前処理に続いて使用されてもよい。サンプルは、血液、間質液、唾液、眼球水晶体液、脳脊髄液、汗、尿、母乳、腹水液、粘液、関節液、腹水、膣液、羊水、または同等物を含む、生理液等の任意の生物源から導出され得る。サンプルは、血液から血漿を調製すること、粘性流体を希釈すること、および同等物等、使用に先立って前処理されてもよい。事前処理の方法は、濾過、沈殿、希釈、蒸留、濃縮、干渉成分の不活性化、クロマトグラフィ、分離ステップ、および試薬の添加を伴うことができる。環境または食料生成アッセイの実施のために、生理液以外に、水、食料品、および同等物等の他の液体サンプルも、使用され得る。加えて、検体を含有することが既知である、またはそのように疑われる固体材料も、サンプルとして使用され得る。いくつかの事例では、検体を解放するために、固体サンプルを修正し、液体媒体を形成することも、有益であり得る。
本明細書で使用されるように、用語「光」は、概して、光子として量子化可能である、電磁放射線を指す。本開示に関連するように、光は、紫外線(UV)から赤外線(IR)の範囲に及ぶ波長において伝搬し得る。本開示では、用語「光」は、可視領域内の電磁放射線に限定されることを意図していない。本開示では、用語「光」、「光子」、および「放射線」は、同義的に使用される。
本明細書で使用されるように、「最適化された」は、「元の状態を超えて改良された」を意味し、(別様に記載されない限り)必ずしも、改良が最大限化されていることを意味するわけではない。
本明細書で使用されるように、「漸進的改良」は、開始値とその改良との間の差異が、開始値の30%以内である、開始値の20%以内である、開始値の10%以内である、または、好ましくは、開始値の5%以内である、より好ましくは、開始値の1%以内であることを意味する。
上記において識別された課題のうちのいくつかに対する解決策が、試行されている。例えば、米国特許第7,825,360号(その全内容は、参照することによって組み込まれる)は、対物レンズとサンプルとの間の距離を変更するための集束機構と、カバーガラスの光学厚を検出するための光学厚検出ユニットと、光学厚検出ユニットによって検出されたカバーガラスの光学厚に基づいて、収差補正の量を計算するための動作ユニットと、動作ユニットによって計算された収差補正の量に基づいて、補正カラーを駆動するための駆動部ユニットと、対物レンズを通して通過するサンプルの画像を形成するための撮像センサとを含む、光学装置に関わる上記の課題のうちのあるものに対処した。
(第‘360号特許から複製された)図1では、対物レンズ5が、ステージ16上に搭載されたサンプルSを観察するために、サンプルの下方に配置される。本対物レンズ5を保持するための、対物レンズ保持部材が、存在する。対物レンズ5は、駆動部ユニット17によって、持ち上げられ、降下される。励起光源12が、光源12からの励起光を蛍光立方体14を介して対物レンズ5および試料Sに指向するための、照明光学システム13を具備する。蛍光立方体14は、ダイクロイックミラーと、励起フィルタと、その内側における、蛍光フィルタとを備える。対物レンズ5を通して通過する、試料Sの観察光が、集光され、レンズ鏡筒6によって、CCDおよび同等物等の撮像デバイス15上に画像を形成する。代替として、試料Sは、図1に示されていない、試料S上に光源の照明光を集光するための、透過性照明光源および透過性照明システムを使用して、上部から照明されることができる。
サンプル保持部材、集束、および同等物を測定するために使用されるべき光源2から放出されるビームが、コリメートレンズ3を介してハーフミラー8上に、および対物レンズ5と蛍光立方体14との間に配置されるダイクロイックミラー9上に反射され、対物レンズ5を介して試料Sを照明する。図1に示されるように、コリメートレンズ3とハーフミラー8との間に、対物レンズ5の瞳とほぼ共役して位置付けられる、遮蔽プレート4が、存在する。遮蔽プレート4は、光源2の光束を半分に制限するための境界として、コリメートレンズ3の光束の光軸を使用して、ビームの半分を遮蔽する。
試料Sから戻された光源2の照明光が、対物レンズ5、ダイクロイックミラー9、およびハーフミラー8を介して、レンズ鏡筒6によって、2分割センサ7上に画像を形成するように集光される。光束の半分が、遮蔽プレート4によって遮蔽されるため、試料Sから戻された光は、光軸を中心として使用する、照明光と対称的な光学経路を通して通過し、2分割センサ7上に投影される。本場合には、2分割センサ7の分割方向および遮蔽プレート4の分割方向が、相互に関連して配置される。
対物レンズ5は、補正カラー5Aと、補正カラー5Aを駆動するための補正カラー駆動部ユニット25とを備える。対物レンズ識別ユニット、補正カラー駆動部ユニット25、駆動部ユニット17、撮像デバイス15、および2分割センサ7が、動作デバイス27に電気的に接続される。対物レンズ5は、(1)種々の収差が、カバーガラスの非均一な厚さに起因して際立って生じる、大きい開口数を伴う乾燥対物レンズ(補正の量は、0.11mm~0.23mmである)、(2)その厚さが、最大で2mmの非常に広い範囲内で広く異なる、ガラスペトリ皿または同等物を使用することが予測される、厚肉ガラスのための対物レンズ、または(3)その厚さが、最大で2mmの非常に広い範囲内で広く異なる、プラスチックコンテナを使用することが予期される、プラスチックのための対物レンズであることができる。
第‘360号特許内の一実施例において説明されるように、基準としてのカバーガラスの機械的厚さが、0.17mmに設定された。試料Sのカバーガラスの実際の機械的厚さが、0.13mmであった場合、これは、カバーガラスの屈折率(ne=1.5255)によって0.11166mmの光学厚に転換された。基準厚0.17mmは、それぞれ、0.08539mmに転換された。本場合には、その光学差は、0.02627になる(その機械的厚さは、0.044mmになる)。光学厚を検出するためのサブフローにおいて、実際の試料Sの光学厚(機械的厚さ0.13mm)が、計算され、補正カラーの駆動の量が、基準カバーガラス(S1-7)に対する光学厚の差異(機械的差異0.04mm)に基づいて計算された。
次いで、第‘360号特許において説明されているように、補正カラーが、厚さ差異0.02627mm(機械的差異0.04mm)に起因して引き起こされた収差を可能な限り多く補正するように補正カラーを駆動することによって、カバーガラスの実際の厚さと合致された。本瞬間に、サンプル18と対物レンズ5との間の空間は、サンプル18が集束された状態から逸脱している。補正カラーの駆動の量の計算は、対物レンズのタイプに応じて変動し、補正カラーの駆動の量は、対物レンズに対して特徴的である、補正カラー駆動計算データテーブルまたは関数によって計算される。対物レンズに対して特徴的である、補正カラー駆動計算データテーブルまたは関数は、動作デバイス27内に記憶され、補正カラーの厚さ差異(機械的差異0.04mm)および補正カラーの駆動の量は、特徴的な補正カラー駆動計算データテーブルまたは関数によって計算される。
第‘360号特許において説明されているように、対物レンズ5の収差が、補正カラーを移動させることによって変更され、移動量が、使用されている対物レンズに対して特徴的であろう、収差補正計算データテーブルまたは関数によって計算された。本収差補正計算データテーブルまたは関数は、動作デバイス27内に記憶され、焦点位置の補正の量が、補正カラーの厚さ差異(機械的差異0.04mm)および収差補正計算データテーブルまたは関数によって計算された。
別の提示済みの解決策として、米国特許第10,317,658号(その全内容は、参照することによって組み込まれる)は、それぞれが少なくとも、試料から観察光を集光するように構成される、光学システムを有する、1つまたはそれを上回る対物レンズと、1つまたはそれを上回る対物レンズのそれぞれの上に提供され、1つまたはそれを上回る対物レンズのそれぞれを中心として回転させることによって光学システムの光軸の方向において光学システムを移動させ、収差を補正するように構成される、補正カラーと、1つまたはそれを上回る対物レンズの位置を切り替えるための切替ユニットと、集束ユニットとを含む、顕微鏡を説明する。第‘360号特許と同様に、第‘658号特許における補正カラーの動作も、試料Sが設置または格納されたスライドガラスまたは培養物コンテナの厚さに従って、収差(または球面収差)を補正する。
さらに別の提案済みの解決策では、米国特許第9,383,567号(その全内容は、参照することによって組み込まれる)は、回転可能な補正カラーを具備する、対物レンズユニットを説明する。第‘567号特許では、対物レンズ41は、対物レンズの側面の円周方向に沿って、非均一な形状を具備していた。補正カラーは、回転に応じて、レンズ群(光学システム)を光軸の方向に移動させる。第‘567号特許内の補正カラーの本動作によって、収差(球面収差)は、試料Sをその上に搭載させるように、スライドガラスの厚さに従って、または試料Sをその中に格納させるように、栽培容器の厚さに従って補正されることができる。
なおも別の提案済みの解決策では、米国特許第8,053,711号(その全内容は、参照することによって組み込まれる)は、複数の対物レンズのうちの少なくとも1つが球面収差カラーを有する、複数の対物レンズを含む、球面収差調節システムを説明する。対物レンズは、対物レンズ保持器上に搭載され、対物レンズ保持器は、複数の対物レンズのうちの1つを撮像位置に設置した。第‘711号特許における駆動機構が、機械的リンクによって1つの対物レンズに結合され、機械的リンクは、運動を駆動機構から球面収差カラーに伝達するように構成された。第‘711号特許における制御システムは、撮像位置にある1つの対物レンズの球面収差カラーを具体的な球面収差調節設定に移動させるように駆動機構を操作するように構成された。第‘711号特許では、駆動機構は、サンプル保持器の厚さに基づいて、複数の対物レンズの球面収差カラーを移動させた。
第‘711号特許において説明されているように、球面収差補正システムが、2つのモード、すなわち、プロトコル駆動および手動のうちの一方において動作した。プロトコル駆動モードにおいて、個別の対物レンズの球面収差カラーが、サンプル保持器の厚さまたはサンプル保持器の結果として生じる厚さおよびプロトコル内に記録されたサンプルの媒体の深度に関連する、球面収差ソフトウェアプログラム内のプロトコルに基づいて、球面収差補正システムによって自動的に調節された。例えば、試料保持器が、0.2mmの厚さを有していた場合、対物レンズの球面収差カラーのうちの少なくとも1つが、0.2mmの球面収差設定に調節された。動作の手動モードでは、対物レンズの球面収差補正カラーが、グラフィカルユーザインターフェース(GUI)を介して選択される、ユーザ定義設定に調節された。例えば、ユーザは、コンピュータ上に記憶された球面収差グラフィカルユーザインターフェース(GUI)を使用し、球面収差カラーのうちの少なくとも1つを、0.2mmであるサンプル保持器121の厚さに基づく、0.2mm等の球面収差調節設定値に調節するであろう。
故に、基板厚変動の変動に起因する収差補正のためのあるタイプの補償機構が、当技術分野において提案されているが、これらの補償機構は、多くの場合、補償を提供するために、複雑な光学系、ユーザ相互作用、および光学コンポーネントの平行移動を要求する。したがって、本明細書に説明される技術は、概して、光学顕微鏡検査撮像における誤差を補償するための改良された方法、装置、およびシステムに関する。
一実施形態では、本技術は、図2に示されるシステム等の反転された顕微鏡構成である、光学システムを対象とする。しかしながら、本技術の一般的教示は、(下記に説明されるように)反転されていない顕微鏡構成にも同様に適用可能である。反転された顕微鏡構成に関して、画質が、顕微鏡対物レンズの意図された設計とのカバースリップ厚の不整合に起因して劣化することが公知である。より具体的には、カバースリップの厚さ(または異なる側方位置におけるカバースリップの厚さの変動)のため、取得される画像は、カバースリップ材料と撮像されるべきサンプル(またはサンプルを保持する媒体)との間の屈折率の差によって歪曲され得る。背景技術において記載されるように、カバースリップ材料とサンプルとの間のこれらの屈折率の差に起因する画質の歪曲は、多くの場合、より多くの光を集光し、より明るい画像を提供するために使用され、多くの場合、側方および軸方向の両方におけるより高い空間分解能のために使用される、より高い開口数(NA)システムに関して、より顕著である。上記に議論されるように、顕微鏡対物レンズ補正カラーは、従来、光学経路内のカバースリップの存在に起因する、画像内の球面収差を変化させ、可能性として補正するために使用されている。しかしながら、本プロセスは、冗漫であり、多くの場合、ユーザ相互作用を伴い、ある場合には、サンプル画像を満足の行くようには補正しない。実際には、顕微鏡対物レンズの意図された計画と比較したカバースリップに関する厚さの変動不整合は、多くの場合、利用可能なサンプル消耗品および対物レンズの組み合わせを制限し、これは、分解能および信号の満足の行かない損失をもたらし得る。
本技術は、非最適な条件から撮影された画像が、画像分析のために十分な光学品質の回復を伴って処理され、それによって、捕捉されている全ての画像のためのユーザ相互作用および補正カラー調節の必要性(およびそれと関連付けられる時間損失)を回避することを可能にする、以下の例証的実施形態を通して、これらの問題に対処する。実際には、本技術の一実施形態では、(投影される点光源が、サンプル画像の逆畳み込みのための許容可能な点広がり関数を取得するために使用される、下記により詳細に説明される)本発明の手順は、特に、開口数値が0.65~0.95またはより高い値の範囲に及ぶ、高開口数システムに適用可能であり、ユーザ相互作用および補正カラー調節の必要性を伴うことなく、画像分析のための十分な光学品質が取得されることを可能にする。
図2は、本技術の光学システム200の種々の実施形態を描写する、図である。システム200は、顕微鏡システムのための対物レンズ202と、光学検出器204と、光源206と、第1の撮像レンズ208と、ビーム分割器210と、第2の撮像レンズ240と、開口230(例えば、光軸Zからオフセットされた開口)とを含む。対物レンズ202は、サンプルウェル214の中に堆積され得るサンプルに対する撮像および/または光学測定を実施するように構成される。顕微鏡システムの他のコンポーネントは、基準表面212a、212bを伴うサンプルカバースリップ212を支持する、サンプルステージ216等の任意のサンプル保持構造を含む。(図2上でステージ216の下方の二重矢印によって示されるような)サンプルステージ216は、撮像のための定位置に、サンプルカバースリップ212または較正カバースリップ250のいずれも移動させることができる。
図2のシステム200は、顕微鏡システムのモジュールまたはサブシステムとして実装されることができる。例えば、励起光源、フィルタ、ビーム分割器、およびサンプル画像捕捉デバイス等、顕微鏡システム200がサンプルを撮像するために使用する他のコンポーネントが、図2に、サンプル撮像コンポーネント221として表される。サンプル撮像コンポーネント221は、例えば、顕微鏡システムがサンプルを撮像するために使用されるときの、対物レンズ202と、サンプルカバースリップ212とを含む、光学経路を形成する、レンズ、フィルタ、または他の光学デバイスを含んでもよい。顕微鏡システム200はまた、実施されている撮像または測定のタイプに基づいて、異なる光源または異なるサンプル画像捕捉デバイスを使用してもよい。光学デバイスは、図2の対物レンズの下方に、ビーム分割器210の上方の221aにおいて、または偏心開口230の上方の221bにおいて挿入されてもよい。図2Aに示される実施例内のサンプルウェル214は、自動焦点手順のための底部基準表面212aと、上部基準表面212bとを提供する、サンプルカバースリップ212上に形成される。
最良焦点位置の自己較正が、所与の対物レンズ202に関して実施されることができる。その後、後続の撮像または光学測定においてその対物レンズ202を集束させるプロセスが、最小限のさらなる撮像を用いて実施されてもよい。最良焦点位置の較正は、基準較正勾配として記憶されてもよく、これは、システムデータ記憶システム223内に、対物レンズ202を特性評価するデータとともに記憶される、または含まれてもよい。
第1の撮像レンズ208は、光源206から、光学経路201に沿って光をコリメートし、コリメート光をビーム分割器210に渡す。ビーム分割器210は、光の一部を、光学経路203に沿って対物レンズ202に向かって、かつ光学経路205上のサンプルカバースリップ212に向かって反射する。サンプルカバースリップ212は、光を、対物レンズ202に戻るように、かつ光学経路207上のビーム分割器210に向かって反射する。ビーム分割器210は、光の一部を、光学経路209に沿って、偏心開口230に向かって渡す。開口230上の心外開口部を通して通過する光は、開口230上に衝突する全光ビームより小さい。開口230の残りの部分が、開口を通して通過されていない光ビームの一部を遮る。開口230を通して通過する光は、第2の撮像レンズ240および光学検出器204に指向される。偏心開口230は、対物レンズ202から波面の一部をサンプリングすることによって動作する。光のサンプリングされた部分は、第2の撮像レンズ240によって集束され、検出器に向かって指向されるが、偏心開口によって、非対称的な周辺光線として拘束される。これは、コンポーネント設定のいかなるものも変更することなく、光および最良焦点の位置を視認することを可能にする。異なるサイズおよび/または位置を有する、異なる偏心開口が、感受性の調節または対物レンズ202の異なるサイズの瞳直径を可能にするために使用され得ることを理解されたい。また、偏心開口がまた、第1の撮像レンズ208とビーム分割器210との間に設置され得ることも理解されたい。本構成では、検出側は、偏心開口230を必要としない。ここでは、同一の原理が、作用し、すなわち、偏心開口によって対物レンズ202の瞳の縁において非対称にサンプリングされている、軸上ビームが、存在し、対物レンズが最良焦点から離れるように移動しているときに、投影された源の画像を平行移動させ、ぼかすことによって顕微鏡対物レンズの脱集束に対して応答する、より小さい撮像レンズ240に当たる、軸外ビームを形成する。一実施形態では、偏心開口は、(機械的または光学的に)切替可能であり、これは、精度を向上させることができる。一実施形態では、開口は、投影される源撮像システムを通した結合効率の向上に起因して、より多くの光を用いたビームプロファイリングを可能にするように移動されることができる。
図2に示される光学経路201、203、205、207、および209が、光学検出器204上に衝突する光ビームを形成する、光学経路に沿った光のみを示すことに留意されたい。示されていない光の部分が、開口230の遮断部分によって遮られる、光の部分である。
対物レンズ202は、それに沿ってサンプルカバースリップ212が延在するx-y平面に対して直角である、(図2に示される)z軸上の光学経路203および205に沿って移動するように構成される。下記の説明は、明確性を提供する方法として、対物レンズの位置をz軸上にあるものとして参照し、基準画像の位置、または側方位置を、x-y平面上にあるものとして参照する。空間呼称を提供するための「x軸」、「z軸」、または「y軸」の使用が、限定的であることを意図していないことを理解されたい。任意の好適な座標系が、使用されてもよい。さらに、例示的実装が、非垂直方向において進行する、対物レンズ202を伴い得ることに留意されたい。
サンプルカバースリップ212は、図2に示されるように、顕微鏡システムの正常な機能および動作に従ってその中に堆積され得るサンプルを撮像するために位置付けられ得る、サンプルウェル214を含んでもよい。図2に示される例示的システムでは、サンプルカバースリップ212は、第1の表面212aと、第2の表面212bとを有し、これは、サンプルウェルの底部表面として見なされることができる。第1の表面212aおよび/または第2の表面212bは、少なくとも部分反射性であり、それによって、自動焦点手順の間に使用するため、または(下記に詳細に説明される)対物レンズ202の焦点面におけるサンプルの表面212bを用いた検査画像のために使用するための反射性表面を提供してもよい。反射性表面はまた、カバースリップ上、またはスライドの表面、またはサンプルウェル214の底部表面に近接する光学経路内に配置される他の平面状材料の上に提供されてもよい。
対物レンズ202は、コントローラ220によって制御される線形作動モータを使用して、z軸に沿って移動されてもよい。対物レンズ202は、図2に、対物レンズ202を移動させる線形作動モータを含むものとして、図式的に表される。対物レンズ202は、光源206からの光をサンプルステージ216によって保持される、サンプルカバースリップ212上のサンプルSの上に集束させるように構成される、選択された光学系を含み、それによって、顕微鏡システム200が、サンプルSの画像を撮影することができる。自動焦点手順の間に、対物レンズ202は、表面212aまたは212b上に集束するように制御される。いくつかの実装では、対物レンズ202を移動させるモータは、線形アクチュエータを伴うステッパモータまたはサーボモータであってもよい。
偏心開口230を通して通過する光学経路に沿った光は、第2の撮像レンズ240を通して、投影された源が検出器平面上で撮像される、光学検出器204まで進行する。脱集束されると、光学検出器204上の光ビームは、サイズが広がり、その位置を光学検出器204上で平行移動させ、より低い強度および/または低コントラストを有する。対物レンズ202が、集束されているとき、画像は、最大強度、最小サイズ、およびその最高コントラストにおいて捕捉される。対物レンズ202を集束させるプロセスは、対物レンズ202を移動させ、z軸上の最良焦点位置を見出すステップを伴う。各対物レンズ202のz位置において捕捉される各画像内の各ビームスポットは、前の画像上のスポット位置からオフセットされる、画像面内のある位置上に出現する。
例示的実装では、自動集束システム200内の光学検出器204は、対物レンズ202が、一連のz位置に移動するように制御されるにつれて、基準画像の画像を捕捉するようにコントローラ220によって制御され得る、線形アレイ検出器、電荷結合素子、位置感受性ダイオード、画像捕捉デバイスのような2Dセンサアレイ、または任意の好適なデバイスであってもよい。自動集束システム200内の光源206は、レーザ、発光ダイオード(LED)、またはLEDアレイ、白色光、蛍光光源、赤外光、または同等物等の任意の好適な発光デバイスであってもよい。
コントローラ220は、少なくとも、光学検出器204、および対物レンズ202を移動させるように構成されるモータに接続される、ハードウェアインターフェースを有する、任意のコンピュータプログラマブルシステムを使用して実装されてもよい。いくつかの実装では、コントローラ220はまた、対物レンズが自動集束されている顕微鏡システム221のコンポーネントであってもよい。自動集束手順は、コントローラ220がアクセスを有するデータ記憶媒体223内にソフトウェアとして記憶される、機能であってもよい。
図2に図示されるように、サンプルカバースリップ212の下方に配置された対物レンズ202は、透明なカバースリップを通してサンプルSを撮像する。サンプルSは、サンプルカバースリップ212の上/上方に配置される。対物レンズ202のための画像焦点面202aが、図2に、サンプルSが常駐する上部基準表面212bと一致した状態で示される。サンプルカバースリップ212は、消耗品基板(例えば、マイクロタイタプレート上の透明なプラスチック底部)であることができる。図2に示されるサンプルウェル214は、示されるような単一のウェルであることができる、または、それぞれが撮像されるべきサンプルを保持する底部を有する、複数のウェルを表すことができる。光学システムはまた、サンプルカバースリップ212に代わるように移動され得る、較正カバースリップ250も利用する。
一実施形態では、図2に図示されるように、光源206は、例えば、(検査画像を生成するために)狭小光ビームをサンプルカバースリップ212の上に投影するために使用される、レーザ、または発光ダイオードまたは白色光または蛍光灯またはタングステンハロゲンランプ等の他の光源であることができ、(基準画像を生成するために)定位置にあるとき、狭小光ビームを較正カバースリップ250の上に投影するために使用されることができる。第1の撮像レンズ208は、レーザビームをビーム分割器210上に指向し、これは、そのレーザビームを対物レンズ202を通してサンプルカバースリップ212上に指向し、そのレーザ光は、表面212aを通して通過し、次いで、サンプルカバースリップ212の内部(ウェル)側において表面212bに遭遇する。表面212bに到達しているレーザ光は、サンプルカバースリップ212を通して後方に反射され、対物レンズ202および第2の撮像レンズ240を通して光学検出器204の結像面204a上に結像される。光源206は、図2において単一の器具として示されるが、これは、必要とされる特定の結像のために、それぞれ、コントローラ220によって必要に応じて制御されている、上記に説明されるもの等の複数の発光デバイスを備えることができる。
一実施形態では、検査画像および基準画像を捕捉するときに、レーザまたはLED(または別の狭小光ビーム源)が、露光のために使用され得る。一実施形態では、サンプル画像を捕捉するときに、白色光、蛍光光源、赤外光、または同等物が、露光のために使用され得る。一実施形態では、レーザまたはLED等の狭スペクトル波長光が、サンプルの蛍光発光を励起するために使用され得る、またはサンプルから後方散乱された光を捕捉するために使用され得る。
本技術の一実施形態では、開口230が、第2の撮像レンズ240を通して光学検出器204の結像面204aまで通過する、画像光の部分を選択する。本技術の一実施形態では、開口230は、選択される光が、球面収差が最も重度である対物レンズ202の周(または縁)領域を通して通過している光であるように、光軸からオフセットされて配置される。本技術の一実施形態では、自動焦点が、対物レンズ202、または第1の撮像レンズ208、または第2の撮像レンズ240、またはサンプルカバースリップ212、または較正カバースリップ250のいずれかを位置付けるステップにおいて使用され、定位置にあるサンプルカバースリップ212を用いて撮影される検査画像の代わりに、またはそのために較正カバースリップ250を用いて撮影される基準画像のための最も鮮明な画像を生成する。取得された画像は、例えば、コントローラ220のプロセッサ220aまたはコントローラ220と通信する任意の他のプロセッサにおいて行われる後続の処理のために、コントローラ220の記憶装置223内に記憶されることができる。プロセッサ220aおよび記憶装置223は、図2においてコントローラ220のモジュールとして示されるが、プロセッサ220aおよび記憶装置223のうちのいずれも、コントローラ220から遠隔に位置し、必要に応じてコントローラ220と通信し、それらの間でデータおよび処理結果および命令を交換することができる。(図2に示されるような)補正カラー252が、画質の改良を補助するために使用されてもよい。
サンプルカバースリップ212が、光学経路内に存在するとき、一実施形態では、集束レーザビーム(または他の集束光)が、サンプル基板の上部表面から(例えば、サンプルカバースリップ212の表面212bから)反射され、結像面204a上に結像され、使用中の特定のカバースリップと関連付けられる検査画像を取得する。本実施形態では、対物レンズ202のための画像焦点面202aは、サンプルカバースリップ212の上部基準表面212bと一致している。サンプル基板の表面からの自動集束された反射光は、単点の反射光と見なされることができる。
同様に、較正カバースリップ250が、(サンプルカバースリップ212の代わりに)光学経路内に存在するとき、一実施形態では、集束レーザビーム(または他の集束光)が、較正カバースリップ250の上部表面から(例えば、必ずしもサンプルを保持しているわけではない、均一な厚さのスライドガラスの上部から)反射され、光学検出器204の結像面204a上に結像され、基準画像を取得する。本実施形態では、対物レンズ202のための画像焦点面202aは、較正カバースリップ250の上部表面と一致している。
図2に図示される構成を用いると、サンプルカバースリップ212を用いて撮影された検査画像および較正カバースリップ250を用いて撮影された基準画像は両方とも、例えば、プロセッサ220a内での後続の処理のために、コントローラ220の記憶装置223内に取得および記憶されることができる。本技術の一実施形態では、サンプルカバースリップ212から後方反射された光を用いて撮影された検査画像および較正カバースリップ250を通して後方反射された光を用いて撮影された画像は、(上記に詳述されるように)単点の反射光のみを用いて作製される必要はない。複数の画像点が、サンプルカバースリップ212および/または較正カバースリップ250に指向され得る。言い換えると、画像点のアレイが、使用され得、これは、事実上、対物レンズ202から伝搬する光の光波面を光学検出器204の結像面に向かってマップするであろう。
さらに、一実施形態では、サンプルカバースリップ212および/または較正カバースリップ250の上部表面から反射する光は、線画像(または他の明確に定義される形状)であり得る。そのような線画像は、(事実上)サンプルカバースリップ212および/または較正カバースリップ250の側方向を横断したPSFの査定を可能にするであろう。
本技術の一実施形態では、上記に記載されるように、開口230が、サンプルカバースリップ212および/または較正カバースリップ250のための焦点に及ぼす球面収差の影響をより良好に査定するために軸外に設定され、球面収差の影響は、典型的には、光がレンズシステム内の瞳の縁に近接して通過するほど、より大きくなる。それにもかかわらず、本技術の一実施形態では、開口230は、光路201、203、205、207、および209内で軸上または他の位置に設定され得る。本技術の一実施形態では、開口230の軸外位置を変更することは、対物レンズ202から光学検出器204の結像面に向かって伝搬する光の光波面の照会を可能にする。開口の位置、サイズ、および形状は、逆畳み込みのための撮像システムおよびPSFの特殊性に固有であり得る。最も単純な開口は、十分な光レベルにおいて対物レンズから周辺光線束を透過するために十分に大きい単一の偏心円であり得る。しかしながら、単一の非対称的な開口は、光レベルを減少させ得、測定された検査またはサンプル画像に偏りをもたらし得るが、必要とされるときに、光ビームの反対側の開口、一連の開口、環状リング、または同等物を追加することによって、補償され得る。
理論的には、球面収差および/または脱集束等のいかなる誤差もない場合、(定位置にあるときに)較正カバースリップ250の上部表面から後方反射された光の画像は、理想的な点広がり関数に類似しているはずである。理想的な点広がり関数からのいかなる逸脱も、光学画像をぼかすであろう、光学システム内の誤差を表すであろう。
一実施形態では、コントローラ220のプロセッサ220aは、サンプルカバースリップ212の表面212bから反射された光から撮影された検査画像の画像を改良するために必要とされる計算された点広がり関数(PSFc)を決定するために、初期の点広がり関数(PSFi)として較正カバースリップ250から撮影された基準画像を使用して、逆畳み込み(例えば、ブラインド逆畳み込み)を実施するように構成される。一般に、ブラインド逆畳み込みは、単一の「ぼけた」画像またはそのセットからの「オリジナル画像」の回復を可能にする、逆畳み込み技法であり、これは、必ずしも画像またはPSFのいかなる先行知識も前提としているわけではない。通常の線形逆畳み込み技法および非線形逆畳み込み技法は、オリジナル(ぼけていない)画像を回復させるために、公知のPSFを利用し得るが、ブラインド逆畳み込みに関して、PSFは、画像から推定され、逆畳み込みが実施されることを可能にする。ここでは、本技術では、上記に記載されるように、較正カバースリップ250から反射された光を用いて撮影された基準画像が、サンプルSから光学検出器204の結像面204aまでの光路内に対物レンズ202と、サンプルカバースリップ212と、他の光学コンポーネントとを含む、光学システムの初期の(または推定された)点広がり関数(PSFi)として使用される。一実施形態では、本技術の逆畳み込み技法は、反復的に実施されることができ、それによって、逆畳み込みのために使用されるアルゴリズムの各反復が、光学システムの計算されるPSFcの推定値を改良する。代替として、本技術において使用される逆畳み込み技法は、非反復的に実施されてもよく、その場合、逆畳み込みのために使用されるアルゴリズムの1つのアプリケーションは、光学システムの計算されるPSFcの良好な推定値を正常に提供する。
1つの逆畳み込みプロセスが、以下の方程式(1)によって図示される。
式中、fは、オリジナルの歪曲されていない画像であり、gは、歪曲されたノイズの多い画像であり、hは、本システムのPSFであり、
は、畳み込み演算子であり、nは、任意の破損ノイズである。
PSFを回復させるための双方向Lucy-Richardson復元アルゴリズムが、下記に方程式(2)において示される。
式中、
は、k回の反復の後のf(オリジナル画像)の推定値であり、*は、相関演算子であり、
は、Richardson-Lucy(R-L)関数と呼ばれる。画像
は、ぼかし除去された画像と称される。本技術における逆畳み込みのためのこれらおよび他の好適な画像処理技法は、David S. C. Biggs and Mark Andrewsによって、APPLIED OPTICS, vol. 36, no. 8, March 10, 1997, pp. 1766-1755内の「Acceleration of iterative image restoration algorithms」(その全内容は、参照することによって本明細書に組み込まれる)において説明されており、Sage et al.によって、Methods vol. 115, February 15, 2017, pp. 28-41内の「DeconvolutionLab2: An open-source software for deconvolution microscopy」(その全内容は、参照することによって本明細書に組み込まれる)において説明されている。本技術のために使用され得る商業用画像逆畳み込みソフトウェアは、Media Cybernetics(1700 Rockville Pike, Suite 240 Rockville, Maryland USA 20852)、Matlab(登録商標)(1 Apple Hill Drive, Natick, MA 01760-2098)製のR2018a(バージョン9.4.813654)、および他のもの等の企業から入手可能である。
ここで、一実施形態では、コントローラ220のプロセッサ220aが、方程式(1)および(2)において、光源206から投影および集束され、較正カバースリップ250の上部表面から反射された光を用いて撮影された、基準画像をh(光学システムの初期のPSFi)として使用するように構成され、光源206から投影および集束され、サンプルカバースリップ212の上部表面から反射された光を用いて撮影された検査画像をg(歪曲されたノイズの多い画像)として使用するように構成される。方程式(2)を使用した反復が、光学的不完全性によってぼかされていない場合には、オリジナル画像の推定値
を生成するために、必要に応じて継続するであろう。本逆畳み込みプロセスの反復の間に、検査画像の品質は、例えば、そのスポットの形状、サイズ、強度、および/または場所が、最適になる(および/または基準画像に類似する)まで、または逆畳み込み
の差異が、実質的なものにならなくなるまで改善するはずである。いったん畳み込みのための許容可能な基準が、充足されると、例えば、方程式(2)のものによる逆畳み込みのためのパラメータおよび算出設定が、記憶装置223内に記憶され、プロセッサ220aが、ここで、サンプルカバースリップ212上のサンプルSから撮影されたサンプル画像の全てのピクセルを処理し、逆畳み込みを通して到達された、計算されたPSFcを用いて最適な画像を生成することができる。
故に、図2に図示される構成を用いると、光学撮像システムであって、(本実施形態では)対物レンズ202と、a)サンプルSを保持するためのサンプルカバースリップ212またはb)較正カバースリップ250の上部表面を対物レンズ202の焦点面202aに位置付けるように構成される、サンプルステージ216と、少なくともa)サンプルカバースリップ212上のサンプルのサンプル画像、b)対物レンズ202の焦点面202aから較正カバースリップ250を通して後方反射される光からの基準画像、およびc)対物レンズ202の焦点面202aからサンプルカバースリップ212を通して後方反射される光からの検査画像を捕捉するように構成される、光学検出器204と、基準画像から基準画像データを取り出し、検査画像から検査画像データを取り出し、対物レンズおよびカバースリップに関する初期の点広がり関数として、基準画像データを使用して、検査画像データを逆畳み込みし、検査画像データの少なくとも1つの逆畳み込みを通して、対物レンズと、サンプルカバースリップを含む、使用中の他の光学コンポーネントとのための計算された点広がり関数と関連付けられる、逆畳み込みされた試験画像を生成し、検査画像データの逆畳み込みから計算された点広がり関数を使用して、サンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減させる(または排除する)ようにプログラムされる、プロセッサ220aとを備える、光学撮像システムが、提供される。
本技術の一実施形態では、ブラインド逆畳み込みによる計算されたPSFcの決定が、各ウェルからサンプル画像データを撮影する工程の間に行われてもよい。同様に、計算されたPSFcの決定はまた、画像(サンプル画像データ)が記憶された後に行われてもよい。
本技術の一実施形態では、検査画像は、事前決定された数の使用中のウェルまたはプレートにわたって収集され、ウェル毎の個別のブラインド逆畳み込みのための設定が、各ウェルからのサンプル画像の後の処理のために記憶される。ウェル毎の計算されたPSFcの決定は、各ウェルからの基準画像を初期のPSFiとして使用し、サンプル画像データの後続の逆畳み込みのための各ウェルの計算されたPSFcに到達するために、ブラインド逆畳み込み等の逆畳み込みを実施してもよい。
故に、本技術の一実施形態では、コントローラ220の制御下で、光学検出器204が、サンプルカバースリップからの複数のサンプル画像を(異なる側方位置において)捕捉する。コントローラ220の制御下で、光学検出器204は、較正カバースリップからの複数の較正された基準画像を(異なる側方位置において)捕捉する。コントローラ220の制御下で、光学検出器204は、対物レンズの焦点面からサンプルカバースリップを通して後方反射される光からの複数の検査画像を(異なる側方位置において)捕捉する。プロセッサ220aは、側方位置毎に、個別の計算された点広がり関数と関連付けられる、個別の逆畳み込みされた検査画像を生成し、次いで、側方位置毎に、個別の計算された点広がり関数を使用して、複数のサンプル画像を逆畳み込みし、それによって、複数のサンプル画像からのアーチファクトを低減または除去する。
本技術の一実施形態では、プロセッサ220aは、計算されたPSFcが、所与の数のウェルに関して、ウェル間の分散が計算されたPSFc内にあることを示すことを決定し得るが、ありとあらゆるウェルに関して検査画像のブラインド逆畳み込みを実施することを保証しない。代わりに、マルチウェルサンプル保持器に関する単一の推定された点広がり関数(PSFe)が、ウェル毎にサンプル画像データを処理するための、計算されたPSFcとして使用されることができる。故に、本技術の一実施形態では、撮像されているウェル毎に、方程式(1)および(2)を参照して上記に説明される反復的な分析を厳密に使用することは、必要ではない場合がある。さらに、本技術の逆畳み込み技法は、サンプル画像内の各ピクセルに適用され得るため、処理された画像は、X-Z平面内の強度を描写するために提示されることができる。
本技術の一実施形態では、コントローラ220の制御下で、光学検出器204が、(異なるサンプルカバースリップから)複数のサンプル画像を捕捉する。コントローラ220の制御下で、光学検出器204は、(複数の較正カバースリップから)複数の較正された基準画像を捕捉する。コントローラ220の制御下で、光学検出器204は、(異なるサンプルカバースリップから)異なるサンプルカバースリップを通して後方反射される光から、複数の検査画像を捕捉する。プロセッサ220aは、サンプルカバースリップ毎に、個別の計算された点広がり関数と関連付けられる、個別の逆畳み込みされた検査画像を生成し、次いで、カバースリップ毎に、個別の計算された点広がり関数を使用して、複数のサンプル画像を逆畳み込みし、それによって、複数のサンプル画像からのアーチファクトを低減または除去する。
また、上記に議論される逆畳み込みは、本技術のために好適であるが、他の画像処理技法もまた、本技術において使用されることができる。一実施形態では、プロセッサ220aが、サンプルカバースリップの特定のセットと関連付けられる、記憶された点広がり関数(PSFs)を使用して逆畳み込みを実施するように構成され、ここでは、サンプルカバースリップのその特定のセット(および使用中の光学系)のためのPSFsが、すでに決定されている。別の実施形態では、サンプルウェルセット(および使用中の光学系)毎の個々のPSFsが、プロセッサ220aが、ウェル(および使用中の光学系)毎に、記憶されたPSFsを使用して逆畳み込みを実施することを可能にすることがすでに決定されている場合がある。これらの記憶されたPSFsを用いると、線形逆畳み込み技法および非線形逆畳み込み技法が、次いで、ブラインド逆畳み込み反復の必要性を伴うことなく、サンプル画像データからオリジナル画像を回復することが可能になり得る。
利用される逆畳み込み技法にかかわらず、一実施形態では、プロセッサ220aは、逆畳み込みの後に達成される逆畳み込みされた画像の向上を示す、品質メトリックを計算するように構成される。品質メトリックは、回復された画像内のピクセルの分解能の全幅半値(FWHM)改良の尺度であることができる。品質メトリックは、回復された画像内のピクセルの信号対ノイズ比改良の尺度であることができる。品質メトリックは、回復された画像内のピクセルの信号強度改良の尺度であることができる。一実施形態では、プロセッサは、計算された点広がり関数に関して、逆畳み込みされた画像内の改良が漸進的改良になるまで、検査画像の繰り返される逆畳み込み、およびa)検査画像の逆畳み込みされた画像とb)較正された基準画像の繰り返される比較によって、サンプル画像の画質を改良するための最適化された点広がり関数を決定するようにプログラムされる。
本技術の一実施形態では、1つまたは複数のメトリックが、逆畳み込みされた画像と関連付けられる、単一のメリット値を発生させるために使用され得る。メトリックはそれぞれ、許容可能な特徴のサイズ、形状、位置、強度勾配、ピーク強度値、または相互相関に関する基準セットを有するであろう。
本技術の一実施形態では、光源206から投影および集束され、較正カバースリップ250の上部表面から反射された光が、基準画像を表す単一のスポット画像として撮像され得るため、較正カバースリップ250からの反射光が、初期の点広がり関数PSFiを取得するために利用される。PSFiは、検査画像の逆畳み込みを用いて、検査画像のためのサンプル表面カバースリップ212の上部表面212bに集束された、反射光に適用され、次いで、一実施形態では、発散メトリックにペナルティを課すように加重を割り当てられている各メトリックを用いて、上記に記載されるもの等の複数の方法において、基準画像と比較されることができる。
言い換えると、メリット関数の品質スコアは、較正カバースリップ250から撮影された基準画像と逆畳み込みされた検査画像を比較するための、スポットサイズ、スポット形態、スポット強度、スポット場所、スポット勾配、および相互相関等の種々のメトリックの加重和であり、より良好な品質スコアが、次いで、サンプル画像を逆畳み込みするために使用されるべき、最適化された、計算されたPSFcと関連付けられることができる。連続する逆畳み込みが、理想的には、較正された基準画像から事前設定された割合差内またはメリット関数の事前設定された割合差変化内である、最終計算されたPSFcを形成するために使用されることができる。
一実施形態では、プロセッサ220aは、検査画像の連続する逆畳み込みの後に、漸進的にのみ改良されている(上記に記載される基準のうちの1つまたはそれを上回るものの変化の30%以内、20%以内、10%以内、または好ましくは、5%以内、またはより好ましくは、1%以内)、取得されたスポットサイズ、スポット形状、スポット強度、およびスポット場所のうちの少なくとも1つの基準に基づいて、最適化された点広がり関数を決定するようにプログラムされる。別の実施形態では、プロセッサ220aは、30%未満、20%未満、10%未満、または好ましくは、5%未満、またはより好ましくは、1%未満の品質スコアの変化である、後続の逆畳み込みの後のメリット関数の品質スコアの基準に基づいて、最適化された点広がり関数を決定するようにプログラムされる。
一実施形態では、プロセッサ220aは、連続する逆畳み込みされた画像内の改良が漸進的改良(上記に記載される基準のうちの1つまたはそれを上回るものの変化の30%以内、または20%以内、または10%以内、または好ましくは、5%以内、およびより好ましくは、1%以内)になるまで、検査画像の繰り返されるブラインド逆畳み込み、およびa)検査画像の逆畳み込みされた画像とb)較正された基準画像の繰り返される比較によって、サンプル画像の画質を改良するための最適化された点広がり関数を決定するようにプログラムされる。
本技術の一実施形態では、いったん許容可能なPSF(以降PSF0)が、較正カバースリップ250およびサンプルカバースリップ212の個別の上部表面から反射された光にわたって撮影された基準画像および検査画像を使用して決定されると、対物レンズ202は、カバースリップの上部表面の上方の領域、例えば、カバースリップの上方の距離z1において集束するように調節されることができる。z1において撮影されたサンプル画像が、次いで、例えば、上記に説明されたLucy-Richardson方法(または他の逆畳み込み技法)を使用して処理され、許容可能な品質メトリックが取得されるまで、(おそらく、反復的なブラインド畳み込みを通して)z1においてサンプル画像を逆畳み込みすることができる。その時点において、プロセッサ220aは、z1と関連付けられる、新しいPSF(以降PSF1)を記憶することができる。その後、対物レンズ202は、z1よりカバースリップの上方の遠くにある、距離z2に集束するように調節されることができる。再び、z2において撮影されたサンプル画像は、次いで、例えば、上記に説明されるLucy-Richardson方法(または他の逆畳み込み技法)を使用して処理され、許容可能な品質メトリックが、例えば、上記に記載される基準に基づいて取得されるまで、(おそらく、反復的なブラインド畳み込みを通して)z2において画像を逆畳み込みすることができ、プロセッサ220aは、続いて、z2と関連付けられる、取得されたPSF(以降PSF2)を記憶することができる。このように、測定されるべきサンプルを保持するウェルの深度を通して撮像するステップは、各深度における画質の回復とともに行われことができる。
別の実施形態では、プロセッサ220aは、異なるレベルの球面収差と関連付けられる、選択可能な点広がり関数PSFsのセットを画像処理するために利用可能である。プロセッサ220aは、次いで、そのセットから選択可能な点広がり関数PSFsのうちの1つまたはそれを上回るものを選択し、選択されたものを使用し、画像を逆畳み込みすることができる。一実施形態では、上記に記載される品質スコアは、より良好な逆畳み込みされた画像を生成した選択可能な点広がり関数PSFsを決定し、したがって、サンプルウェル214内の特定のレベルまたは高さにおけるサンプル画像の逆畳み込みのために使用するためのものとして1つのPSFを選択するために使用されることができる。一実施形態では、プロセッサ220aは、既知の摂動から予期される球面収差のレベルに基づいて、選択可能な点広がり関数のセットからの選択を行う。例えば、点広がり関数PSFsのセットは、球面収差の増分に従って、(例えば、球面収差の波0.2だけ)相互と異なる点広がり関数を有してもよい。一実施形態では、上記に記載される品質スコアは、より良好な逆畳み込みされた画像を生成し、したがって、最適化されたPSFと見なされる、選択可能な点広がり関数PSFsを決定するために使用され得る。
一実施形態では、モデル(またはプロセッサ内のデータベース)が、例えば、使用されているサンプルカバースリップ212の厚さの既知または予期される側方変動と関連付けられる、記憶された点広がり関数に基づいて、サンプルウェル214を横断して撮影された各側方画像を選択可能なPSFsと関連付ける。
一般に、大部分のサンプルカバースリップが、深度に伴う球面収差の増加を示すであろうが、サンプルおよびサンプル培地が有意に異なる屈折率になく、したがって、球面収差があまり顕著ではない場合がある、いくつかのサンプルカバースリップが、存在し得る。それにもかかわらず、一実施形態では、球面収差の量が、サンプル内の脱集束に伴って増加し得るため、モデルが、いかなる脱集束およびいかなる球面収差も存在しない場合と同様の理想的な焦点位置からの所与の脱集束に関する、球面収差の波の数を予測するために使用されることができる。一実施形態では、サンプル底部の上方において、モデル(またはプロセッサ220b内のデータベース)は、異なる選択可能な点広がり関数と、例えば、サンプルウェル214内の既知の深度、またはサンプルカバースリップ212の上部側212bの上方の既知の高さz1、およびこれらの位置における予期される球面収差を関連付けるであろう。プロセッサ220a等のプロセッサが、測定または予期される球面収差に基づいて、選択可能な点広がり関数のうちの1つを選択するであろう。
ある実施例では、逆畳み込みのためにプロセッサ220aにとって利用可能な選択可能な点広がり関数は、初期の製造プロセスの間にデータベース内に記憶される。本プロセスの間に、点広がり関数は、光学レンズ、各サンプルウェル214を横断した深度、および/または本システム内に球面収差または脱集束を生成し得る、サンプルカバースリップ212の厚さの既知または予測される側方変動を含む、製造業者によって配設されたシステムコンポーネントを参照して計算される。選択可能な点広がり関数は、公知のシステムコンポーネントを利用するときに、画像の迅速な逆畳み込みを可能にするために利用可能である。
本技術の一実施形態では、物体が、高さz2にある場合、撮像処理は、逆畳み込みを介した画像ぼけまたは物体の画像をぼかしている収差を補正する前に、最初に、球面収差モデルが、その高さz2において正しいことを確実にし得る。言い換えると、脱集束は、高さz2において決定され得るが、一実施形態では、プロセッサは、高さz2の周囲で複数のz平面を使用し、高い(または別様に許容可能な)コントラスト(例えば、2を上回る許容可能な信号対ノイズ比、または2を上回る許容可能な信号対背景比、または一貫してノイズを上回って上昇する、信号の勾配)を有し、PSFをその画像に適用する、複数の平面から特定の高さを選別するであろう。故に、一実施形態では、プロセッサは、サンプルカバースリップの上方の異なる高さにわたって、それらの高さにおける予期される球面収差を用いた畳み込みのための適切なレベルを評価し、次いで、許容可能なコントラストが見出される、それらの深度にわたって、補正カラー252の使用等によって、焦点をデジタル的または機械的に改良することによって、画質をさらに向上させるであろう。本実施形態は、基準画像が、例えば、球面収差または脱集束または他の撮像アーチファクトに起因する光学システム誤差と関連付けられるPSFを決定しており、撮像されるべきサンプルSが、単に、サンプルカバースリップの上部表面212b上にあるのではなく、代わりに、例えば、サンプルカバースリップ212の100ミクロン上方の深度にある場合において、特に有用であろう。その場合には、対物レンズ202または基板ステージ216は、サンプルSをカバースリップとサンプルSとの間で100ミクロンの位置において撮像するために移動されるため、サンプルが合焦した状態になり始めるまで、光学検出器に対して光を後方反射させるためのいかなる要素も、存在しないであろう。その時点において、プロセッサは、例えば、96ミクロン、98ミクロン、100ミクロン、102ミクロン、および104ミクロンの高さと関連付けられる、記憶装置223内でPSFを選択し(または別様にプロセッサ220aにアクセス可能であり)、これらの位置において撮影されたサンプル画像の逆畳み込みを実施し、最良なコントラスト、品質スコア、またはメリット関数を用いて逆畳み込みされた画像を生成する、選択可能なPSFのうちの1つを決定するであろう。本技術の一実施形態では、異なる深度における物体が、異なる深度のそれぞれに関して識別された、最適化されたPSFを用いて撮像されるため、深度に伴う球面収差を予測するためのモデルが、築かれ、改良されることができる。
実施例
下記の実施例では、Lucy-Richardson方法およびブラインド逆畳み込みが、上記に説明された逆畳み込みのための手順を使用して、下記の実施例において、画像を逆畳み込みするために使用された。下記に与えられる実施例では、Thorlabs(Newton, New Jersey, US)製の高精度カバースリップが、Norland 61光学接着剤(Cranbury, New Jersey, US)を使用して顕微鏡スライド上に糊着され、較正カバースリップとしての役割を果たした。Thorlabs製の高精度カバースリップは、5μmの厚さ公差を有し、高精度カバースリップが光源206に向かって下向きに面した状態で顕微鏡側に位置付けられた。
下記の実施例では、Lucy-Richardson方法およびブラインド逆畳み込みが、上記に説明された逆畳み込みのための手順を使用して、下記の実施例において、画像を逆畳み込みするために使用された。下記に与えられる実施例では、Thorlabs(Newton, New Jersey, US)製の高精度カバースリップが、Norland 61光学接着剤(Cranbury, New Jersey, US)を使用して顕微鏡スライド上に糊着され、較正カバースリップとしての役割を果たした。Thorlabs製の高精度カバースリップは、5μmの厚さ公差を有し、高精度カバースリップが光源206に向かって下向きに面した状態で顕微鏡側に位置付けられた。
図3は、最良焦点にあり、最適な補正カラー設定を伴う、個々の0.5μmビーズから撮影された、光学画像の強度分布を描写する。後の比較目的のために、図3の強度分布は、0.5μmビーズのための「理想的」な画像強度分布を表す。
図4は、最良焦点にあるが、非最適な補正カラー設定を伴う、個々の0.5μmビーズから撮影された、光学画像の強度分布を描写する。予期されるように、図4に示される画像分解能および信号強度は、図3に描写される理想的な画像強度分布と比較して、劣化している。
図5は、図4の非最適な光学画像を処理するために、本技術の逆畳み込み技法を使用して数学的に処理された画像の強度分布を描写する。明白であるように、数学的に処理された画像に関する画像分解能および信号強度は両方とも、本技術の数学的逆畳み込みを用いて改良される。
図6Aは、最良焦点にあるが、非最適な補正カラー設定を有する非最適な撮像条件下で4.0μmビーズから撮影された、別の光学画像を描写する。図6Bは、本技術の逆畳み込みプロセスを使用して処理された、図6Aの画像データを描写する。図6Cは、図6Aの同一の4.0μmビーズから最良焦点において撮影されたが、ここでは最適な撮像条件下で撮影された、光学画像を描写する。図6Bの処理された画像データが図6Cの光学画像データに近接して合致するほど、本技術の逆畳み込みが、非最適な画像から、物体の実際の画像があるべき、より良好に回復した状態になる。
図6Dは、図6A、6B、および6Cの強度プロファイルのグラフ比較である。本比較は、本技術の逆畳み込みプロセスが、非最適な条件下で撮影された画像が、ピーク強度およびFWHM等、最適な撮像条件下で撮影された画像内に認められる属性のうちの多くのものを「回復」させることを可能にし、それによって、補正カラーまたは他の手段等による実際の光学調節を行う、ユーザの時間および労力を伴うことなく、有用な画像データが取得されることを可能にすることを示す。異なる見方をすると、図6A、6B、6C、および6Dは、例えば、球面収差または脱集束または他の撮像アーチファクトに起因する光学システム誤差のために、そうでなければぼけている画像から有用な画像データを回復するための本技術の有効性を示す。
コンピュータ制御
コンピュータ制御
図2に図式的に図示されるコントローラ220が、例えば、ユーザ入力デバイス(例えば、キーパッド、タッチスクリーン、マウス、および同等物)、ユーザ出力デバイス(例えば、ディスプレイ画面、プリンタ、視覚インジケータまたはアラート、可聴インジケータまたはアラート、および同等物)、および算出デバイス等の、1つまたはそれを上回るタイプのユーザデバイスを含む、様々なコンピューティングデバイスを表すにすぎないことを理解されたい。コントローラ220(またはプロセッサ220a)は、出力デバイスによる表示のための、ソフトウェアによって制御されるグラフィカルユーザインターフェース(GUI)と、媒体可読物(例えば、ソフトウェア、データ、および同等物内で具現化される論理命令)をロードするための1つまたはそれを上回るデバイスとを有してもよい。コントローラ220(またはプロセッサ220a)は、その種々の機能を制御および管理するためのオペレーティングシステム(例えば、Microsoft Windows(登録商標)ソフトウェア)を含み、したがって、プロセッサを備える。
図7は、コントローラ220内に、またはプロセッサ220aとともに実装され得る、サンプルを撮像するための、本技術のコンピュータ化された方法を詳述する、フローチャートである。ステップを標識するために、番号の数値セットが、続くが、本技術は、必ずしも所与の数値順序において発生するステップに限定されるものではない。
ステップ701において、較正カバースリップ(または他の標準的基準スライド)の上部表面から反射されたスポットの基準画像が、(プロセッサ220における後続の画像処理のために)記録される。好ましい選択肢では、開口230が、光軸からオフセットされ、反射され、球面収差が4乗だけ変化する、対物レンズ202の周領域を通して通過する、スポットの波面の一部のみをサンプリング(選択)する。
ステップ703において、サンプルカバースリップ上のサンプルの生体画像が、(プロセッサ220aにおける後続の画像処理のために)記録される。
ステップ705において、サンプルカバースリップの上部表面から反射されたスポットの検査画像が、(プロセッサ220aにおける後続の画像処理のために)記録される(ステップ703および705は、逆の順序で生じてもよい)。
ステップ707において、検査画像が、(プロセッサ220aによって)逆畳み込みされ、これによって、サンプルカバースリップを含む光学撮像システムの計算された点広がり関数が、取得される。好ましい選択肢では、(限定ではないが、ブラインド逆畳み込みおよびLucy-Richardsonアルゴリズムを含め、上記に説明される)逆畳み込み撮像プロセスは、点広がり関数を回復するために光学システムの点広がり関数の第1の近似値としての役割を果たす、検査画像と併用される。好ましい選択肢では、オフセットされた開口を用いて撮影された検査画像を用いると、回復されたPSFが、球面収差を低減させるであろう。
ステップ709において、計算された点広がり関数が、(例えば、プロセッサ220aによって)生体画像を逆畳み込みするために使用される。サンプルカバースリップ厚の変動が、殆ど存在しない場合、計算されたPSFは、ウェル間から撮像するときに、それほど多くの場合において再算出される必要はない。本技術の別の実施形態では、検査画像内に認められる脱集束の量に基づいて、脱集束のための検査画像ライブラリが、a)対物レンズのための焦点位置を設定し、b)使用中の光学コンポーネントの適切な計算されたPSFを取得するステップにおいて使用されるべき、適切な検査画像を決定するために使用されることができる。
上記に記載されるように、一実施形態では、本技術は、図2に示されるシステム等の反転された顕微鏡構成を対象とするが、本技術は、反転されていない顕微鏡構成にも適用されることができる。その場合には、較正カバースリップから反射されたレーザビームまたは他の光が、対物レンズ202(すなわち、対物レンズ202)に面する較正カバースリップ(または他の基準プレート)の側における焦点面から反射され、結像光学系は、撮像されるべきサンプルを支持する、サンプルカバースリップ212の上方にあるだろう。同一のステップが、次いで、検査画像および基準画像が、対物レンズ202に面する較正カバースリップまたは較正カバースリップの側における焦点面に反射される、レーザビームまたは他の光から撮影されているステップに伴って、続くであろう。基準画像は、検査画像の逆畳み込みのための初期のPSFとして使用され、そこから対物レンズ202と、結像光学系とを含む、光学システムのための計算されたPSFが、導出されるであろう。サンプルを支持するサンプルカバースリップから撮影されたサンプル画像が、次いで、最適なPSFを使用して逆畳み込みされるであろう。
反転されていない構成における本技術の一実施形態では、基準画像および検査画像のために使用される反射は、サンプルにより近接してカバースリップの内側表面上に位置する、画像焦点面から撮影されるであろう。着目サンプル位置は、厚いサンプルを通して、または(浸漬された対物レンズを用いて下記に説明される場合には)サンプルを保持するウェルの深度の中に進行し得る。
反転されていない構成における本技術の一実施形態では、対物レンズが、サンプル培地の中に浸漬される場合、サンプルに関する屈折率および対物レンズの設計の不整合が、球面収差をもたらすであろう。本場合には、サンプルウェルの中での異なる深度における反転された構成撮像に関して上記に説明されるものに類似のプロセスが、適用されることができる。すなわち、(カバースリップの底部に最も近接している)z1において撮影されたサンプル画像が、次いで、例えば、上記に説明されるLucy-Richardson方法(または他の逆畳み込み技法)を使用して処理され、許容可能な品質メトリックが取得されるまで、(おそらく、反復的なブラインド畳み込みを通して)z1においてサンプル画像を逆畳み込みすることができる。その時点において、プロセッサ220aは、z1と関連付けられる、新しいPSF(以降PSF1)を記憶することができる。その後、対物レンズ202は、z1よりカバースリップの下方の遠くにある、距離z2に集束するように調節されることができる。再び、z2において撮影されたサンプル画像は、次いで、例えば、上記に説明されるLucy-Richardson方法(または他の逆畳み込み技法)を使用して処理され、許容可能な品質メトリックが、例えば、上記に記載される基準に基づいて取得されるまで、(おそらく、反復的なブラインド畳み込みを通して)z2において画像を逆畳み込みすることができ、プロセッサ220aは、続いて、z2と関連付けられる、取得されたPSF(以降、PSF2)を記憶することができる。このように、反転されていない構成において、測定されるべきサンプルを保持するウェルの深度のより深い部分において撮像するステップは、各深度における画質の回復とともに行われことができる。
上記に説明されるものと同様に、反転されていない構成を伴う一実施形態では、球面収差の量が、サンプルの中への深度に伴って増加し得るため、または異なる見方をすると、サンプルカバースリップ212の上部表面212bの上方の高さに伴って増加し得るため、モデルが、サンプルウェル214内の所与の深度またはサンプルカバースリップ212の上部表面212bの上方の高さz1に関する、球面収差の波の数を予測するために使用されることができる。一実施形態では、モデル(またはプロセッサ220aによってアクセス可能なデータベース)が、異なる選択可能な点広がり関数と予期される球面収差を関連付け得る。プロセッサ220a等のプロセッサが、(高さz1を中心とした異なる変位量と関連付けられる)選択可能な点広がり関数のうちの少なくとも1つを選択し、異なる変位量におけるサンプル画像の逆畳み込みを実施し、例えば、(上記に記載されるように)サンプル画像逆畳み込みに続いて取得される、観察されたコントラストに基づいて、特定のPSFを選択するであろう。
反転された顕微鏡構成または反転されていない顕微鏡構成かどうかにかかわらず、図8は、コントローラ220内に、またはプロセッサ220aとともに実装され得る、サンプルを撮像するための、本技術の別のコンピュータ化された方法を詳述する、フローチャートである。
ステップ801において、(例えば、サンプル保持器の上部表面上のサンプルの)サンプル画像が、捕捉される。ステップ803において、較正カバースリップ等の標準基準プレートの表面(例えば、上部表面)から反射される集束レーザビームまたは他の光から取得された、基準画像データが、捕捉される。ステップ805において、サンプルカバースリップ等のサンプル保持器の表面(例えば、上部表面)から反射される集束レーザビームまたは他の光から取得された、検査画像データが、捕捉される。ステップ807において、基準画像データおよび検査画像データが、処理され、使用中の光学コンポーネントと関連付けられる、最適化された点広がり関数を生成する。ステップ809において、サンプル画像が、最適化された点広がり関数を使用して逆畳み込みされ、それによって、サンプル画像からのアーチファクトを低減または除去する。
本明細書に説明されるプロセス、サブプロセス、およびプロセスステップのうちの1つまたはそれを上回るものが、例えば、1つまたはそれを上回る電子的またはデジタル的に制御されるデバイス上で、ハードウェア、ファームウェア、ソフトウェア、または前述のもののうちの2つまたはそれを上回るものの組み合わせによって実施され得ることを理解されたい。ソフトウェアは、例えば、図2に図式的に描写される、コントローラ220および/またはプロセッサ220a等の好適な電子処理コンポーネントまたはシステム内のソフトウェアメモリ(図示せず)内に常駐してもよい。ソフトウェアメモリは、論理機能(すなわち、デジタル回路網またはソースコード等のデジタル形態において、またはアナログ電気、音、またはビデオ信号等のアナログソース等のアナログ形態において実装され得る、論理)を実装するための実行可能命令の順序付けられる列挙物を含み得る。命令は、例えば、1つまたはそれを上回るマイクロプロセッサ、汎用目的プロセッサ、プロセッサ、デジタル信号プロセッサ(DSP)、または特定用途向け集積回路(ASIC)の組み合わせを含む、処理モジュール内で実行され得る。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない、物理的(ハードウェアおよび/またはソフトウェア)実装を有する機能の論理分割を説明する。本明細書において説明されるシステムの実施例は、様々な構成内に実装され、単一のハードウェア/ソフトウェアユニット内、または別個のハードウェア/ソフトウェアユニット内でハードウェア/ソフトウェアコンポーネントとして動作し得る。
実行可能命令は、プロセッサ220aおよび/またはコントローラ220によって実行されると、電子システムに命令を行うように指示する、その中に記憶される命令を有する、コンピュータプログラム製品として実装されてもよく、記憶装置223から、測定または処理されたデータを含有する画像ファイルから、データから読み取ってもよい。一実施形態では、実行可能命令は、例えば、コントローラ220またはプロセッサ220aが、例えば、基準画像からの基準画像データおよび/または検査画像(例えば、初期検査画像)からの検査画像データ等の測定または処理された画像データをメモリ223(またはプロセッサ220aの内部メモリ)内に記憶することを可能にする。さらに、実行可能命令は、コントローラ220またはプロセッサ220aが、a)対物レンズおよびカバースリップに関する初期の点広がり関数として、基準画像データを使用して、検査画像データを逆畳み込みし、b)検査画像データの少なくとも1つの逆畳み込みを通して、対物レンズと、サンプルカバースリップを含む、使用中の他の光学コンポーネントとのための計算された点広がり関数を生成し、c)検査画像データの逆畳み込みから計算された点広がり関数を使用して、サンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去することを可能にすることができる。
一実施形態では、実行可能命令は、コントローラ220が、a)カバースリップに対する対物レンズの垂直変位、b)カバースリップに対する対物レンズの側方変位、c)光学検出器の露光持続時間、d)サンプルを照明する光源の強度、e)光学経路の中への光学フィルタの挿入、f)光学経路内での軸外開口の位置付け、g)自動焦点調節、およびh)他の光学検出器またはカメラ設定のうちの少なくとも1つを制御することを可能にする。
一実施形態では、実行可能命令は、コントローラ220が、光源からの光を対物レンズの焦点面に集束させるために、対物レンズの202位置または対物レンズ202からのサンプルカバースリップ212の距離のうちの少なくとも一方を制御することを可能にする。一実施形態では、コントローラ220の制御下で、光学検出器204は、サンプルカバースリップからの複数のサンプル画像を異なる側方位置において捕捉することができ、較正カバースリップからの複数の較正された基準画像を異なる側方位置において捕捉することができ、対物レンズの焦点面からサンプルカバースリップを通して後方反射される光からの複数の検査画像を、異なる側方位置において捕捉することができ、プロセッサ220aは、側方位置毎に、個別の計算された点広がり関数と関連付けられる、個別の逆畳み込みされた検査画像を生成することができ、側方位置毎に、個別の計算された点広がり関数を使用して、複数のサンプル画像を逆畳み込みし、それによって、複数のサンプル画像からのアーチファクトを低減および除去することができる。別の実施形態では、コントローラ220の制御下で、光学検出器204は、異なるサンプルカバースリップから、複数のサンプル画像を捕捉することができ、複数の較正カバースリップから、それぞれ、異なるサンプルカバースリップと関連付けられる、複数の較正された基準画像を捕捉することができ、異なるサンプルカバースリップから、異なるサンプルカバースリップを通して後方反射される光から、複数の検査画像を捕捉することができ、プロセッサ220aは、サンプルカバースリップ毎に、個別の計算された点広がり関数と関連付けられる、個別の逆畳み込みされた検査画像を生成することができ、カバースリップ毎に、個別の計算された点広がり関数を使用して、複数のサンプル画像を逆畳み込みし、それによって、複数のサンプル画像からのアーチファクトを低減または除去することができる。
コンピュータプログラム製品は、命令実行システム、装置、またはデバイスからの命令を選択的にフェッチし、命令を実行し得る、電子コンピュータベースのシステム、プロセッサ含有システム、または他のシステム等の命令実行システム、装置、またはデバイスによる、またはそれに関連する使用のための、任意の非一過性コンピュータ可読記憶媒体内で選択的に具現化され得る。本開示の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる、またはそれに関連する使用のための、プログラムを記憶し得る、任意の非一過性手段である。非一過性コンピュータ可読記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、またはデバイスであり得る。非一過性コンピュータ可読媒体のより具体的な実施例の非包括的なリストは、1つまたはそれを上回るワイヤを有する電気接続(電子)、ポータブルコンピュータディスケット(磁気)、ランダムアクセスメモリ(電子)、読取専用メモリ(電子)、例えば、フラッシュメモリ等の消去可能なプログラマブル読取専用メモリ(電子)、例えば、CD-ROM、CD-R、CD-RW等のコンパクトディスクメモリ(光学)、およびデジタル多用途ディスクメモリ、すなわち、DVD(光学)を含む。非一過性コンピュータ可読記憶媒体は、プログラムが、例えば、紙または他の媒体の光学走査を介して電子的に捕捉され、次いで、コンパイル、解釈、または必要である場合に好適な様式において別様に処理され、次いで、記憶装置223またはプロセッサ220aの内部メモリ等のコンピュータメモリまたは機械メモリ内に記憶され得るため、その上にプログラムが印刷される、紙または別の好適な媒体でさえあり得る。
また、本明細書において使用されるような用語「信号通信している」が、2つまたはそれを上回るシステム、デバイス、コンポーネント、モジュール、またはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して、相互と通信することが可能であることを意味することも理解されたい。信号は、第1のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールから、第1および第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間の信号経路に沿って、第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールに情報、電力、またはエネルギーを通信し得る、通信、電力、データ、またはエネルギー信号であり得る。信号経路は、物理、電気、磁気、電磁気、電気化学、光学、有線、または無線接続を含んでもよい。信号経路はまた、第1および第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間に付加的なシステム、デバイス、コンポーネント、モジュール、またはサブモジュールを含んでもよい。
より一般的には、「通信する(communicate)」および「と...通信している(in...communication with)」等の用語(例えば、第1のコンポーネントが、第2のコンポーネントと「通信する」または「通信している」)は、本明細書では、2つまたはそれを上回るコンポーネントまたは要素間での構造的、機能的、機械的、電気的、信号的、光学的、磁気的、電磁気的、イオン的、または流体的関係を示すために使用される。したがって、1つのコンポーネントが、第2のコンポーネントと通信すると述べられるという事実は、付加的なコンポーネントが、第1および第2のコンポーネント間に存在する、および/またはそれらと動作可能に関連付けられる、またはそれらと係合され得る可能性を排除することを意図していない。
また、本明細書に使用されるような「データの受信および伝送」は、2つまたはそれを上回るシステム、デバイス、コンポーネント、モジュール、またはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して、相互と通信することが可能であることを意味することも理解されたい。信号は、第1および第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュール間の信号経路に沿って、第1のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールから第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールに、情報、電力、またはエネルギーを通信し得る、通信、電力、データ、またはエネルギー信号であってもよい。信号経路は、物理、電気、磁気、電磁気、電気化学、光学、有線、または無線接続を含んでもよい。信号経路はまた、第1および第2のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間に付加的なシステム、デバイス、コンポーネント、モジュール、またはサブモジュールを含んでもよい。
本技術の例示的記述
本技術の以下の付番される記述は、本技術のいくつかの独創的側面を記載する。
本技術の以下の付番される記述は、本技術のいくつかの独創的側面を記載する。
記述1.光学撮像システムであって、サンプルカバースリップの上部表面上で撮像されるべきサンプルを保持するように構成される、サンプルステージと、サンプルステージの真下に配置され、サンプルカバースリップの上部表面上でサンプルを撮像するように構成される、対物レンズと、サンプルカバースリップ上で少なくともサンプルのサンプル画像を捕捉するように構成される、光学検出器と、較正カバースリップから捕捉された基準画像から基準画像データを取り出し、対物レンズの焦点面においてサンプルカバースリップの上部表面から反射された光から捕捉された検査画像から検査画像データを取り出し、基準画像データおよび検査画像データを処理し、(検査画像データの逆畳み込みを介して)対物レンズおよび使用中の他の光学コンポーネントと関連付けられる、計算された点広がり関数を生成し、計算された点広がり関数を使用してサンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去するようにプログラムされる、プロセッサとを備える、光学撮像システム。
記述2.プロセッサは、検査画像データのブラインド逆畳み込みを実施し、計算された点広がり関数を決定するようにプログラムされる、記述1に記載のシステム。
記述3.プロセッサは、計算された点広がり関数に関して、逆畳み込みされた画像内の改良が漸進的改良になるまで、検査画像の繰り返される逆畳み込み、およびa)検査画像の逆畳み込みされた画像とb)較正された基準画像の繰り返される比較によって、サンプル画像の画質を改良するための最適化された点広がり関数を決定するようにプログラムされる、記述1または2に記載のシステム。
記述4.プロセッサは、検査画像の連続する逆畳み込みの後に漸進的にのみ改良されて取得される、スポットサイズ、スポット形状、スポット強度、およびスポット場所のうちの少なくとも1つの基準に基づいて、最適化された点広がり関数を決定するようにプログラムされる、上記の記述のいずれかに記載のシステム。
記述5.プロセッサは、連続する逆畳み込みされた画像内の改良が、漸進的改良になるまで、検査画像の繰り返されるブラインド逆畳み込み、およびa)検査画像の逆畳み込みされた画像とb)較正された基準画像の繰り返される比較によって、サンプル画像の画質を改良するための最適化された点広がり関数を決定するようにプログラムされる、上記の記述のいずれかに記載のシステム。
記述6.焦点面に集束されるべき光を提供する、光源をさらに備える、上記の記述のいずれかに記載のシステム。
記述7.a)カバースリップに対する対物レンズの垂直変位、b)カバースリップに対する対物レンズの側方変位、c)光学検出器の露光持続時間、d)サンプルを照明する光源の強度、e)光学経路の中への光学フィルタ(例えば、スペクトルフィルタおよび/または空間フィルタ)の挿入、f)光学経路内での軸外開口の位置付け、g)自動焦点調節、およびh)他の光学検出器またはカメラ設定のうちの少なくとも1つを制御するように構成される、コントローラをさらに備える、上記の記述のいずれかに記載のシステム。
記述8.コントローラは、光源からの光を対物レンズの焦点面に集束させるために、対物レンズの位置およびサンプルステージの位置のうちの少なくとも一方を制御する、上記の記述のいずれかに記載のシステム。
記述9.コントローラの制御下で、光学検出器は、サンプルカバースリップからの複数のサンプル画像を異なる側方位置において捕捉し、コントローラの制御下で、光学検出器は、較正カバースリップからの複数の較正された基準画像を異なる側方位置において捕捉し、コントローラの制御下で、光学検出器は、対物レンズの焦点面からサンプルカバースリップを通して後方反射される光からの複数の検査画像を、異なる側方位置において捕捉し、プロセッサは、側方位置毎に、個別の計算された点広がり関数と関連付けられる、個別の逆畳み込みされた検査画像を生成し、プロセッサは、側方位置毎に、個別の計算された点広がり関数を使用して、複数のサンプル画像を逆畳み込みし、それによって、複数のサンプル画像からのアーチファクトを低減または除去する、請求項8に記載のシステム。
記述10.コントローラの制御下で、光学検出器は、異なるサンプルカバースリップから、複数のサンプル画像を捕捉し、コントローラの制御下で、光学検出器は、複数の較正カバースリップから、それぞれ、異なるサンプルカバースリップと関連付けられる、複数の較正された基準画像を捕捉し、コントローラの制御下で、光学検出器は、異なるサンプルカバースリップから、異なるサンプルカバースリップを通して後方反射される光から、複数の検査画像を捕捉し、プロセッサは、サンプルカバースリップ毎に、個別の計算された点広がり関数と関連付けられる、個別の逆畳み込みされた検査画像を生成し、プロセッサは、カバースリップ毎に、個別の計算された点広がり関数を使用して、複数のサンプル画像を逆畳み込みし、それによって、複数のサンプル画像からのアーチファクトを低減または除去する、記述8に記載のシステム。
記述11.サンプルカバースリップに起因する光学収差を補償する、補正カラーをさらに備える、上記の記述のいずれかに記載のシステム。
記述12.プロセッサは、個別の標準的厚さを有する、複数のカバースリップの個別の最適化された点広がり関数をメモリ内に記憶する、上記の記述のいずれかに記載のシステム。
記述13.プロセッサは、異なる光学厚を有する、異なる種類のカバースリップと関連付けられる、個別の最適化された点広がり関数をメモリ内に記憶する、上記の記述のいずれかに記載のシステム。
記述14.プロセッサはさらに、サンプル画像に関して、サンプルカバースリップから変位された位置z1から撮影された画像を取り出し、位置z1と関連付けられる球面収差を確認し、それぞれが位置z1から変位された、異なる高さと関連付けられる、異なる球面収差を有する、選択可能な点広がり関数のセットを取り出し、選択可能な点広がり関数のセットから、確認された球面収差と関連付けられる始点広がり関数を選択し、始点広がり関数を使用して、位置z1においてサンプル画像を逆畳み込みするように構成される、上記の記述のいずれかに記載のシステム。
記述15.プロセッサはさらに、サンプルカバースリップから変位された第1の位置z1において撮影された第1のサンプル画像を取り出し、第1の位置z1において第1のサンプル画像からのアーチファクトを低減させるための第1の計算された点広がり関数を決定し、第1の位置z1よりもサンプルカバースリップから遠くに除去された第2の位置z2において撮影された、第2の画像を取り出し、逆畳み込みにおける始点広がり関数として、第1の計算された点広がり関数を使用し、第2の位置z2において撮影された、第2のサンプル画像からのアーチファクトを低減させるための第2の計算された点広がり関数を決定するように構成される、上記の記述のいずれかに記載のシステム。
記述16.光学検出器への光学経路内に軸外開口をさらに備える、上記の記述のいずれかに記載のシステム。
記述17.光源から対物レンズを通してサンプルカバースリップまたは較正カバースリップ上に光を指向するための、対物レンズの真下に配置される、ビーム分割器をさらに備える、上記の記述のいずれかに記載のシステム。
記述18.光学撮像システムであって、対物レンズと、a)サンプルを保持するためのサンプルカバースリップまたはb)較正カバースリップの上部表面を対物レンズの焦点面に位置付けるように構成される、サンプルステージと、少なくともa)サンプルカバースリップ上のサンプルのサンプル画像、b)対物レンズの焦点面から較正カバースリップを通して後方反射される光からの基準画像、およびc)対物レンズの焦点面からサンプルカバースリップを通して後方反射される光からの検査画像(例えば、初期試験画像)を捕捉するように構成される、光学検出器と、基準画像から基準画像データを取り出し、検査画像から検査画像データを取り出し、対物レンズおよびカバースリップに関する初期の点広がり関数として、基準画像データを使用して、検査画像データを逆畳み込みし、検査画像データの少なくとも1つの逆畳み込みを通して、対物レンズと、サンプルカバースリップを含む、使用中の他の光学コンポーネントとのための計算された点広がり関数と関連付けられる、逆畳み込みされた試験画像を生成し、検査画像データの逆畳み込みから計算された点広がり関数を使用して、サンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去するようにプログラムされる、プロセッサとを備える、光学撮像システム。
記述19.プロセッサは、サンプルカバースリップと関連付けられる最適化された点広がり関数を生成するための初期の点広がり関数として、基準画像データを利用する、記述18に記載のシステム。
記述20.サンプルを撮像するためのコンピュータ化された方法であって、サンプルを保持するサンプルカバースリップの真下に配置される対物レンズを使用して、サンプルのサンプル画像を捕捉するステップと、較正カバースリップから取得される、基準画像データを取得するステップと、対物レンズの焦点面においてサンプルカバースリップの上部表面から反射される光から取得される、検査画像データを捕捉するステップと、基準画像データおよび検査画像データを処理し、(検査画像データの逆畳み込みを介して)対物レンズおよび使用中の他の光学コンポーネントと関連付けられる、計算された点広がり関数を生成するステップと、計算された点広がり関数を使用してサンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去するステップとを含む、コンピュータ化された方法。本方法は、記述1-19に記載の光学撮像システムのコンポーネントのうちのいずれかを用いて実施されることができる。
記述21.コンピュータ可読媒体であって、コンピュータによって実行されると、これに、サンプルを保持するサンプルカバースリップの真下に配置される対物レンズを使用して、サンプルのサンプル画像を捕捉する方法ステップと、較正カバースリップから取得される、基準画像データを取得する方法ステップと、対物レンズの焦点面においてサンプルカバースリップの上部表面から反射される光から取得される、検査画像データを捕捉する方法ステップと、基準画像データおよび検査画像データを処理し、(検査画像データの逆畳み込みを介して)対物レンズおよび使用中の他の光学コンポーネントと関連付けられる、計算された点広がり関数を生成する方法ステップと、計算された点広がり関数を使用してサンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去する方法ステップとを実施させる命令を記憶する、コンピュータ可読媒体。本コンピュータ可読媒体は、例えば、コントローラ220および/またはプロセッサ220aまたはコントローラ220および/またはプロセッサ220aと通信する他の類似のコンピューティングデバイス内に記憶されることができる。
記述22.サンプルを撮像するための方法であって、サンプル画像を捕捉するステップと、標準基準プレートの表面から反射される光から取得される、基準画像データを捕捉するステップと、サンプル保持器の表面から反射される光から取得される、検査画像データを捕捉するステップと、基準画像データおよび検査画像データを処理し、使用中の光学コンポーネントと関連付けられる、最適化された(または計算された)点広がり関数を生成するステップと、最適化された点広がり関数を使用してサンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去するステップとを含む、方法。本方法は、記述1-19に記載の光学撮像システムのコンポーネントのうちのいずれかを用いて実施されることができる。
記述23.コンピュータ可読媒体であって、コンピュータによって実行されると、これに、サンプル画像を捕捉する方法ステップと、標準基準プレートの表面から反射された光から取得された基準画像データを捕捉する方法ステップと、サンプル保持器の表面から反射される光から取得される、検査画像データを捕捉する方法ステップと、基準画像データおよび検査画像データを処理し、使用中の光学コンポーネントと関連付けられる、最適化された(または計算された)点広がり関数を生成する方法ステップと、最適化された点広がり関数を使用してサンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去する方法ステップとを実施させる命令を記憶する、コンピュータ可読媒体。本コンピュータ可読媒体は、例えば、コントローラ220および/またはプロセッサ220aまたはコントローラ220および/またはプロセッサ220aと通信する他の類似のコンピューティングデバイス内に記憶されることができる。
記述24.光学撮像システムであって、サンプルのサンプル画像を捕捉するための手段と、較正カバースリップから取得される、基準画像データを取得するための手段と、サンプルカバースリップの上部表面から反射された光から取得された検査画像データを捕捉するための手段と、基準画像データおよび検査画像データを処理し、(検査画像データの逆畳み込みを介して)対物レンズおよび使用中の他の光学コンポーネントと関連付けられる、計算された点広がり関数を生成するための手段と、計算された点広がり関数を使用してサンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去するための手段とを備える、光学撮像システム。
記述25.光学撮像システムであって、サンプル画像を捕捉するための手段と、標準基準プレートの表面から反射された光から取得される、基準画像データを捕捉するための手段と、サンプル保持器の表面から反射された光から取得される、検査画像データを捕捉するための手段と、基準画像データおよび検査画像データを処理し、使用中の光学コンポーネントと関連付けられる、最適化された(または計算された)点広がり関数を生成するための手段と、最適化された点広がり関数を使用してサンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去するための手段とを備える、光学撮像システム。
記述26.光学撮像システムであって、対物レンズと、a)サンプルを保持するためのサンプルカバースリップまたはb)較正カバースリップの上部表面を対物レンズの焦点面に位置付けるように構成される、サンプルステージと、少なくともa)サンプルカバースリップ上のサンプルのサンプル画像、b)対物レンズの焦点面から較正カバースリップを通して後方反射される光からの基準画像、およびc)対物レンズの焦点面からサンプルカバースリップを通して後方反射される光からの検査画像(例えば、初期検査画像)を捕捉するための手段と、逆畳み込みのための初期の点広がり関数として基準画像を使用した、検査画像の少なくとも1つの逆畳み込みから取得される計算された点広がり関数を使用して、サンプル画像を逆畳み込みするための手段とを備える、光学撮像システム。
記述27.光学撮像システムであって、サンプルのサンプル画像を捕捉するための手段と、サンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去するための手段とを備え、逆畳み込みするための手段は、サンプル画像に関して、サンプルカバースリップから変位された位置z1から撮影された画像を取り出し、位置z1と関連付けられる球面収差を確認し、それぞれがz1から変位された異なる高さと関連付けられる、異なる球面収差を有する、選択可能な点広がり関数のセットを取り出し、選択可能な点広がり関数のセットから、確認された球面収差と関連付けられる始点広がり関数を選択し、始点広がり関数を使用して、位置z1においてサンプル画像を逆畳み込みする、光学撮像システム。
記述28.光学撮像システムであって、サンプルのサンプル画像を捕捉するための手段と、サンプル画像を逆畳み込みし、それによって、サンプル画像からのアーチファクトを低減または除去するための手段とを備え、逆畳み込みするための手段は、サンプルカバースリップから変位された第1の位置z1において撮影された第1のサンプル画像を取り出し、第1の計算された点広がり関数を決定し、z1における第1のサンプル画像からのアーチファクトを低減させ、z1よりもサンプルカバースリップから遠くに除去された第2の位置z2において撮影された、第2の画像を取り出し、逆畳み込みにおける始点広がり関数として第1の計算された点広がり関数を使用して、z2における第2のサンプル画像からのアーチファクトを低減させるための第2の計算された点広がり関数を決定する、光学撮像システム。
本技術の種々の側面または詳細が、本技術の範囲から逸脱することなく変更され得ることを理解されたい。さらに、前述の説明は、例証の目的のためにすぎず、限定の目的のためのものではなく、本技術は、請求項によって定義される。
Claims (20)
- 光学撮像システムであって、
サンプルカバースリップの上部表面上で撮像されるべきサンプルを保持するように構成されるサンプルステージと、
前記サンプルステージの真下に配置され、前記サンプルカバースリップの前記上部表面上で前記サンプルを撮像するように構成される対物レンズと、
前記サンプルカバースリップ上で少なくとも前記サンプルのサンプル画像を捕捉するように構成される光学検出器と、
プロセッサであって、前記プロセッサは、
較正カバースリップから捕捉された基準画像から基準画像データを取り出すことと、
前記対物レンズの焦点面において前記サンプルカバースリップの上部表面から反射された光から捕捉された検査画像から検査画像データを取り出すことと、
前記基準画像データおよび前記検査画像データを処理し、前記検査画像データの逆畳み込みを介して、前記対物レンズおよび使用中の他の光学コンポーネントと関連付けられる計算された点広がり関数を生成することと、
前記計算された点広がり関数を使用して前記サンプル画像を逆畳み込みし、それによって、前記サンプル画像からのアーチファクトを低減させることと
を行うようにプログラムされる、プロセッサと
を備える、光学撮像システム。 - 前記プロセッサは、前記検査画像データのブラインド逆畳み込みを実施し、前記計算された点広がり関数を決定するようにプログラムされる、請求項1に記載のシステム。
- 前記プロセッサは、
前記計算された点広がり関数に関して、前記逆畳み込みされた画像内の改良が漸進的改良になるまで、前記検査画像の繰り返される逆畳み込み、およびa)前記検査画像の逆畳み込みされた画像とb)前記基準画像との繰り返される比較によって、前記サンプル画像の画質を改良するための最適化された点広がり関数を決定するようにプログラムされる、請求項1-2のいずれかに記載のシステム。 - 前記プロセッサは、前記検査画像の連続する逆畳み込みの後に漸進的にのみ改良されて取得されるスポットサイズ、スポット形状、スポット強度、およびスポット場所のうちの少なくとも1つの基準に基づいて、前記最適化された点広がり関数を決定するようにプログラムされる、請求項3に記載のシステム。
- 前記プロセッサは、連続する逆畳み込みされた画像内の改良が、漸進的改良になるまで、前記検査画像の繰り返される逆畳み込み、およびa)前記検査画像の逆畳み込みされた画像とb)較正された基準画像との繰り返される比較によって、前記最適化された点広がり関数を決定するようにプログラムされる、請求項3に記載のシステム。
- 光源をさらに備え、前記光源は、前記検査画像のための、または前記基準画像のための前記焦点面に集束されるべき光の投影点を提供する、請求項1-5のいずれかに記載のシステム。
- コントローラをさらに備え、前記コントローラは、a)前記カバースリップに対する前記対物レンズの垂直変位、b)前記カバースリップに対する前記対物レンズの側方変位、c)前記光学検出器の露光持続時間、d)前記サンプルを照明する前記光源の強度、e)光学経路の中への光学フィルタの挿入、f)前記光学経路内での軸外開口の位置付け、およびg)自動焦点調節のうちの少なくとも1つを制御するように構成される、請求項6に記載のシステム。
- 前記コントローラは、前記光源からの光を前記対物レンズの前記焦点面に集束させるために、前記対物レンズの位置および前記サンプルステージの位置のうちの少なくとも一方を制御するように構成される、請求項7に記載のシステム。
- 前記コントローラの制御下で、前記光学検出器は、前記サンプルカバースリップからの複数のサンプル画像を異なる側方位置において捕捉し、
前記コントローラの制御下で、前記光学検出器は、前記較正カバースリップからの複数の較正された基準画像を異なる側方位置において捕捉し、
前記コントローラの制御下で、前記光学検出器は、前記対物レンズの前記焦点面から前記サンプルカバースリップを通して後方反射される光からの複数の検査画像を、前記異なる側方位置において捕捉し、
前記プロセッサは、側方位置毎に、個別の計算された点広がり関数と関連付けられる個別の逆畳み込みされた検査画像を生成し、
前記プロセッサは、側方位置毎に、前記個別の計算された点広がり関数を使用して、前記複数のサンプル画像を逆畳み込みし、それによって、前記複数のサンプル画像からのアーチファクトを低減させる、
請求項8に記載のシステム。 - 前記コントローラの制御下で、前記光学検出器は、異なるサンプルカバースリップから、複数のサンプル画像を捕捉し、
前記コントローラの制御下で、前記光学検出器は、複数の較正カバースリップから、それぞれ、前記異なるサンプルカバースリップと関連付けられる複数の較正された基準画像を捕捉し、
前記コントローラの制御下で、前記光学検出器は、前記異なるサンプルカバースリップから、前記異なるサンプルカバースリップを通して後方反射される光から複数の検査画像を捕捉し、
前記プロセッサは、サンプルカバースリップ毎に、個別の計算された点広がり関数と関連付けられる個別の逆畳み込みされた検査画像を生成し、
前記プロセッサは、カバースリップ毎に、前記個別の計算された点広がり関数を使用して、前記複数のサンプル画像を逆畳み込みし、それによって、前記複数のサンプル画像からのアーチファクトを低減させる、
請求項8に記載のシステム。 - 前記サンプルカバースリップに起因する光学収差を補償する補正カラーをさらに備える、請求項1-10のいずれかに記載のシステム。
- 前記プロセッサは、個別の標準的厚さを有する複数のカバースリップの個別の最適化された点広がり関数をメモリ内に記憶するように構成される、請求項1-11のいずれかに記載のシステム。
- 前記プロセッサは、異なる光学厚を有する異なる種類のカバースリップと関連付けられる個別の最適化された点広がり関数をメモリ内に記憶する、請求項1-12のいずれかに記載のシステム。
- 前記プロセッサはさらに、
前記サンプル画像に関して、前記サンプルカバースリップから変位された位置z1から撮影された画像を取り出すことと、
前記位置z1と関連付けられる球面収差を確認することと、
それぞれが前記位置z1と関連付けられる異なる球面収差を有する選択可能な点広がり関数のセットを取り出すことと、
前記選択可能な点広がり関数のセットから前記確認された球面収差と関連付けられる始点広がり関数を選択することと、
前記始点広がり関数を使用して、位置z1において前記サンプル画像を逆畳み込みすることと
を行うように構成される、請求項1-13のいずれかに記載のシステム。 - 前記プロセッサはさらに、
前記サンプルカバースリップから変位された第1の位置z1において撮影された第1のサンプル画像を取り出すことと、
第1の位置z1において前記第1のサンプル画像からのアーチファクトを低減させるための第1の計算された点広がり関数を決定することと、
前記第1の位置z1よりも前記サンプルカバースリップから遠くに除去された第2の位置z2において撮影された、第2の画像を取り出すことと、
逆畳み込みにおける始点広がり関数として、前記第1の計算された点広がり関数を使用し、前記第2の位置z2において撮影された前記第2のサンプル画像からのアーチファクトを低減させるための第2の計算された点広がり関数を決定することと
を行うように構成される、請求項1-14のいずれかに記載のシステム。 - 前記光学検出器への光学経路内に軸外開口をさらに備える、請求項1-15のいずれかに記載のシステム。
- 光源から前記対物レンズを通して前記サンプルカバースリップまたは前記較正カバースリップ上に光を指向するための前記対物レンズの真下に配置されるビーム分割器をさらに備える、請求項1-16のいずれかに記載のシステム。
- 光学撮像システムであって、
対物レンズと、
サンプルステージであって、前記サンプルステージは、a)サンプルを保持するためのサンプルカバースリップまたはb)較正カバースリップの上部表面を前記対物レンズの焦点面に位置付けるように構成される、サンプルステージと、
光学検出器であって、前記光学検出器は、少なくともa)前記サンプルカバースリップ上の前記サンプルのサンプル画像、b)前記対物レンズの前記焦点面から前記較正カバースリップを通して後方反射される光からの基準画像、およびc)前記対物レンズの前記焦点面から前記サンプルカバースリップを通して後方反射される光からの検査画像を捕捉するように構成される、光学検出器と、
プロセッサであって、前記プロセッサは、
前記基準画像から基準画像データを取り出すことと、
前記検査画像から検査画像データを取り出すことと、
前記対物レンズおよび前記カバースリップに関する初期の点広がり関数として、前記基準画像データを使用して、前記検査画像データを逆畳み込みすることと、
前記検査画像データの少なくとも1つの逆畳み込みを通して、前記対物レンズと、前記サンプルカバースリップを含む使用中の他の光学コンポーネントとのための計算された点広がり関数を生成することと、
前記検査画像データの前記逆畳み込みから前記計算された点広がり関数を使用して、前記サンプル画像を逆畳み込みし、それによって、前記サンプル画像からのアーチファクトを低減させることと
を行うようにプログラムされる、プロセッサと
を備える、光学撮像システム。 - 前記プロセッサは、前記サンプルカバースリップと関連付けられる最適化された点広がり関数を生成するための前記初期の点広がり関数として、前記基準画像データを利用する、請求項18に記載のシステム。
- サンプルを撮像するためのコンピュータ化された方法であって、
前記サンプルを保持するサンプルカバースリップの真下に配置される対物レンズを使用して、前記サンプルのサンプル画像を捕捉することと、
較正カバースリップから取得される基準画像データを取得することと、
前記対物レンズの焦点面において前記サンプルカバースリップの上部表面から反射される光から取得される検査画像データを捕捉することと、
前記基準画像データおよび前記検査画像データを処理し、前記検査画像データの逆畳み込みを介して、前記対物レンズおよび使用中の他の光学コンポーネントと関連付けられる計算された点広がり関数を生成することと、
前記計算された点広がり関数を使用して前記サンプル画像を逆畳み込みし、それによって、前記サンプル画像からのアーチファクトを低減させることと
を含む、コンピュータ化された方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163134033P | 2021-01-05 | 2021-01-05 | |
US63/134,033 | 2021-01-05 | ||
PCT/US2022/011324 WO2022150396A1 (en) | 2021-01-05 | 2022-01-05 | Methods and systems to compensate for substrate thickness error |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024501730A true JP2024501730A (ja) | 2024-01-15 |
Family
ID=80123501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023540731A Pending JP2024501730A (ja) | 2021-01-05 | 2022-01-05 | 基板厚誤差を補償するための方法およびシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240069322A1 (ja) |
EP (1) | EP4275088A1 (ja) |
JP (1) | JP2024501730A (ja) |
CN (1) | CN117120907A (ja) |
WO (1) | WO2022150396A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7602989B2 (en) * | 2004-05-26 | 2009-10-13 | Biggs David S C | Realtime 2D deconvolution system and method |
CA2676158A1 (en) | 2007-02-09 | 2008-08-21 | Ge Healthcare Bio-Sciences Corp. | System and method for adjusting the spherical aberration of objective lenses |
JP2008276070A (ja) | 2007-05-02 | 2008-11-13 | Olympus Corp | 拡大撮像装置 |
JP6411763B2 (ja) | 2013-07-18 | 2018-10-24 | オリンパス株式会社 | 顕微鏡システムおよび対物レンズユニット |
JP6391328B2 (ja) | 2014-07-03 | 2018-09-19 | オリンパス株式会社 | 顕微鏡システムおよび補正環操作装置 |
CN110111392B (zh) * | 2018-11-09 | 2021-02-02 | 哈尔滨工业大学(深圳) | 一种基于纳米颗粒标定的高分辨光学成像方法 |
-
2022
- 2022-01-05 WO PCT/US2022/011324 patent/WO2022150396A1/en active Application Filing
- 2022-01-05 EP EP22701760.5A patent/EP4275088A1/en active Pending
- 2022-01-05 US US18/259,817 patent/US20240069322A1/en active Pending
- 2022-01-05 CN CN202280012070.1A patent/CN117120907A/zh active Pending
- 2022-01-05 JP JP2023540731A patent/JP2024501730A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4275088A1 (en) | 2023-11-15 |
US20240069322A1 (en) | 2024-02-29 |
WO2022150396A1 (en) | 2022-07-14 |
CN117120907A (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6158197B2 (ja) | 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 | |
US8314837B2 (en) | System and method for imaging with enhanced depth of field | |
US20110090327A1 (en) | System and method for imaging with enhanced depth of field | |
US11624901B2 (en) | Self-calibrating and directional focusing systems and methods for infinity corrected microscopes | |
CN110018559B (zh) | 确定显微镜的束路径中的样品保持件的厚度的方法 | |
US10823936B2 (en) | Real-time autofocus focusing algorithm | |
JP5651423B2 (ja) | 被写界深度が向上した撮像システム及び撮像方法 | |
US20150355446A1 (en) | Method for the microscope imaging of samples adhering to bottoms of fluid filled wells of a microtiter plate | |
JP2020536279A (ja) | スライド在庫調べおよび再挿入システム | |
US11445081B2 (en) | Slide rack determination system | |
US20240064400A1 (en) | Real-time focusing in a slide-scanning system | |
JP2024501730A (ja) | 基板厚誤差を補償するための方法およびシステム | |
US20230258918A1 (en) | Digital microscope with artificial intelligence based imaging |