JP6984065B2 - 構造化照明パラメータの予測 - Google Patents

Description

関連出願の相互参照

本出願は、2018年6月29日に出願され、発明の名称が「構造化照明パラメータの予測」
である、米国仮特許出願第62/692,303号の利益を主張する。

構造化照明顕微鏡法(SIM)は空間的に構造化された(すなわち、パターン化された)光を
用いて試料を撮像し、顕微鏡の横方向分解能を2倍以上増大できる技術を表現する。ある
例では、試料の撮像中に、試料の干渉縞パターンの3つの画像が種々のパターン位相(例え
ば、0°、120°及び240°)で取得され、その結果、試料上の各箇所は一定範囲の照度に曝
され、その行為はパターンの配向を、光軸を中心に3つの別々の角度(例えば、0°、60°
及び120°)に回転させることによって繰り返される。捕捉された画像(例えば、9つの画像
)は拡張された空間周波数帯域幅を有する単一の画像に組み立てられてもよく、これは実
空間に再変換されて、従来の顕微鏡によって捕捉されたものよりも高い分解能を有する画
像を生成してもよい。

現在のSIMシステムの幾つかの実施形態では、直線偏光ビームが撮像される試料上で、
結み合わされ、正弦波強度変動を有する干渉縞模様として投影され得る2つ以上の別々の
次数にビームを分割する光ビームスプリッタを通って方向付けられる。回折格子は、高い
コヒーレンス度と安定した伝搬角度を持つビームを生成できるビームスプリッタの例であ
る。このような2つのビームを組み合わせるときに、それらの間の干渉は均一で規則的に
繰り返される縞模様を作り出すことができ、そこでは、間隔は干渉ビーム間の角度を含む
要因によって決定される。

拡大された空間周波数帯域幅を有する単一画像への画像の捕捉および/またはその後の
組立てまたは再構成中に、以下の構造化照明パラメータ、すなわち、隣接する縞間の間隔
(すなわち、縞模様の周波数)、構造化照明パターンの位相または角度、および照明された
試料に対する縞模様の配向を考慮する必要があり得る。理想的な撮像システムでは、機械
的不安定性および熱的変動のような要因に左右されず、これらのパラメータの各々は時間
の経過とともにドリフトまたはさもなければ変化せず、所与の画像サンプルに関連する正
確なSIM周波数、位相、および配向パラメータは既知であろう。しかしながら、励起ビー
ム経路の機械的不安定性および/または撮像された試料の熱膨張/収縮などの要因のために
、これらのパラメータは、時間とともにドリフトするか、そうでなければ変化し得る。

このように、SIM撮像システムは、構造化された照明パラメータを推定して、それらの
経時的な変動を考慮する必要がある場合がある。多くのSIM撮像システムはリアルタイム
でSIM画像処理を実行しない(例えば、オフラインで取り込まれた画像を処理する)ので、
そのようなSIMシステムは、SIM画像を処理してその画像の構造化照明パラメータを推定す
るためにかなりの量の計算時間を費やすことがある。

本開示の実施形態は、構造化照明システムによって取り込まれた構造化照明画像から捕
捉された構造化照明パラメータの推定値を使用して、時間点、空間、および/または温度
における特定の点について構造化照明パラメータを予測することを対象とする。

一例では、方法は、構造化照明システムを使用して、試料の第１画像を捕捉するステッ
プと、コンピューティングデバイスを使用して、少なくとも捕捉された第１画像を用いて
第１構造化照明パラメータを推定するステップと、構造化照明システムを使用して、試料
の第２画像を捕捉するステップと、コンピューティングデバイスを使用して、少なくとも
捕捉された第２画像を用いて第２構造化照明パラメータを推定するステップと、コンピュ
ーティングデバイスを使用して、少なくとも第１構造化照明パラメータ又は第２構造化照
明パラメータを用いて、第３画像に対応する第３構造化照明パラメータを予測するステッ
プと、を含む。第１構造化照明パラメータ、第２構造化照明パラメータ及び第３構造化照
明パラメータのそれぞれは、位相、周波数、配向又は変調次数を含むことができる。

ある実施形態では、第１画像は、第１時間に捕捉され、第２画像は、第１時間の後の第
２時間に捕捉され、第３画像は、第１時間と第２時間との間の第３時間に捕捉され、第３
構造化照明パラメータは、少なくとも内挿法を用いることによって第３時間に予測される
。内挿法は、コンピューティングデバイスを使用して、第１時間における第１構造化照明
パラメータから、第２時間における第２構造化照明パラメータまでの変化率を決めるステ
ップと、コンピューティングデバイスを使用して、少なくとも決められた変化率を用いて
、第３時間における第３構造化照明パラメータを予測するステップを含むことができる。

ある実施形態では、方法は、コンピューティングデバイスを使用して、少なくとも第３
画像及び第３構造化照明パラメータを用いて高分解能画像を構築するステップを更に含む
。

ある実施形態では、第１画像は、第１時間に捕捉され、第２画像は、第１時間の後の第
２時間に捕捉され、第３画像は、第１時間及び第２時間の両方の前又は後の第３時間に捕
捉され、第３構造化照明パラメータは、少なくとも外挿法を用いることによって第３時間
に予測される。

ある実施形態では、方法は、少なくとも第３構造化照明パラメータを用いて、構造化照
明システムのハードウェアコンポーネントを調整して、第３時間において第３画像を捕捉
する前の構造化照明システムパラメータの変化に対して補償するステップを更に含む。ハ
ードウェアコンポーネントを調整するステップは、構造化照明パターンの位相又は配向を
調整する回転ミラーを調節すること、回折格子を担持し構造化照明パターンの位相又は配
向を調整する並進ステージを調節すること、及び構造化照明パターンの位相又は配向を調
整する試料並進ステージを調節すること、の１つ以上を含むことができる。

ある実施形態では、方法は、構造化照明システムのメモリに、第１構造化照明パラメー
タ、第２構造化照明パラメータ及び第３構造化照明パラメータを記憶するステップと、記
憶される第１構造化照明パラメータ、記憶される第２構造化照明パラメータ、記憶される
第３構造化照明パラメータ、及び構造化照明システムの既知の物性に基づくとともに記憶
される値の１つ以上を用いて、第４画像に対する第４構造化照明パラメータに関する捜索
空間を減少させるステップと、
を更に含む。

ある実施形態では、第３画像に対応する第３構造化照明パラメータを予測するステップ
は、最小二乗適合を少なくとも第１構造化照明パラメータ及び第２構造化照明パラメータ
に適用することを含む。ある実施形態では、第３画像に対応する第３構造化照明パラメー
タを予測するステップは、第２構造化照明パラメータを用いることを含む。

ある実施形態では、試料の第１画像は第１試料温度で捕捉され、第１構造化照明パラメ
ータは第１試料温度で推定され、試料の第２画像は第２試料温度で捕捉され、第２構造化
照明パラメータは第２試料温度で推定され、第３構造化照明パラメータは第３試料温度で
予測される。

ある実施形態では、方法は、試料の第１画像を複数の画像サブセクションに分割するス
テップと、コンピューティングデバイスを使用して、少なくとも複数の画像サブセクショ
ンの第１画像サブセクションを用いて第４構造化照明パラメータを推定するステップと、
コンピューティングデバイスを使用して、少なくとも複数の画像サブセクションの第２画
像サブセクションを用いて第５構造化照明パラメータを推定するステップと、コンピュー
ティングデバイスを使用して、少なくとも第４構造化照明パラメータ又は第５構造化照明
パラメータを用いて、複数の画像サブセクションの第３画像サブセクションに対応する第
６構造化照明パラメータを予測するステップと、を更に含む。

ある実施形態では、試料の第１画像を複数の画像サブセクションに分割するステップと
、コンピューティングデバイスを使用して、少なくとも複数の画像サブセクションの第１
画像サブセクションを用いて第４構造化照明パラメータを推定するステップと、推定され
る第４構造化照明パラメータを、複数の画像サブセクションの第２画像サブセクションの
予測される構造化照明パラメータとして用いるステップと、を更に含む。

ある実施形態では、非一時的なコンピュータ読取可能媒体は、非一時的なコンピュータ
読取可能媒体に記憶される実行可能な命令を有することができ、命令はプロセッサによっ
て実行されるときに、プロセッサに、構造化照明システムを使用して試料の第１画像を捕
捉する動作と、少なくとも捕捉される第１画像を用いて第１構造化照明パラメータを推定
する動作と、構造化照明システムを使用して試料の第２画像を捕捉する動作と、少なくと
も捕捉される第２画像を用いて第２構造化照明パラメータを推定する動作と、少なくとも
第１構造化照明パラメータ又は第２構造化照明パラメータを用いて、第３画像に対応する
第３構造化照明パラメータを予測する動作と、を実施させる。

ある実施形態では、第１画像は、第１試料位置で捕捉され、第２画像は、第２試料位置
で捕捉され、第３画像は、第１試料位置と第２試料位置との間の第３試料位置で捕捉され
、第３構造化照明パラメータは、少なくとも内挿法を用いることによって第３試料位置で
予測される。内挿法は、コンピューティングデバイスを使用して、第１試料位置における
第１構造化照明パラメータから、第２試料位置における第２構造化照明パラメータまでの
変化率を決めるステップと、少なくとも決められた変化率を用いて、第３試料位置におけ
る第３構造化照明パラメータを予測するステップと、を含むことができる。

ある実施形態では、命令はプロセッサによって実行されるときに、プロセッサに、少な
くとも第３画像及び第３構造化照明パラメータを用いて高分解能画像を構築する動作を更
に実施させる。

ある実施形態では、第３試料位置は、第１試料位置及び第２試料位置の後に存在し、
第３構造化照明パラメータは、少なくとも外挿法を用いることによって第３試料位置で
予測される。

ある実施形態では、命令はプロセッサによって実行されるときに、プロセッサに、更に
少なくとも第３構造化照明パラメータを用いて、構造化照明システムのハードウェアコン
ポーネントを、第３試料位置において画像を捕捉する前の、構造化照明パラメータの変化
に対して補償するように調整させる動作を行わせる。

ある実施形態では、命令はプロセッサによって実行されるときに、プロセッサに、構造
化照明システムのメモリに、第１構造化照明パラメータ、第２構造化照明パラメータ及び
第３構造化照明パラメータを記憶する動作と、記憶される第１構造化照明、記憶される第
２構造化照明パラメータ、記憶される第３構造化照明パラメータ、及び構造化照明システ
ムの既知の物性に基づくとともに記憶される値の１つ以上を用いて、第４画像に対する第
４構造化照明パラメータに関する捜索空間を減少させる動作と、を更に実施させる。

ある例では、構造化照明システムは、光を放出する発光体と、発光体が放出する光を分
割して構造化照明パターンを試料の面に投影するビームスプリッタと、プロセッサと、非
一時的なコンピュータ読取可能媒体であり、非一時的なコンピュータ読取可能媒体は、非
一時的なコンピュータ読取可能媒体に記憶される実行可能な命令を有し、命令はプロセッ
サによって実行されるときに、プロセッサに、試料の第１画像を捕捉する動作と、少なく
とも捕捉される第１画像を用いて第１構造化照明パラメータを推定する動作と、試料の第
２画像を捕捉する動作と、少なくとも捕捉される第２画像を用いて第２構造化照明パラメ
ータを推定する動作と、少なくとも第１構造化照明パラメータ又は第２構造化照明パラメ
ータを用いて、第３画像に対応する第３構造化照明パラメータを予測する動作と、
を実施させる、非一時的なコンピュータ読取可能媒体と、を備える。

ある例では、方法は、構造化照明システムを使用して、試料の第１の複数画像を捕捉す
るステップと、コンピューティングデバイスを使用して、少なくとも捕捉される第１の複
数画像を用いて第１構造化照明パラメータを推定するステップと、構造化照明システムを
使用して、試料の第２の複数画像を捕捉するステップと、コンピューティングデバイスを
使用して、少なくとも捕捉される第２の複数画像を用いて第２構造化照明パラメータを推
定するステップと、コンピューティングデバイスを使用して、少なくとも第１構造化照明
パラメータ又は第２構造化照明パラメータを用いて、１つ以上の画像に対応する第３構造
化照明パラメータを予測するステップと、を含む。

開示された技術の他の構成及び態様は、例として、開示された技術の実施形態による構
成を示す添付の図面と併せて、以下の詳細な説明から明らかになるであろう。この概要は
、特許請求の範囲及び均等物によって定められる、本明細書に記載される任意の発明の範
囲を限定することを意図しない。

前述の概念のすべての組み合わせ(そのような概念が相互に矛盾しない限り)は、本明細
書で開示される本発明の主題の一部であると考えられることを理解されたい。特に、本開
示の末尾にある特許請求の範囲の主題のすべての組み合わせは、本明細書に開示される本
発明の主題の一部であると考えられる。

一例において、試料上に一次元構造化照明パターンを投影するSIM撮像システムにおいて経時的に生じ得る周波数の望ましくない変化を示す図である。 一例において、試料上に一次元構造化照明パターンを投影するSIM撮像システムにおいて経時的に生じ得る位相の望ましくない変化を示す図である。 一例において、試料上に一次元構造化照明パターンを投影するSIM撮像システムにおいて経時的に生じ得る配向の望ましくない変化を示す図である。 一例において、本明細書で説明されるいくつかの実施形態による構造化照明パラメータ予測を実施することができるSIM撮像システムを示す図である。 本明細書で説明されるいくつかの実施形態による、構造化照明パラメータ予測を実施することができる2アームSIM撮像システムの例示的な光学構成を示す光学図である。 一例において、構造化光を使用して高解像度画像を生成するために、1つの撮像サイクルの間に、図3のSIM撮像システムの垂直格子および水平格子によって、試料の平面上に投影され得る単純化された照明縞模様を示す図である。 本明細書に記載されるいくつかの実装に従って、構造化照明パラメータ予測を実装することができるデュアル光学回折格子スライドSIM撮像システムの一例の光学構成を示す模式図である。 本明細書に記載されるいくつかの実装に従って、構造化照明パラメータ予測を実装することができるデュアル光学回折格子スライドSIM撮像システムの一例の光学構成を示す模式図である。 一例において、図5A〜5BのSIM撮像システムの第1の回折格子及び第2の回折格子によって、構造化照明撮像サイクルに対する画像捕捉中に試料の平面上に投影することができる簡略化された照明縞模様を示す図である。 一例において、空間(X)および時間(T)において変化する位相パラメータの推定値を示す図である。 一例において、xの関数としてのパラメータの推定変動の傾向を示す図である。 本明細書に記載されるいくつかの実装に従って、その時点の前後で捕捉された画像から得られた構造化照明パラメータの推定値を使用して、特定の時点の構造化照明パラメータを予測するための例示的な内挿法を示す動作フロー図である。 本明細書で説明されるいくつかの実施形態による、ある時点の前に捕捉された2つ以上の画像から取得された構造化照明パラメータの推定値を使用して、特定の時点の構造化照明パラメータを予測するための例示的な外挿法を示す動作フロー図である。 本明細書で説明するいくつかの実施形態による、高分解能画像再構成中に予測構造化照明パラメータを使用して、構造化照明パラメータの経時的な望ましくない変化を補償する例示的な方法を示す動作フロー図である。 本明細書で説明されるいくつかの実施形態による、SIM撮像システムハードウェアコンポーネントの予測構造化照明パラメータ調整を使用して、構造化照明パラメータの経時的な変化を補償する例示的な方法を示す動作フロー図である。 本開示の様々な実施形態と併せて使用することができるコンピューティングコンポーネントの例である。

本開示は、1つ以上の実施形態に従って、以下の図面を参照して詳細に説明される。図
面は、説明のみを目的として提供され、単に例示的な実装を示す。さらに、図を明確にし
、説明を容易にするために、図中の要素は必ずしも一定の縮尺で描かれていないことに留
意されたい。

本明細書に含まれる図面のいくつかは、異なる視角からの開示された技術の様々な実施
形態を示す。添付の説明テキストは「上面」、「底面」、または「側面」図などの図に言
及することができるが、そのような言及は単に説明的なものであり、別段の明示的な記載
がない限り、開示された技術が特定の空間的配向で実施または使用されることを暗示また
は要求するものではない。

図面は、網羅的ではなく、開示された厳密な形態に本開示を限定するものではない。

構造化照明パラメータに言及するために本明細書で使用されるときに、用語「周波数」
は構造化照明パターン(例えば、縞またはグリッドパターン)の縞または線間の間隔に言及
することが意図される。例えば、縞間の間隔がより大きいパターンは、縞間の間隔がより
小さいパターンよりも低い周波数を有することになる。

本明細書で構造化照明パラメータに言及するために使用されるときに、用語「位相」は
、試料を照らす構造化照明パターンの位相を指すことが意図される。例えば、位相は、照
明された試料に対して構造化照明パターンを平行移動させることによって変化させること
ができる。

本明細書で構造化照明パラメータに言及するために使用されるときに、用語「配向」は
構造化照明パターン(例えば、縞または格子パターン)と、パターンによって照明される試
料との間の相対配向を指すことが意図される。例えば、配向は、照明された試料に対して
構造化された照明パターンを回転させることによって変更されてもよい。

本明細書では構造化照明パラメータに言及するために使用されるときに、用語「予測す
る」または「予測している」はパラメータを直接測定することなく、またはパラメータに
対応する捕捉された画像からパラメータを推定することなく、パラメータの値を計算する
ことを意味することが意図される。例えば、構造化照明パターンの位相はt2<t1<t3である
時間t2及びt3において(例えば、捕捉された位相画像から)直接測定又は推定された位相値
間の内挿によって、時間t1において予測されてもよい。別の例として、構造化照明パター
ンの周波数はt2<t3<t1である時間t2およびt3において(例えば、捕捉された位相画像から)
直接測定または推定された周波数値からの外挿によって、時間t1において予測されてもよ
い。

本明細書では回折格子によって回折された光に言及するために使用されるときに、「次
」または「次数」という用語は、建設的干渉のための回折格子の隣接するスリットまたは
構造からの光の経路長差を表す整数波長の数を意味することを意図している。一連の格子
構造または他のビーム分割構造の繰り返し上の入射光ビームの相互作用が、光ビームの一
部を元のビームから予測可能な角度方向に再指向または回折させることができる。「0次
」または「0次最大」という用語が、回折がない回折格子によって放出された中心の明る
い縞を指すことを意図している。「1次」という用語が0次縞のいずれかの側に回折された
2つの明るい縞を指すことを意図しており、経路長差は±1波長である。より高い次数は、
元のビームからより大きな角度に回折される。回折格子の特性を操作して、ビーム強度の
どれだけを様々な次数に向けるかを制御することができる。例えば、±1次の透過を最大
化し、ゼロ次ビームの透過を最小化するために、位相格子を製造することができる。

本明細書では試料を言及するために使用されるときに、用語「特徴部」は、相対位置に
従って他の点または領域から区別され得るパターン内の点または領域を意味することが意
図される。個々の特徴部は、特定の型の1つ以上の分子を含み得る。例えば、特徴は特定
の同一配列を有する単一の標的核酸分子を含むことができ、または特徴部は同じ配列(お
よび/またはその相補的配列)を有するいくつかの核酸分子を含み得る。

本明細書で使用されるとき、用語「xy平面」は、デカルト座標系における直線軸線xお
よびyによって定められる2次元領域を意味することを意図している。検出器および検出器
によって観察される物体に関して使用される場合、領域は、ビーム軸線、または検出器と
検出される物体との間の観察方向に直交するものとしてさらに特定され得る。

本明細書で使用されるとき、用語「z座標」は、xy平面に直交する軸に沿った点、線、
または領域の位置を特定する情報を意味することが意図される。特定の実施形態では、z
軸線が検出器によって観察される物体の領域に直交する。例えば、光学系に対するフォー
カスの方向は、z軸線に沿って指定されてもよい。

本明細書で使用されるとき、用語「光学的に結合される」は、別の要素に直接的または
間接的に光を与えるように適合される1つの要素を指すことが意図される。

上述したように、SIM画像処理のためのパラメータ推定は、経時的な構造化照明パラメ
ータの望ましくない変化を補正するために必要とされ得る。一例として、図1A〜1Cは、規
則的にパターニングされた試料上に一次元構造化照明パターンを投影するSIM撮像システ
ムにおいて、経時的に生じ得る周波数(図1A)、位相(図1B)、および配向(図1C)の望ましく
ない変化を示す。特に、図1Aは周波数シフトの前後に、縞60を有する一次元構造化照明パ
ターンによって照明される特徴部51を有する試料50を示す。任意の周波数シフトの前に、
隣接する縞60は、初期周波数fに対応するPのピッチまたは中心間隔を有する。時間の経過
とともに、システム内の温度変動に伴って、ピッチPが増加または減少することがある。
例えば、熱膨張は、ピッチPをP+ΔP1に増大させ、それに対応して周波数fをf-Δf1に減少
させる。逆に、熱収縮により、ピッチPがP-ΔP1に減少し、それに応じて周波数fがf+Δf2
に増加することがある。

図1Bは位相の変化の前後に、縞60を有する一次元構造化照明パターンによって照明され
た試料50を示す。図示されるように、位相ドリフトの前に、第1の位相状態Φは、試料50
の特徴部51の１列おきに（every second column）完全に照明する縞に対応し得る。時間
の経過と共に、試料50に対する縞60の位置は、全ての位相画像がΔΦだけオフセットされ
るようにシフトすることができる。例えば、SIM撮像システムにおける機械的振動(例えば
、励起ビーム経路内)、回折格子または試料ステージによって使用される平行移動ステー
ジにおける不正確さ、熱的変動、および/または他の要因は、位相における望ましくない
ドリフトを引き起こし得る。位相がΔΦだけドリフトした後、第1の位相状態はΦ+ΔΦに
変化し、縞はもはや特徴部の１つおきの列の中心に来ない。

図1Cは配向の変化の前後に、縞60を有する一次元構造化照明パターンによって照明され
た試料50を示す。図示のように、配向の変化の前に、試料50に対する縞の配向は、完全に
垂直である。時間の経過とともに、配向は、励起ビーム経路の変化、試料の移動、熱的変
動、および/または他の要因などの要因によって変化し得る。配向が角度Δθだけ回転し
た後、縞は試料に対してもはや完全に垂直ではなくなる。

上述のような構造化照明パラメータの変化を正確に考慮するためのSIM撮像プロセス中
のパラメータ推定は、1組のサンプリングされた画像からの画像のアーチファクトのない
正確な再構成を保証するのに役立つ。しかしながら、このようなプロセスは計算的に高価
であることがあり、画像取得後に頻繁に実行される。画像のリアルタイム処理および再構
成、ひいては周波数、位相、配向、および変調順序などのパラメータのリアルタイム推定
を含む時間クリティカルSIM撮像システムの場合、これらの計算要件はデータスループッ
トの損失をもたらすおそれがある(例えば、単位時間当たりに処理されるデータがより少
なくなることがある)。そのようなシステムでは、サンプルが撮像される速度が、構造化
照明パラメータがサンプリングされた画像から直接推定され得る速度を超えることがある
。したがって、複雑さが低く、処理時間が短いパラメータ推定値を生成する方法が必要と
されている。

この目的のために、本明細書に開示される技術の実施は、構造化照明システムによって
捕捉される画像から得られる構造化照明パラメータの推定値を使用して、特定の時点、空
間、および/または温度に関する構造化照明パラメータを予測することを対象とする。特
定の実施態様は構造化照明周波数、位相、配向、および/または変調次数パラメータを予
測することを対象とする。

いくつかの実施形態によれば、構造化照明パラメータは、画像キャプチャから構造化照
明パラメータの推定値を補間することによって、所与の時点、空間、および/または温度
について予測され得る。例えば、第1の周波数は第1のサンプリングされた画像から推定さ
れ、第2の周波数は第2のサンプリングされた画像から推定され、第1の捕捉された画像と
第2の捕捉された画像との間のある時点に対応する周波数(例えば、第1の画像と第2の画像
との間で取得された画像に対する周波数)は第1の捕捉された画像と第2の捕捉された画像
との間の周波数の少なくとも決定された変化率を使用して補間することによって予測され
得る。

いくつかの実施形態によれば、構造化照明パラメータは、2つの画像キャプチャから取
得された構造化照明パラメータの推定値を使用する外挿によって、所与の時点、空間、お
よび/または温度について予測され得る。例えば、第1の配向は第1のサンプリングされた
画像から推定され、第2の配向は第2のサンプリングされた画像から推定され、第1および
第2の捕捉された画像の後のある時点に対応する配向(例えば、第1および第2の画像の後に
取得された第3の画像に対する配向)は第1の捕捉された画像から第2の捕捉された画像への
配向の少なくとも決定された変化率を使用して、外挿によって予測され得る。第2の例と
して、第1の配向は第1のサンプリングされたイメージから推定され、第2の配向は第2のサ
ンプリングされたイメージから推定され、第1および第2の捕捉された画像の後のある時点
に対応する配向(例えば、第1および第2の画像の後に取得された第3の画像に対する配向)
は第2の捕捉された画像からの値を保持することによって予測され得る。

実施形態では、推定および予測された構造化照明パラメータを使用して、予測される他
の構造化照明パラメータの探索空間を狭めることができる。例えば、第1の時点、空間、
および/または温度に対する構造化照明パラメータの推定値が与えられると、第1の時点、
空間、および/または温度に近い第2の時点、空間、および/または温度に対する構造化照
明パラメータの値は、第1の時点、空間、および/または温度における予測値または推定値
を考慮して予測され得る。

実施形態では、推定され予測された構造化照明パラメータがシステムによる後の使用の
ために構造化照明システムのメモリに記憶されてもよい。例えば、予測され推定されたパ
ラメータは、ルックアップテーブルのような履歴ファイルに記憶することができる。メモ
リに記憶される予測パラメータは推定パラメータから決定されてもよく、または構造化照
明システムの物理的特性に基づいて設定されてもよい。例えば、構造化照明システムの公
称グリッド間隔を記憶することができる。その後、記憶されたパラメータを参照して、較
正された画像再構成、構造化照明パラメータの変化を補正するためのフィードバックをハ
ードウェアコンポーネントに提供すること、および追加の構造化照明パラメータを予測す
るときに探索空間を狭めることなどの動作を実行することができる。

構造化照明パラメータを予測するための本明細書で開示される技術の様々な実装を説明
する前に、これらの技術を実装することができる例示的なSIM撮像システムを説明するこ
とが有用である。図2-6は、このような3つの例示的なSIM撮像システムを示す。これらの
システムは主に、一次元照明パターンを生成するSIM撮像システムの文脈で記載されるが
、本明細書に開示される技術はより高い次元の照明パターン(例えば、2次元グリッドパタ
ーン)を生成するSIM撮像システムで実施されてもよいことに留意されたい。

図2は、本明細書で説明されるいくつかの実施形態による構造化照明パラメータ予測を
実施することができる構造化照明顕微鏡(SIM)撮像システム100を示す。例えば、システム
100は、生体資料を撮像するために空間的に構造化された励起光を利用する構造化照明蛍
光顕微鏡システムであってもよい。

図2の例では、発光体150がコリメーションレンズ151によってコリメートされた光線を
出力するように構成されている。コリメートされた光は、光構造化光学アセンブリ155に
よって構造化(パターン化)され、対物レンズ142を通ってダイクロイックミラー160によっ
て試料容器110の試料上に導かれ、この試料容器110は運動ステージ170上に位置決めされ
る。蛍光試料の場合、試料は構造化された励起光に応答して蛍光を発し、得られた光は、
対物レンズ142によって収集され、カメラシステム140のイメージセンサに導かれて、蛍光
を検出する。

光構造化光学アセンブリ155は1つ以上の光回折格子または他のビーム分割要素(例えば
、ビームスプリッタキューブまたは板)を含み、試料容器110の試料上に投影される光のパ
ターン(例えば、フリンジ、典型的には正弦波)を生成する。回折格子は、一次元又は二次
元の透過性格子又は反射格子とすることができる。回折格子は、正弦波振幅格子又は正弦
波位相格子とすることができる。

幾つかの実施形態では、回折格子が構造化された照明パターンの配向を変更するために
回転ステージを利用しない場合がある。他の実装形態では、回折格子が回転ステージ上に
実装されてもよい。いくつかの実施態様では、回折格子が撮像システムの動作中に固定さ
れてもよい(すなわち、回転運動または直線運動を必要としない)。例えば、以下にさらに
説明する特定の実装において、回折格子は互いに垂直に配向した2つの固定された1次元透
過回折格子(例えば、水平回折格子及び垂直回折格子)を含むことができる。

図2の例に図示されるように、光構造化光学アセンブリ155は、0次を含む他のすべての
次数を阻止または最小化しながら、第1次数の回折光線(例えばm = ±1次)を出力する。し
かしながら、代替実施形態では、追加の次数の光を試料上に投影することができる。

各撮像サイクルの間、撮像システム100は、光構造化光学アセンブリ155を利用して、種
々の位相で複数の画像を取得し、縞模様は変調方向に(例えば、x-y平面内で、かつ縞に垂
直に)横方向に変位し、この手順は光軸を中心に(すなわち、試料のx-y平面に対して)パタ
ーン配向を回転することによって、1回以上繰り返される。次いで、捕捉された画像はよ
り高い解像度の画像(例えば、個々の画像の横方向の空間解像度の約2倍を有する画像)を
生成するために、計算によって再構成されてもよい。

システム100では、発光体150がインコヒーレント発光体(例えば、1つ以上の励起ダイオ
ードによって出力される光線を放出する)であってもよく、または1つ以上のレーザまたは
レーザダイオードによって出力される光の発光体などのコヒーレント発光体であってもよ
い。システム100の例に図示されるように、発光体150は、出力される光線を導くための光
ファイバ152を含む。しかしながら、発光体150の他の構成を使用してもよい。マルチチャ
ネル撮像システムにおける構造化照明を利用する実施形態(例えば、光の複数の波長を利
用するマルチチャネル蛍光顕微鏡)では、光ファイバ152が複数の異なる光源(図示せず)に
光学的に結合することができ、各光源は異なる波長の光を発光する。システム100は単一
の発光体150を有するものとして示されているが、いくつかの実施形態では複数の発光体1
50を含むことができる。例えば、複数の発光体が、更に後述する、複数のアームを利用す
る構造化照明撮像システムの場合に含まれてもよい。

いくつかの実施形態では、システム100が構造化ビームの形状および経路を調整するた
めにz軸線に沿って関節運動するレンズ素子を含むことができる管レンズ156を含むことが
できる。例えば、管レンズの構成要素は容器110内の試料のある範囲の試料厚さ(例えば、
異なるカバーガラス厚さ)を占めるために関節運動されてもよい。

システム100の例では、流体送達モジュールまたは装置190が試薬(例えば、蛍光標識さ
れたヌクレオチド、緩衝液、酵素、切断試薬など)の流れを、試料容器110および廃棄バル
ブ120に(およびそれを通して)導き得る。試料容器110は、その上に試料が提供される1つ
以上の基板を含むことができる。例えば、多数の異なる核酸配列を分析するためのシステ
ムの場合、試料容器110はその上にシーケンシングされる核酸が結合し、付着し、又は関
連付けられる1つ以上の基板を含み得る。基板は例えば、ガラス表面、プラスチック表面
、ラテックス、デキストラン、ポリスチレン表面、ポリプロピレン表面、ポリアクリルア
ミドゲル、金表面、およびシリコンウェーハなど、核酸を付着させることができる任意の
不活性基板またはマトリックスを含むことができる。いくつかの用途では、基板が試料容
器110にわたるマトリックス又はアレイに形成される複数個所のチャネル又は他の区域内
にある。システム100はまた、試料容器110内の流体の状態の温度を任意に調節することが
できる温度ステーションアクチュエータ130およびヒーター/クーラー135を含むことがで
きる。

特定の実施形態では、試料容器110は半透明カバープレート、基板、およびそれらの間
に含まれる液体を含むパターンフローセルとして実施することができ、生物学的試料は半
透明カバープレートの内面または基板の内面に配置することができる。フローセルは定め
られたアレイ(例えば、六角形アレイ、矩形アレイなど)にパターニングされた多数(例え
ば、数千、数百万、または数十億)のウェルまたは領域を基板に含んでもよい。各領域は
例えば合成によるシーケンシングを使用して配列決定され得る、DNA、RNA、または別のゲ
ノム物質のような生物学試料のクラスター(例えば、モノクローナルクラスター)を形成し
得る。フローセルはさらに、多数の離間したレーン(例えば、8つのレーン)に分割されて
もよく、各レーンは、クラスタの六角形のアレイを含む。

試料容器110は対物レンズ142に対する試料容器110の移動および位置合わせを提供する
ために、試料ステージ170上に取り付けることができる。試料ステージは3次元のいずれか
で移動することを可能にするために、1つ以上のアクチュエータを有することができる。
例えば、デカルト座標系に関して、アクチュエータを、ステージが対物レンズに対してX
、Y及びZ方向に移動することを可能にするように提供し得る。このことは、試料容器110
上の1つ以上の試料位置が対物レンズ142と光学的に位置合わせされて配置されることを可
能にし得る。対物レンズ142に対する試料ステージ170の移動は、試料ステージ自体、対物
レンズ、撮像システムの他のいくつかの成分、または前記のものの任意の組合せを移動さ
せることによって達成することができる。さらなる実施形態はまた、静止した試料に対し
て撮像システム全体を移動させることを含むことができる。代替的に、試料容器110は、
撮像中に固定されてもよい。

幾つかの実施形態では、フォーカス(z軸線)構成要素175を含み、フォーカス方向(典型
的にはz軸線、またはz方向と呼ばれる)における試料容器110に対する光学部品の位置決め
を制御してもよい。フォーカス要素175は光学ステージ若しくは試料ステージ又はそれら
の両方に物理的に結合される1つ以上のアクチュエータを含むことができ、試料ステージ1
70上の試料容器110を光学要素(例えば、対物レンズ142)に対して移動させて、撮像動作の
ための適切な焦点合わせを提供することができる。例示すると、アクチュエータは、ステ
ージに又はステージとの、例えば機械的、磁気的、流体的若しくは他の取り付けによって
、又は直接的若しくは間接的な接触によって、それぞれのステージに物理的に連結されて
もよい。1つ以上のアクチュエータは試料ステージを同じ平面内に維持しながら(例えば、
光軸に垂直なレベル又は水平姿勢を維持しながら)ステージをz方向に移動させるように構
成され得る。1つ以上のアクチュエータは、ステージを傾斜させるように構成されること
もできる。このことは、例えば、試料容器110がその表面における任意の傾きを考慮して
動的に水平にされ得るように、行われ得る。

撮像されている試料位置で試験試料から発する構造化光は、ダイクロイックミラー160
を介してカメラシステム140の1つ以上の検出器に向けることができる。いくつかの実施形
態では、1つ以上の発光フィルタを有するフィルタスイッチングアセンブリ165を含めるこ
とができ、1つ以上の発光フィルタを使用して、特定の発光波長を通過させ、他の発光波
長をブロック(または反射)することができる。例えば、1つ以上の発光フィルタは、撮像
システムの異なるチャネルの間で切り替えるために使用されてもよい。特定の実施形態に
おいて、発光フィルタは、異なる波長の発光を、カメラシステム140の異なるイメージセ
ンサに向けるダイクロイックミラーとして実装することができる。

カメラシステム140は試料容器110の撮像(例えば、配列決定)を監視および追跡するため
に、1つ以上の画像センサを含み得る。カメラシステム140は例えば、電荷結合素子(CCD)
撮像素子カメラとして実装することができるが、他のイメージセンサ技術(例えば、アク
ティブ画素センサ)を使用することもできる。

カメラシステム140からの出力データ(例えば、画像)は以下にさらに説明するように、
各撮像サイクル中に撮像された画像を再構成して、より高い空間解像度を有する画像を生
成することができるソフトウェアアプリケーションとして実現され得るリアルタイムSIM
撮像コンポーネント191に通信され得る。再構成された画像は、経時的に予測される構造
照明パラメータの変化を考慮に入れることができる。さらに、SIM撮像コンポーネント191
は予測されたSIMパラメータを追跡するために、および/または、事前に推定されたおよび
/または予測されたSIMパラメータが与えられた場合にSIMパラメータの予測を行うために
使用されてもよい。

システム100の種々の光学構成要素を同期させることを含む、構造化照明撮像システム1
00の操作を制御するために、コントローラ195を設けることができる。コントローラは例
えば光構造化光学アセンブリ155の構成(例えば、回折格子の選択及び/又は直線移動)、チ
ューブレンズ156の移動、合焦、ステージ移動、及び撮像動作のようなシステム動作の態
様を制御するように実装することができる。コントローラはまた、システム100のハード
ウェア要素を制御して、構造化照明パラメータの経時変化を補正するように実装されても
よい。例えば、コントローラは、光構造化光学アセンブリ155、運動ステージ170、または
システム100の他の何らかの要素の構成を制御するモータまたは他の装置に制御信号を送
信して、構造化照明位相、周波数、および/または配向の経時的な変化を補正または補償
するように構成されてもよい。実施形態では、これらの信号は、SIM撮像コンポーネント1
91を使用して予測された構造化照明パラメータに従って送信することができる。いくつか
の実施形態では、コントローラ195が異なる時間および/または試料位置に対応する予測お
よび/または推定された構造化照明パラメータを記憶するためのメモリを含むことができ
る。

様々な実装形態では、コントローラ195は、ハードウェア、アルゴリズム(例えば、機械
実行可能命令)、または前記のものの組合せを使用して実装することができる。例えば、
ある実施形態では、コントローラが関連するメモリを有する1つ以上のCPU、GPU、または
プロセッサを含むことができる。別の例として、コントローラは、コンピュータプロセッ
サ、および機械可読命令が格納された非一時的コンピュータ可読媒体など、動作を制御す
るためのハードウェアまたは他の回路を備えることができる。例えば、この回路は、フィ
ールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途向け集積回路(ASIC)、プログ
ラマブル・ロジック・デバイス(PLD)、複合プログラマブル・ロジック・デバイス(CPLD)
、プログラマブル・ロジック・アレイ(PLA)、プログラマブル・アレイ・ロジック（PAL）
または他の類似する処理デバイス若しくは回路の１つ以上を含むことができる。さらに別
の例として、コントローラは、この回路と1つ以上のプロセッサとの組合せを備えること
ができる。

図3は、本明細書で説明されるいくつかの実施形態による構造化照明パラメータ予測を
実施することができる2アームSIM撮像システム200の例示的な光学構成を示す光学図であ
る。システム200の第1のアームは、発光体210Aと、発光体210Aによって出力された光をコ
リメートするための第1の光コリメータ220Aと、光軸に関して第1の配向における回折格子
230Aと、回転ミラー240Aと、第2の光コリメータ250Aとを含む。システム200の第2のアー
ムは、発光体210Bと、発光体210Bによって出力された光をコリメートする第1の光コリメ
ータ220Bと、光軸に対して第2の配向における回折格子230Bと、回転ミラー240Bと、第2の
光コリメータ250Bとを含む。この例では回折格子が図示されているが、他の実施形態では
ビームスプリッタキューブまたはプレートのような他のビーム分割要素を使用して、SIM
撮像システム200の各アームで受け取った光を分割してもよい。

各発光体210A〜210Bはインコヒーレント発光体(例えば、1つ以上の励起ダイオードによ
って出力される光線を放出する)、または1つ以上のレーザまたはレーザダイオードによっ
て出力される発光体などのコヒーレント発光体とすることができる。システム200の例で
は、各発光体210A〜210Bがそれぞれのコリメータ220A〜220Bによってコリメートされた光
ビームを出力する光ファイバである。

いくつかの実施態様では、各光ファイバがレーザなどの対応する光源(図示せず)に光学
的に結合することができる。撮像中、各光ファイバは、ファイバと光源との間の光路内に
配置された高速シャッタ(図示せず)を用いて、又は撮像中にファイバの対応する光源を所
定の周波数でパルス化することによって、オン又はオフに切り替えることができる。いく
つかの実施形態では、各光ファイバは同じ光源に光学的に結合することができる。このよ
うな実施形態では、光源からの光を光ファイバの各々に導くために、ビームスプリッタ又
は他の適切な光学素子を使用することができる。このような例では、各光ファイバは、フ
ァイバとビームスプリッタとの間の光路内に配置された高速シャッタ(図示せず)を使用し
て、オンまたはオフに切り替えることができる。

例示的SIM撮像システム200では、第1のアームが固定垂直格子230Aを含み、第1の配向(
例えば、垂直縞模様)の格子パターンを試料上に投影し、第2のアームは固定水平格子230B
を含み、第2の配向(例えば、水平縞模様)の格子パターンを試料271上に投影する。SIM撮
像システム200の格子は、改良されたシステム速度、信頼性、および再現性を提供し得る
、機械的に回転または平行移動される必要はない。

代替的な実施形態においては、格子230A及び230Bは、格子230A及び230Bによって放射さ
れる光の光路長(従って位相)を変化させるために平行移動させることができるそれぞれの
直線運動ステージ上に実装することができる。ステージの直線運動の運動軸線は試料271
に沿った格子のパターンの平行移動を実現するために、それぞれの格子の配向から垂直で
あってもよく、そうでなければオフセットされていてもよい。

格子230A〜230Bはガラス基板または他の適切な表面に形成された複数の回折素子(例え
ば、平行なスリットまたは溝)を含む透過回折格子であってもよい。格子は、格子材料の
屈折率の周期的変動を提供する位相格子として実装することができる。溝または特徴部の
間隔は適切な角度で光を回折し、SIM撮像システム200の動作のために撮像された試料の最
小分解可能特徴サイズに調整されるように選択され得る。他の実装形態では、グレーティ
ングは反射回折グレーティングであってもよい。

SIM撮像システム200の例では、垂直及び水平パターンが約90度だけオフセットされてい
る。他の実施形態では、格子の他の配向を使用して、約90度のオフセットを生成すること
ができる。例えば、格子は、それらが試料271のxまたはy平面から±45度オフセットされ
た画像を投影するように配向されてもよい。構造化された分解能向上は2つの直交回折格
子(例えば、垂直格子および水平格子)のみを使用して達成され得るので、例示的SIM撮像
システム200の構成は、矩形グリッド上に特徴部を有する規則的にパターン化された試料2
71の場合に特に有利であり得る。

格子230A〜230Bはシステム200の例では入力ビームを多数の次数(例えば、0次、±1次、
±2次など)に回折するように構成され、その±1次を試料271上に投影することができる。
この例に示されるように、垂直格子230Aは平行光ビームを第1次数回折ビーム(±1次)に回
折し、ページの平面上で第1次数を広げ、水平格子230Bは平行光ビームを第1次数回折ビー
ムに回折し、ページの平面の上下(すなわち、ページに垂直な平面内)で当該次数を広げる
。システムの効率を改善するために、0次ビームおよび他のすべての高次ビーム(すなわち
、±2次以上)を遮断する(すなわち、試料271上に投影された照明パターンからフィルタ除
去する)ことができる。例えば、0次ビーム及び高次ビームを遮断するために、各回折格子
の後に光路に次数フィルタ等の図示しないビーム遮断素子を挿入してもよい。幾つかの実
施形態では回折格子230A〜230Bがビームを1次のみに回折するように構成されてもよく、0
次(未回折ビーム)は何らかのビーム遮断素子によって遮断されてもよい。

各アームは格子230の各々によって出力される回折光を位相シフトさせるために、光位
相変調器または移相器240A〜240Bを含む。例えば、構造化撮像の間、各回折ビームの光学
位相は構造化パターンの各縞のピッチ(λ)のある部分(例えば、1/2、1/3、1/4等)だけシ
フトされてもよい。図3の例では、位相変調器240A及び240Bがガルバノメータ又は他の回
転アクチュエータを使用して、各回折ビームの光路長を回転させ変調させることができる
回転窓として実装されている。例えば、窓240Aは垂直軸線の周りを回転して、垂直格子23
0Aによって試料271上に投影される画像を左右にシフトさせてもよく、窓240Bは水平軸線
の周りを回転して、水平格子230Bによって試料271上に投影される画像を上下にシフトさ
せてもよい。

他の実施形態においては、回折光の光路長を変化させる他の位相変調器(例えば、線形
平行移動ステージ、ウェッジ等)を使用してもよい。加えて、光学位相変調器240A〜240B
は回折格子230A〜230Bの後に配置されるように図示されているが、他の実施形態において
、それらは照明システムの他の箇所に配置されてもよい。

代替の実施形態では単一の位相変調器が異なる縞模様に対して2つの異なる方向に動作
されてもよく、または単一の位相変調器は経路長の両方を調整するために単一の動きを使
用してもよい。例えば、穴261を有するミラー260の後に、大きな、回転する光学窓を配置
することができる。この場合、窓240A及び240Bの代わりに大きな窓を用いて、垂直及び水
平回折格子によって出力される回折ビームの両セットの位相を変調することができる。格
子のうちの1つの光軸に対して平行である代わりに、大きな回転窓の回転軸線は大きな窓
の1つの共通の回転軸線に沿った両方向に沿った位相シフトを可能にするために、垂直格
子および水平格子のそれぞれの光軸から45度オフセット(または他の何らかの角度オフセ
ット)されてもよい。幾つかの実施形態では、大きな回転窓が公称ビーム軸線を中心に回
転する楔状光学系によって置き換えられてもよい。

例示的なシステム200では、穴261を有するミラー260が2つのアームを無損失の方法で(
例えば、反射性コーティングにおける小さな吸収以外に、光パワーの著しい損失なしに)
光路内に結合する。ミラー260は、各格子からの回折次数が空間的に分解され、不要な次
数が遮断されるように配置することができる。ミラー260は、第1アームが出力する光の第
１次数に穴261を通過させる。ミラー260は、第2のアームによって出力された光の第1次数
を反射する。したがって、構造化照明パターンは各エミッタをオンまたはオフにすること
によって、または光源の光を光ファイバケーブルに通す光シャッタを開閉することによっ
て、垂直配向(例えば、格子230A)から水平配向(例えば、格子230B)に切り替えることがで
きる。他の実施形態では、構造化照明パターンは光学スイッチを使用して、試料を照らす
アームを変化させることによって切り替えられてもよい。

また、図示される例示的撮像システム200には、チューブレンズ265、半反射ミラー280
、対物レンズ270、およびカメラ290が示されている。例えば、チューブレンズ265は構造
化されたビーム形状および経路を調整するために、z軸線に沿って関節を形成するように
実装されてもよい。半反射ミラー280は各アームから受け取った構造化照明光を対物レン
ズ270内に反射して試料271上まで投影し、試料271によって放射された光(例えば、励起と
は異なる波長で放射される蛍光)をカメラ290上に通過させるためのダイクロイックミラー
であってもよい。

カメラ290からの出力データ(例えば、画像)はリアルタイムSIM撮像構成要素(図示せず)
に通信されてもよく、リアルタイムSIM撮像構成要素はソフトウェアアプリケーションと
して実装されてもよく、ソフトウェアアプリケーションは以下でさらに説明するように、
各撮像サイクル中に捕捉された画像を再構成して、より高い空間分解能を有する画像を生
成してもよい。再構成された画像は、経時的に予測される構造照明パラメータの変化を考
慮に入れることができる。さらに、リアルタイムSIM撮像構成要素は予測されたSIMパラメ
ータを追跡するために、および/または先に推定されたおよび/または予測されたSIMパラ
メータが与えられた場合にSIMパラメータの予測を行うために使用され得る。

システム200の種々の光学構成要素を同期させることを含む、構造化照明撮像システム2
00の動作を制御するために、コントローラ(図示せず)を設けることができる。コントロー
ラは例えば、各光学アームの構成(例えば、位相画像の捕捉中に各光学アームをオン/オフ
すること、位相変調器240A〜240Bの作動)、チューブレンズ265の移動、試料271のステー
ジ移動(いずれかのステージが使用される場合)、および撮像動作などのシステム動作の態
様を制御するように実装することができる。コントローラはまた、システム200のハード
ウェア要素を制御して、構造化照明パラメータの経時変化を補正するように実装されても
よい。例えば、コントローラはシステム100の各光学アームまたは何らかの他の素子の構
成を制御する装置(例えば、位相変調器240A〜240B)に制御信号を送信して、構造化照明位
相、周波数、および/または配向の経時的変化を補正または補償するように構成されても
よい。別の例として、格子230A〜230Bが直線運動ステージ上に実装される場合(例えば、
位相変調器240A〜240Bを使用する代わりに)、コントローラは、直線運動ステージを制御
して位相変化を補正または補償するように構成されてもよい。実施態様では、これらの信
号はSIM撮像コンポーネントを使用して予測された構造化照明パラメータに従って送信す
ることができる。いくつかの実施形態では、コントローラが異なる時間および/または試
料位置に対応する予測および/または推定された構造化照明パラメータを記憶するための
メモリを含むことができる。

簡単にするために、SIM撮像システム200の光学部品は、前記の説明から省略され得るこ
とに留意されたい。さらに、システム200はこの例では単一チャネルシステムとして図示
されているが、他の実装形態では、(例えば、2つの異なる波長で放射する2つの異なるカ
メラおよび光源を使用することによって)マルチチャネルシステムとして実装されてもよ
い。

図4は構造化された光を使用して高分解能画像を作成するために、1つの撮像サイクル中
に、SIM撮像システム200の垂直格子230Aおよび水平格子230Bによって、試料271の平面上
に投影され得る単純化された照明縞模様を示す。この例では、垂直照明配向を有する3つ
の位相画像を垂直格子230Aを用いて捕捉することができ、水平照明配向を有する3つの位
相画像を水平格子230Bを用いて捕捉することができる。各配向について、投影された縞は
1/3λのステップ(例えば、位相変調器230Aまたは230Bを3つの異なる位置に設定すること
によって)で位置を位相シフトして、配向パターンの3つの位相画像を捕捉することができ
る。

各位相画像の捕捉中に、試料によって放射される任意の光をカメラ290によって捕捉す
ることができる。例えば、試料271の異なる特徴部に位置する蛍光色素は蛍光を発し、得
られた光は、対物レンズ270によって収集され、蛍光を検出するためにカメラ290の画像セ
ンサに向けられてもよい。捕捉された6つの画像は、試料全体またはより大きな試料の位
置を撮像するためのものであってもよい。

撮像サイクルの間に全ての画像(この例では6つの画像)が捕捉されると、捕捉された画
像から高分解能画像を構築することができる。例えば、図４に示す６つの画像から高分解
能画像を再構築することができる。適切なアルゴリズムを使用して、これらの様々な画像
を組み合わせて、個々の要素画像のいずれかよりも著しく良好な空間分解能で試料の単一
の画像を合成することができる。

高分解能画像の構築中に、望ましくないシフトまたは構造化照明パラメータ(例えば、
位相、周波数、配向)の変化は開示に従って予測される構造化照明パラメータ(例えば、位
相、周波数、または配向の予測される変化)を使用するために、アルゴリズム的に補償さ
れてもよい。例えば、垂直照明画像及び/又は水平照明画像の位相、配向、及び/又は周波
数のオフセットを補償することができる。

いくつかの実施形態では、SIM撮像システムにおけるこれらの変化を補償するために、
システム200の1つ以上のハードウェア要素を制御することによって、構造化照明パラメー
タの望ましくないシフトまたは変化を、画像キャプチャの前に補償することができる。例
えば、撮像シーケンスの前、および/または撮像シーケンスの画像の捕捉の間で、位相シ
フト素子(例えば、回転ミラー、リニアアクチュエータなど)を調整することによって、各
光学アームに対して位相ドリフトを補償してもよい。いくつかのの実施形態では、ハード
ウェアとアルゴリズム補償の組み合わせが実施されてもよい。

システム200は2つの異なる角度で配向された2つの格子を含む2アーム構造照明撮像シス
テムを示すが、他の実施形態では本明細書に記載される技術が3つ以上のアームを使用す
るシステムで実施されてもよいことに留意されたい。矩形グリッド上に特徴部を有する規
則的にパターン化された試料の場合、分解能の向上は上述したように、2つの直交角度(例
えば、垂直格子および水平格子)のみで達成することができる。一方、他の試料(例えば、
六角形にパターン化された試料)に対する全ての方向における画像分解能向上のために、3
つの格子角度が使用されてもよい。例えば、3アームシステムは3つの発光体及び3つの固
定回折格子(アーム毎に1つ)を含むことができ、ここで、各回折格子はそれぞれのパター
ン配向(例えば、0°パターン、120°パターン、又は240°パターン)を試料上に投影する
ように、システムの光軸の周囲に配向される。このようなシステムでは、穴を有する追加
のミラーを使用して、追加の格子の追加の画像をシステムに無損失で結合することができ
る。あるいは、そのようなシステムが1つ以上の偏光ビームスプリッタを利用して、格子
の各々の画像を結合させてもよい。

図5A〜5Bは、本明細書に記載されるいくつかの実装に従った、構造化照明パラメータ予
測を実施できるデュアル光学回折格子スライドSIM撮像システム500の一例の光学構成を示
す模式図である。例示的システム500では、試料570上に投影される格子パターン(例えば
、パターン位相シフトまたは回転)へのすべての変更は単一の運動軸に沿って運動ステー
ジ530を直線的に平行移動させ、格子531または532を選択し(すなわち、格子の方位を選択
し)、または格子531〜532のうちの1つを位相シフトさせることによって行われてもよい。

システム500は、発光体510(例えば、光源に光学的に結合された光ファイバ)、発光体51
0によって出力された光をコリメートする第1の光コリメータ520(例えば、コリメーション
レンズ)、第1の回折格子531(例えば、水平格子)および第2の回折格子532(例えば、垂直格
子)が取り付けられた直線運動ステージ530、チューブレンズ540、半反射ミラー550(例え
ば、ダイクロイックミラー)、対物レンズ560、試料570、およびカメラ580を含む。簡単に
するために、SIM撮像システム500の光学部品は、図5Aから省略することができる。さらに
、システム500はこの例では単一チャネルシステムとして示されているが、他の実装形態
では、(例えば、2つの異なる波長で放射する2つの異なるカメラおよび光源を使用するこ
とによって)マルチチャネルシステムとして実装されてもよい。

図5Aによって図示されるように、回折格子531(例えば、水平回折格子)は、平行光ビー
ムを(ページの平面上の)1次回折光ビームに回折させてもよい。図5Bによって図示される
ように、回折格子532(例えば、垂直回折格子)は、ビームを1次に(ページの平面の上下に)
回折させてもよい。この構成では単一のエミッタ510(例えば、光ファイバ)および単一の
直線運動ステージを有する単一の光学アームのみが、試料570を撮像するために必要であ
り、これは速度、複雑性およびコストを改善するために、可動システム部品の数を減らす
などのシステム利点を提供し得る。加えて、システム500において、偏光子がないことは
、前述の高い光学効率の利点を提供し得る。構造化された分解能向上は2つの直交格子(例
えば、垂直格子および水平格子)のみを使用して達成され得るので、例示的SIM撮像システ
ム200の構成は、矩形グリッド上に特徴を有する規則的にパターン化された試料570の場合
に特に有利であり得る。

システムの効率を改善するために、各格子によって出力される0次ビームおよび他のす
べての高次回折ビーム(すなわち、±2次以上)を遮断する(すなわち、試料570上に投影さ
れた照明パターンからフィルタ除去する)ことができる。例えば、次数フィルタのような
ビーム遮断要素(図示せず)を、移動ステージ530の後の光路に挿入することができる。幾
つかの実施形態では回折格子531〜532がビームを1次のみに回折するように構成されても
よく、0次(未回折ビーム)は何らかのビーム遮断要素によって遮断されてもよい。

システム500の例では2つの格子が運動軸から約±45°(または約+40°/-50°、約+30°/
-60°等のような、運動軸線からオフセットされた他の何らかの角度)に配置されてもよく
、その結果、位相シフトは単一の直線運動軸線に沿って、各格子531〜532に対して実現さ
れ得る。いくつかの実施形態では、2つの格子が1つの物理的光学素子に組み合わされても
よい。例えば、物理光学素子の一側面は第1の配向における格子パターンを有してもよく
、物理光学素子の隣接側面は第1の配向に直交する第2の配向における格子パターンを有す
る可能性がある。

単一軸直線運動ステージ530は、試料平面に対してＸ軸線に沿って、または試料平面に
対してＹ軸線に沿って移動することを可能にするために、1つ以上のアクチュエータを含
んでもよい。動作中、直線運動ステージ530は、効率的な画像再構成のために正確な照明
パターンを投影するために、十分な走行(例えば、約12〜15mm)および精度(例えば、約0.5
マイクロメートル未満の反復性)を提供してもよい。運動ステージ530が、蛍光顕微鏡など
の自動化撮像システムに利用される実装において、高速動作、最小振動発生、および長い
動作寿命を提供するように構成されてもよい。実施態様では、直線運動ステージ530が交
差ころ軸受、リニアモータ、高精度リニアエンコーダ、および/または他の構成要素を含
むことができる。例えば、モーションステージ530は、コントローラを使用して平行移動
され得る高精度ステッパーまたはピエゾ運動ステージとして実装されてもよい。

カメラ580からの出力データ(例えば、画像)はリアルタイムSIM撮像構成要素(図示せず)
に通信されてもよく、リアルタイムSIM撮像構成要素はソフトウェアアプリケーションと
して実装されてもよく、ソフトウェアアプリケーションは以下でさらに説明するように、
各撮像サイクル中に捕捉される画像を再構成して、より高い空間分解能を有する画像を生
成してもよい。再構成された画像は、経時的に予測される構造照明パラメータの変化を考
慮に入れることができる。さらに、リアルタイムSIM画像構成要素は予測されたSIMパラメ
ータを追跡するために、および/または先に推定されたおよび/または予測されたSIMパラ
メータが与えられた場合にSIMパラメータの予測を行うために使用され得る。

システム500の種々の光学構成要素を同期させることを含む、構造化照明撮像システム5
00の動作を制御するために、コントローラ(図示せず)を設けることができる。コントロー
ラは例えば、直線運動ステージ530の平行移動、チューブレンズ540の移動、試料570のス
テージ移動(いずれかのステージが使用される場合)、および撮像動作などのシステム動作
の態様を制御するように実装することができる。コントローラはまた、装置500のハード
ウェア要素を制御して、構造化照明パラメータの経時変化を補正するように実装されても
よい。例えば、コントローラはデバイス(例えば、直線運動ステージ530)に制御信号を送
信して、構造化された照明位相、周波数、および/または配向の経時的な変化を補正また
は補償するように構成されてもよい。実施形態では、これらの信号はSIM撮像コンポーネ
ントを使用して予測された構造化照明パラメータに従って送信することができる。いくつ
かの実施形態では、コントローラが異なる時間および/または試料位置に対応する予測お
よび/または推定された構造化照明パラメータを記憶するためのメモリを含むことができ
る。

図5A〜5Bの例は構造化照明パラメータ予測を実施することができるデュアル光学回折格
子スライド撮像システムを図示しているが、構造化照明パラメータ予測は、3つ以上の回
折格子を搭載した直線運動アクチュエータを使用するSIM撮像システムにおいて実施する
ことができる。

図6は、構造化照明撮像サイクルに対する画像捕捉中に、デュアル光学回折格子スライ
ドSIM撮像システム500の第1の回折格子および第2の回折格子によって、試料570の平面上
に投影され得る単純化された照明縞模様を図示する。例えば、SIM撮像システム500は、第
1の回折格子531および第2の回折格子532を使用して、図6に示される照明パターンを生成
してもよい。図6の例に図示されるように、2つの回折格子は、試料570の表面に垂直な縞
模様を投影し、直線運動ステージ530の運動軸線から約±45°に配置される。

例えば、第1の回折格子(例えば、回折格子531)は、試料570上に１次の照度縞を投影す
ることができる。試料によって放出された任意の光はカメラ580によって捕捉されてもよ
く、第1のパターン(例えば、+45°パターン)の第1の位相画像が捕捉されて第１位相画像
を生成してもよい。追加の位相シフト画像を捕捉するために、格子によって投影されるパ
ターンは、直線運動ステージを平行移動させることによって位相シフトされてもよい。こ
れらの位相シフト運動が図６のステップ1および2として示されている。位相シフト移動は
、格子上に投影される縞パターンをわずかにシフトさせるために、格子の小さな(例えば
、約3〜5マイクロメートル以下)移動を提供し得る。

回折格子についての全ての位相シフト画像の捕捉に続いて、システム500は直線運動ス
テージ530を平行移動させることによって回折格子を切り替えて、別の回折格子を撮像シ
ステムの光源に光学的に結合させてもよい(例えば、図5Aから図5Bへの移行)。この動きは
、図6の例ではステップ3として示されている。回折格子が変化する場合、直線運動ステー
ジは比較的大きな平行移動(例えば、12〜15mmのオーダー)を提供し得る。

次いで、一連の位相画像を、次の格子について捕捉することができる。例えば、図6に
示すように、第2の回折格子は試料に１次の照明縞を投影することができ、投影された縞
は直線運動ステージ530を平行移動させることによって位置をシフトさせて、格子のパタ
ーンの3つの位相画像を捕捉することができる(例えば、図6のステップ4及び5)。

撮像サイクルの間に全ての画像(この例では6つの画像)が捕捉されると、捕捉された画
像から高分解能画像を構築することができる。例えば、図6に示す6つの画像から高分解能
画像を再構築することができる。適切なアルゴリズムを使用して、これらの様々な画像を
組み合わせて、個々の要素画像のいずれかよりも著しく良好な空間分解能で試料の単一の
画像を合成することができる。

高分解能画像の構築中に、構造化照明パラメータ(例えば、位相、周波数、配向)の望ま
しくないシフトまたは変化は開示に従って予測される構造化照明パラメータ(例えば、位
相、周波数、または配向の予測される変化)を使用するために、アルゴリズム的に補償さ
れてもよい。例えば、垂直照明画像及び/又は水平照明画像の位相、配向、及び/又は周波
数のオフセットを補償することができる。

いくつかの実施形態では、SIM撮像システムにおけるこれらの変化を補償するために、
システム500の1つ以上のハードウェア要素を制御することによって、構造化照明パラメー
タの望ましくないシフトまたは変化を、画像キャプチャの前に補償することができる。例
えば、撮像シーケンスの前及び/又は撮像シーケンスの画像の捕捉の間に、位相ドリフト
は、直線運動ステージ530を並進させることによって補償されてもよい。ある実施形態で
は、ハードウェアとアルゴリズム補償の組み合わせが実施されてもよい。

本明細書で説明される実施形態によれば、構造化照明パラメータは、その時点の前およ
び/または後に捕捉された画像から取得された構造化照明パラメータの推定値を使用して
、特定の時点について予測され得る。例えば、計算リソースの制限はSIM撮像システム(例
えば、システム100、200、または500)が、捕捉された画像から位相、周波数、および/ま
たは配向などの構造化照明パラメータを直接推定することができる速度を制限することが
ある。場合によっては、SIM撮像システムが位相画像毎に構造化照明パラメータを直接推
定又は測定することができ、この場合、構造化照明パラメータを予測する必要がない場合
がある。しかしながら、他の場合には、SIM撮像システムが撮像サイクル毎に1回、又はよ
りまばらに(例えば、3、5、10、50、又は100撮像サイクル毎に)、撮像サイクルの幾つか
の位相画像について構造化照明パラメータを直接推定又は測定することしかできない場合
がある。そのような場合、システムの画像サンプリングレートに追従するために、特定の
時点および/または空間について得られた構造化照明パラメータの直接推定を活用して、
他の時点および/または空間における構造化照明パラメータについての予測を行うことが
有利であり得る。

この重要事項の1つの例を数学的に示すために、参照に対する相関は、構造化照明パラ
メータを推定する1つの方法である。

補正出力=Σ_rc(x)h(x-f) (1)

ここで、h(x)は既知であってもよく、または画像データから導出されてもよい基準であ
り、c(x)は基準に相関する画像データから導出され、fは推定される値(この例では周波数
)である。本開示によれば、他の代替推定技法を利用することができることに留意された
い。

式(1)の例では、ｆのいくつかの仮定値の各々に対して1つの相関出力を生成することが
できる。パラメータ推定値fは、相関の大きさを最大にするfの値として得ることができる
。しかしながら、多くの場合、相関出力を最大にするために、ｆの多数の仮定値を試みる
必要がある。大きな探索空間は計算要件を増大させ、その結果、システムスループットの
低下(すなわち、単位時間当たりに処理されるデータの減少)を引き起こす可能性がある。

この問題を回避するために、以前のｆの推定からの情報を使用して、決定されるべき新
しいｆの値の「近傍」を確認することができる。一例として、空間(X)および時間(T)で変
化する推定値(φ)を示す図7を考える。図7によって図示されるように、φについての初期
値は、Aブロックに対応するXおよびT座標について得られ得る。空間または時間において
推定値がゆっくりと変化すると仮定すると、Aブロックからの推定値(φA)をBブロックま
たはEブロックのいずれかの初期値として使用することができる。より具体的には、Bおよ
びEブロックの探索空間がAブロックから得られるφの値の「近傍」の値に限定されてもよ
い。この手法では、φを識別するのに必要な時間を大幅に短縮することができ、その結果
、単位時間内に処理されるデータ量をそれに応じて増加させることができる。

この概念を拡張するために、推定変動の傾向は、空間(X)次元または時間(T)次元のいず
れかにおいて予測され得る。一例として、図7を考えると、ブロックごとの推定値は空間
次元においてΔφXだけ増大し、時間次元においてΔφTだけ増大する。この観察を考える
と、ブロックBの最初の推定値は図8に示すように、φA+Δφx, として導出することがで
きる。さらに、ブロックEの最初の推定値は、φA+ΔφTとして導出することができる。複
数のブロックからの値を使用するX次元およびT次元の両方における他の予測子も実装する
ことができる。

図9は、構造化照明システムによって捕捉された複数の画像から得られる構造化照明パ
ラメータの推定値を用いて構造化照明を予測するための例示的補間方法900を示す動作フ
ロー図である。実施形態において、方法700はSIM撮像システム(例えば、システム100、20
0、または500)のメモリに記憶された機械可読命令を実行することによって実現されても
よい。

動作910において、第1のSIM画像サンプルを取得することができる。例えば、試料の位
相画像は、第1の時点で捕捉されてもよい。動作920において、構造化照明パラメータは、
捕捉された第1画像を使用して推定されてもよい。例えば、構造化照明位相、周波数、配
向、又は変調次数のうちの任意の1つを推定することができる。推定値は、特定の時点、
空間、および/または温度で得ることができる。

動作930において、第2のSIM画像サンプルを取得することができる。例えば、試料の位
相画像は、第1のSIM画像試料が捕捉される第1の時点の後の第2の時点で捕捉されてもよい
。いくつかの実施形態では、試料の第1の画像および試料の第2の画像が同じ撮像シーケン
ス中に(例えば、より高い分解能の画像に構築される6つの位相画像または9つの位相画像
を生成する撮像シーケンスの一部として)捕捉され得る。他の実施形態では、第1の画像お
よび第2の画像が異なる撮像シーケンス中に捕捉されてもよい。動作940において、構造化
照明パラメータは、捕捉された第2画像を使用して推定されてもよい。例えば、構造化照
明位相、周波数、配向、又は変調次数のうちの任意の1つを推定することができる。推定
値は、特定の時点、空間、および/または温度で得ることができる。

動作950では、少なくとも第1の画像からの構造化照明パラメータの推定値および第2の
画像からの構造化照明の推定値を使用して、第3の画像に対応する構造化照明パラメータ
を予測することができ、第3の画像は第1の画像と第2の画像との間の時点、空間(例えば、
試料位置)、および/または温度(例えば、試料温度)にある。例えば、第3の画像は、第1の
画像の後であるが第2の画像の前に捕捉されていてもよい。別の例として、第3の画像は、
第1の画像と第2の画像との間の位置において、後の時点で捕捉されてもよい。

いくつかの実施形態では、この予測が2つの時点の間の構造化照明パラメータの少なく
とも決定された変化率に基づくことができる。数学的説明として、第1の時間T1および第2
の時間T2について、構造化照明位相がある量ΔφTだけドリフトしたと判定された場合、
位相の変化率(例えば、ドリフト)は、ΔφT/ (T2 - T1)として表すことができる。内挿を
使用して、時間T3に対する位相ドリフトの量を予測することができる。例えば、位相が時
間T1における5度のオフセットから時間T2における15度のオフセットにドリフトした場合
、位相は、これら2つの時間の中間の時間T3において10度のオフセットにドリフトしたと
予測することができる。

方法900は主に、構造化照明パラメータの2つの既知の推定値が与えられた場合に、特定
の時点、空間、および/または温度で構造化照明パラメータを予測するために内挿を適用
する状況に関して説明されるが、方法900は3つ以上の既知の推定値がある場合に拡張され
得ることに留意されたい。このような場合には、構造化照明パラメータを予測するために
、適宜傾向推定機能を使用することができる。例えば、線形傾向推定の場合、時間、空間
、及び/又は温度における特定の点で構造化照明パラメータを補間して予測するために、
既知の推定値に最小二乗適合を適用することができる。いくつかの実施形態では、構造化
照明パラメータの予測が追加の推定値が収集されるにつれて、経時的に更新され得る。さ
らに、方法900は第3の画像に対応するパラメータを予測するために、第1の画像および第2
の画像からの推定値を使用するものとして説明されるが、いくつかの実施形態では2つの
推定値のうちの1つのみが、パラメータを予測するために(たとえば、推定値を保持するこ
とによって)使用され得る。

加えて、方法900は異なる時間における構造化照明パラメータの2つの既知の推定値が与
えられた特定時間における構造化照明パラメータを予測するために内挿を適用する状況で
説明するが、方法900はまた、空間の次元(例えば、撮像された試料の位置またはサブセッ
ト)および温度の次元を考慮するために拡張されてもよい。場合によっては、複数のパラ
メータ(例えば、空間、時間および/または温度)を考慮するジョイント予測が適用されて
もよい。例えば、図7に図示されているように、構造化照明パラメータを予測する際に、
時間及び空間の両方における傾向を考慮することができる。あるいは、単に空間における
構造化照明パラメータの傾向を考慮してもよい。

図10は、2つ以上の画像から得られる構造化照明パラメータの推定値を使用して構造化
照明パラメータを予測するための例示的外挿方法1000を示す動作フロー図である。実施形
態において、方法700がSIM撮像システム(例えば、システム100、200、または500)のメモ
リに記憶された機械可読命令を実行することによって実現されてもよい。

方法1000の動作910〜940は、方法900を参照して上述したように実行することができる
。例えば、構造化照明周波数は、捕捉された画像を使用して、第1の時点及び第2の時点で
推定されてもよい。

動作1050において、第1の画像からの構造化照明パラメータの推定値および第2の画像か
らの構造化照明の推定値を少なくとも使用して、第3の画像に対応する構造化照明パラメ
ータを予測することができ、第3の画像は、時間、空間(例えば、試料位置)、および/また
は温度(例えば、試料温度)における、第1の画像および第2の画像の両方の後の点、または
第1の画像および第2の画像の両方の前の点に存在する。いくつかの実施形態では、この予
測が2つの時点の間の構造化照明パラメータの少なくとも決定された変化率に基づくこと
ができる。数学的説明として、第1の時間T1および第2の時間T2について、構造化照明周波
数が量Δfだけドリフトしたと判定される場合、位相の変化率(例えば、ドリフト)は、Δf
/(T2 - T1)として表すことができる。外挿法を使用して、後の時間T3における周波数ド
リフトの総量を予測することができる。

方法1000は構造化照明パラメータの2つの既知の推定値が与えられた場合に、時間、空
間、および/または温度における特定の点で構造化照明パラメータを予測するために外挿
法を適用する状況に関連して説明されるが、方法900の場合のように、方法1000は3つ以上
の既知の推定値がある場合に拡張され得ることに留意されたい。このような場合には、構
造化照明パラメータを予測するために、適切な傾向推定機能を使用することができる。例
えば、線形傾向推定の場合、構造化照明パラメータを外挿して予測するために、既知の推
定値に最小二乗適合を適用することができる。いくつかの実施形態では、構造化照明パラ
メータの予測が追加の推定値が収集されるにつれて、経時的に更新され得る。

さらに、方法1000は第3の画像に対応するパラメータを予測するために、第1の画像およ
び第2の画像からの推定値を使用するものとして説明されるが、いくつかの実施形態では2
つの推定値のうちの1つのみが、パラメータを予測するために(たとえば、推定値を保持す
ることによって)使用され得る。

加えて、方法1000は方法900の場合のように、異なる時間における構造化照明パラメー
タの2つの既知の推定値が与えられた特定時間における構造化照明パラメータを予測する
ために、外挿法を適用する状況で説明されるが、方法1000はまた、空間および温度のよう
な他の次元を考慮するために拡張されてもよい。

方法900および1000の実施形態では第1の画像を使用して推定された構造化照明パラメー
タ、第2の画像を使用して推定された構造化照明パラメータ、および/または第3の画像に
ついて予測された構造化照明パラメータはSIM撮像システムのメモリに格納され得る。例
えば、推定/予測パラメータは、高分解能画像構築中に、SIM撮像システムハードウェア構
成要素を調整して構造化照明パラメータ変化を補償し、及び/又は時間、空間、及び/又は
温度における他の点での他の構造化照明パラメータの予測を容易にする間に参照されるル
ックアップテーブルなどの履歴ファイルに格納されてもよい。実施態様では、各推定また
は予測に対応する時間、試料位置、および試料温度を記憶することができる。

方法900および1000の実施形態では、構造化照明パラメータを予測するために使用され
る第1の推定値および第2の推定値が複数の画像を使用して生成され得る。したがって、撮
像シーケンスにおける第1の画像セットからの1つ以上(例えば、1、2、3、4、5、6など)の
画像を使用して、第1の推定値を生成することができ、撮像シーケンスにおける第2の画像
セットからの1つ以上(例えば、1、2、3、4、5)の画像を使用して、第2の推定値を生成す
ることができる。

図11は構造化照明パラメータの経時的な望ましくない変化を補償するために、高分解能
画像再構成中に予測される構造化照明パラメータを使用する例示的な方法1100を示す動作
フロー図である。実施形態において、方法1100がSIM撮像システム(例えば、システム100
、200、または500)のメモリに記憶された機械可読命令を実行することによって実現され
てもよい。

動作1110において、構造化照明パラメータは内挿法を使用して、捕捉された画像(例え
ば、位相画像)について予測されてもよい。例えば、構造化照明パラメータは、方法900を
実施することによって、捕捉される画像に対応する時点で予測されてもよい。動作1120で
は、高分解能画像構築が捕捉画像(例えば、位相画像)および他の捕捉画像(例えば、他の
捕捉位相画像)を使用して実行されてもよい。高分解能画像再構成中に、予測された構造
化照明パラメータを使用して、時間、空間、および/または温度の次元にわたる構造化照
明パラメータの変化を補償することができる。例えば、周波数、位相、および/または配
向の変化を補償することができる。ある場合には、動作1120が複数の予測構造化照明パラ
メータを使用することを含んでもよい。例えば、構造化照明パラメータは、2つ以上の位
相画像について予測されてもよい。加えて、位相、周波数、および配向の2つ以上が、所
与の位相画像について予測されてもよい。

図12は、SIM撮像システムハードウェア構成要素の予測構造化照明パラメータ調整を使
用して、構造化照明パラメータの経時変化を補償する例示的な方法1200を示す動作フロー
図である。動作1210において、構造化照明パラメータは、外挿法を使用して予測されても
よい。例えば、構造化照明パラメータは、方法1000を実施することによって将来の時点で
予測することができる。

動作1220において、SIM撮像デバイスの機械的および/または光学的部品は、少なくとも
予測される構造化照明パラメータを使用して調整されてもよい。例えば、時点Tにおける
予測位相ドリフトに基づいて、SIM撮像システムのハードウェアコンポーネントは、時点T
における位相画像キャプチャの前に調整されてもよい。

例えば、光構造化光学アセンブリ155の1つ以上の構成要素は、SIM撮像システム100に対
して来るべき時期に予測される位相および/または配向の変化を補償するように調整され
てもよい。別の例として、回転ミラー240Aまたは240Bは、SIM撮像システム200に対して来
るべき時間のために予測される位相変化を補償するために調整されてもよい。さらなる例
として、線形平行移動ステージ530を並進させて、SIM撮像システム500について来るべき
であると予測される位相変化を補償する。さらなる例として、SIM撮像システムについて
予測される配向変化は、試料を運ぶ平行移動ステージおよび光源から試料までの光路のう
ちの1つ以上を調整することによって補償され得る。

いくつかの実施形態では、構造化照明パラメータ予測のための本明細書で説明される技
法が、捕捉される画像サンプルを複数の画像サブセクションに分割することによって、単
一の捕捉される画像サンプルに適用され得る。例えば、いくつかの実施形態では、方法が
、画像サンプルを取得するステップと、画像サンプルを複数の画像サブセクション(例え
ば、3つ以上のサブセクション)に分割するステップと、複数の画像サブセクションのうち
の第1の画像サブセクションを使用して第1の構造化照明パラメータを推定するステップと
、複数の画像サブセクションのうちの第2の画像サブセクションを使用して第2の構造化照
明パラメータを推定するステップと、少なくとも第1の画像サブセクションからの構造化
照明パラメータの推定値及び第2の画像サブセクションからの構造化照明パラメータの推
定値を使用するステップと、複数の画像サブセクションのうちの第3の画像サブセクショ
ンに対応する構造化照明パラメータを予測するステップとを含むことができる。第3の画
像サブセクションについて予測される構造化照明パラメータは、構造化照明位相、周波数
、配向、または変調次数のうちの任意の1つとすることができる。いくつかの実施形態で
は、3つ以上の画像サブセクションから取得された構造化照明パラメータを使用して、別
の画像サブセクションの構造化照明パラメータを予測することができる。例えば、他の画
像サブセクションに対する構造化照明パラメータを予測するために、傾向推定関数又は他
の適切な当てはめ関数を他の画像サブセクションからの既知の推定値に適用することがで
きる。他の実施態様では、第1の画像サブセクションから取得された構造化照明パラメー
タの推定値を、第2の画像サブセクションの予測構造化照明パラメータとして使用するこ
とができる。

本明細書で説明する補間技法を適用すると、第3の画像サブセクションは第1の画像サブ
セクションと第2の画像サブセクションとの間の空間内の点(例えば、試料位置)または温
度(例えば、試料温度)に位置することができる。例えば、第3の画像サブセクションは、
デカルト軸線に沿って第1の画像サブセクションと第2の画像サブセクションとの間にあっ
てもよい。2次元デカルト空間ではサブセクションは画像を等しい面積を有する長方形に
分割するグリッドによって定めることができるが、サブセクションの代替的な決定も可能
である。別の例として、第3の画像サブセクションは、第1の画像サブセクションの試料温
度よりも高いが、第2の画像サブセクションの試料温度よりも低い試料温度であってもよ
い。

本明細書で説明する外挿技術を適用すると、第3の画像サブセクションは第1の画像サブ
セクションおよび第2の画像サブセクションの後または前にある空間(例えば、試料位置)
または温度(例えば、試料温度)内の点に位置することができる。例えば、第3の画像サブ
セクションは、デカルト軸線に沿って第1の画像サブセクション及び第2の画像サブセクシ
ョンの両方の後に位置することができる。別の例として、第3の画像サブセクションは、
第1の画像サブセクションの試料温度よりも低く、第2の画像サブセクションの試料温度よ
りも低い試料温度であってもよい。

実施態様では、画像のサブセクションを使用して画像の他のサブセクションの構造化照
明パラメータを予測するためのこれらの技術を、1つ以上の画像から推定された構造化照
明パラメータを使用して別の画像の構造化照明パラメータを予測するための本明細書で説
明する技術と組み合わせて使用することができる。

本明細書で使用されるときに、コンポーネントという用語は、本出願の１つ以上の実施
形態に従って実行することができる機能の所与のユニットを記述することができる。本明
細書で使用されるときに、コンポーネントは、任意の形態のハードウェア、ソフトウェア
、又はそれらの組み合わせを利用して実装され得る。例えば、コンポーネントを構成する
ために、1つ以上のプロセッサ、コントローラ、FPGA、CPU、GPU、ASIC、PLA、PAL、CPLD
、論理コンポーネント、ソフトウェアルーチン、または他のメカニズムが実装されてもよ
い。実施形態において、本明細書で説明される様々なコンポーネントは個別のコンポーネ
ントとして実装されてもよく、または説明される機能および特徴が1つ以上のコンポーネ
ントの間で部分的にまたは全体的に共有されてもよい。言い換えれば、この説明を読んだ
後に当業者に明らかになるように、本明細書で説明される様々な特徴および機能は、任意
の所与の応用で実装することができ、様々な組合せおよび順列で1つ以上の別個のまたは
共有のコンポーネントで実装され得る。機能性の様々な特徴または要素は個別のコンポー
ネントとして個別に説明または請求され得るが、当業者はこれらの特徴および機能性が1
つ以上の共通のソフトウェアおよびハードウェア要素の間で共有され得ることを理解し、
そのような説明はそのような特徴または機能性を実装するために、個別のハードウェアま
たはソフトウェアコンポーネントが使用されることを必要とせず、または暗示するもので
はない。

図13は、本明細書で開示される方法の様々な構成を実装するために使用され得る例示的
なコンピューティングコンポーネント1300を示す。コンピューティングコンポーネント13
00は例えば、撮像デバイス、デスクトップ、及びノート型パソコン、ハンドヘルドコンピ
ューティングデバイス(タブレット、スマートフォンなど)、メインフレーム、スーパーコ
ンピュータ、ワークステーション若しくはサーバ、又は所与のアプリケーション若しくは
環境にとって望ましく若しくは適切であり得る任意の他の種類の専用又は汎用コンピュー
ティングデバイス内で見られるコンピューティング又は処理能力を表すことができる。コ
ンピューティングコンポーネント1300はまた、所与の装置内に組み込まれた、又は所与の
装置に利用可能な計算能力を表すこともできる。本明細書で使用されるときに、用語「コ
ンピューティングデバイス」は、コンピューティングコンポーネントのハードウェアを指
すことができる。

コンピューティングコンポーネント1300は例えば、プロセッサ1304のような1つ以上の
プロセッサ、コントローラ、制御コンポーネント又は他の処理デバイスを含むことができ
る。プロセッサ1304は例えば、マイクロプロセッサ、コントローラ、又は他の制御ロジッ
クなど、汎用又は専用の処理エンジンを使用して実装することができる。プロセッサ1304
は、一種のコンピューティングデバイスであってもよい。図示された例では、プロセッサ
1304はバス1302に接続されているが、任意の通信媒体を使用して、コンピューティングコ
ンポーネント1300の他の構成要素との相互作用を容易にし、又は外部と通信したりするこ
とができる。

コンピューティングコンポーネント1300はまた、本明細書では単にメインメモリ1308と
称する1つ以上のメモリコンポーネントを含んでもよい。例えば好ましくは、ランダムア
クセスメモリ（RAM）又は他のダイナミック・メモリがプロセッサ1304によって実行され
る情報及び命令を記憶するために使用され得る。メインメモリ1308は、プロセッサ1304に
よって実行される命令の実行中に、一時変数又は他の中間情報を記憶するためにも使用さ
れ得る。同様に、コンピューティングコンポーネント1300はプロセッサ1304のための静的
情報及び命令を記憶するために、バス1302に結合される読出し専用メモリ（“ROM”）又
は他の静的記憶デバイスを含んでもよい。

コンピューティングコンポーネント1300はまた、例えば、メディアドライブ1312及び記
憶ユニットインタフェース1320を含むことができる、1つ以上の様々な形態の情報記憶機
構1310を含んでもよい。媒体ドライブ1312は、固定又は取り外し可能な記憶媒体1314をサ
ポートするためのドライブ又は他の機構を含んでもよい。例えば、ハードディスクドライ
ブ、ソリッドステートドライブ、光ディスクドライブ、CD、DVD若しくはブルーレイドラ
イブ(R又はRW)、又は他の取り外し可能な若しくは固定媒体ドライブを設けることができ
る。したがって、記憶媒体1314は例えば、ハードディスク、ソリッドステートドライブ、
カートリッジ、光ディスク、CD、DVD若しくはブルーレイ、又は媒体ドライブ1312によっ
て読み取り、書き込み、又はアクセスされる他の固定若しくは取り外し可能媒体を含むこ
とができる。これらの例が示すように、記憶媒体1314は、コンピュータソフトウェア又は
データが記憶されたコンピュータ使用可能な記憶媒体を含むことができる。

代替の実施形態では、情報記憶機構1310は、コンピュータプログラム又は他の命令又は
データをコンピュータコンポーネント1300にロードすることを可能にするための他の類似
の手段を含むことができる。そのような手段は例えば、固定又は取り外し可能な記憶ユニ
ット1322及びインタフェース1320を含み得る。このような記憶ユニット1322及びインタフ
ェース1320の例は、プログラムカートリッジ及びカートリッジインタフェース、取り外し
可能なメモリ(例えば、フラッシュメモリ又は他の取り外し可能なメモリコンポーネント)
及びメモリスロット、PCMCIAスロット及びカード、並びに、ソフトウェア及びデータを記
憶ユニット1322からコンピューティングコンポーネント1300に転送することを可能にする
他の固定又は取り外し可能な記憶ユニット1322及びインタフェース1320を含むことができ
る。

コンピューティングコンポーネント1300はまた、通信インタフェース1324を含んでもよ
い。通信インタフェース1324は、ソフトウェア及びデータを、コンピューティングコンポ
ーネント1300と外部デバイスとの間で転送することを可能にするために使用されてもよい
。通信インタフェース1324の例は、ピーシーアイエクスプレス（PCIe）インタフェース等
の周辺インタフェース、モデム若しくはソフトモデム、ネットワークインタフェース(イ
ーサネット（登録商標）、ネットワークインターフェースカード、WiMedia、IEEE 802.XX
又はその他のインタフェースなど)、Bluetooth（登録商標）インタフェース、通信ポート
(USB（登録商標）ポート、USB-Cポート、THUNDERBOLT（登録商標）ポート、又はその他の
ポートなど)、又はその他の通信インタフェースを含むことができる。通信インタフェー
ス1324を介して転送されるソフトウェア及びデータは、典型的には所与の通信インタフェ
ース1324によって交換されることが可能な、電子的、電磁気的(光を含む)、又は他の信号
であり得る、信号上で搬送され得る。これらの信号は、チャンネル1328を介して通信イン
タフェース1324に提供されてもよい。このチャンネル1328は、信号を搬送することができ
、有線又は無線通信媒体を使用して実装することができる。チャネルのいくつかの例は、
電話回線、セルラリンク、RFリンク、光リンク、ネットワークインタフェース、ローカル
又はワイドエリアネットワーク、及び他の有線又は無線通信チャネルを含むことができる
。

本明細書では、用語「コンピュータ読取可能媒体」、「コンピュータ使用可能媒体」及
び「コンピュータプログラム媒体」が一般に、例えば、メモリ1308、記憶ユニット1322及
び媒体1314などの、揮発性又は不揮発性の、非一時的な媒体を指すために使用される。こ
れら及び他の様々な形態のコンピュータプログラム媒体又はコンピュータ使用可能媒体は
、実行のために1つ以上の命令の1つ以上の配列をプロセッサに搬送することに関与するこ
とができる。媒体に組み込まれるそのような命令は一般に、「コンピュータプログラムコ
ード」又は「コンピュータプログラム製品」(コンピュータプログラム又は他のグループ
の形態でグループ化することができる)と呼ばれる。そのような命令は、実行されるとき
に、コンピューティングコンポーネント1300が本明細書で説明される本願の構成又は機能
を実行することを可能にすることができる。

様々な例示的実施形態および実装に関して上述したが、個々の実施形態のうちの1つ以
上に記載された様々な構成、態様、および機能はそれらの利用可能性において、それらが
記載されている特定の実施形態に限定されず、その代わりに、そのような実施形態が記載
されているかどうか、およびそのような構成が記載されている実施形態の一部として提示
されているかどうかにかかわらず、単独で、または様々な組合せで、本願の他の実施形態
のうちの1つ以上に適用することができることを理解されたい。したがって、本願の幅お
よび範囲は、上述の例示的な実施形態のいずれによっても限定されるべきではない。

本明細書で使用されている用語及び語句、ならびにそれらのバリエーションは別途明示
的に記載されていない限り、限定ではなく、オープンエンド型の意味にとる必要がある。
前述の例として、「含む」という用語は「限定なしに含む」などを意味するものとして解
釈されるべきであり、「例」という用語は論議中の項目の典型的な例を提供するために使
用され、その項目を網羅または限定するものではなく、「1つの（”a” or “an”）」と
いう用語は「少なくとも1つの」、「1つ以上の」などを意味するものとして解釈されるべ
きであり、「従来の」、「伝統的な」、「通常の」、「標準の」、「既知の」などの形容
詞、および同様の意味の用語は記載された項目を、所与の期間に、または所与の時間に利
用可能な項目に限定するものと解釈されるべきではなく、代わりに、現在または将来にお
いて利用可能であるか、または既知である可能性がある従来の、伝統的な、通常の、また
は標準の技術を包含するものと解釈されるべきである。同様に、本明細書が当業者に明ら
かであろう又は知られているであろう技術に言及する場合、そのような技術は、現在又は
将来の任意の時点で当業者に明らかであるか又は知られている技術を包含する。

場合によっては、「1つ以上」、「少なくとも」、「ただし、これらに限定されない」
などの拡張語および句、または他の同様の句の存在はそのような拡張語句が存在しない可
能性がある場合に、より狭い場合が意図され、または必要とされることを意味すると解釈
されるべきではない。

さらに、本明細書に記載される様々な実施形態は、例示的なブロック図、フローチャー
ト、および他の図に関して説明される。本明細書を読んだ後に当業者には明らかになるよ
うに、例示された実施形態およびそれらの様々な代替形態は、例示された例に限定される
ことなく実施することができる。例えば、ブロック図及びそれらに付随する説明は、特定
のアーキテクチャ又は構造を指定するものとして解釈されるべきではない。

特許請求の範囲を含む、本開示全体にわたって使用される「実質的に」および「約」と
いう用語は処理の変化などによる小さな変動を記述し、説明するために使用される。例え
ば、これらの用語は、±5%以下、例えば±2%以下、例えば±1%以下、例えば±0.5%以下、
例えば±0.2%以下、例えば±0.1%以下、例えば±0.05%以下を指すことができる。

適用可能な範囲で、本明細書における用語「第1」、「第2」、「第3」などは、単に、
これらの用語によって説明されるそれぞれの対象を別個のエンティティとして示すために
使用され、本明細書において明示的に別段の記載がない限り、時系列順の意味を暗示する
ことを意味しない。

本開示のさまざまな実施形態が上述されてきたが、それらは限定ではなく、例としての
み提示されてきたことが理解されるべきである。同様に、様々な図は、本開示に含まれ得
る構成および機能を理解するのを助けるために行われる、本開示のための例示的なアーキ
テクチャまたは他の構造を示すことができる。本開示は例示されたアーキテクチャまたは
構造に限定されるものではないが、所望の特徴は種々の代替アーキテクチャおよび構造を
使用して実施することができる。実際、本開示の所望の構成を実施するために、代替の機
能的、論理的、または物理的なパーティションおよび構造をどのように実施することがで
きるかは、当業者には明らかであろう。また、本明細書に示されたもの以外の多数の異な
る構成モジュール名を、様々なパーティションに適用することができる。さらに、フロー
図、動作説明、及び方法クレームに関して、本明細書でステップが提示される順序は文脈
が別段の指示をしない限り、様々な実施形態が、記載された機能を同じ順序で実行するよ
うに実装されることを強制するものではない。

本開示は様々な例示的な実施形態および実装に関して上記で説明されているが、個々の
実施形態のうちの1つ以上において説明されている様々な構成、態様、および機能はそれ
らの利用可能性において、それらが説明されている特定の実施形態に限定されず、その代
わりに、そのような実施形態が説明されているかどうか、およびそのような特徴が説明さ
れている実施形態の一部として提示されているかどうかにかかわらず、単独で、または様
々な組合せで、本開示の他の実施形態のうちの1つ以上に適用することができることを理
解されたい。したがって、本開示の幅および範囲は、上述の例示的な実施形態のいずれに
よっても限定されるべきではない。

前述の概念のすべての組み合わせ(そのような概念が相互に矛盾しない限り)は、本明細
書で開示される本発明の主題の一部であると考えられることを理解されたい。特に、本開
示に現れる請求される主題の全ての組み合わせは、本明細書に開示される本発明の主題の
一部であると考えられる。

Claims (20)

1. 構造化照明システムにおいて、試料の第１画像を捕捉するステップと、
   コンピューティングデバイスにおいて、少なくとも捕捉された前記第１画像を用いて第１構造化照明パラメータを推定するステップと、
   前記構造化照明システムにおいて、前記試料の第２画像を捕捉するステップと、
   前記コンピューティングデバイスにおいて、少なくとも捕捉された前記第２画像を用いて第２構造化照明パラメータを推定するステップと、
   前記コンピューティングデバイスにおいて、少なくとも前記第１構造化照明パラメータ又は前記第２構造化照明パラメータを用いて、第３画像に対応する第３構造化照明パラメータを予測するステップと、
   を含む方法であり、
   前記第３構造化照明パラメータを予測するステップは、最小二乗適合を少なくとも前記第１構造化照明パラメータ及び前記第２構造化照明パラメータに適用することを含む、方法。
2. 前記第１画像は、第１時間に捕捉され、
   前記第２画像は、前記第１時間の後の第２時間に捕捉され、
   前記第３画像は、前記第１時間と前記第２時間との間の第３時間に捕捉され、
   前記第３時間における前記第３構造化照明パラメータを予測するステップは、少なくとも内挿法を用いることを含む、請求項１に記載の方法。
3. 前記コンピューティングデバイスにおいて、前記第１時間における前記第１構造化照明パラメータから、前記第２時間における前記第２構造化照明パラメータまでの変化率を決めるステップと、
   前記コンピューティングデバイスにおいて、少なくとも決められた前記変化率を用いて、前記第３時間における前記第３構造化照明パラメータを予測するステップを更に含む、請求項１に記載の方法。
4. 前記コンピューティングデバイスにおいて、少なくとも前記第３画像及び前記第３構造化照明パラメータを用いて高分解能画像を構築するステップを更に含む、請求項１に記載の方法。
5. 前記第１画像は、第１時間に捕捉され、
   前記第２画像は、前記第１時間の後の第２時間に捕捉され、
   前記第３画像は、前記第１時間及び前記第２時間の両方の後の第３時間に捕捉され、
   前記第３時間における前記第３構造化照明パラメータを予測するステップは、少なくとも外挿法を用いることによって予測することを含む、請求項１に記載の方法。
6. 少なくとも前記第３構造化照明パラメータを用いて、前記構造化照明システムのハードウェアコンポーネントを調整して、前記第３時間において前記第３画像を捕捉する前の構造化照明システムパラメータの変化に対して補償するステップを更に含む、請求項５に記載の方法。
7. 前記ハードウェアコンポーネントを調整するステップは、
   構造化照明パターンの位相又は配向を調整する回転ミラーを調節すること、
   回折格子を担持し構造化照明パターンの位相又は配向を調整する並進ステージを調節すること、又は
   構造化照明パターンの位相又は配向を調整する試料並進ステージを調節すること、
   を含む、請求項６に記載の方法。
8. 前記構造化照明システムのメモリに、前記第１構造化照明パラメータ、前記第２構造化照明パラメータ及び前記第３構造化照明パラメータを記憶するステップと、
   記憶される前記第１構造化照明パラメータ、記憶される前記第２構造化照明パラメータ、記憶される前記第３構造化照明パラメータ、又は前記構造化照明システムの既知の物性に基づくとともに記憶される値の１つ以上を用いて、第４画像に対する第４構造化照明パラメータに関する捜索空間を減少させるステップと、
   を更に含む、請求項１に記載の方法。
9. 前記試料の前記第１画像は第１試料温度で捕捉され、
   前記第１構造化照明パラメータは前記第１試料温度で推定され、
   前記試料の前記第２画像は第２試料温度で捕捉され、
   前記第２構造化照明パラメータは前記第２試料温度で推定され、
   前記第３構造化照明パラメータを予測するステップは、第３試料温度における前記第３構造化照明パラメータを予測することを含む、請求項１に記載の方法。
10. 前記試料の前記第１画像を複数の画像サブセクションに分割するステップと、
    前記コンピューティングデバイスにおいて、少なくとも前記複数の画像サブセクションの第１画像サブセクションを用いて第４構造化照明パラメータを推定するステップと、
    前記コンピューティングデバイスにおいて、少なくとも前記複数の画像サブセクションの第２画像サブセクションを用いて第５構造化照明パラメータを推定するステップと、
    前記コンピューティングデバイスにおいて、少なくとも前記第４構造化照明パラメータ又は前記第５構造化照明パラメータを用いて、前記複数の画像サブセクションの第３画像サブセクションに対応する第６構造化照明パラメータを予測するステップと、
    を更に含む、請求項１に記載の方法。
11. 前記試料の前記第１画像を複数の画像サブセクションに分割するステップと、
    前記コンピューティングデバイスにおいて、少なくとも前記複数の画像サブセクションの第１画像サブセクションを用いて第４構造化照明パラメータを推定するステップと、
    推定される前記第４構造化照明パラメータを、前記複数の画像サブセクションの第２画像サブセクションの予測される構造化照明パラメータとして用いるステップと、
    を更に含む、請求項１に記載の方法。
12. 非一時的なコンピュータ読取可能媒体であり、非一時的なコンピュータ読取可能媒体は、前記非一時的なコンピュータ読取可能媒体に記憶される実行可能な命令を有し、前記命令はプロセッサによって実行されるときに、構造化照明システムに、
    試料の第１画像を捕捉することと、
    少なくとも捕捉される前記第１画像を用いて第１構造化照明パラメータを推定することと、
    前記試料の第２画像を捕捉することと、
    少なくとも捕捉される前記第２画像を用いて第２構造化照明パラメータを推定することと、
    少なくとも前記第１構造化照明パラメータ又は前記第２構造化照明パラメータを用いて、第３画像に対応する第３構造化照明パラメータを予測することと、
    を含む動作を実施させ、
    前記第３構造化照明パラメータを予測することは、最小二乗適合を少なくとも前記第１構造化照明パラメータ及び前記第２構造化照明パラメータに適用することを含む、非一時的なコンピュータ読取可能媒体。
13. 前記第１画像は、第１試料位置で捕捉され、
    前記第２画像は、第２試料位置で捕捉され、
    前記第３画像は、前記第１試料位置と前記第２試料位置との間の第３試料位置で捕捉され、
    前記第３構造化照明パラメータを予測することは、少なくとも内挿法を用いることによって前記第３試料位置で前記第３構造化照明パラメータを予測することを含む、請求項１２に記載の非一時的なコンピュータ読取可能媒体。
14. 前記内挿法は、
    前記第１試料位置における前記第１構造化照明パラメータから、前記第２試料位置における前記第２構造化照明パラメータまでの変化率を決めるステップと、
    少なくとも決められた前記変化率を用いて、前記第３試料位置における前記第３構造化照明パラメータを予測するステップと、
    を含む、請求項１３に記載の非一時的なコンピュータ読取可能媒体。
15. 前記動作は、少なくとも前記第３画像及び前記第３構造化照明パラメータを用いて高分解能画像を構築することを更に含む、請求項１２に記載の非一時的なコンピュータ読取可能媒体。
16. 前記第１画像は、第１位置で捕捉され、
    前記第２画像は、第２位置で捕捉され、
    前記第３画像は、第１試料位置及び第２試料位置の両方の後又は前に存在する第３試料位置で捕捉され、
    前記第３構造化照明パラメータを予測することは、少なくとも外挿法を用いることによって前記第３試料位置における前記第３構造化照明パラメータを予測することを含む、請求項１２に記載の非一時的なコンピュータ読取可能媒体。
17. 前記動作は、更に少なくとも前記第３構造化照明パラメータを用いて、前記構造化照明システムのハードウェアコンポーネントを、前記第３試料位置において前記第３画像を捕捉する前の、構造化照明パラメータの変化に対して補償するように調整することを含む、請求項１６に記載の非一時的なコンピュータ読取可能媒体。
18. 前記ハードウェアコンポーネントを調整することは、
    構造化照明パターンの位相又は配向を調整する回転ミラーを調整すること、
    回折格子を担持するとともに構造化照明パターンの位相又は配向を調整する並進ステージを調整すること、又は
    構造化照明パターンの位相又は配向を調整する試料並進ステージを調整すること、
    を含む、請求項１７に記載の非一時的なコンピュータ読取可能媒体。
19. 前記動作は、
    前記構造化照明システムのメモリに、前記第１構造化照明パラメータ、前記第２構造化照明パラメータ及び前記第３構造化照明パラメータを記憶することと、
    記憶される前記第１構造化照明パラメータ、記憶される前記第２構造化照明パラメータ、記憶される前記第３構造化照明パラメータ、又は前記構造化照明システムの既知の物性に基づくとともに記憶される値の１つ以上を用いて、第４画像に対する第４構造化照明パラメータに関する捜索空間を減少させることと、
    を更に含む、請求項１２に記載の非一時的なコンピュータ読取可能媒体。
20. 光を放出する発光体と、
    前記発光体が放出する光を分割して構造化照明パターンを試料の面に投影するビームスプリッタと、
    プロセッサと、
    非一時的なコンピュータ読取可能媒体であり、非一時的なコンピュータ読取可能媒体は、前記非一時的なコンピュータ読取可能媒体に記憶される実行可能な命令を有し、前記命令は前記プロセッサによって実行されるときに、前記構造化照明システムに、
    試料の第１画像を捕捉することと、
    少なくとも捕捉される前記第１画像を用いて第１構造化照明パラメータを推定することと、
    前記試料の第２画像を捕捉することと、
    少なくとも捕捉される前記第２画像を用いて第２構造化照明パラメータを推定することと、
    少なくとも前記第１構造化照明パラメータ又は前記第２構造化照明パラメータを用いて、第３画像に対応する第３構造化照明パラメータを予測することと、
    を含む動作を実施させる、非一時的なコンピュータ読取可能媒体と、
    を備え、
    前記第３構造化照明パラメータを予測することは、最小二乗適合を少なくとも前記第１構造化照明パラメータ及び前記第２構造化照明パラメータに適用することを含む、構造化照明撮像システム。
    

Images