JP2023535038A - 顕微鏡のための全スライド撮像方法 - Google Patents

Abstract

ラインスキャナ３を備える顕微鏡スキャナ１を作動させる方法を提供する。サンプルを備えるターゲット６に関する予備走査データが発生され、予備走査データを発生させる段階は、予備走査からターゲット６の予備走査画像を取得する段階と、予備走査画像からターゲット６の１又は２以上のサンプル含有領域２４とサンプル不在領域２６とを識別する段階とを備える。次に、１又は２以上のサンプル含有領域２４と１又は２以上のサンプル不在領域２６とを備えるターゲット６の走査領域の撮像走査が実行される。ターゲット６が１又は２以上のサンプル不在領域２６内で１又は２以上のサンプル含有領域２４内よりも高い走査速度で撮像されるように、ラインスキャナ３の走査速度は、画像走査経路に沿って予備走査データに基づいて調節される。【選択図】図２

Description

本発明は、顕微鏡スキャナを作動させる方法に関する。

全スライドスキャナは、顕微鏡スライド上に装着された病理学的又は組織病理学的サンプルを明視野観察条件で走査する。用語全スライドスキャナは、スライド上の組織サンプルの全てが走査されることを意図するので使用される。低分解能「予備走査画像」を生成するために全スライドの予備走査が典型的に実行される。この画像は、次に、サンプルが存在すると思われるターゲット上の１又は２以上の着目区域（「ＡＯＩ」）を識別するために解析され、これらの区域は、それに続く高分解能撮像走査中に選択的に撮像される。典型的には、撮像走査は、２，０００～４，０００ｌｐｍｍ（ミリメートル当たりのライン数、ラインスキャナによって取得される各画像が個々のラインに対応する）又は同等的に５１，０００～１０１，０００ｄｐｉ（インチ当たりのドット数）の走査分解能を用いて実行されることになる。予備走査は、代わりに、遙かに低い分解能で、典型的に１２～６１ｌｐｍｍ（３００～１５００ｄｐｉ）の間で実行されることになる。予備走査は、従って、撮像走査よりもかなり速く（少なくとも一桁速く）実行することができる。ＡＯＩの外側のターゲット区域は、従って、全体走査時間を短縮するために撮像走査から除外される。

組織が、予備走査でのピクセルサイズと同程度のものか又はそれよりも小さい場合に、それは、取得される予備走査画像に良好なコントラストを与えない。その結果、組織の存在を検出するための予備走査画像の解析は、組織を検出することができない場合がある。これは、高分解能画像内で走査されていない組織をもたらすと考えられる。この問題を軽減するために、益々高い分解能の予備走査画像を更に小さい組織区域を検出するために生成することができる。しかし、予備走査画像の分解能が増大すると、予備走査を行うのにより長い時間、及び予備走査画像を解析して組織領域を見出すのにより長い時間が掛かる。

予備走査画像は、典型的には、組織の厚みと比較して大きい被写界深度を有する。これは、組織の走査を実行するのに合焦段階が必要とされない点で有利であるが、スライドの面上の粉塵及びスクラッチのような欠陥も合焦されるという欠点を有する。これは、ＡＯＩ検出アルゴリズムに面欠陥と組織の間で区別するように強いる。組織と欠陥の間のこの選別は簡単ではなく、解析するための時間、どれほどの量の組織がＡＯＩ検出アルゴリズムによって見落とされるか、及びどれほどの量の欠陥がＡＯＩ検出アルゴリズムによって組織として誤って識別されかの間で妥協点が見出されなければならない。

ＵＳ ９１１６０３５ Ｂ２

「Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｃ： ｔｈｅ Ａｒｔ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｍｐｕｔｉｎｇ（Ｃ言語での数値レシピ、科学計算の技術）」、ケンブリッジ大学出版局、１９９２年、第３章

走査処理の速度又は効率を有意に損なうことなく撮像走査中にサンプル全体が撮像されることを保証することが望ましい。本発明は、この問題を解決するという状況で設定されたものである。

本発明の第１の態様は、ラインスキャナを備える顕微鏡スキャナを作動させる方法を提供し、本方法は、サンプルを備えるターゲットに関する予備走査データを発生させる段階であって、予備走査からターゲットの予備走査画像を取得する段階、及び予備走査画像からターゲットのサンプルが存在することが予想されるターゲット上の場所に対応する１又は２以上のサンプル含有領域とサンプルが不在であることが予想されるターゲット上の場所に対応する１又は２以上のサンプル不在領域とを識別する段階を備える上記発生させる段階と、１又は２以上のサンプル含有領域と１又は２以上のサンプル不在領域とを含むターゲットの走査領域の撮像走査を実行する段階であって、ラインスキャナを画像走査経路に沿ってターゲットに対して移動し、ラインスキャナを用いて画像走査経路に沿った複数の場所の各々でのターゲットの画像を取得する段階、及びターゲットが１又は２以上のサンプル不在領域内で１又は２以上のサンプル含有領域内よりも高い走査速度で撮像されるように予備走査データに基づいて画像走査経路に沿ってラインスキャナの走査速度を調節する段階を備える上記実行する段階とを備える。

予備走査データは、サンプル（典型的に組織）を含有する区域とサンプルが不在であると考えられる区域とを決定するために解析される。しかし、予備走査データの解析からエラーが生じる可能性があり、サンプルの全てが撮像されることを保証することが望ましいので、サンプルを含有するとして検出された区域内でのみ撮像走査を実行するのではなく、「サンプル不在領域」も予防のために撮像される。任意的に、これは、撮像走査中にターゲットの全体を撮像するように拡張される場合がある。走査速度は、撮像走査中に１又は２以上のサンプル不在領域で増大され、典型的には、これらの領域での画像分解能の対応する低下に至る。これは、サンプル検出アルゴリズムが組織検出と欠陥検出の間の妥協点を設定し、組織として誤って識別される欠陥がより少ないことを可能にする。更に、名目上の「サンプル不在の領域」内で「サンプル含有領域」内よりも低い分解能でサンプルが撮像される場合であっても、一般的に、発生されるデータは、仮にサンプル不在領域が全く撮像されない場合よりも典型的には有用である。サンプル不在領域での増大した走査速度は、生じるいずれの追加時間ペナルティも最小であることを保証する。

撮像走査を実行する段階は、好ましくは、画像走査経路に沿って取得されたターゲットの画像からの１又は２以上の画像パラメータをモニタする段階と、このような１又は２以上の画像パラメータの変化に応答して１又は２以上のサンプル不在領域内のラインスキャナの走査速度を更に調節する段階とを更に備える。そうすることにより、スキャナは、「サンプル不在領域」内のサンプルの（予想外の）存在に反応することができる。サンプルがラインスキャナの視野に入る時に、それは、モニタされた１又は２以上の画像パラメータの対応する変化に至ることになる。走査速度は、この変化に応答して調節され、それによってサンプルがターゲット上のその場所に関係なく撮像走査中に高分解能で撮像されることを可能にする。従って、ターゲット上のサンプルのより高い割合を撮像することができ、これは、顕微鏡ユーザに対する走査画像の全体的有用性を改善する。この技術により、走査速度は、モニタされた画像パラメータ（典型的には画像内の詳細の量に関連する）に応答してオンザフライで調節することができるので、走査の空間分解能は、撮像走査が始まる時点でスキャナによっては予め決定されない。

１又は２以上の画像パラメータは、典型的には、１又は２以上のサンプル不在領域内のサンプルの存在を検出するためにモニタされ、走査速度は、サンプルが検出されるターゲット上の場所が、サンプルが検出されないターゲット上の場所よりも低い走査速度で撮像されるように調節される。これは、ターゲット全体を高分解能で撮像する段階（サンプル全体を取り込むのに望ましいが、時間も要する）と予備走査画像からサンプルを含有するとして識別された領域のみを撮像する段階との間の妥協点を満足することを可能にする。更に、サンプルがサンプル含有領域の外側で検出される場合に、スキャナは、サンプルが、ターゲット上のどこに存在するかに関わらず比較的低速で及び従って高分解能で撮像されることを保証するように反応する。

予備走査データに基づいて走査速度を更に調節する段階は、好ましくは、１又は２以上のサンプル不在領域内で第１のターゲット速度でターゲットを撮像する段階と、１又は２以上のサンプル含有領域内で第２のターゲット速度でターゲットを撮像する段階とを備え、第１のターゲット速度は、第２のターゲット速度よりも高い。１又は２以上のサンプル不在領域内のラインスキャナの走査速度を更に調節する段階は、従って、好ましくは、サンプルの検出を示す１又は２以上の画像パラメータの変化に応答して走査速度を第１のターゲット速度から低減する段階を備える。サンプル不在領域は、従って、モニタされた１又は２以上の画像パラメータが第１の判断基準（典型的には、取得された画像内のサンプルの不在）を示す場合にのみ第１のターゲット速度で撮像することができる。１又は２以上の画像パラメータが、代わりに第２の判断基準（典型的には、取得された画像内のサンプルの存在）を示す場合に、走査速度は、第１の走査速度から第２のターゲット速度まで又はそれに向けて低減される。任意的に、サンプル含有領域は、モニタされた１又は２以上の画像パラメータが第１又は第２の判断基準のいずれかを示す場合に第２のターゲット速度で撮像することができる。

撮像走査中に、移動速度は、サンプルが全体を通して高分解能で撮像されるように、サンプルの縁部が近づいていることを予備走査データが示す時に低減することができる。突然の減速を回避するために、これは、組織の縁部に到達する前に領域にわたって行うことができる。撮像走査は、従って、ラインスキャナがサンプル不在領域の画像を取得する段階からサンプル含有領域の画像を取得する段階に移行する前に速度を第１のターゲット速度から第２のターゲット速度まで又はそれに向けて低減する段階を更に備えることができる。速度間の移行は、サンプルが不在であるターゲットの領域で発生するように調整することが有利である。ラインスキャナは、次に、撮像走査中にサンプル含有領域にわたって一定速度で移動することができる。これは、サンプル含有領域が全体を通して均一に高い分解能で撮像されることを保証する。しかし、撮像走査は、取得画像内のサンプルの不在を示す１又は２以上の画像パラメータの変化に応答して１又は２以上のサンプル含有領域内の走査速度を増大する段階を更に備えることができる。例えば、これは、予備走査データからサンプル含有領域を識別する際にエラーが起きた時に発生する場合がある。撮像走査中にモニタされた１又は２以上の画像パラメータが、撮像されている領域内にサンプルが含有されていないことを示唆した場合に、走査速度は、全走査時間を短縮するために増大することができる。

走査速度を調節する段階は、典型的には、１又は２以上の画像パラメータが閾値に対して第１の予め決められた方式で変化するのに応答してラインスキャナの走査速度を低減する段階を備える。例えば、１又は２以上の画像パラメータは、サンプルの画像がサンプル不在領域内で取得されるのに応答してこの閾値に対して第１の予め決められた方式で変化する場合がある。同様に、走査速度を更に調節する段階は、典型的には、１又は２以上の画像パラメータがこの閾値に対して第２の予め決められた方式で変化するのに応答してラインスキャナの走査速度を増大する段階を備える。閾値は、好ましくは予め決定され、例えば、スキャナの較正に続いてメモリに格納される。１又は２以上の画像パラメータは、画像の輝度を備えることができ、ラインスキャナの走査速度は、画像の輝度が低下するのに応答して低減される。同様に、１又は２以上の画像パラメータは、焦点メリット値を備える場合があり、ラインスキャナの走査速度は、焦点メリット値が増加するのに応答して低減される。典型的には、焦点メリット値は、画像内の複雑度の数値尺度であり、この値が大きいほど画像内の詳細が多い。より合焦された画像は、対応するより高いメリット値を有する。撮像走査は、好ましくは、画像走査経路に沿った各場所で焦点メリット値を計算する段階と、焦点メリット値に基づいて画像走査経路に沿ってラインスキャナの焦点高さを調節する段階とを備える。

画像は、典型的には、撮像走査中に走査領域の全体を通して時間的に一定の割合で取得される。従って、画像取り込みは、いずれの特定の測定量にもリンクせず、代わりにタイマー機能によって独立に制御することができる。更に、典型的には、ラインスキャナは、撮像走査中に画像走査経路に沿ってターゲットに対して連続的に移動される。従って、典型的には、各ピクセルの幅（従って、ターゲットの特定の領域内の画像の全体的な分解能）は、画像が取り込まれた時にラインスキャナがターゲットに対して移動する速度に従って変化することになる。従って、低分解能画像は、各連続する画像取り込みの間で高分解能画像よりも大きいターゲット部分にわたってラインスキャナが移動した画像に対応することになる。典型的には、撮像走査の空間分解能は、画像走査経路にわたって一定ではなくなり、ターゲット上の所与の場所に対する走査速度に依存することになる。

予備走査が実行するのに高速であることが特に望ましい。予備走査が実行される時にターゲットに関する合焦データが利用可能ではない場合があり、従って、典型的には、ラインスキャナのものよりも大きい焦点深度を有する異なるカメラが予備走査に使用される場合がある。好ましくは、予備走査のための焦点深度は５００マイクロメートルを超え（任意的に少なくとも１ミリメートル）、それに対して撮像経路に沿って取得される各画像に対する焦点深度は３マイクロメートルよりも小さい場合がある（典型的には、１マイクロメートル）。これは、典型的には、サンプル全体が予備走査カメラに関する焦点深度内に配置されることを保証する。典型的には、予備走査画像は、直線形とするか又はラスターフォーマットにあるとすることができる予備走査撮像経路に沿う予備走査カメラの１回通過から取得される。典型的には、予備走査画像は、予備走査撮像経路にわたって一定の空間分解能で取得される。

好ましくは、予備走査データを発生させる段階は、サンプルがターゲット上の各場所に存在する可能性を示す確率マップを生成するために予備走査画像の画像解析を実行する段階を更に備え、１又は２以上のサンプル含有領域及び１又は２以上のサンプル不在領域が確率マップから選択される。予備走査データに基づいて画像走査経路に沿ってラインスキャナの走査速度を調節する段階は、次に、確率マップから決定されたサンプルがターゲット上の所与の場所に存在する可能性に従って走査速度を調節する段階を備えることができる。１又は２以上のサンプル不在領域は、サンプルを備える可能性が低い確率マップからの場所に対応することができ、１又は２以上のサンプル含有領域は、サンプルを備える可能性が高い確率マップからの場所に対応することができる。

サンプル不在領域及びサンプル含有領域に加えて、サンプルがこの領域に存在するか否かに関して確率マップが結論付けることができない１又は２以上の他のターゲットの領域を識別することができる。例えば、予備走査データを発生させる段階は、サンプルを備える可能性がサンプル不在領域の可能性とサンプル含有領域の可能性の間である確率マップからのターゲット上の１又は２以上の不確実領域を識別する段階を更に備えることができる。この領域に対して、サンプル不在領域及びサンプル含有領域内とは異なる走査速度を設定することができる。例えば、予備走査データに基づいて走査速度を調節する段階は、１又は２以上のサンプル不在領域内でターゲットを第１のターゲット速度で撮像する段階と、１又は２以上のサンプル含有領域内でターゲットを第２のターゲット速度で撮像する段階と、１又は２以上の不確実領域内でターゲットを第３のターゲット速度で撮像する段階とを備えることができ、第３のターゲット速度は、第２のターゲット速度よりも高く、第１のターゲット速度よりも低い。モニタされている１又は２以上の画像パラメータが、これら３つの領域のいずれかにわたるいずれかの点でラインスキャナの視野内にあるサンプルの存在を示す場合に、走査速度は、サンプル含有領域に対するターゲット速度（この場合に、第２のターゲット速度）に設定することができる。

典型的には、ターゲットの高分解能画像は、撮像走査中に取得された画像の組合せから発生される。好ましくは、高分解能画像を発生させる段階は、より高い走査速度で取得された画像の分解能をより低い走査速度で取得された画像の分解能に対応するように画像内挿を用いて増大する段階を備える。従って、典型的には、撮像走査中に各画像が取り込まれる走査速度はメモリに格納される。高分解能画像を発生させる段階は、高分解能画像内で一定の分解能を維持するように内挿比を調節する段階を備えることができる。

顕微鏡スキャナは、好ましくは、明視野顕微鏡であり、撮像走査は、好ましくは、顕微鏡スキャナに関する透過モードを用いて実行される。顕微鏡スキャナは、反射モードで作動するように構成することができる。一方又は両方のモードを予備走査の一部として使用することができる。例えば、透過モードは、サンプル含有領域とサンプル不在領域とを識別するのに有利とすることができるのに対して、反射モードは、ラベルをターゲットに固定することができる場所のような不透明ターゲットの領域を識別するのに使用することができる。不透明領域は、撮像走査中に走査する必要はなく、従って、走査領域は、好ましくは、あらゆる不透明ターゲットの領域を除外したターゲット全体を実質的に網羅するように予備走査画像から選択される。

本発明の第２の態様は、ラインスキャナとサンプルを備えるターゲットとを備える顕微鏡スキャナを用いて実行された時に顕微鏡スキャナに第１の態様の方法を行わせる命令を備えるコンピュータプログラム製品を提供する。第２の態様は、第１の態様に関して議論したものと類似の特徴及び利点を共有する。

顕微鏡スキャナは、好ましくは、仮想顕微鏡であり、コンピュータプログラム製品は、典型的には、ハードドライブのような非一時的コンピュータ可読媒体に対応する。ターゲットは、いくつかの形態を取ることができるが、好ましくは、生体組織サンプルを備える。好ましくは、ターゲットは、典型的には、大きい焦点深度を有する予備走査の目的で面高さの実質的な変化を示さず、従って、基本的に平坦である。例えば、ターゲットは、スライスされて平坦なガラススライド間に保持された染色組織抽出物とすることができると考えられる。ラインスキャナの焦点は、ターゲットの面高さが撮像走査で使用される焦点深度よりも大きい量だけ変化する可能性があるので、高分解能撮像走査中に調節することができる。

ここで、本発明の実施形態を以下の図を参照して議論する。

本発明の第１の実施形態に従って作動させるべき顕微鏡スキャナの概略図である。 本発明の第１の実施形態による処理を示す流れ図である。 本発明の第１の実施形態に従って取得された予備走査画像の図である。 走査領域を示す本発明の第１の実施形態に従って取得された予備走査画像の図である。 サンプル不在領域とサンプル含有領域とを示す本発明の第１の実施形態に従って取得された予備走査画像の図である。 本発明の第１の実施形態によるサンプル不在領域からサンプル含有領域に移行する時の走査速度の変化を示すグラフである。 本発明の第１の実施形態によるサンプル含有領域からサンプル不在領域に移行する時の走査速度の変化を示すグラフである。 本発明の第１の実施形態によるサンプル不在領域の内側でサンプルの存在を検出した時の走査速度の変化を示すグラフである。 本発明の第１の実施形態によるターゲットの高分解能画像を発生させる時のデータの内挿を示すグラフである。

明視野顕微鏡スキャナ１の例を図１に示している。明視野顕微鏡スキャナ１は、線形光検出器アレイの形態にあるラインスキャナ３を備える走査ヘッド２を備える。走査ヘッド２は、調節可能合焦システム４と予備走査カメラ１２とを更に備える。組織サンプルを備える病理スライドの形態にあるターゲット６が上に配置されたプラテン５が設けられる。走査ヘッド２をターゲット６に対して矢印９に示すように移動することができるように駆動機構７が走査ヘッド２を軌道８に取り付ける。軌道８は、隣接走査幅を撮像するために走査ヘッド２を横方向に変位させることを可能にすることができる。顕微鏡スキャナ１は、コンピュータシステム１０の形態にある電子コントローラを用いて制御される。図１には、以下の例で参照するための座標軸を更に提供する。縦座標ｚ軸は、走査ヘッド２の光軸及びターゲット６の焦点高さに位置合わせされ、それに対して横座標ｘ軸は、走査方向（図１の矢印９と平行）を表す。ターゲット６の面はｘｙ平面に位置合わせされ、調節可能合焦システム４のレンズは、ｚ軸に沿って移動可能である。代わりの例では、走査ヘッド２は、静止したままに留まり、走査処理中に走査ヘッド２とターゲット６の間の相対運動を達成するためにターゲット６がｘｙ平面内で移動される。予備走査カメラ１２は、走査ヘッド２とは別個のユニットを形成することができ、かつ走査ヘッド２とは独立に作動可能である。予備走査カメラ１２は、ラインスキャナを備えることができるが、その選択は、予備走査カメラ１２を用いて全スライドの２次元予備走査画像を取得することができる限り、取りわけ重要というわけではない。それとは対照的に、予備走査に続く撮像走査では、ラインスキャナ３を用いなければならない。後に議論することになるが、ＴＤＩセンサも、２次元撮像モードで作動する２Ｄセンサも、撮像走査中に空間分解能を変更する必要があることに起因して撮像走査には適さない。適切な顕微鏡スキャナ１の例は、Ｒｏｃｈｅ Ｄｉａｇｎｏｓｔｉｃｓによって提供されているＶＥＮＴＡＮＡ ＤＰ２００である。

次に、本発明の第１の実施形態による方法を実行する際の顕微鏡スキャナ１の作動を図１から図９を参照して以下に説明する。本方法は、段階１００（図２）で始まり、そこでターゲット６の予備走査画像を備える予備走査データを発生させるために予備走査が実行される。予備走査カメラ１２を用いてターゲット６の画像を取得しながら、走査ヘッド２が、予備走査撮像経路に沿って１回通過で軌道８に沿って通過する。予備走査カメラ１２は、サンプルの厚み（典型的に２μｍから１０μｍの間）よりも有意に大きい１ｍｍの焦点深度でターゲットの画像を取得するように構成される。従って、予備走査カメラ１２の焦点高さは、予備走査中には調節されず、予備走査画像は、比較的低い分解能、例えば、１２００ｄｐｉ（１ｍｍ当たり４７本のライン）で迅速に発生される。予備走査画像は、ターゲット６上のサンプルの外形の概観を提供し、そこから、１又は２以上の着目区域ＡＯＩを１回目の撮像走査中の撮像に向けて選択することができる。

予備走査画像の例を図３によって例示している。右側にターゲット６の不透明領域が識別可能であり、そこでラベル２２がスライドに固定される。当業技術で公知であるように、この領域は、予備走査中に顕微鏡スキャナ１を透過モードと反射モードとで作動させ、取得される画像を比較することによって識別される。ターゲット６の残りの（光学的に透過性の）部分は、撮像走査を実行することになる走査領域２０としてコンピュータシステム１０によって選択される。この走査領域２０は、図４の予備走査画像に重ね合わせられたヘリングボーンパターンによって識別される。

予備走査画像は、その内部でサンプルが視認可能な各領域が「サンプル含有領域」とも呼ぶＡＯＩとして識別されるように段階１０１で従来のソフトウエアを用いて処理される。より具体的には、予備走査画像の自動画像解析を用いて、ターゲット上のどこにサンプルが存在することが予想されるかを示す確率マップが生成され、この確率マップから１又は２以上のＡＯＩが選択される。典型的には、サンプルがＡＯＩの中に完全に含有されるように、ＡＯＩの境界をサンプルの外縁（予備走査画像から識別される）の僅かに外側を延びるように選択することができる。次に、１又は２以上のＡＯＩが分画された予備走査画像をユーザに対してコンピュータシステム１０を用いて表示することができる。任意的に、ユーザは、次に、１又は２以上のＡＯＩの境界を必要に応じてコンピュータシステムを用いて手動で調節することができる。例示目的で、図５は、図３及び図４の予備走査画像を示すが、ヘリングボーンパターンは、予備走査画像から識別されたサンプル含有領域２４にわたって重ね合わせられていない。ヘリングボーンパターンが延びる走査領域２０の残余（サンプル含有領域２４の外側）を本明細書では「サンプル不在領域」２６と呼ぶ。

撮像走査は、予備走査と比較してかなり低速で進行し、従って、撮像走査中にはターゲット６上でサンプルが存在する区域のみを撮像することが望ましい。従って、典型的には、撮像走査は、予備走査データから識別された１又は２以上のＡＯＩだけにわたって実行されると考えられる。しかし、予備走査画像の分解能は比較的低く、ＡＯＩ検出処理でエラーが発生する場合がある。従って、サンプルの一部分は、識別された１又は２以上のＡＯＩから不用意に除外される場合がある。従って、これらの領域を撮像走査中に撮像し損ねることが考えられ、これは望ましくない。上記とは反対に、撮像走査が走査領域２０全体にわたって均一に実行される場合に、全走査時間が非常に長くなると考えられ、処理するのに時間を消費する大量のデータが発生されると考えられる。従って、撮像走査中に走査領域２０全体が撮像されるが、ターゲット走査速度がサンプル含有領域２４内よりもサンプル不在領域２６内で速いという妥協点が見出される。

方法の段階１０２では、ｘｙ平面内のサンプル含有領域２４内で（典型的には、ＡＯＩ内のサンプル含有領域２４の縁部で）シード場所が選択され、この場所でサンプルの焦点高さがラインスキャナ３を用いて測定される。調節可能合焦システム４の焦点高さは、ｚ軸に沿って１μｍ前後までの焦点深度を有するいくつかの異なる焦点位置でターゲット６からの画像情報を取得するように予め決められた範囲の焦点高さにわたって変更される。次に、各焦点位置での画像情報から、焦点メリット値の形態にある焦点パラメータを使用することによって焦点位置が計算される。典型的には、焦点メリット値は、画像内の複雑度の数値尺度であり、この値が大きいほど画像内の詳細が多い。より合焦された画像は、対応するより高いメリット値を有する。この場合に、最も高いメリット値を有する焦点高さは、シード場所に対する測定焦点位置として格納され、処理は、識別されたいずれか残りのシード場所に関して繰り返される。

ラインスキャナ３が走査領域２０全体（サンプル含有領域２４とサンプル不在領域２６とを備える）を撮像するように走査ヘッド２が端から端まで移動されることになる画像走査経路が計算される。次に、ラインスキャナ３は、サンプル不在領域２６内の開始場所に移動され、シード場所に対する焦点位置に関して記録された焦点高さに従って焦点高さが設定される。例えば、開始場所での焦点高さは、シード場所での焦点高さと同じとすることができ、又はそれは、この位置の外挿に基づく場合がある。

撮像走査中にサンプル不在領域２６の画像を取得する意図は、サンプルの一部分がサンプル不在領域２６に位置する（従って、予備走査画像の解析に基づいて検出されなかった）場合にこの部分を撮像することができることである。しかし、サンプルのいずれの画像も、サンプル含有領域２４内で取得される画像の分解能と同様又は等しい分解能で取得されることが望ましい。従って、第１の実施形態により、画像走査経路に沿って取得される各画像に関して、１又は２以上の画像パラメータがコンピュータシステム１０によってモニタされる。典型的には、モニタされる画像パラメータは、サンプルがラインスキャナ３の視野に出入りする度に閾値の上下に変化することになる。例えば、各場所で焦点メリット値又は周波数成分をモニタすることができ、典型的には、これらの値は、サンプルが視野に入る度に予め決められた閾値を上回って増大することになる。これに代えて又はこれに加えて、画像の輝度をモニタすることができ、この場合に、輝度閾値よりも低い輝度の降下（例えば、最大輝度の９０～９５％）は、ラインスキャナ３の視野にサンプルが入ることを示している。透明なスライドは、固定ノイズ又は最小高周波数応答を有する所与の輝度値を有することになる。輝度が輝度閾値を下回って低下する場合又はノイズ又は高周波数値が対応する閾値を上回って増加する場合は、組織が存在することができ、走査分解能を高めるために走査速度を低減することができる。典型的には、この低減は、突然の加速を排除するためにある領域にわたると考えられる。このようにして、予備走査画像内で検出されない組織を高分解能で走査することができる。組織がもはや検出されなくなると、走査時間を短縮するために移動速度を増大することができる。

段階１０３で撮像走査が始まり、この時点で、走査ヘッド２が開始場所から画像走査経路にわたって移動され、ターゲット６上の複数の隣接場所の画像が取得される。画像走査経路は、ラインスキャナ３がサンプル不在領域２６内で第１のターゲット速度で移動し、サンプル含有領域２４内で第２のターゲット速度で移動し、かつ第１のターゲット速度が第２のターゲット速度よりも速いように計算される。通過走査の空間分解能は、走査速度（「移動速度」とも呼ぶ）を増大することによって変更することができる。サンプル含有領域２４内の走査分解能が４０００ｌｐｍｍ×４０００ｌｐｍｍに設定される場合に、移動速度を増大することにより、走査分解能は４０００ｌｐｍｍ×ｙｌｐｍｍに変更され、この場合に、ｙは、４０００ｌｐｍｍと１０００ｌｐｍｍの間の又はそれよりも更に低い数値とすることができる。典型的には、サンプル不在領域２６は透明スライドのみを含有するので、この領域を高分解能で走査することは重要ではない。従って、走査分解能が１０００ｌｐｍｍに選択される場合に、サンプル不在領域２６は、サンプル含有領域２４の４倍の速度で走査することができる。撮像走査に対する開始位置は、サンプル不在領域２６内にあり、従って、ラインスキャナ３は、最初に第１のターゲット速度で移動される。しかし、サンプル不在領域２６内でサンプルがラインスキャナ３の視野に入ることを示す１又は２以上の画像パラメータの変更がモニタされる場合に、走査速度が第２のターゲット速度まで低減される。従って、サンプルのオンザフライ検出を行うことができ、サンプルは、ターゲット６上に存在する限り高分解能で撮像される。

撮像走査でサンプルの縁部が近づいていることを予備走査データが示す時に、サンプルの縁部が高分解能で取り込まれるように走査速度を低減することができる。これを図６に示しており、この図では、上側のグラフがターゲット６の２つの区域を示しており、左にある透明部分は、サンプル不在領域２６を表し、それに対して目印として網掛けを付けた領域は、サンプル含有領域２４を表している。図６の下側のグラフは、ラインスキャナ３がサンプル不在領域２６を撮像する段階からサンプル含有領域２４を撮像する段階に移行する時の走査速度の変化を例示している。画像走査経路は、ラインスキャナ３がサンプル不在領域２６を撮像する段階からサンプル含有領域２４を撮像する段階に移る前に走査速度が第１のターゲット速度から第２のターゲット速度まで徐々に低減するように計算される。この例では、第２のターゲット速度は、第１のターゲット速度の半分である。次に、この領域の内側でいずれの突然の減速も発生することなくターゲット含有領域２４の第１の画像が第２のターゲット速度で取得される。同様に、図７によって示すように、サンプル含有領域２４の縁部を越したことを予備走査データが示すと、走査速度は、第１のターゲット速度まで増大して戻される。この速度増大は、加速の割合を低減するために領域にわたって行われ、異なる区域間の滑らかな移行を発生させる。最大加速度／減速度及び最大加速変化率が存在することになる。撮像走査中にターゲット６が移動され、ラインスキャナ３が静止したままに保持される例を取ると、５ｋｇのステージ及びスライドを１０００ｌｐｍｍ走査に必要とされる速度から４０００ｌｐｍｍ走査に必要とされる速度まで変更するのに３Ｊしか必要とされないと考えられるが、この変更を単一ラインの時間以内に行うには８５Ｗを必要とすると考えられる。１０本のラインにわたって拡散させると、同じエネルギを必要とするが、電力は８．５Ｗまで低減する。

図６及び図７の上側のグラフ内の垂直破線は、画像取り込みがトリガされる場所を例示している。ラインスキャナ３は、撮像走査を通して画像を一定の割合で取得する。従って、サンプリング点（すなわち、画像取り込みがトリガされる場所）の空間密度は、走査速度が第１のターゲット速度から第２のターゲット速度に低下する時に増大し（図６）、次に、走査速度が第２のターゲット速度から第１のターゲット速度に増大する時に低下する（図７）。いずれの内挿も不在の場合に、後に図９を参照して議論するように、この走査速度変化は、サンプル不在領域２６とサンプル含有領域２４の間の対応する画像分解能変化に至ることになる。

第１の実施形態では、走査速度は、サンプル含有領域２４全体を通して第２のターゲット速度で一定に保持される。しかし、他の実施形態では、走査速度は、サンプルがサンプル含有領域２４内に位置付けられないことをモニタされた１又は２以上の画像パラメータが示す場合に増大させることができる。これは、例えば、ＡＯＩ検出アルゴリズムがターゲット６上の面マーキングをサンプルの一部分として間違って識別した場合に発生する可能性があると考えられる。ラインスキャナ３の焦点深度は、典型的には、３マイクロメートルよりも小さく、すなわち、面マーキングが撮像走査内でサンプルとして識別される可能性は低い。任意的に、走査速度は、サンプル含有領域２４内でサンプルが閾値距離内で（又は同等的に閾値ライン数が取得された後に）検出されない場合にのみ第２のターゲット速度から増大することができる。次に、走査速度を第２の走査速度から第１の走査速度に又は任意的にこれら２つの値の間の値まで増大することができる。例えば、走査速度の増大は、確率マップによって決定されたサンプルが所与の場所又は領域に存在する確率によって均衡させることができる。すなわち、予備走査解析がサンプルの存在の良好な確実性を与える場合に、サンプルは、サンプル含有領域２４内で撮像されることになることが予想され、このサンプルに到達した時にそれを最も高い分解能で撮像することが望ましいので、走査速度は増大されないと考えられる。しかし、確率マップが、サンプル含有領域としてマーキングされた区域内の所与の位置にサンプルが存在する比較的低い確実性しか示さない（すなわち、予備走査解析が当該領域でのサンプルの存在に関して不確実であった）場合に、走査速度をある倍率だけ増大することができると考えられる。例えば、サンプルが所与の場所に存在する確実性が５０％しかない場合に、走査速度は、その可能な増大の５０％のみ増大されると考えられる。

更に別の実施形態では、走査速度は、予備走査データから発生された確率マップから決定された所与の場所でサンプルを見出す確実性の比率として撮像走査中に連続的に調節される。これに代えて、９５％の閾値輝度が透明スライド（分解能が１０００ｌｐｍｍに設定された）を示し、９０％の輝度の第２の閾値がサンプル（分解能が４０００ｌｐｍｍに設定された）を示す場合に、この範囲内に線形立ち上がりを用いて輝度値に対する速度を設定することができると考えられる。例えば、輝度が９２．５％と測定された場合に、走査速度は、２５００ｌｐｍｍの分解能を発生させるように設定することができる。

第１の実施形態に戻ると、ラインスキャナ３が、サンプル含有領域２４の画像を取得する段階から再度サンプル不在領域２６の画像を取得する段階に進行すると、走査速度は、第１のターゲット速度まで増大する（図７によって示す）。ラインスキャナ３の視野内のサンプルの存在を示すモニタされた１又は２以上の画像パラメータの変化があった場合にサンプルが適切に高い分解能で撮像されるように、走査速度は、再度第２のターゲット速度まで低減される。このようにして、サンプルの一部が予備走査データの解析によって検出されなかった場合に、依然としてこの部分の高分解能画像が取得されることになる。図８は、サンプルの一部分がサンプル不在領域２６内で検出されるそのような例を例示している。上側のグラフは、ラインスキャナ３が画像走査経路に沿って移動する時の走査速度を例示している。画像走査経路に沿って取得された各画像から、焦点メリット値の形態の画像パラメータが計算される。図８の下側のグラフ内で画像走査経路に沿う対応する位置に、各画像又は「ライン」に対する焦点メリット値を「×」でマーキングする。走査速度は、焦点メリット値が焦点メリット値閾値よりも低い連続画像取り込みのための第１のターゲット速度に保持される。「Ａ」とマーキングしている位置では、焦点メリット値は閾値よりも高くなく、サンプルの一部分が当該位置（サンプル不在領域２６の内側）に対する画像内で視認可能であることを示している。焦点メリット値のこの変化に応答して、走査速度は、第１のターゲット速度から第２のターゲット速度まで低減される。ラインスキャナ３は、第２のターゲット速度に到達するまでその後の３本のラインにわたって減速される。焦点メリット値は、位置Ａから位置Ｂまで延びる画像走査経路の部分を通してほぼ一定であり、この領域にわたってサンプルが延びることを例示している。いわゆるサンプル不在領域内のサンプルの検出は、予備走査データのみの解析がどのように不正確な結果を提供する可能性があるか、従って、サンプル含有領域２６に加えてサンプル不在領域２６の画像を取得することがなぜ有利であるのかを例示している。第１の実施形態では、走査速度は、モニタされた画像パラメータの変化に応答してオンザフライで調節されるが、代替実施形態では、走査速度は、予備走査データのみの解析に基づいて設定することができ、サンプル含有領域は、サンプル不在領域よりも低い速度で撮像される。

撮像走査全体を通して、推定焦点レベルは、ＵＳ ９１１６０３５ Ｂ２に説明されているような当業技術で公知の技術を用いて計算することができる。サンプルがラインスキャナ３の視野内である場合に、ラインスキャナ３の焦点高さは、推定焦点位置の方向に又はこの位置まで画像走査経路に沿って各ｘｙ場所の間で調節される。走査領域が完全に撮像されるまで、ターゲット６は、蛇行画像走査経路又はラスター画像走査経路を辿りながらこのようにして１又は２以上の走査幅内で撮像される。

段階１０４では、ラインスキャナ３によって取得された個々の画像が互いに組み合わされ、ターゲットの高分解能画像が形成される。出力画像の観察分解能は、高速走査区域と低速走査区域の両方に関して均一であることが望ましい。より高い走査速度で走査された区域内の画像分解能は、双３次内挿又は当業技術で公知の他の画像処理技術（例えば、「Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｃ： ｔｈｅ Ａｒｔ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｍｐｕｔｉｎｇ（Ｃ言語での数値レシピ、科学計算の技術）」、ケンブリッジ大学出版局、１９９２年の第３章に説明されている）のような内挿技術を使用することによって増大することができる。すなわち、より低い分解能で走査するが、高分解能画像であるように見えるものを発生させることが可能である。段階１０４では、出力高分解能画像内で一定の分解能を維持するために、画像が取得された走査速度に従って内挿比が適切に調節されることになる。これを下記で図９を参照して更に議論する。

図９は、図６の処理であるが、この場合は、上側のグラフがラインスキャナ３上に入射する光の量を例示している。光レベルは最初に高く（図示の正規化スケール上で約０．９である）、サンプルが存在しないターゲット６の領域にわたってほぼ一定である。次に、光レベルは、サンプルがラインスキャナ３の視野に入る時に（サンプル含有領域２４の内側）０．１よりも低くなるまで低下する。光レベルは、画像走査経路に沿って取り込まれた画像からモニタされ、サンプリング点の位置を円でマーキングする。隣接サンプリング点間の空間分離幅は、「Ｃ」とマーキングしている領域内（サンプル不在領域２６内）で「Ｅ」とマーキングしている領域内（サンプル含有領域２４内）の約２倍である。「Ｄ」とマーキングしている領域は、走査速度が第１のターゲット速度と第２のターゲット速度の間で立ち下がる領域を例示している。段階１０４の実施では、ラインスキャナ３からの画像データは、画像走査経路にわたって一定の分解能で発生されるように公称ＨＲ格子の上に内挿される。内挿データを上側のグラフ内で星形を用いてマーキングする。明らかなように、画像データは、領域Ｃ及びＤに対する隣接サンプリング点間で内挿されている。その後に、撮像走査によって発生される高分解能画像は、サンプル解析に向けてコンピュータシステム１０によってユーザに対して表示することができる。

サンプル全体が高分解能でかつ全体走査時間を過度に延長させることなく撮像されることを保証する顕微鏡スキャナを作動させるための改善された方法が従って提供される。

１００ 予備走査を実行する段階
１０１ ＡＯＩを識別する段階
１０２ シード場所で焦点高さを測定する段階
１０３ 画像走査経路に沿って画像を取得する段階
１０４ ターゲットの高分解能画像を生成する段階

Claims (27)

1. ラインスキャナを備える顕微鏡スキャナを作動させる方法であって、
   サンプルを備えるターゲットに関する予備走査データを発生させる段階であって、
   予備走査から前記ターゲットの予備走査画像を取得する段階、及び
   前記予備走査画像から前記ターゲットの前記サンプルが存在することが予想される該ターゲット上の場所に対応する１又は２以上のサンプル含有領域と該サンプルが不在であることが予想される該ターゲット上の場所に対応する１又は２以上のサンプル不在領域とを識別する段階、
   を備える前記発生させる段階と、
   前記１又は２以上のサンプル含有領域と前記１又は２以上のサンプル不在領域とを含む前記ターゲットの走査領域の撮像走査を実行する段階であって、
   画像走査経路に沿って前記ターゲットに対して前記ラインスキャナを移動し、かつ該ラインスキャナを用いて該画像走査経路に沿った複数の場所の各々での該ターゲットの画像を取得する段階、及び
   前記予備走査データに基づいて前記画像走査経路に沿って前記ラインスキャナの走査速度を、前記ターゲットが前記１又は２以上のサンプル不在領域内で前記１又は２以上のサンプル含有領域内よりも高い走査速度で撮像されるように、調節する段階、
   を備える前記実行する段階と、
   を備えることを特徴とする方法。
2. 前記予備走査データに基づいて前記走査速度を調節する段階は、前記１又は２以上のサンプル不在領域内で第１のターゲット速度で前記ターゲットを撮像する段階と、前記１又は２以上のサンプル含有領域内で第２のターゲット速度で該ターゲットを撮像する段階とを備え、該第１のターゲット速度は、該第２のターゲット速度よりも高く、
   前記撮像走査は、前記ラインスキャナが前記サンプル不在領域の画像を取得する段階から前記サンプル含有領域の画像を取得する段階に移行する前に前記走査速度を前記第１のターゲット速度から前記第２のターゲット速度まで又はそれに向けて低減する段階を更に備える、ことを特徴とする請求項１に記載の方法。
3. 前記撮像走査を実行する段階は、
   前記画像走査経路に沿って取得された前記ターゲットの前記画像からの１又は２以上の画像パラメータをモニタする段階と、
   前記１又は２以上の画像パラメータの変化に応答して前記１又は２以上のサンプル不在領域内の前記ラインスキャナの前記走査速度を更に調節する段階と、
   を更に備える、ことを特徴とする請求項１又は２に記載の方法。
4. 前記１又は２以上の画像パラメータは、前記１又は２以上のサンプル不在領域内の前記サンプルの存在を検出するためにモニタされることを特徴とする請求項３に記載の方法。
5. 前記走査速度は、前記サンプルが検出された前記ターゲット上の場所が、該サンプルが検出されない該ターゲット上の場所よりも低い走査速度で撮像されるように更に調節される、ことを特徴とする請求項４に記載の方法。
6. 前記予備走査データに基づいて前記走査速度を調節する段階は、前記１又は２以上のサンプル不在領域内で第１のターゲット速度で前記ターゲットを撮像する段階と、前記１又は２以上のサンプル含有領域内で第２のターゲット速度で該ターゲットを撮像する段階とを備え、該第１のターゲット速度は、該第２のターゲット速度よりも高く、
   前記１又は２以上のサンプル不在領域内の前記ラインスキャナの前記走査速度を更に調節する段階は、前記サンプルの検出を示す前記１又は２以上の画像パラメータの変化に応答して該走査速度を前記第１のターゲット速度から低減する段階を備える、
   ことを特徴とする請求項３～５のいずれか１項に記載の方法。
7. 前記撮像走査は、前記取得された画像内で前記サンプルの不在を示す前記１又は２以上の画像パラメータの変化に応答して前記１又は２以上のサンプル含有領域内の前記走査速度を増大する段階を更に備える、ことを特徴とする請求項３～６のいずれか１項に記載の方法。
8. 前記走査速度を更に調節する段階は、前記１又は２以上の画像パラメータが閾値に対して第１の予め決められた方式で変化するのに応答して前記ラインスキャナの該走査速度を低減する段階を備える、ことを特徴とする請求項３～７のいずれか１項に記載の方法。
9. 前記１又は２以上の画像パラメータは、前記サンプル不在領域内で前記サンプルの画像が取得されているのに応答して前記閾値に対して前記第１の予め決められた方式で変化する、ことを特徴とする請求項８に記載の方法。
10. 前記走査速度を更に調節する段階は、前記１又は２以上の画像パラメータが前記閾値に対して第２の予め決められた方式で変化するのに応答して前記ラインスキャナの該走査速度を増大する段階を備える、ことを特徴とする請求項８又は９に記載の方法。
11. 前記１又は２以上の画像パラメータは、前記画像の輝度を備え、
    前記ラインスキャナの前記走査速度は、前記画像の前記輝度が低下するのに応答して低減される、ことを特徴とする請求項３～１０のいずれか１項に記載の方法。
12. 前記１又は２以上の画像パラメータは、焦点メリット値を備え、
    前記ラインスキャナの前記走査速度は、前記焦点メリット値が増加するのに応答して低減される、ことを特徴とする請求項３～１１のいずれか１項に記載の方法。
13. 前記撮像走査は、前記画像走査経路に沿った各前記場所で焦点メリット値を計算する段階と、該焦点メリット値に基づいて該画像走査経路に沿って前記ラインスキャナの焦点高さを調節する段階とを更に備える、ことを特徴とする請求項１～１２のいずれか１項に記載の方法。
14. 前記画像は、前記撮像走査中に時間的に一定の割合で取得される、ことを特徴とする請求項１～１３のいずれか１項に記載の方法。
15. 前記ラインスキャナは、前記撮像走査中に前記サンプル含有領域にわたって一定速度で移動される、ことを特徴とする請求項１～１４のいずれか１項に記載の方法。
16. 前記ラインスキャナは、前記撮像走査中に前記ターゲットに対して前記画像走査経路に沿って連続的に移動される、ことを特徴とする請求項１～１５のいずれか１項に記載の方法。
17. 前記予備走査に対する焦点深度が、５００マイクロメートルを超え、
    前記画像走査経路に沿って取得される各画像に対する前記焦点深度は、３マイクロメートルよりも小さい、ことを特徴とする請求項１～１６のいずれか１項に記載の方法。
18. 予備走査データを発生させる段階は、前記サンプルが前記ターゲット上の各場所に存在する可能性を示す確率マップを生成するために前記予備走査画像の画像解析を実行する段階を更に備え、
    前記１又は２以上のサンプル含有領域及び前記１又は２以上のサンプル不在領域は、前記確率マップから選択される、ことを特徴とする請求項１～１７のいずれか１項に記載の方法。
19. 前記予備走査データに基づいて前記画像走査経路に沿って前記ラインスキャナの前記走査速度を調節する段階は、前記確率マップによって決定された時の前記サンプルが前記ターゲット上の所与の場所に存在する前記可能性に従って該走査速度を調節する段階を備える、ことを特徴とする請求項１８に記載の方法。
20. 前記１又は２以上のサンプル不在領域は、前記サンプルを含有する可能性が低い前記確率マップからの場所に対応し、
    前記１又は２以上のサンプル含有領域は、前記サンプルを含有する可能性が高い前記確率マップからの場所に対応し、
    予備走査データを発生させる段階は、前記サンプルを含有する可能性が前記サンプル不在領域及び前記サンプル含有領域の可能性の間である前記確率マップから前記ターゲット上の不確実性の１又は２以上の領域を識別する段階を更に備える、ことを特徴とする請求項１８又は１９に記載の方法。
21. 前記予備走査データに基づいて前記走査速度を調節する段階は、前記１又は２以上のサンプル不在領域内で第１のターゲット速度で前記ターゲットを撮像する段階と、前記１又は２以上のサンプル含有領域内で第２のターゲット速度で該ターゲットを撮像する段階と、前記不確実性の１又は２以上の領域内で第３のターゲット速度で該ターゲットを撮像する段階とを備え、
    前記第３のターゲット速度は、前記第２のターゲット速度よりも高く、かつ前記第１のターゲット速度よりも低い、ことを特徴とする請求項２０に記載の方法。
22. 前記撮像走査中に取得された前記画像の組合せから前記ターゲットの高分解能画像を発生させる段階を更に備え、
    前記高分解能画像を発生させる段階は、より高い走査速度で取得された画像の分解能をより低い走査速度で取得された該画像の該分解能に対応するように画像内挿を用いて増大する段階を備える、ことを特徴とする請求項１～２１のいずれか１項に記載の方法。
23. 前記高分解能画像を発生させる段階は、該高分解能画像内で一定分解能を維持するように内挿比を調節する段階を備える、ことを特徴とする請求項２２に記載の方法。
24. 前記撮像走査は、前記顕微鏡スキャナに対して透過モードで実行される、ことを特徴とする請求項１～２３のいずれか１項に記載の方法。
25. 前記顕微鏡スキャナは、明視野顕微鏡である、ことを特徴とする請求項２４に記載の方法。
26. ターゲット全体を好ましくは該ターゲットのいずれの不透明領域も除外して実質的にカバーするように前記予備走査画像から前記走査領域を選択する段階を更に備える、ことを特徴とする請求項１～２５のいずれか１項に記載の方法。
27. ラインスキャナとサンプルを備えるターゲットとを備える顕微鏡スキャナを用いて実行された時に該顕微鏡スキャナに請求項１～２６のいずれか１項に記載の前記方法を行わせる命令を含有するコンピュータプログラム製品。

Images