JP6733069B2 - 顕微鏡スライドのデジタル化の改良 - Google Patents

顕微鏡スライドのデジタル化の改良 Download PDF

Info

Publication number
JP6733069B2
JP6733069B2 JP2020049225A JP2020049225A JP6733069B2 JP 6733069 B2 JP6733069 B2 JP 6733069B2 JP 2020049225 A JP2020049225 A JP 2020049225A JP 2020049225 A JP2020049225 A JP 2020049225A JP 6733069 B2 JP6733069 B2 JP 6733069B2
Authority
JP
Japan
Prior art keywords
sample
image
sample holder
detector array
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020049225A
Other languages
English (en)
Other versions
JP2020109528A (ja
Inventor
ハウズ,ウィリアム・ローランド
ガッチ,マーティン・フィリップ
Original Assignee
エフエフイーアイ リミティド
エフエフイーアイ リミティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エフエフイーアイ リミティド, エフエフイーアイ リミティド filed Critical エフエフイーアイ リミティド
Publication of JP2020109528A publication Critical patent/JP2020109528A/ja
Application granted granted Critical
Publication of JP6733069B2 publication Critical patent/JP6733069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Geometry (AREA)

Description

本発明は、顕微鏡スキャナを用いてサンプルを撮像するための方法及び装置に関する。
今日利用可能な顕微鏡スキャナは、典型的には、サンプルの表面上の複数の部分の画像を取得し、これらを一緒に画像格子に結合し、サンプルの全体的なデジタル化画像を形成することによって、顕微鏡サンプル、例えばスライドの画像をデジタル化する。
画像内の任意の空間歪を回避するために、各画像がサンプル上にて一定間隔で確実に取得されることが有利である。現在の顕微鏡スキャナは、サンプルを検出器に対して一定速度で移動し、次に、検出器を用いて、所定の周波数でサンプルの複数の画像を取得することによって、これを行おうと試みる。最大可能レートでの画像キャプチャが可能になるとともに、確実にサンプルの表面が全体的に撮像されるように、サンプルの運動は、検出器のキャプチャレートに同期されてもよい。このことにもかかわらず、空間歪が依然としてデジタル化画像で生じうることが分かっている。
本発明は、顕微鏡スキャナを用いてサンプルを撮像するための方法及び装置を提供する。
本発明の第1の態様によれば、顕微鏡スキャニング装置が提供され、顕微鏡スキャニング装置は、
画像をサンプルから得るための検出器アレイと、
サンプルを使用中に保持するように構成されたサンプルホルダであって、検出器アレイに対して移動するように構成されたサンプルホルダと、
サンプルホルダの相対位置を制御するための位置制御信号を発行するように構成されたコントローラと
を備え、
サンプルホルダは、検出器アレイに対して複数のターゲット位置に、撮像スキャン中位置制御信号に従って移動するように構成され、前記検出器アレイは、画像を位置制御信号に基づいて撮像スキャン中にキャプチャするように構成される。
本発明は、従来技術の多くの欠点に対処することによって顕微鏡サンプルを撮像するための改良された方法を提供する。従来技術の方法は、サンプルと検出器との間の運動がスキャン中に一定速度であり、それゆえ、時間的に等間隔に得られる任意の画像は、必然的にサンプル上の等距離に対応すると仮定する。真に一定の速度を提供するのに必要な感度を有する顕微鏡スキャナを製造することは、一般的に困難であり、又は、少なくとも高価であるので、この仮定には必ずしも依拠することができない。むしろ、サンプルの速度は、典型的には、画像スキャン中平均値の周りで変動する。これらの変動は、サンプルの特定の画像が誤った位置で発生し、それゆえ、スキャンから得られた画像が画像格子又は集合画像にマップされるとき、空間歪が発生することを意味する。
従来技術の方法には別の固有の制限が存在する。すなわち、撮像可能になる前に、サンプルが一定速度に加速され、続いて、その後減速されるのを待つ必要があるので、効率が損なわれることである。それゆえ、画像キャプチャが生じない「無駄時間」という固有の
期間が存在する。これは、スキャンの全期間を増加させ、複数の画像帯(swathe)が複数のサンプルから求められるとき、特に制限となりうる。
これらの制限は、複数のターゲット位置に、コントローラによって発行される位置制御信号に従って移動するように構成されるサンプルホルダを用いることによって対処され、検出器アレイは、これらの位置制御信号に基づいてサンプルの画像をキャプチャするように構成される。位置制御信号は、サンプル上のさまざまなターゲット位置に対応するので、サンプルは、均一に撮像される。それゆえ、一定の時間間隔で画像をキャプチャすること、及びターゲット上に等間隔で到達する検出器に依拠するのではなく、画像キャプチャは、コントローラによって命令を発行し、検出器によって見たときの公称ターゲット位置にサンプルホルダを到達させることに関係する。これらのターゲット位置は、検出器の光軸に対して等間隔に配置されてもよい。システムの正確さは一定速度を維持する能力にもはや依拠しないので、これはシステムの正確さを増加させる。検出器アレイはまた、要求速度、すなわち、達成するようにコントローラがサンプルホルダ(又は検出器アレイ)に命令する速度に従って画像をキャプチャするように構成されてもよい。なぜなら、これは、基本的にターゲット位置の時間導関数であり、それゆえ、画像キャプチャが依然「位置制御信号に基づく」からである。
サンプル運動の加速段階を「増加」及び「減少」する間、画像キャプチャが発生しうるので、システムの効率もまた改善される。異なるそれぞれの慣性及び制限を有する異なる顕微鏡スライドスキャナが、位置キャプチャ信号に依拠することによって説明され、速度に関係なく、画像キャプチャは、依然トリガされうるので、これは、ひいてはシステムの柔軟性を増加させる。
サンプルホルダは、画像スキャン中検出器アレイに対して複数のターゲット位置に移動するように構成される。これは、サンプルホルダがスキャンパスに沿って移動し、検出器アレイが静止状態に保たれること、又は、検出器アレイがスキャンパスに沿って移動し、サンプルホルダが静止状態に保たれることを意味しうる。原則として、各々が移動できる。サンプルの異なる領域が、撮像スキャン中検出器の視野内に従って存在する限り、この相対運動が得られる正確な方法は重要ではない。
複数のターゲット位置は、好ましくは、ターゲット速度プロファイルに対応する。さらに好ましくは、前記ターゲット速度プロファイルは、コントローラによってアクセスされる(又は、アクセス可能である)メモリに記憶される。ターゲット速度プロファイルは、サンプル運動のための所定の速度対時間の軌道とみなすことができる。これは、サンプルホルダがスキャン中、存在「しなければならない」位置に関する情報を含み、任意の加速、等速又は減速段階を含む。検出器アレイは、好ましくは、位置制御信号に基づいて、速度プロファイル上の一定距離の(distal)間隔で画像をキャプチャするように構成される。隣接する個々の画像又は「画像ライン」から成るサンプルの完全かつ連続した画像を得るために、検出器アレイによってキャプチャされる各画像は、好ましくは、検出器アレイの視野に実質的に等しいターゲット距離によってサンプルの表面上で隔てられた(distally)間隔で配置される。これにより、隣接する画像間に重なり合いが存在せず、失われたライン又はギャップが結合された「集合」画像内に存在しないことが確実になる。
検出器アレイに対してサンプルホルダを駆動するように構成されたモータを設けることが好ましい。モータは、検出器アレイ又はサンプルホルダを移動することができ、それによって2つの間の相対運動が達成される任意のタイプの駆動機構の一部を形成してもよい。参照され、画像スキャン中達成されるこの相対運動は、好ましくは、サンプルを通るスキャナの光軸と垂直な面において行われる。この運動に加えて、焦点高さもまた、他の手
段(例えばスタック焦点技術)によって、スキャン中に調整されてもよく、その結果、サンプルは、撮像スキャン中常に焦点が合っている。この焦点制御は、例えば、コントローラ及び専用の駆動システムによって実行可能である。
位置制御信号は、好ましくは、所望のモータ出力に基づく。それゆえ、位置制御信号は、必ずしも実際の測定位置に関係せず、必ずしも顕微鏡ユーザによって特定された位置に関係しない。むしろ、それは、コントローラがモータ(又は他の任意の適切な駆動機構)に、その近傍又はその位置へとサンプルホルダを移動するように命令した要求位置に関係する。適切なモータの例は、ステッピングモータである。これらのモータは、フィードバックセンサを必要とすることなく、指定量を回転するように命令可能である。あるいは、角度位置、速度及び加速度のより正確な制御が要求される場合、モータは、サーボモータでもよい。この場合、サンプルホルダが動いている間、その位置又は速度をモニタし、ターゲット位置と比較することが可能である。次に、モータの速度は、エラーを最小化し、スキャン中常にサンプルホルダのためのターゲット瞬時位置を達成するために、それに応じて調整可能である。
サンプルの全体画像を形成するために、コントローラは、複数の位置で検出器アレイによってキャプチャされた画像を集合画像に結合するようにさらに構成される。検出器アレイによって得られた各画像は、好ましくは、サンプルの異なるが隣接する領域のものである。このように、コントローラは、撮像スキャン中検出器アレイによってキャプチャされた各隣接画像を一緒に結合するように構成されてもよく、好ましくは、画像間の任意の重なり合い又は失われたラインを、例えば補間によって説明し、サンプルのより大きな集合画像を形成してもよい。
好ましくは、コントローラは、サンプルホルダの位置をモニタするようにさらに構成される。これは、撮像スキャン中及び画像キャプチャ時(又は実質的に画像キャプチャ時)にモニタされてもよい。モニタされた位置情報は、好ましくは、記憶され、後の使用又は分析のためにメモリ内の各画像に関連付けられる。
ターゲットは、複数の形をとってもよいが、好ましくは、ターゲットは、生物組織サンプルを備える。ターゲットは、好ましくは、表面高さにおける実質的な変化を示さず、それゆえ、基本的に平坦である。例えば、ターゲットは、スライスされ、平面ガラススライドの間に保持された染色組織抽出物とすることができる。
コントローラは、好ましくは、1つもしくは複数の手動のユーザ制御、又は、回路もしくはソフトウェアにおいて実現される命令に応答して装置を動作させるための電子コントローラである。コントローラは、駆動アセンブリ、検出器アレイ及び光源と通信し、前記デバイスのいずれかを動作させることができる。装置を制御するだけでなく、コントローラは、画像処理機能を実行するのに適していてもよい。典型的には、コントローラは、1つ又は複数のプロセッサ及びメモリを備える。1つ又は複数のプロセッサは、PC又は他のコンピュータ装置上に存在してもよい。さらに、コントローラは、デバイス自体と一体でもよいし、装置の残りが接続される外部コンピューティングシステム上に存在してもよいし、その両方でもよい。このコンピューティングシステムは、ディスプレイ及びさまざまなユーザ入力デバイスを備えてもよく、かつ、サンプルのスキャン領域を選択し、生成される任意の画像又は集合画像を見るために用いられてもよい。
コントローラは、好ましくは、各画像のためのそれぞれのモニタされた位置について撮像スキャン中にキャプチャされた画像を、実質的に間隔を置かれた画像のための規則的な画像格子上に、補間技術を用いてマップするようにさらに構成される。サンプルの個々の画像を備える集合画像は、「画像格子」とみなされうる。各画像が得られる位置が均一に
分布しない場合、不規則な画像格子が生成される。あたかも各画像が、サンプル上の規則的な距離の間隔で得られたかのように、補間を用いて、集合画像の空間歪が存在しないように、この不規則な画像格子を規則的な画像格子に変換することができる。
検出器アレイによってキャプチャされた画像を集合画像に結合することに関して言えば、コントローラは、各画像のためのモニタされた位置情報を利用し、サンプルホルダの要求位置と実際のモニタされた位置との間の任意の相違を説明してもよい。それゆえ、サンプルの全体画像は、任意の空間歪が補間によって説明されて生成されてもよい。この種の相違は、例えば、外部振動のシステムへの影響、又は、サンプルホルダが、所定時間にコントローラによって存在するように命令される位置に存在しないことを最終的に意味する、駆動機構における任意の不具合もしくは制限のため発生しうる。さまざまな周知の補間技術、例えば最近傍間の三次補間法を用いて、画像を規則的な画像格子にマップしてもよい。
本発明の第2の態様によれば、顕微鏡スキャナを用いてサンプルを撮像するための方法が提供され、顕微鏡スキャナは、
画像をサンプルから得るための検出器アレイと、
サンプルを使用中に保持するように構成されたサンプルホルダであって、検出器アレイに対して移動するように構成されたサンプルホルダと、
サンプルホルダの位置を制御するための位置制御信号を発行するように構成されたコントローラと
を備え、前記方法は、
サンプルホルダを、検出器アレイに対して複数のターゲット位置に撮像スキャン中移動するように、位置制御信号を発行するステップと、
検出器アレイを用いて、位置制御信号に基づいて、撮像スキャン中、サンプルの画像をキャプチャするステップと
を含む。
本発明の第2の態様の特徴は、本発明の第1の態様の装置に関して説明した特徴と同一の利点を共有する。
本発明に係る方法及び装置の例は、以下、添付の図面を参照して説明される。
第1の例の装置の概略図である。 第1の例の方法のフロー図である。 第2の例の方法により得られる速度プロファイルである。 第2の例の装置の概略図である。 第3の例の方法を示す第1のフロー図である。 第3の例の方法に従う補間ステップの一例である。 第4の例の方法を示すフロー図である。
図1に、画像スキャン装置1の一例が示される。画像スキャン装置1は、顕微鏡スライド上に含まれるサンプル3を保持するように構成されたサンプルホルダ6、例えばステージを備える。サンプルホルダ6は、撮像光学系4及び検出器アレイ2、例えばラインスキャン検出器と光学的に整列される。撮像光学系4及び検出器アレイ2は、ラインスキャンカメラのような一体型ユニットを一緒に形成してもよい。
サンプルホルダ6は、図1に水平矢印で示すように、検出器アレイ2に対して移動するように構成される。1つ又は複数のLEDを備える光源7が設けられることにより、光源
7からの光はサンプル3を照明し、撮像光学系4を通り検出器アレイ2に到達する。
コントローラ5が設けられ、サンプルホルダ6と検出器アレイ2との間の相対運動を制御するための位置制御信号を発行するように構成される。この例では、サンプルホルダ6が移動し、検出器アレイ2を含む顕微鏡スキャナ1の残りは、静止したままである。代わりに、検出器アレイ2とサンプル3との間の相対運動のみが必要なので、検出器アレイ2が(撮像光学系4と共に)移動してもよい。典型的には、サンプルホルダ6は、検出器アレイに対して、スキャナ1の光軸11に垂直に、モータ及びトラックを含んでもよい駆動機構(図示せず)によって移動する。これは、サンプルホルダ6が通常カメラより軽く、それゆえ、より低い慣性を有するためである。
座標軸は、参考のために図1及び図4にも示される。縦座標のz軸は、顕微鏡スキャナ1の光軸11と整列され、横座標のx軸は、スキャン方向(図1の水平矢印に平行)を表す。サンプルの表面3は、xy平面に合わせられる。
サンプルホルダ6は、撮像スキャンパスの間、x軸に沿って移動するように構成される。画像スキャンパス全体にわたる装置の移動によって得られる画像は、帯を形成する。方法は、ラインスキャン検出器すなわち「ラインスキャナ」を用いて実施されるとき、特定の用途を見出す。ラインスキャン検出器は、典型的には、ピクセルの狭いストリップ又はラインの形の光検出器アレイを備える。あるいは、実質的に二次元のラインスキャナであるエリアスキャナが用いられることもある。アレイ検出器は、典型的には、表面ターゲット上の位置の間で、(ラインスキャナが用いられる場合)アレイの狭い方向に平行に、逐次移動するように構成され、各位置のための追加のスキャンラインを得る。完全な帯が得られると、サンプルホルダは、その初期位置に戻され、横方向(y方向)にオフセットされてもよく、それにより追加の帯を得るので、結果としてターゲット3が全体的に撮像される。
第1の例の方法を実行する際の画像スキャン装置1の動作が、次に図1及び図2を参照して記載される。図2のフロー図を参照すると、方法は、任意のセットアップ及び初期化の手順が実行されるステップ100から開始し、ステップ100は、サンプル3のスキャン領域(ユーザによって選択される)が、ちょうど検出器の視野の外にあるように、サンプル3を撮像光学系4の下に位置決めすることを含む。スキャン領域が検出器の視野内に移動したとき、スキャンは開始する。
画像スキャンが開始すると、ステップ101において、サンプルの第1の画像は、コントローラ5によって発行される位置制御信号に応答して検出器アレイ2によってキャプチャされる。次に、コントローラ5は、位置制御信号をモータに対して発行し、サンプルホルダ6を、x軸に整列したトラック上の画像スキャンパスに沿って移動する。第1の例の方法では、ステッピングモータが用いられて、検出器アレイ2とサンプル3との間の相対運動を駆動する。ステッピングモータは、フィードバックセンサを必要とすることなく、指定量を回転するように命令可能である。ステッピングモータは、全回転をステップカウントとして知られる複数の等しいステップに分割する。それゆえ、画像キャプチャは、例えば、1000ステップごとに発生するこのステップカウントに従ってトリガされてもよい。これは、所定のターゲット速度プロファイル、又は、コントローラによってアクセスされるメモリに記憶された速度対時間の軌道における一定距離の間隔に対応し、サンプル運動の任意の加速、等速及び減速段階を含む。
典型的には、画像スキャンパス上のターゲット位置は、検出器の視野にほぼ等しいサンプル上の距離dによって隔てられ、互いに分離される。視野は、使用する検出器及びユーザによって選択される解像度又は倍率に依存するが、典型的には、ラインスキャン検出器
の場合は、0.25マイクロメートルと0.2マイクロメートルとの間である。代わりにエリアスキャナが用いられる場合、視野は、典型的には、1ミリメートルから5ミリメートルである。例えば、40Xの光学倍率を有するラインスキャンカメラは、典型的には、10マイクロメートルの画素サイズのセンサを使用し、サンプルにおいて0.25マイクロメートルの画素サイズを生成する。次に、スキャニングシステムは、0.25マイクロメートル移動するごとに画像ラインをキャプチャするように命令される。
コントローラは、閾値数のステップに到達したと決定すると、位置制御信号を発行することによって、検出器にサンプルの第2の画像をキャプチャさせる。次に、ステップ101及び102は、サンプルの端に到達するまで、すなわち、完全な画像帯が形成されるまで繰り返される。サンプルホルダ6は、スキャン中連続的に移動し、サンプル3が動いている間、画像は、ラインスキャン検出器2によって得られる。アレイ検出器の適切な選択のために、画像がキャプチャされうるように、サンプル3の運動を止める必要はない。この運動に加えて、システムの焦点高さ(z方向)は、スキャン中に自動的に調整され、サンプル3の焦点が合っているように保たれてもよい。この焦点制御は、コントローラ5及び専用の駆動機構を用いて実行されてもよい。
完全な画像帯が得られた後で、帯による領域より大きい矩形のスキャン領域が選択される場合、可動ステージ6は、初期化位置に戻され、検出器アレイ2の視野に等しい距離だけy方向に横にオフセットされる。次に、ステップ101及び102は、サンプルの所望領域全体が撮像されるまで、サンプルのまだ撮像されていない領域に対して繰り返され、追加の隣接する帯を形成する。これは、ステップ103において実行される。代わりに非矩形のスキャン領域が所望されてもよく、その場合は、適切な、代替の運動が行われる。ステップ104において、撮像スキャン中複数のターゲット位置で得られた各画像又は「画像タイル」は、一緒に結合され、サンプルの集合画像を形成する。次に、サンプルのこの集合画像は、システムユーザ又は技術者によって分析されてもよい。
図3は、第2の例の方法により達成されうる速度プロファイルを示す。本発明の第2の例の方法は、第1の例に広範囲で一致するが、サーボモータが、ステッピングモータの代わりに用いられ、サンプルホルダ6と検出器アレイ2との間の相対運動を駆動する。
速度プロファイルは、サンプル3の変位(サンプルホルダ6の運動によって決定される)と時間との関係を示す。サンプルホルダ6は、撮像スキャン中複数のターゲット位置に移動するように構成される。これらのターゲット位置は、図3に示される滑らかな破線、すなわち「ターゲット速度プロファイル」によって示される。このターゲット速度プロファイルは、撮像スキャン中コントローラによってアクセスされるメモリに記憶され、このプロファイルに従ってサンプルホルダ6の運動を駆動してもよい。サンプルホルダ6(又はサンプル3)の実際に達成された位置は、ターゲット速度プロファイルの周りで振動する連続した線によって示される。実際には、この位置は、システムには知られていない。
従来技術の方法とは異なり、本発明によって、画像キャプチャは、サンプル運動の加速及び減速段階の間に発生することができる。これは、図3の実線の上昇勾配によって示される。必ずしも時間にリンクされるのではなく、その代わりに、画像キャプチャは、サンプルホルダ6によって移動する距離にリンクされてもよく、画像キャプチャは、位置制御信号によって決定される可変の周波数で発生する。図3は、画像キャプチャが、時間t1、t2、t3及びt4にそれぞれ対応する距離d1、d2、d3及びd4で発生する一例を示す。図示するように、d1からd4までの距離は各々ほぼ等しいが、t1からt4の時間は等しくない。サンプル3の運動が、ターゲット速度プロファイルに従っているにもかかわらず、実際には、スライドスキャナ1の制限により、正確にこのプロファイルに一致することは困難でありえ、それゆえ、実際に達成された位置又は速度プロファイルは、
このターゲットの周りで振動することがさらに示される。このように、画像がキャプチャされるとき、サンプルが必ずしも正確にターゲット位置にないため、画像の空間歪は依然発生しうる。
(図3に示される)第2の例の方法では、サンプルホルダ6と検出器アレイ2との間の相対運動を駆動するのに用いられるモータは、サーボモータである。サーボモータは、速度及び加速度の厳密な制御を可能にし、閉ループを介してモータにフィードバックされる位置又は速度のためのセンサに結合されたモータを備える。それゆえ、センサは、サンプルホルダ6の位置又は速度をモニタし、この情報をモータに連続的にフィードバックし、ターゲットプロファイルに一致するために、モータによって供給される動力を調整してもよい。このフィードバックは、ターゲット速度プロファイルの周りの振動によって明らかである。
図4に、本発明に係る顕微鏡スキャナ1’の第2の例が示される。この例の特徴は、第1の例の装置の特徴に広範囲に一致するが、サンプルホルダの代わりに検出器が、画像スキャン中移動する。装置1’は、スキャンヘッド2’を備え、スキャンヘッド2’は、例えばラインスキャン検出器であり、光検出器アレイ及び撮像光学系4’を備える。サンプルホルダ又はプラテン6’が設けられ、その上に、スキャンされるべきターゲット3’が位置決めされる。ターゲットは、典型的には、生物組織サンプルである。スキャンヘッド2’は、トラック8’に取り付けられ、装置1’の残りに対して、矢印9’によって示されるx軸に沿って移動することができる。スキャンヘッド2’の運動は、メモリに記憶されるターゲット速度プロファイルに従って動作するように構成されるサーボモータによって駆動される。
トラック8’及びスキャンヘッド2’は、サンプルホルダに対するスキャンヘッド2’のスキャンパスに沿った位置をモニタするように構成されるリニアインクリメンタルエンコーダに結合される。また、トラック8’によって、スキャンヘッドは、隣接帯を撮像するためにy方向にオフセット可能である。画像スキャン装置1’は、プログラム可能な論理、専用プロセッサ又はコンピュータシステムを備えてもよいコントローラ5’を用いて制御される。この例では、光源7’は、プラテン6’の下に配置され、光は、検出器アレイの光軸11’に沿ってサンプル3’を通過することができる。光源7’は、コントローラ5’に接続され、光出力の強度は、コントローラ5’によって制御されてもよい。
以下、方法を実行するためのフロー図を示す図5を主に参照するとともに図4に示される装置、図6及び図7を参照して、本発明を実行する方法の第3の例が説明される。ステップ200において、撮像スキャンが開始する前に、最初の初期化手順が実行される。ステップ201において、撮像スキャンが開始し、サンプル3’の第1の画像は、スキャンヘッド2’によってキャプチャされる。ステップ201において、画像スキャンパスに沿ったx軸のスキャンヘッド2’の位置は、トラック8’に結合されたリニアエンコーダ(図示せず)を用いて測定され、画像スキャンパス(x方向)に沿った移動が可能になる。あるいは、モータに結合されたロータリエンコーダが用いられてもよい。このモニタされた位置は、コントローラ5’によって記録され、その位置に関するそれぞれの画像と共に参照されてメモリに記憶される。ステップ202において、サーボモータ(図示せず)は、コントローラ5’によって、スキャンヘッド2’を距離dだけ画像スキャンパスに沿って移動するように命令される。この点で、ステップ201から203は、その画像帯に関して、サンプル3’の端に到達されるまで繰り返され、再びスキャンヘッド2’の光軸11に対するサンプルホルダの位置は、各画像に対してモニタされる。次に、ステップ200において、スキャンヘッド2’はその初期位置に移動して戻り、y方向の横方向のオフセットは、スキャンヘッド2’(あるいは、サンプルホルダ6’)に対して形成される。ステップ201から203は、サンプル3’の所望の表面積がスキャナ1’によって撮像
されるまで、隣接する画像帯に対して繰り返される。
システム1に対する外部振動の影響又は使用する器材の制限から生じうる位置エラーのため、複数のターゲット位置で撮像スキャンから得られた画像は、実際は、各々必ずしもサンプル3’上の正確に等しい距離を隔てた間隔で存在しないこともある。これらの相違は、図3に示される。これが発生する場合、空間歪の不規則な画像格子が、画像を集合することによって生成されうる。ステップ205において、コントローラは、撮像スキャンの不規則な画像格子を、画像スキャンパスに沿って正確に等しい、又は、実質的に等しい距離で得られた画像のための規則的な画像格子にマップする。これは、補間技術を用いて、コントローラ内で1つ又は複数のプロセッサによってメモリに記憶されるソフトウェアを用いて行われる。
ステップ205は、一次元の不規則及び規則的な画像格子の例を示す図6によってさらに示される。上のグラフに表示される「測定値」は、各測定位置にて撮像スキャンによって得られた画像データを示し、下に示される「補間値」は、ステップ205において実行された補間の結果を表示する。
図示のように、マッピングは、スキャン中に各画像のために記録された、モニタされた位置情報を用いて実行され、補間技術を使用する。使用可能であり、かつ、当技術分野において公知であるさまざまな補間技術が存在する。Surfer(商標)として公知の輪郭及び3D表面プログラムマッピングと共に利用されるさまざまな補間技術の説明及び比較は、Yang、Kao、Lee及びHungによるTwelve Different
Interpolation Methods: A Case Study of Surfer 8.0(12の異なる補間方法:Surfer8.0の事例研究)、Proceedings of the XXth ISPRS Congress、2004、778〜785ページにおいて提供される。本出願では、データが、(画像スキャンパスに沿う)1つの軸に不規則な間隔のみで配置されるので、これらの技術の大部分は、単純化されうる。これに加えて、間隔は、少数の画像にわたり規則的であると仮定することができる。図6において、使用される補間技術は、サンプル点が4つの最近傍から取得される三次元補間法である。
図7は、第4の例の方法のフロー図を示し、ここでは、サンプルは撮像スキャン中カメラに対して移動し、補間を用いて、集合画像の空間歪が修正される。サンプルは、上記のように撮像され、画像は、カメラによって位置制御信号に基づいて取得されるが、各画像間の変化する実際の距離が、装置の固有の制限のために得られる。位置センサは、スキャン中移動するサンプルの位置をモニタし、このデータをコントローラ(図示せず)に出力する。各画像のための位置データが画像データと結合して用いられ、ターゲット位置と実際位置との間の位置相違は修正され、規則的な画像格子のためのデータを補間する。次に、規則的な集合画像格子は、分析のために出力される。
補間は、この文脈において適用されるとき、従来技術に勝る多くの関連付けられた利点を提供する。第1に、サンプリング位置におけるいかなるエラーも、補間プロセスの間に修正される。それゆえ、使用される器材の制限から生じうる速度に基づくエラーに対する許容度が存在する。第2に、スキャナ1’は、外部振動に対する許容度が増加する。サンプリング位置におけるエラーは、補間によって修正され、それゆえ、システム及びそれから得られる画像の信頼性を増加させる。第3に、第1の例と同様に、スライドが一定速度に到達する前に、画像キャプチャが開始することができ、スキャンがより短い時間スケールで最終的に実行可能になる。
サンプルホルダ及び検出器の相対位置は、モニタ可能であり、位置における任意のエラ
ーは、スキャン発生後、補間によって従来技術のスキャナを用いて修正可能であり、画像キャプチャは、要求位置よりもむしろタイミングソースによってトリガされる。しかしながら、これらの特徴及び位置制御信号によるトリガ画像キャプチャの組み合わせは、顕微鏡サンプルをデジタル化するための最終的に改良された方法を提供する。画像キャプチャの位置はより精密に制御されてもよく、要求位置とその実際の位置との間のいかなる相違、又は、外部振動から生じるいかなる相違も後に補間によって修正されてもよい。それゆえ、結果的に得られた集合画像の連続性は、非常に改善される。

Claims (13)

  1. 画像をサンプルから得るためのラインスキャンカメラを含む検出器アレイと、
    前記サンプルを使用中に保持するように構成されたサンプルホルダであって、前記検出器アレイに対して移動するように構成された、サンプルホルダと、
    前記サンプルホルダの相対位置を制御するための位置制御信号を発行するように構成されたコントローラと、
    前記サンプルホルダを、前記検出器アレイに対して複数のターゲット位置へと、撮像スキャン中に前記位置制御信号に従って駆動するように構成されたモータと
    を備え、
    前記コントローラは、前記サンプルホルダが所定の距離を移動するたびに前記ラインスキャンカメラにより画像ラインをキャプチャするように構成され、前記画像ラインは、前記サンプルホルダが前記撮像スキャン中に発行された前記位置制御信号に基づいて動いている間にキャプチャされる、顕微鏡スキャナ。
  2. 前記複数のターゲット位置は、前記サンプルの動きについての所定の速度対時間の軌道を含むターゲット速度プロファイルに対応する、請求項1に記載の顕微鏡スキャナ。
  3. 前記ターゲット速度プロファイルは、前記コントローラによってアクセスされるメモリに記憶される、請求項2に記載の顕微鏡スキャナ。
  4. 前記モータは、関連付けられたステップカウントを有するステッピングモータであり、画像キャプチャは、前記ステップカウントに従ってトリガされる、請求項1に記載の顕微鏡スキャナ。
  5. 前記モータは、サーボモータである、請求項1に記載の顕微鏡スキャナ。
  6. 前記コントローラは、前記サンプルホルダの前記位置をモニタするようにさらに構成される、請求項1に記載の顕微鏡スキャナ。
  7. 前記コントローラは、前記検出器アレイによってキャプチャされた画像を、集合画像に結合するようにさらに構成される、請求項1に記載の顕微鏡スキャナ。
  8. 前記コントローラは、各画像のためのそれぞれのモニタされた位置について撮像スキャン中にキャプチャされた画像を、実質的に等間隔に配置された画像のための規則的な画像格子上に、補間技術を用いてマップするようにさらに構成される、請求項1に記載の顕微鏡スキャナ。
  9. 顕微鏡スキャナを用いてサンプルを撮像する方法であって、前記顕微鏡スキャナは、
    画像を前記サンプルから得るためのラインスキャンカメラを含む検出器アレイと、
    前記サンプルを使用中に保持するように構成されたサンプルホルダであって、前記検出器アレイに対して移動するように構成された、サンプルホルダと、
    前記サンプルホルダの位置を制御するための位置制御信号を発行するように構成されたコントローラと
    を備え、前記方法は、
    前記サンプルホルダを、撮像スキャン中、前記検出器アレイに対して複数のターゲット位置に連続的に移動させるように、位置制御信号を発行するステップと、
    前記サンプルホルダが所定の距離を移動するたびに前記ラインスキャンカメラを用いて前記サンプルの画像ラインをキャプチャするステップであって、前記サンプルホルダが前記撮像スキャン中に発行された前記位置制御信号に基づいて動いている間に前記キャプチャが生じる、ステップと
    を含む、方法。
  10. 前記サンプルは、ターゲット速度プロファイルに従って移動させられる、請求項9に記載の方法。
  11. 前記サンプルホルダの前記位置をモニタするステップをさらに含む、請求項9に記載の方法。
  12. 前記複数のターゲット位置で得られた前記サンプルの画像を前記サンプルの集合画像に結合するステップをさらに含む、請求項9に記載の方法。
  13. 各画像のためのモニタされた位置について前記複数のターゲット位置における画像を、実質的に等間隔に配置された画像のための規則的な画像格子上に、補間技術を用いてマップするステップをさらに含む、請求項9に記載の方法。
JP2020049225A 2014-05-23 2020-03-19 顕微鏡スライドのデジタル化の改良 Active JP6733069B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB1409203.5A GB201409203D0 (en) 2014-05-23 2014-05-23 Improvements in digitising slides
GB1409203.5 2014-05-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016569383A Division JP6712234B2 (ja) 2014-05-23 2015-05-21 顕微鏡スライドのデジタル化の改良

Publications (2)

Publication Number Publication Date
JP2020109528A JP2020109528A (ja) 2020-07-16
JP6733069B2 true JP6733069B2 (ja) 2020-07-29

Family

ID=51177352

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016569383A Active JP6712234B2 (ja) 2014-05-23 2015-05-21 顕微鏡スライドのデジタル化の改良
JP2020049225A Active JP6733069B2 (ja) 2014-05-23 2020-03-19 顕微鏡スライドのデジタル化の改良

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016569383A Active JP6712234B2 (ja) 2014-05-23 2015-05-21 顕微鏡スライドのデジタル化の改良

Country Status (7)

Country Link
US (5) US10313606B2 (ja)
EP (2) EP4212937A1 (ja)
JP (2) JP6712234B2 (ja)
AU (1) AU2015263106B2 (ja)
CA (1) CA2947518C (ja)
GB (1) GB201409203D0 (ja)
WO (1) WO2015177555A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214189A1 (de) * 2017-08-15 2019-02-21 Carl Zeiss Microscopy Gmbh Verfahren zum Betrieb einer Mikroskopieranordnung und Mikroskopieranordnung mit einem ersten Mikroskop und mindestens einem weiteren Mikroskop
GB201721430D0 (en) * 2017-12-20 2018-01-31 Q-Linea Ab Method and device for microscopy-based imaging of samples
JP2022533577A (ja) 2019-05-14 2022-07-25 ヴェンタナ メディカル システムズ, インク. 生物学的試料処理チャンバを含むシステム
CN114303203A (zh) 2019-08-28 2022-04-08 文塔纳医疗系统公司 使用振动光谱法评估抗原修复和靶标修复进展定量
CN114341989A (zh) 2019-08-28 2022-04-12 文塔纳医疗系统公司 使用振动光谱法评估样本固定持续时间和质量的系统和方法
CN117651521A (zh) 2021-05-13 2024-03-05 文塔纳医疗系统公司 对组织固定时间的实时预测
WO2024137817A1 (en) 2022-12-23 2024-06-27 Ventana Medical Systems, Inc. Materials and methods for evaluation of antigen presentation machinery components and uses thereof

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4170737A (en) * 1978-07-06 1979-10-09 Spetsialnoe Konstruktorskoe Bjuro Biologicheskogo Priborotroenia Akademii Nauk SSSR Top-entry transmission electron microscope
US5068739A (en) * 1989-02-10 1991-11-26 Optum Corporation Method to image transparent media utilizing integrated scanning
US5912699A (en) 1992-02-18 1999-06-15 Neopath, Inc. Method and apparatus for rapid capture of focused microscopic images
US6982431B2 (en) 1998-08-31 2006-01-03 Molecular Devices Corporation Sample analysis systems
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US20050174583A1 (en) * 2000-07-06 2005-08-11 Chalmers Scott A. Method and apparatus for high-speed thickness mapping of patterned thin films
US20050174584A1 (en) * 2000-07-06 2005-08-11 Chalmers Scott A. Method and apparatus for high-speed thickness mapping of patterned thin films
US6798571B2 (en) * 2001-01-11 2004-09-28 Interscope Technologies, Inc. System for microscopic digital montage imaging using a pulse light illumination system
SE517626C3 (sv) * 2001-04-12 2002-09-04 Cellavision Ab Förfarande vid mikroskopering för att söka av och positionera ett objekt, där bilder tas och sammanfogas i samma bildkoordinatsystem för att noggrant kunna ställa in mikroskopbordet
US7162292B2 (en) * 2001-05-21 2007-01-09 Olympus Corporation Beam scanning probe system for surgery
US20020196336A1 (en) * 2001-06-19 2002-12-26 Applied Materials, Inc. Method and apparatus for substrate imaging
US6677697B2 (en) * 2001-12-06 2004-01-13 Veeco Instruments Inc. Force scanning probe microscope
JP4007854B2 (ja) * 2002-05-23 2007-11-14 オリンパス株式会社 サンプリングクロック発生装置
GB0304568D0 (en) * 2003-02-27 2003-04-02 Isis Innovation Microscopic imaging device
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
JP5508214B2 (ja) * 2005-08-25 2014-05-28 クラリエント・インコーポレーテッド 顕微鏡スライドの拡大イメージを作成するシステム及び方法
US7801589B2 (en) * 2005-12-22 2010-09-21 Olympus Corporation In-vivo examination method and in-vivo examination apparatus
US7606424B2 (en) * 2006-02-13 2009-10-20 3M Innovative Properties Company Combined forward and reverse correlation
US20090326359A1 (en) * 2006-08-04 2009-12-31 Koninklijke Philips Electronics N.V. Method of in vivo detection and/or diagnosis of cancer using fluorescence based dna image cytometry
US8059336B2 (en) * 2007-05-04 2011-11-15 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
EP2098900A1 (en) * 2008-03-05 2009-09-09 Westfälische Wilhelms-Universität Münster Scanner arrangement and method for optically scanning an object
US20100034445A1 (en) * 2008-08-06 2010-02-11 Genome Corporation Continuous imaging of nucleic acids
US8440952B2 (en) * 2008-11-18 2013-05-14 The Regents Of The University Of California Methods for optical amplified imaging using a two-dimensional spectral brush
US8540942B2 (en) * 2009-01-14 2013-09-24 David Kyle Pierce Continuous methods for treating liquids and manufacturing certain constituents (e.g., nanoparticles) in liquids, apparatuses and nanoparticles and nanoparticle/liquid solution(s) therefrom
JP5369720B2 (ja) * 2009-01-29 2013-12-18 三洋電機株式会社 観察装置、観察システム、制御装置、および制御プログラム
JP5706506B2 (ja) * 2009-04-15 2015-04-22 株式会社トプコン 眼科装置
US9320428B2 (en) 2009-08-05 2016-04-26 The Johns Hopkins University Programmable multispectral illumination system for surgery and visualization of light-sensitive tissues
US8830573B2 (en) 2009-11-10 2014-09-09 California Institute Of Technology Optical phase conjugation 4Pi microscope
US8564623B2 (en) 2009-12-11 2013-10-22 Molecular Devices, Llc Integrated data visualization for multi-dimensional microscopy
JP5555014B2 (ja) 2010-03-10 2014-07-23 オリンパス株式会社 バーチャルスライド作成装置
JP5751986B2 (ja) 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置
DE102011075369B4 (de) 2011-05-05 2022-02-17 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Objektabbildung
US9030548B2 (en) * 2012-03-16 2015-05-12 Dmetrix, Inc. Correction of a field-of-view overlay in a multi-axis projection imaging system
US9075013B2 (en) 2012-04-29 2015-07-07 Periodic Structures, Inc. Apparatus and methods for microscopy having resolution beyond the Abbe limit
WO2014040184A1 (en) * 2012-09-13 2014-03-20 The Governing Council Of The University Of Toronto System and method for fetal and maternal red blood cell counting
US9584772B2 (en) * 2014-05-01 2017-02-28 Inspect 100 Ltd Method and apparatus for inspecting parts

Also Published As

Publication number Publication date
US11539898B2 (en) 2022-12-27
US20190246047A1 (en) 2019-08-08
GB201409203D0 (en) 2014-07-09
US10904457B2 (en) 2021-01-26
AU2015263106B2 (en) 2019-08-29
US20210092308A1 (en) 2021-03-25
EP4212937A1 (en) 2023-07-19
CA2947518C (en) 2021-11-23
AU2015263106A1 (en) 2016-11-17
WO2015177555A1 (en) 2015-11-26
US20240031513A1 (en) 2024-01-25
US20170078589A1 (en) 2017-03-16
EP3146376A1 (en) 2017-03-29
EP3146376B1 (en) 2023-04-05
US20230072890A1 (en) 2023-03-09
CA2947518A1 (en) 2015-11-26
US10313606B2 (en) 2019-06-04
JP6712234B2 (ja) 2020-06-17
JP2017517765A (ja) 2017-06-29
JP2020109528A (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
JP6733069B2 (ja) 顕微鏡スライドのデジタル化の改良
US12013524B2 (en) Method and apparatus for imaging a sample using a microscope scanner
US20060045505A1 (en) System and method for creating magnified images of a microscope slide
EP2769176B1 (en) Optical device and method for measuring a complexly formed object
JP5508214B2 (ja) 顕微鏡スライドの拡大イメージを作成するシステム及び方法
US10055849B2 (en) Image measurement device and controlling method of the same
US12007544B2 (en) Method and apparatus for capturing an image of an object using a scanning microscope
JP2024077225A (ja) 走査装置、走査方法およびプログラム
CN112584047A (zh) 一种面阵相机连续扫描成像的控制方法
JPH10274508A (ja) 画像入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200324

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200324

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200708

R150 Certificate of patent or registration of utility model

Ref document number: 6733069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250