JP6985506B2 - リアルタイムオートフォーカス合焦アルゴリズム - Google Patents

リアルタイムオートフォーカス合焦アルゴリズム Download PDF

Info

Publication number
JP6985506B2
JP6985506B2 JP2020517470A JP2020517470A JP6985506B2 JP 6985506 B2 JP6985506 B2 JP 6985506B2 JP 2020517470 A JP2020517470 A JP 2020517470A JP 2020517470 A JP2020517470 A JP 2020517470A JP 6985506 B2 JP6985506 B2 JP 6985506B2
Authority
JP
Japan
Prior art keywords
sensor
focus
value
image
objective lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020517470A
Other languages
English (en)
Other versions
JP2020535473A (ja
Inventor
オルソン アレン
サリグラマ キラン
ゾウ ユンルー
ナジマバディ ペイマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of JP2020535473A publication Critical patent/JP2020535473A/ja
Application granted granted Critical
Publication of JP6985506B2 publication Critical patent/JP6985506B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Focusing (AREA)

Description

関連出願の相互参照
本願は、2017年9月29日に出願された米国仮特許出願第62/566,145号に対する優先権を主張するものであり、この出願は、完全に記載されるかのように参照によってここで本明細書に組み込まれる。
本開示は、一般に、デジタルパソロジーに関し、より詳細には、デジタルスライド走査装置のリアルタイムオートフォーカスを行うことに関する。
デジタルパソロジーは画像ベースの情報環境である。この情報環境は、物理スライドから生成された情報の管理を可能にするコンピュータテクノロジーによって可能とされる。デジタルパソロジーは、仮想顕微鏡法によって部分的に可能とされる。仮想顕微鏡法は、物理スライドガラス上の標本を走査し、コンピュータモニタ上での保存、表示、管理および分析が可能なデジタルスライド画像を作成する技術である。スライドガラス全体を撮像する能力に関して、デジタルパソロジーの分野は、癌などの重大な疾患に対する更により良好な、より高速な、かつより安価な診断、予後および予測を実現するために、急速に発展し、現在では診断医学の最も有望な手段のうちの1つと考えられている。
デジタルパソロジー産業のための主たる目的は、スライドガラスを走査するために必要な時間を減少させることである。いくつかの従来のデジタル走査デバイスでは、スライドガラス上の試料にわたって焦点位置を取得し、取得した焦点位置から焦点面を作成するために少なくとも20秒の予備走査処理が必要となる。したがって、必要であるのは、上記説明されたような従来のシステムにおいて発見されたそれらの重要な課題を解決するシステムおよび方法である。
実施形態では、走査装置は、撮像センサ、合焦センサ、ならびに、撮像センサおよび合焦センサによって取り込まれた画像データを分析するように構成されたプロセッサを含む。合焦センサは、合焦センサの個々の画素の光学径路に沿った位置が、取り込まれた画像データの各ラインについて変化する一方、撮像センサの個々の画素の光学径路に沿った位置が、取り込まれた画像データの各ラインについて実質的にすべて同一であるように傾斜されてもよい。しかしながら、画像データの列が撮像センサと合焦センサとの両方によって取り込まれたとき、傾斜された合焦センサの1つの画素は、撮像センサの画素のすべてと同一の、光学径路に沿った論理的画像平面内に位置付けられる。光学径路に沿った論理的画像平面内で共通の位置を有するこの状態は、「同焦点」と呼ばれる。
実施形態では、走査中、プロセッサは、撮像センサおよび合焦センサからの画像データを分析して、その最適な焦点位置(すなわち、撮像センサの撮像面が最適な焦点面と一致する対物レンズの位置)からの対物レンズの距離および方向を決定するように構成される。取り込まれた画像データの各画素について、プロセッサは、合焦センサからの画像データのコントラスト値および撮像センサからの画像データのコントラスト値を決定してもよい。プロセッサは、次いで、各画素について合焦センサのコントラスト値を撮像センサのコントラスト値で除算した比を決定してもよい。プロセッサは、コントラスト比をグラフ化してコントラスト曲線を生成してもよい。プロセッサは、次いで、コントラスト曲線のピークを識別して、最高コントラスト値を有する画素を決定してもよい。同焦点位置は、コントラスト曲線上にプロットすることもできる。同焦点位置は、コントラスト曲線上に存在する。これは、光学径路に対して同一の論理的画像平面内にある撮像センサ上の画素と合焦センサ上の画素とが実質的に同一のコントラスト値を有するためである。コントラスト曲線上の同焦点位置とコントラスト曲線上のピークのコントラスト位置との間の画素距離(本明細書では「ΔX」とも称される)は、光学径路に沿った物理的距離を示す。この物理的距離は、対物レンズの現在位置と対物レンズの最適な焦点位置(すなわち、最適な焦点面が、対物レンズの光学径路に沿って、撮像センサの個々の画素と一致する位置)との間の距離を表す。同焦点位置から最高コントラスト位置への方向(本明細書では「X方向」とも称される、またはΔXの正のまたは負のいずれかの値によって示される)は、対物レンズを移動させるべきである光学径路に沿った方向を示す。同焦点位置がコントラスト曲線上のピークのコントラスト位置と同一である(すなわち、ΔX=0)場合、対物レンズは、既に最適な焦点位置にあることが理解されるべきである。
実施形態では、合焦センサの傾斜は、走査装置の走査方向に対して垂直である。この傾斜は合焦センサの軸に沿っており、合焦センサは撮像センサとも整列される。この幾何学的配置は、組織の変動によるコントラストの変化分と焦点によるコントラストの変化分とを区別するのに有利である。これは、比率法が、組織の変動成分を取り消し、焦点によるコントラストの変化のみを残すためである。
本発明の他の特徴および利点は、以下の詳細な説明および添付図面を再考した後、当業者にとって更に容易に明らかになるであろう。
本発明の構造および動作は、以下の詳細な説明および添付図面の再考から理解され、図面では、同一の参照符号は同一の部分を指す。
実施形態に係る、リアルタイムオートフォーカスのための例示的な撮像センサを例示するブロック図である。 実施形態に係る、リアルタイムオートフォーカスのための例示的な合焦センサを例示するブロック図である。 実施形態に係る、リアルタイムオートフォーカスのための撮像センサおよび合焦センサの例示的な論理的配列を例示するブロック図である。 実施形態に係る、撮像センサおよび合焦センサからの画像データの例示的なコントラスト曲線を例示するグラフ図である。 実施形態に係る、リアルタイムオートフォーカスのために対物レンズを調節すべく距離および方向を決定するための例示的なプロセスを例示するブロック図である。 図6Aは、本明細書で説明される様々な実施形態と関連して使用され得る、例示的なプロセッサ使用可能デバイスを例示するブロック図である。図6Bは、本明細書で説明される実施形態と関連して使用され得る、単一の線形アレイを有する例示的なライン走査カメラを例示するブロック図である。図6Cは、本明細書で説明される実施形態と関連して使用され得る、3つの線形アレイを有する例示的なライン走査カメラを例示するブロック図である。図6Dは、本明細書で説明される実施形態と関連して使用され得る、複数の線形アレイを有する例示的なライン走査カメラを例示するブロック図である。
本明細書で開示されるある特定の実施形態は、標本の走査中のリアルタイムオートフォーカスを提供する。実施形態では、プロセッサ制御装置の動作を改善するためにリアルタイムオートフォーカスアルゴリズムがデジタルパソロジー走査装置に実装され得る。例えば、本明細書で開示されるあるシステムは、走査動作中に最適な焦点を実現するために、撮像センサおよび合焦センサからの画像データを分析し、距離および方向を決定することにより、デジタル走査装置の対物レンズおよび/またはステージの相対位置を調節するように構成されたプロセッサを提供する。この説明を読んだ後、当業者にとって、様々な代替的実施形態および代替的適用において発明をどのように実施することができるかが明らかになるであろう。しかしながら、本発明の様々な実施形態について本明細書で説明するが、これらの実施形態が単なる一例として提示され、限定ではないことが理解される。したがって、様々な代替的実施形態のこの詳細な説明は、添付の特許請求の範囲に示されるように、本発明の範囲または広さを限定するものと解釈されるべきではない。
図1は、実施形態に係る、リアルタイムオートフォーカスのための例示的な撮像センサ10を例示するブロック図である。例示された実施形態では、撮像センサ10は、複数の画素20を含む。これらは、光学径路605を介して視野を検知するように構成される。撮像センサ10の画素20のそれぞれは、光学径路605に対して実質的に同一の画像平面内にある。本明細書で使用される場合、「画像平面」は、光学径路605に直交する平面である。
撮像センサ10は、様々なセンサ型のいずれかとすることができ(例えば、図6A〜図6D参照)、様々な長さおよび様々な数の画素20を有することができる。例示された実施形態では、撮像センサ10は、撮像センサ10の範囲15を定めるN個の画素を有する。撮像センサ10の範囲15は、光学径路605に直交し、実施形態では、走査方向に直交する方向で第1端の画素(1)から第2端の画素(n)まで及ぶ。実施形態では、撮像センサ10の範囲15は約43ミリメートルとすることができる。しかしながら、他の実施形態は、例えば、5ミリメートル〜95ミリメートルの他の範囲を有してもよい。
図2は、実施形態に係る、リアルタイムオートフォーカスのための例示的な合焦センサ30を示すブロック図である。例示された実施形態では、撮像センサ10と同様に、合焦センサ30は複数の画素20を含む。しかしながら、撮像センサ10の画素とは異なり、合焦センサ30の各画素20は、合焦センサ30の任意の他の画素20とは異なる画像平面内にある。
合焦センサ30は、様々なセンサ型のいずれかとすることができ(例えば、図6A〜図6D参照)、様々な長さおよび様々な数の画素20を有することができる。例示された実施形態では、合焦センサ30は、合焦センサ30の範囲35を定めるN個の画素を有する。合焦センサ30の範囲35は、走査方向に直交する方向で第1端の画素(1)から第2端の画素(n)まで及ぶ。実施形態では、合焦センサ30の範囲35は約43ミリメートルとすることができる。しかしながら、他の実施形態は、例えば、5ミリメートル〜95ミリメートルの他の範囲を有してもよい。
図3は、実施形態に係る、リアルタイムオートフォーカスのための撮像センサ10および合焦センサ30の例示的な論理的配列を示すブロック図である。例示された実施形態では、撮像センサ10および合焦センサ30は、撮像センサ10の範囲15と合焦センサ30の範囲35とが論理的に同一であるように光学径路605に対して位置付けられる。更に、撮像センサ10と合焦センサ30とは、走査されている試料590の同一の論理的視野をそれらが有するようにも位置付けられる。
加えて、実施形態では、撮像センサ10および合焦センサ30は、撮像センサ10の個々の画素20が光学径路に対して合焦センサ30の個々の画素20と論理的に整列されるように位置付けられる。換言すれば、撮像センサ10の個々の画素20は、合焦センサ30の対応する個々の画素20とペアにされてもよく、ペア内の両方の画素は、それらが試料590の同一の論理的視野を有するように光学径路605と論理的に整列される。あるいは、合焦センサ30の2つ以上の画素20のセグメントが、撮像センサ10の2つ以上の画素20の対応するセグメントと論理的に整列されてもよく、合焦センサのセグメントと撮像センサのセグメントとのペアが、同一の数または異なる数の画素20を含んでもよい。
あるいは、実施形態では、撮像センサ10の個々の画素20の少なくとも一部が、光学径路605に対して、合焦センサ30の個々の画素20からオフセットされるように、撮像センサ10および合焦センサ30は位置付けられ、それにより、撮像センサ10の様々な個々の画素20が、合焦センサ30のそれらの対応する画素20と同一の試料590の論理的視野を有し得る、または有し得ない。このような代替的実施形態では、撮像センサ10および合焦センサ30は、撮像センサ10および合焦センサ30の個々の画素20が光学径路605内に論理的に整列されないように位置付けられてもよい。例えば、合焦センサ30の個々の画素20は、光学径路605に対して撮像センサ10の個々の画素20から部分的にまたは完全に、論理的にオフセットされてもよい。合焦センサ30のいくつかの画素20は、光学径路605に対して撮像センサ10の対応する画素20と論理的に整列されてよく、合焦センサ30の他の画素20は、光学径路605に対して撮像センサ10の対応する画素20から部分的に論理的にオフセットされてよく、合焦センサ30の更に他の画素20は、光学径路605に対して撮像センサ10の対応する画素20から完全に論理的にオフセットされてもよい。加えて、合焦センサ30の範囲35は、撮像センサ10の範囲15より小さくてもよく、または大きくてもよい。
例示された実施形態では、撮像センサ10および合焦センサ30は、合焦センサ30上の同焦点位置50における合焦センサ30の1つの画素の画像平面が撮像センサ10の画像平面と論理的に整列されるように、光学径路605に対して位置付けられる。この配列は、光学径路605に対して同焦点画像平面を定める。重要なことに、同焦点画像平面は、撮像センサ10および合焦センサ30によって取り込まれた画像データについて、光学径路605に対して共通の座標系を提供する。例えば、画像データの単一の視野が撮像センサ10と合焦センサ30との両方によって取り込まれたとき、同焦点位置50(すなわち、同焦点画像平面内)にある合焦センサ画素のコントラスト値は、撮像センサ10のコントラスト値と類似する。更に、合焦センサ30の個々の画素20が撮像センサ10の対応する個々の画素20とそれぞれ論理的に整列される場合、同焦点位置50にある合焦センサ30の画素20のコントラスト値は、その同焦点の合焦センサ画素と論理的に整列された撮像センサ10内の対応する画素20のコントラスト値と実質的に同一となる。
合焦センサ30によって取り込まれた画像データの単一の各視野について、単一の画像平面内の単一の画素が最高コントラストを有する。例示の都合上、画像平面60は、最高コントラストを有するこの単一の画像平面であると仮定する。しかしながら、これは単に例であることが理解されるべきである。実際には、センサの範囲35内の特定の視野について最高コントラストを有する画像平面は、画像平面(1)〜画像平面(n)(例えば、画像平面(同焦点)を含む)の任意の画像平面であり得る。
同様に、合焦センサ30によって取り込まれた画像データの連続する各視野群について、単一の画像平面(例えば、説明を容易にするために画像平面60として例示される)が、最高平均コントラストを有する。実施形態では、連続する視野群は1,000個の視野を含んでもよく、個々の各視野は単一の走査線を表す。視野群は、本明細書において「バッファ」と称されてもよい。用語「バッファ」は、ある特定の数の走査線またはある特定の物理メモリセグメントに束縛されず、したがって、バッファのサイズは、物理メモリセグメントまたは走査装置の速度に応じて変化することができる。その場合、速度は、ステージ速度によって、または画像データの取り込み速度によって定めることができる。
本明細書では、主として、特定の画素のコントラスト値を算出するものとして実施形態が説明されているが、その代わりに、画像データがバッファ内に記憶された画素の列についてコントラスト値を算出できることが理解されるべきである。具体的には、撮像センサ10および合焦センサ30内の各画素20は、その画素と同一の平面内にあり、かつ例示された範囲15および35(例えば、図1〜図3のページの内外に及ぶ)に直交する画素の列を表してもよい。この場合、列のコントラスト値は、列内の画素のすべてのコントラスト値の平均として算出されてもよい。次いで、範囲15および35とそれぞれ交差する撮像センサ画素および合焦センサ画素の各列についてのコントラスト値を使用して、範囲15および35にわたる個々の画素のコントラスト値の代わりに、本明細書で説明される比を算出することができる。
より一般的には、撮像センサ10のコントラスト値はコントラスト値の第1ベクトルとして表されてもよく、合焦センサ30のコントラスト値はコントラスト値の第2ベクトルとして表されてもよい。第1および第2ベクトルのそれぞれにおける各値は、単一の画素のコントラスト値、画素の列のコントラスト値(例えば、平均コントラスト値)、または画素の任意のセグメントのコントラスト値(例えば、平均コントラスト値)を表してもよい。しかしながら、各場合において、第1ベクトル内の各コントラスト値は、範囲15にわたる1つ以上の撮像センサ画素20のセグメントの位置を表し、第2ベクトル内の各コントラスト値は、範囲35にわたる1つ以上の合焦センサ画素20のセグメントの位置を表し、第1ベクトル内の各コントラスト値は、第2ベクトル内の対応する位置におけるコントラスト値に対応する。
図4は、実施形態に係る、撮像センサ10および合焦センサ30のそれぞれからの画像データの例示的なコントラスト曲線70を例示するグラフ図である。コントラスト曲線70は、画像データの単一の走査線について、または画像データの単一のバッファについて算出することができる。動作の際、対応する画像データが撮像センサ10および合焦センサ30によって取り込まれたとき、撮像センサ10および合焦センサ30の各画素によって提供された生の強度値を使用して、撮像センサ10および合焦センサ30の各画素、列または他のセグメントについてコントラスト値を算出する。その後、各撮像センサ位置のコントラスト値をその対応する合焦センサ位置のコントラスト値に分ける(例えば、第2ベクトル内のコントラスト値のそれぞれを第1ベクトル内のその対応するコントラスト値で除算する)ことにより、撮像センサ10および合焦センサ30上の対応する位置(例えば、画素、列または他のセグメント)のコントラスト値の比を決定する。得られた比の値を対応する位置(例えば、図4の画素番号)と突き合わせてグラフ上にプロットして、コントラスト曲線70を生成することができる。
有利なことに、撮像センサ10および合焦センサ30の先に説明した論理的配列により、撮像センサ10の各位置(例えば、個々の画素)が合焦センサ30の対応する位置(例えば、個々の画素)と論理的に整列されるため、同焦点位置50はコントラスト曲線70上に位置する。これは、撮像センサ10と同一の論理的画像平面内にある、合焦センサ30上の位置(例えば、個々の画素)が既知である、または決定可能であるためである。加えて、同焦点位置50における合焦センサ位置(例えば、画素)のコントラスト値と、対応する位置付けられた撮像センサ(例えば、合焦センサ画素を論理的に整列させた撮像センサ画素)のコントラスト値とのコントラスト値の比は、実質的に1となる。これは、これらの2つの画素が、実質的に同一のコントラスト値を有するためである。
同焦点位置50を有することに加えて、コントラスト曲線70は、最高コントラスト位置60を表すピークをも有する。最高コントラスト位置60は、単一の走査線または単一のバッファに対する最良の焦点を表す。同焦点位置50が撮像センサ10の画像平面を表しているため、最高コントラスト位置60が同焦点位置50と同一ではない場合、撮像センサ10の焦点は最適ではない。したがって、コントラスト曲線70の画素軸(すなわち、図4に例示されたX軸)に沿った同焦点位置50と最高コントラスト位置60との間の距離は、最適な焦点を実現するために対物レンズが調節されるべきである距離を表す。同様に、画素軸に沿った同焦点位置50から最高コントラスト位置60への方向は、最適な焦点を実現するために対物レンズが光学径路内で調節されるべきである方向を表す。
例えば、X軸に沿って、同焦点位置50が位置A(例えば、特定の画素)にあり、かつ最高コントラスト位置60が位置B(例えば、特定の画素)にある場合、最適な焦点を実現するために対物レンズを移動させる距離はΔX=|A−B|によって表すことができる。同様に、X軸に沿って、位置Aの同焦点位置50から位置Bの最高コントラスト位置60に向かう方向が負である場合、光学径路605内で対物レンズ600を移動させる方向は、試料590に向かう(すなわち、対物レンズと試料との間の距離を減少させる)ように決定され得る。他方、この方向が正である場合、光学径路605内で対物レンズ600を移動させる方向は、試料590から離れる(すなわち、対物レンズと試料との間の距離を増加させる)ように決定され得る。
一実施形態では、物理的距離に達するために、ΔXの値と、光学径路605に沿った合焦センサ30の個々の画素間の(例えば、ミクロンの)物理的距離Dとを乗算することができる。得られた積は、対物レンズ600とステージ580上の試料590との間の相対距離を制御するポジショニングシステム(例えば、対物レンズポジショナ630)への命令に変換可能である物理的距離を表す。命令をポジショニングシステムに提供して、対物レンズ600とステージ580上の試料590との間の相対距離を適切に調節することができる。
図5は、実施形態に係る、リアルタイムオートフォーカスのために対物レンズを調整すべく距離および方向を決定するための例示的なプロセスを例示するフロー図である。例示されたプロセスは、図1〜図3および図6A〜図6Dに関して説明されたものなどの、デジタル走査装置システムによって実行することができる。簡単にするために、プロセスは、個々の画素のコントラスト値を決定することに関して説明される。しかしながら、上述したように、プロセスは、複数の画素の列または他のセグメントのコントラスト値(例えば、平均コントラスト値)を決定するように一般化されてもよい。
最初に、ステップ100で、システムは、撮像センサ10および合焦センサ30から受信した画像データ(すなわち、強度値)の各画素についてコントラスト値を決定する。ここで、撮像センサ10および合焦センサ30の個々の画素の少なくとも一部が、光学径路605に対して論理的配列において互いに対応する(すなわち、視野の同一の部分に対応する)。次に、ステップ110で、システムは、合焦センサからの画素のコントラスト値を分子とし、撮像センサからの画素のコントラスト値を分母として、対応する画素の各ペアについてコントラスト値の比を算出する。
次に、ステップ120で、システムは、コントラスト値比の値をY軸によって表し、撮像および合焦センサの対応する画素のペアの画素番号をX軸によって表して、ステップ110で算出したコントラスト値比の曲線の表現を生成する。実施形態では、撮像センサ10の画素のそれぞれは、光学径路605に沿って論理的に整列している合焦センサ30の対応する画素を有する。加えて、またはあるいは、合焦センサ30の画素のそれぞれは、光学径路605に沿って論理的に整列している撮像センサ10の対応する画素を有する。実施形態では、撮像センサ10の各画素と合焦センサ30の対応する画素との間に1対1の論理的整列が存在する。それにより、両方のセンサの各画素が、他のセンサ上の正確に1つの対応する画素と論理的にペアにされる(すなわち、光学径路605内で共通の視野を共有する)。
コントラスト値比に曲線をフィットさせた後、ステップ130で、システムは、コントラスト値比の曲線上のピーク位置60および同焦点位置50を識別する。次いで、ステップ140で、システムは、同焦点位置50とピークの位置60との間の距離値を算出する。同焦点位置50とピーク位置60とが同じ一点であることが分かった場合、この距離値はゼロであり得ることが理解されるべきである。加えて、ステップ150で、システムは、同焦点位置50からピーク位置60への方向値を決定する。実際の実施形態では、単にピーク位置60を同焦点位置50から減算することによってステップ140とステップ150とを組み合わせてもよいことが理解されるべきである。この結果は、ゼロの値(すなわち、ピーク位置60が同焦点位置50と同一である)、第1方向を示す負の値(すなわち、ピーク位置60が同焦点位置50より大きい画素番号にある)、または第1方向とは反対である第2方向を示す正の値(すなわち、ピーク位置60が同焦点位置50より小さい画素番号にある)のいずれかとなる。
実施形態では、システムは、ステップ140で算出した距離値を、対物レンズを移動させる物理的距離に変換し、ステップ150で決定した方向値を、光学径路に沿って対物レンズを移動させる物理的方向に変換する。有利なことに、システムは、物理的距離および物理的方向を使用して対物レンズ調節命令を生成し得る。システムは、次いで、その命令をポジショニングシステム(例えば、対物レンズポジショナ630)に提供して、最適な焦点を実現するために試料590に対して対物レンズ600の相対位置を調節することができる。
図6Aは、本明細書で説明される様々な実施形態と関連して使用され得る例示的なプロセッサ使用可能デバイス550を例示するブロック図である。デバイス550の代替的形態も、当業者によって理解されるように使用され得る。例示された実施形態では、デバイス550は、1つ以上のプロセッサ555、1つ以上のメモリ565、1つ以上の動き制御部570、1つ以上のインタフェースシステム575、1つ以上の試料590を有する1つ以上のスライドガラス585をそれぞれ支持する1つ以上の可動ステージ580、試料590を照射する1つ以上の照明システム595、光学軸に沿って進む光学径路605をそれぞれ定める、1つ以上の対物レンズ600、1つ以上の対物レンズポジショナ630、1つ以上の任意選択の落射照明システム635(例えば、蛍光発光スキャナシステム内に含まれる)、1つ以上の合焦光学系610、1つ以上のライン走査カメラ615、および/または1つ以上の追加のカメラ620(例えば、ライン走査カメラもしくはエリア走査カメラ)を含み、これらが試料590および/またはスライドガラス585上で別個の視野625をそれぞれ定めるデジタル撮像デバイス(スキャナシステム、走査システム、走査装置、デジタル走査装置、デジタルスライド走査装置などとも称される)として提示される。スキャナシステム550の様々な要素は、1つ以上の通信バス560を介して通信可能に結合される。簡略化のために、スキャナシステム550の様々な要素のそれぞれのうちの1つ以上が存在してもよいが、それらの要素は、適切な情報を伝達するために複数であると説明される必要があるときを除き、本明細書では単一であると説明される。
1つ以上のプロセッサ555は、例えば、命令を並列に処理することが可能な中央処理装置(CPU)および別個のグラフィックス処理装置(GPU)を含んでもよく、または1つ以上のプロセッサ555は、命令を並列に処理することが可能なマルチコアプロセッサを含んでもよい。追加の別個のプロセッサも、特定の構成要素を制御し、または画像処理などの特定の機能を実行するために提供されてもよい。例えば、追加のプロセッサは、データ入力を管理する補助プロセッサ、浮動小数点数値演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適切なアーキテクチャを有する特殊目的プロセッサ(例えば、デジタルシグナルプロセッサ)、メインプロセッサに従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、ライン走査カメラ615、ステージ580、対物レンズ225および/またはディスプレイ(図示せず)を制御する追加のプロセッサを含んでもよい。このような追加のプロセッサは、別個の離散プロセッサであってもよく、またはプロセッサ555と統合されてもよい。
メモリ565は、プロセッサ555によって実行することができるプログラムのためにデータおよび命令の記憶を行う。メモリ565は、データおよび命令を記憶する1つ以上の揮発性および/または不揮発性コンピュータ可読記憶媒体、例えば、ランダムアクセスメモリ、リードオンリーメモリ、ハードディスクドライブ、着脱可能な記憶ドライブ、および/または同種のものを含んでもよい。プロセッサ555は、スキャナシステム550の全体機能を実行するために、メモリ565内に記憶された命令を実行し、通信バス560を介してスキャナシステム550の様々な要素と通信するように構成される。
1つ以上の通信バス560は、アナログ電気信号を伝達するように構成された通信バス560を含んでもよく、デジタルデータを伝達するように構成された通信バス560を含んでもよい。したがって、1つ以上の通信バス560を介したプロセッサ555、動き制御部570および/またはインタフェースシステム575からの通信は、電気信号とデジタルデータとの両方を含んでもよい。プロセッサ555、動き制御部570および/またはインタフェースシステム575はまた、無線通信リンクを介して、走査システム550の様々な要素のうちの1つ以上と通信するように構成されてもよい。
動き制御システム570は、ステージ580および/または対物レンズ600のXYZの移動を(例えば、対物レンズポジショナ630を介して)正確に制御および調整するように構成される。動き制御システム570は、スキャナシステム550内の任意の他の可動部分の移動を制御するようにも構成される。例えば、蛍光発光スキャナの実施形態では、動き制御システム570は、落射照明システム635において光学フィルタなどの移動を調整するように構成される。
インタフェースシステム575は、スキャナシステム550が他のシステムおよび人間オペレータとインタフェースすることを可能にする。例えば、インタフェースシステム575は、オペレータに情報を直接提供し、かつ/またはオペレータからの直接入力を可能にするユーザインタフェースを含んでもよい。インタフェースシステム575は、走査システム550と、走査システム550に直接接続された1つ以上の外部デバイス(例えば、プリンタ、着脱可能な記憶媒体など)、またはネットワーク(図示せず)を介してスキャナシステム550に接続された画像サーバシステム、オペレータステーション、ユーザステーションおよび/もしくは管理サーバシステムなどのリモートデバイスとの間の通信およびデータ転送を容易にするようにも構成される。
照明システム595は、試料590の少なくとも一部を照射するように構成される。照明システムは、例えば、光源および照明光学系を含んでもよい。光源は、光出力を最大化する凹面反射ミラーおよび熱を抑制するKG−1フィルタを有する可変強度ハロゲン光源とすることができる。光源は、任意の種類のアークランプ、レーザまたは他の光源でもあり得る。実施形態では、照明システム595は、透過モードにおいて試料590を照射し、それにより、ライン走査カメラ615および/またはエリア走査カメラ620は、試料590を透過した光エネルギーを検知する。あるいは、または組み合わせて、照明システム595はまた、反射モードにおいて試料590を照射するように構成されてもよく、それにより、ライン走査カメラ615および/またはエリア走査カメラ620は、試料590から反射された光エネルギーを検知する。いずれの場合においても、照明システム595は、光学顕微鏡検査の任意の既知のモードにおいて顕微鏡試料590の調査に適切になるように構成される。
実施形態では、スキャナシステム550は、任意選択で、蛍光発光走査のためにスキャナシステム550を最適化する落射照明システム635を含む。蛍光発光走査は、蛍光発光分子を含む試料590の走査である。蛍光発光分子は、特定の波長の光を吸収することができる(励起)、光子に敏感な分子である。それらの光子に敏感な分子は、より高い波長の光も放射する(放射)。この光発光現象の効率性が非常に低いため、放射される光の量が非常に少ないことが多い。この少ない量の光が放射されることにより、典型的には、試料590を走査およびデジタル化するための従来の技術(例えば、透過モード顕微鏡検査)が妨げられる。有利なことに、スキャナシステム550の任意選択の蛍光発光スキャナシステムの実施形態では、複数の線形センサアレイを含むライン走査カメラ615(例えば、時間遅延統合(「TDI」)ライン走査カメラ)を使用することにより、ライン走査カメラ615の複数の線形センサアレイのそれぞれに試料590の同一のエリアを露出させることによって、ライン走査カメラ615の光に対する感度を増大させる。これは特に、放射された少ない光によってわずかな蛍光発光試料を走査するときに有用である。
したがって、蛍光発光スキャナシステムの実施形態では、ライン走査カメラ615は、好ましくは、モノクロTDIライン走査カメラである。有利なことに、モノクロ画像は、試料590上に存在する様々なチャネルからの実信号の更なる正確な表現を提供するため、蛍光発光顕微鏡検査において理想的である。当業者によって理解されるように、蛍光発光試料590は、種々の波長の光を放射する複数の蛍光染料によってラベル付けすることができる。これらの染料は「チャネル」とも称される。
更に、様々な蛍光発光試料の最低信号レベルおよび最高信号レベルが、検知するライン走査カメラ615に広いスペクトルの波長を提示するため、ライン走査カメラ615が検知することができるこれらの最低信号レベルおよび最高信号レベルが同様に広いことが望ましい。したがって、蛍光発光スキャナの実施形態では、蛍光発光走査システム550において使用されるライン走査カメラ615は、モノクロ10ビットの64個の線形アレイのTDIライン走査カメラである。しかしながら、ライン走査カメラ615のための様々なビット深度が走査システム550の蛍光発光スキャナの実施形態による使用のために採用できることが理解されるべきである。
可動ステージ580は、プロセッサ555または動き制御部570の制御下での正確なXY移動(すなわち、可動ステージ580の面内の2つの方向における移動)のために構成される。可動ステージ580はまた、プロセッサ555または動き制御部570の制御下でのZ移動(すなわち、可動ステージ580の面に直交する方向における移動)のために構成されてもよい。可動ステージ580は、ライン走査カメラ615および/またはエリア走査カメラ620による画像データの取り込み中、所望の位置に試料590を位置付けるように構成される。可動ステージ580は、走査方向において実質的に一定の速度に試料590を加速させ、次いで、ライン走査カメラ615による画像データの取り込み中、実質的に一定の速度を維持するようにも構成される。実施形態では、スキャナシステム550は、可動ステージ580上での試料590の位置において支援するために高精度かつ厳格に調整されたXY格子を採用してもよい。可動ステージ580は、X軸上とY軸上との両方に採用された高精度エンコーダを有する線形モータに基づくXYステージであってもよい。例えば、非常に正確なナノメートルエンコーダは、走査方向における軸上で使用することができ、更には、走査方向に垂直な方向における軸上かつ走査方向と同一の面内で使用することができる。ステージ580は、試料590が上部に配置されたスライドガラス585を支持するようにも構成される。
試料590は、光学顕微鏡検査によって調査され得る任意のものとすることができる。例えば、顕微鏡スライドガラス585は、組織および細胞、染色体、DNA、タンパク質、血液、骨髄、尿、バクテリア、気泡、生検材料、または、死んでいるか生きているか、着色されているか着色されていないか、ラベル付けされているかラベル付けされていないかのいずれかである任意の他の種類の生体材料もしくは物質を含む標本のための観察用基板として頻繁に使用される。試料590はまた、マイクロアレイとして一般的に知られている任意の試料およびすべての試料を含む、任意の種類のスライドまたは他の基板上に堆積された任意の種類のDNAまたはcDNAもしくはRNAなどのDNA関連材料またはタンパク質のアレイであってもよい。試料590は、微量定量プレート(例えば、96ウェルプレート)であってもよい。試料590の他の例としては、集積回路ボード、電気泳動レコード、ペトリ皿、フィルム、半導体材料、法医学材料および機械加工部品が挙げられる。
対物レンズ600は、対物レンズポジショナ630上に取り付けられる。この対物レンズポジショナは、対物レンズ600によって定められた光学軸に沿って対物レンズ600を移動させるために非常に正確な線形モータを採用してもよい。例えば、対物レンズポジショナ630の線形モータは、50ナノメートルのエンコーダを含んでもよい。XYZ軸におけるステージ580および対物レンズ600の相対位置は、走査システム550の全体動作のためのコンピュータ実行可能なプログラム化ステップを含む、情報および命令を記憶するためのメモリ565を採用するプロセッサ555の制御下で、動き制御部570を使用して閉ループ方式において調整および制御される。
実施形態では、対物レンズ600は、望ましい最高空間分解能に対応する開口数を有する平面アポクロマート(「APO」)無限補正対物レンズであり、その場合、対物レンズ600は、透過モード照明顕微鏡検査、反射モード照明顕微鏡検査および/または落射照明モード蛍光発光顕微鏡検査(例えば、Olympus 40X、0.75NAもしくは20X、0.75NA)に適切である。有利なことに、対物レンズ600は、色収差および球面収差を補正することが可能である。対物レンズ600が無限に補正されるため、合焦光学系610は、対物レンズ600の上で光学径路605内に配置することができ、その場合、対物レンズを通過する光ビームはコリメート光ビームとなる。合焦光学系610は、対物レンズ600によって取り込まれた光信号をライン走査カメラ615および/またはカメラ620の光反応素子上に合焦させ、フィルタ、倍率変換器レンズ、および/または同種のものなどの光学構成要素を含んでもよい。合焦光学系610と組み合わされた対物レンズ600は、走査システム550に全体倍率を提供する。実施形態では、合焦光学系610は、チューブレンズおよび任意選択の2X倍率変換器を含んでもよい。有利なことに、2X倍率変換器は、本来の20X対物レンズ600が40Xの倍率で試料590を走査することを可能にする。
ライン走査カメラ615は、画像素子(「画素」)の少なくとも1つの線形アレイを含む。ライン走査カメラは、モノクロまたはカラーであってもよい。カラーライン走査カメラは、典型的には、少なくとも3つの線形アレイを有し、他方、モノクロライン走査カメラは、単一の線形アレイまたは複数の線形アレイを有してもよい。カメラの一部としてパッケージ化されているか、それとも撮像電子モジュールにカスタム統合されているかに関わらず、任意の種類の単数または複数の線形アレイも使用することができる。例えば、3つの線形アレイ(「赤−緑−青」すなわち「RGB」)のカラーライン走査カメラまたは96個の線形アレイのモノクロTDIも使用されてもよい。TDIライン走査カメラは、典型的には、標本の以前に撮像された領域からの強度データを合計することにより、出力信号において大幅に良好な信号対雑音比(「SNR」)を提供して、統合ステージの数の平方根に比例したSNRの向上をもたらす。TDIライン走査カメラは、複数の線形アレイを含む。例えば、TDIライン走査カメラは、24個、32個、48個、64個、96個、または更に多い線形アレイによって利用可能である。スキャナシステム550は、512個の画素を有するもの、1024個の画素を有するもの、および4096個の画素と同数の画素を有する他のものを含む、様々な形式において製造された線形アレイにも対応する。同様に、様々な画素サイズを有する線形アレイも、スキャナシステム550において使用することができる。任意の種類のライン走査カメラ615の選択のための主たる要件は、ステージ580の動きをライン走査カメラ615のライン速度と同期することができ、その結果、試料590のデジタル画像の取り込み中、ステージ580がライン走査カメラ615に対して動くことができることである。
ライン走査カメラ615によって生成された画像データは、メモリ565の一部内に記憶され、試料590の少なくとも一部の連続するデジタル画像を生成するようにプロセッサ555によって処理される。連続するデジタル画像は、プロセッサ555によって更に処理することができ、修正後の連続するデジタル画像もメモリ565内に記憶することができる。
2つ以上のライン走査カメラ615を有する実施形態では、ライン走査カメラ615のうちの少なくとも1つは、撮像センサ10として機能するように構成されたライン走査カメラ615のうちの少なくとも1つと組み合わせて動作する合焦センサ30として機能するように構成することができる。合焦センサ30は、撮像センサ10と同一の光学軸上に論理的に位置付けることができ、または合焦センサ30は、スキャナシステム550の走査方向に対して撮像センサ10の前もしくは後に論理的に位置付けられてもよい。合焦センサ30として機能する少なくとも1つのライン走査カメラ615を有するこのような実施形態では、合焦センサ30によって生成された画像データは、メモリ565の一部内に記憶され、スキャナシステム550が試料590と対物レンズ600との間の相対距離を調節して走査中の試料590に対する焦点を維持することを可能にするための焦点情報を生成するように1つ以上のプロセッサ555によって処理される。加えて、実施形態では、合焦センサ30として機能する少なくとも1つのライン走査カメラ615は、合焦センサ30の複数の個々の画素のそれぞれが光学径路605に沿って異なる論理的高さに位置付けられるように方向付けられてもよい。
動作の際、スキャナシステム550の様々な構成要素およびメモリ565内に記憶されたプログラム化モジュールは、スライドガラス585上に配置された試料590の自動走査およびデジタル化を可能にする。スライドガラス585は、試料590を走査するためのスキャナシステム550の可動ステージ580上に固定して置かれる。プロセッサ555の制御下で、可動ステージ580は、ライン走査カメラ615による検知のために実質的に一定の速度に試料590を加速させ、その場合、ステージの速度は、ライン走査カメラ615のライン速度と同期される。画像データのストライプを走査した後、可動ステージ580は、試料590を減速させ、実質的に完全停止に至らせる。可動ステージ580は、次いで、画像データの後続のストライプ(例えば、隣接するストライプ)の走査のために試料590を位置付けるように走査方向に直交して移動する。追加のストライプは、その後、試料590の全体部分または試料590全体が走査されるまで走査される。
例えば、試料590のデジタル走査中、試料590の連続するデジタル画像は、画像ストライプを形成するように共に組み合わされた複数の連続する視野として取得される。複数の隣接する画像ストライプは、同様に、試料590の一部または試料590全体の連続するデジタル画像を形成するように共に組み合わされる。試料590の走査は、垂直画像ストライプまたは水平画像ストライプを取得することを含んでもよい。試料590の走査は、上から下、下から上、またはその両方(双方向)のいずれかであってもよく、試料上の任意の位置にて開始してもよい。あるいは、試料590の走査は、左から右、右から左、またはその両方(双方向)のいずれかであってもよく、試料上の任意の位置にて開始してもよい。加えて、画像ストライプを隣接する方式でも連続する方式でも取得する必要はない。試料590の得られた画像は、試料590の全体または試料590の一部のみの画像であってもよい。
実施形態では、コンピュータ実行可能命令(例えば、プログラム化モジュールおよびソフトウェア)は、メモリ565内に記憶されており、実行されると、走査システム550が本明細書で説明される様々な機能を実行することを可能にする。この説明では、用語「コンピュータ可読記憶媒体」は、プロセッサ555による実行のためのコンピュータ実行可能命令を記憶し、走査システム550に提供するために使用される任意の媒体を指すように使用される。それらの媒体の例としては、メモリ565、および、例えば、ネットワーク(図示せず)を介して直接的または間接的のいずれかで走査システム550と通信可能に結合された任意の着脱可能な、または外部の記憶媒体(図示せず)が挙げられる。
図6Bは、電荷結合素子(「CCD」)アレイとして実装され得る、単一の線形アレイ640を有するライン走査カメラを例示する。単一の線形アレイ640は、複数の個々の画素20を含む。例示された実施形態では、単一の線形アレイ640は、4096個の画素を有する。代替的実施形態では、線形アレイ640は、より多い、またはより少ない画素を有してもよい。例えば、線形アレイの共通の形式は、512個、1024個、および4096個の画素を含む。画素20は、線形アレイ640のための視野625を定めるために線形方式において配列される。視野625のサイズは、スキャナシステム550の倍率に従って変化する。
図6Cは、それぞれがCCDアレイとして実装され得る3つの線形アレイを有するライン走査カメラを例示する。3つの線形アレイは、カラーアレイ650を形成するように組み合わせる。実施形態では、カラーアレイ650内の個々の各線形アレイは、異なる色彩強度、例えば、赤、緑、または青を検出する。カラーアレイ650内の個々の各線形アレイからのカラー画像データは、カラー画像データの単一の視野625を形成するように組み合わされる。
図6Dは、それぞれがCCDアレイとして実装され得る複数の線形アレイを有するライン走査カメラを例示する。複数の線形アレイは、TDIアレイ655を形成するように組み合わせる。有利なことに、TDIライン走査カメラは、標本の以前に撮像された領域からの強度データを合計することにより、その出力信号において大幅に良好なSNRを提供して、線形アレイ(統合ステージとも称される)の数の平方根に比例したSNRの向上をもたらし得る。TDIライン走査カメラは、より多くの種類の多数の線形アレイを含んでもよい。例えば、TDIライン走査カメラの共通の形式は、24個、32個、48個、64個、96個、120個および更に多くの線形アレイを含む。
開示される実施形態の上記説明は、いずれかの当業者が発明を作成または使用することを可能にするために提供される。それらの実施形態に対する様々な修正は、当業者にとって容易に明らかであり、本明細書で説明された一般的な原理は、本発明の精神または範囲から逸脱することなく他の実施形態に適用することができる。よって、本明細書で提示された説明および図面は、本発明の現時点で好ましい実施形態を表し、したがって、本発明によって広く考慮される主題を表すことが理解されるべきである。更に、本発明の範囲は、当業者にとって明白となり得る他の実施形態を完全に包含し、したがって、本発明の範囲は限定されないことが理解される。

Claims (16)

  1. デジタル走査装置であって、前記デジタル走査装置は、
    試料を支持するように構成されたステージと、
    前記試料の一部を観察するために位置付けられた対物レンズであって、光学径路を定める対物レンズと、
    前記対物レンズに光学的に結合された撮像センサと、
    前記対物レンズに光学的に結合された合焦センサと、
    プロセッサと、
    を含み、
    前記撮像センサは、前記光学径路を介して画像データを取り込むように構成された複数の撮像センサ画素を含み、前記複数の撮像センサ画素のすべてが、前記光学径路に直交する単一の第1画像平面内にあり、
    前記合焦センサは、前記光学径路を介して画像データを取り込むように構成された複数の合焦センサ画素を含み、前記合焦センサは、前記複数の合焦センサ画素のそれぞれが他の前記合焦センサ画素のすべてとは異なる画像平面上にあるように、前記光学径路に対して論理的に傾斜され、前記合焦センサの同焦点位置は、前記第1画像平面と同焦点であり、
    前記プロセッサは、前記試料の走査中、前記対物レンズと前記試料との間の距離を自動的に調節するように構成され、自動的に調節することは、
    前記複数の撮像センサ画素のそれぞれから画像データを受信し、前記撮像センサの複数の撮像センサ位置のそれぞれについて前記画像データのコントラスト値を決定することと、
    前記複数の合焦センサ画素のそれぞれから画像データを受信し、前記合焦センサの複数の合焦センサ位置のそれぞれについて前記画像データのコントラスト値を決定することと、
    対応する撮像センサ位置と合焦センサ位置との複数のペアのそれぞれについて、前記ペアにおける前記合焦センサ位置についての前記画像データの前記コントラスト値と、前記ペアにおける前記対応する撮像センサ位置についての前記画像データの前記コントラスト値と、のコントラスト値比を算出することと、
    前記算出したコントラスト値比のピーク値を識別することと、
    前記合焦センサの前記同焦点位置と関連付けられたコントラスト値比を同焦点値として識別することと、
    前記ピーク値と前記同焦点値との間の距離および方向を決定することであって、前記決定した距離および方向は、前記撮像センサから受信した前記画像データにおけるピーク焦点を達成する前記対物レンズの位置を示すことと、
    前記ピーク値と前記同焦点値との間の前記決定した距離および方向に従って、前記試料の走査中、前記対物レンズと前記試料との間の距離を、ピーク焦点を達成する前記対物レンズの前記位置に調節することと、
    により行う、
    デジタル走査装置。
  2. 前記撮像センサおよび前記合焦センサは、等しい数の画素からなる、
    請求項1に記載のデジタル走査装置。
  3. 前記複数の撮像センサ位置のそれぞれは、前記複数の撮像センサ画素の個々の1つからなる、
    請求項1または2に記載のデジタル走査装置。
  4. 前記複数の合焦センサ位置のそれぞれは、前記複数の合焦センサ画素の個々の1つからなる、
    請求項3に記載のデジタル走査装置。
  5. 前記複数の合焦センサ画素のそれぞれは、その対応する撮像センサ画素と同一の前記試料の視野を検知するように、前記光学径路内の位置に対して、対応する撮像センサ画素と論理的に整列される、
    請求項4に記載のデジタル走査装置。
  6. 前記複数の合焦センサ画素の少なくとも1つは、その対応する撮像センサ画素と同一の前記試料の視野を検知するように、前記光学径路内の位置に対して、対応する撮像センサ画素と論理的に整列される、
    請求項1に記載のデジタル走査装置。
  7. 前記複数の合焦センサ画素のいずれも、前記光学径路内の位置に対して、任意の対応する撮像センサ画素と論理的に整列されない、
    請求項1に記載のデジタル走査装置。
  8. 前記撮像センサおよび前記合焦センサは、前記試料の走査中、同一の前記試料の視野を有する、
    請求項1から7のいずれかに記載のデジタル走査装置。
  9. 前記光学径路は、前記対物レンズと前記撮像センサとの間の第1光学径路および前記対物レンズと前記合焦センサとの間の第2光学径路を含む、
    請求項1から8のいずれかに記載のデジタル走査装置。
  10. 前記ピーク値と前記同焦点値との間の距離を決定することは、前記同焦点位置と前記ピーク値に対応する合焦センサ位置との間の合焦センサ画素の数を算出することを含む、
    請求項1から9のいずれかに記載のデジタル走査装置。
  11. 前記ピーク値と前記同焦点値との間の方向を決定することは、前記ピーク値または前記同焦点値のうちの一方を前記ピーク値または前記同焦点値のうちの他方から減算し、値が負か正かを判定することを含む、
    請求項10に記載のデジタル走査装置。
  12. 前記ピーク値と前記同焦点値との間の前記決定した距離および方向に従って前記対物レンズと前記試料との間の前記距離を調節することは、
    前記ピーク値と前記同焦点値との間の前記距離を物理的距離に変換することと、
    前記ピーク値と前記同焦点値との間の前記方向を前記光学径路に沿った物理的方向に変換することと、
    前記物理的方向において前記物理的距離だけ前記対物レンズと前記試料との間の前記距離を変更することと、
    を含む、
    請求項10に記載のデジタル走査装置。
  13. 前記ピーク値と前記同焦点値との間の前記距離を物理的距離に変換することは、合焦センサ画素の前記算出した数と前記複数の合焦センサ画素のうちの2つ以上の間の物理的距離とを乗算することを含む、
    請求項12に記載のデジタル走査装置。
  14. 前記複数の撮像センサ位置のそれぞれは、撮像センサ画素の列からなり、
    前記複数の合焦センサ位置のそれぞれは、合焦センサ画素の列からなる、
    請求項1に記載のデジタル走査装置。
  15. 前記複数の撮像センサ位置のそれぞれについての前記画像データの前記コントラスト値は、前記撮像センサ画素の各列の平均コントラスト値であり、
    前記複数の合焦センサ位置のそれぞれについての前記画像データの前記コントラスト値は、前記合焦センサ画素の各列の平均コントラスト値である、
    請求項14に記載のデジタル走査装置。
  16. デジタル走査装置の対物レンズと前記デジタル走査装置によって走査されている試料との間の距離を自動的に調節する方法であって、前記試料の走査中、
    撮像センサの複数の撮像センサ画素のそれぞれから画像データを受信し、前記撮像センサの複数の撮像センサ位置のそれぞれについて前記画像データのコントラスト値を決定することと、
    合焦センサの複数の合焦センサ画素のそれぞれから画像データを受信し、前記合焦センサの複数の合焦センサ位置のそれぞれについて前記画像データのコントラスト値を決定することと、
    対応する撮像センサ位置と合焦センサ位置との複数のペアのそれぞれについて、前記ペアにおける前記合焦センサ位置についての前記画像データの前記コントラスト値と、前記ペアにおける前記対応する撮像センサ位置についての前記画像データの前記コントラスト値と、のコントラスト値比を算出することと、
    前記算出したコントラスト値比のピーク値を識別することと、
    前記複数の合焦センサ位置のうちの同焦点合焦センサ位置と関連付けられたコントラスト値比を同焦点値として識別することであって、前記同焦点合焦センサ位置が、前記対物レンズによって定められた光学径路に直交する前記撮像センサの画像平面と同焦点であることと、
    前記ピーク値と前記同焦点値との間の距離および方向を決定することであって、前記決定した距離および方向は、前記撮像センサから受信した前記画像データにおけるピーク焦点を達成する前記対物レンズの位置を示すことと、
    前記ピーク値と前記同焦点値との間の前記決定した距離および方向に従って、前記試料の走査中、前記対物レンズと前記試料との間の距離を、ピーク焦点を達成する前記対物レンズの前記位置に調節することと、
    を含む方法。
JP2020517470A 2017-09-29 2018-09-28 リアルタイムオートフォーカス合焦アルゴリズム Active JP6985506B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762566145P 2017-09-29 2017-09-29
US62/566,145 2017-09-29
PCT/US2018/053629 WO2019068038A1 (en) 2017-09-29 2018-09-28 AUTOMATIC FOCUSING ALGORITHM IN REAL TIME

Publications (2)

Publication Number Publication Date
JP2020535473A JP2020535473A (ja) 2020-12-03
JP6985506B2 true JP6985506B2 (ja) 2021-12-22

Family

ID=65897253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517470A Active JP6985506B2 (ja) 2017-09-29 2018-09-28 リアルタイムオートフォーカス合焦アルゴリズム

Country Status (8)

Country Link
US (3) US10459193B2 (ja)
EP (1) EP3625602A4 (ja)
JP (1) JP6985506B2 (ja)
KR (1) KR102419163B1 (ja)
CN (2) CN115061271B (ja)
AU (2) AU2018339006B2 (ja)
CA (1) CA3075287C (ja)
WO (1) WO2019068038A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11454781B2 (en) 2017-09-29 2022-09-27 Leica Biosystems Imaging, Inc. Real-time autofocus focusing algorithm

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2928577T3 (es) * 2017-09-29 2022-11-21 Leica Biosystems Imaging Inc Barrido en Z fijo bidimensional y tridimensional
US11704003B2 (en) 2019-08-06 2023-07-18 Leica Biosystems Imaging, Inc. Graphical user interface for slide-scanner control
US11108946B1 (en) * 2020-06-25 2021-08-31 Zebra Technologies Corporation Focus stabilization of imaging system with variable focus lens
CN112367447B (zh) * 2020-11-04 2022-03-08 清华大学深圳国际研究生院 编码光照实时对焦扫描成像装置和方法
US12056867B2 (en) 2021-06-17 2024-08-06 Kla Corporation Image contrast metrics for deriving and improving imaging conditions
CN113655610B (zh) * 2021-07-14 2024-04-26 中国电子科技集团公司第十三研究所 用于光热反射显微热成像的自动对焦方法及控制装置
CN115150519B (zh) * 2022-09-05 2022-12-23 武汉精立电子技术有限公司 一种基于线扫描的自动聚焦系统、方法及应用
CN118112777B (zh) * 2024-04-30 2024-07-09 深圳市生强科技有限公司 基于病理玻片的多段交叉对焦处理方法及其应用

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4322971B2 (ja) 1998-01-06 2009-09-02 オリンパス株式会社 顕微鏡用のオートフォーカス装置
EP1307775B1 (en) * 2000-05-16 2004-04-28 Accu-Sort Systems, Inc. Auto-focus system with 2-d or 3-d compensation
JP4334784B2 (ja) * 2001-06-11 2009-09-30 日本放送協会 オートフォーカス装置及びそれを用いた撮像装置
JP2004061942A (ja) 2002-07-30 2004-02-26 Nikon Corp 顕微鏡システム
JP2006501469A (ja) * 2002-09-30 2006-01-12 アプライド マテリアルズ イスラエル リミテッド 斜めのビュー角度をもつ検査システム
US7417213B2 (en) 2005-06-22 2008-08-26 Tripath Imaging, Inc. Apparatus and method for rapid microscopic image focusing having a movable objective
US7826977B2 (en) 2006-08-25 2010-11-02 The Trustees Of Columbia University In The City Of New York Systems and methods for high-speed image scanning
JP5064764B2 (ja) 2006-11-15 2012-10-31 オリンパス株式会社 自動焦点検出装置、その制御方法、及び顕微鏡システム
DE102007017649A1 (de) 2007-04-12 2008-10-16 Vistec Semiconductor Systems Gmbh Verfahren zum Bestimmen der Fokuslage von mindestens zwei Kanten von Strukturen auf einem Substrat
WO2008137746A1 (en) 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
FR2923619B1 (fr) * 2007-11-13 2009-11-20 Thales Sa Dispositif de mesure de defauts d'un instrument d'imagerie a capteur opto-electronique et dispositif de correction le comportant
WO2010048584A2 (en) * 2008-10-24 2010-04-29 Aperio Technologies, Inc. Whole slide fluorescence scanner
JP5328526B2 (ja) * 2009-07-03 2013-10-30 キヤノン株式会社 撮像装置
CA2842723C (en) 2009-10-19 2016-02-16 Ventana Medical Systems, Inc. Imaging system and techniques
BR112012029152A8 (pt) * 2010-05-18 2018-02-06 Koninklijke Philips Electronics Nv Sistema de formação de imagem de autofoco para um microscópio, método para formação de iimagem de autofoco de um microscópio, meio legível por computador e elemento de programa para formação de imagem de autofoco de um microscópio
WO2011161594A1 (en) * 2010-06-24 2011-12-29 Koninklijke Philips Electronics N.V. Autofocus based on differential measurements
US8643835B2 (en) 2010-07-09 2014-02-04 Kla-Tencor Corporation Active planar autofocus
US9389408B2 (en) 2010-07-23 2016-07-12 Zeta Instruments, Inc. 3D microscope and methods of measuring patterned substrates
US8175452B1 (en) * 2010-10-26 2012-05-08 Complete Genomics, Inc. Method and system for imaging high density biochemical arrays with sub-pixel alignment
DE102010061611B3 (de) * 2010-12-29 2012-02-16 Leica Biosystems Nussloch Gmbh Identifizierung von Objektträgern
KR101734628B1 (ko) 2011-09-09 2017-05-11 벤타나 메디컬 시스템즈, 인코포레이티드 에러 신호를 이용한 포커스 및 이미징 시스템 및 기법들
DE102011086018A1 (de) 2011-11-09 2013-05-16 Carl Zeiss Ag Verfahren und Anordnung zur Autofokussierung eines Mikroskops
JP2013142769A (ja) 2012-01-11 2013-07-22 Olympus Corp 顕微鏡システム、オートフォーカスプログラムおよびオートフォーカス方法
ES2953897T3 (es) * 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
GB2505151A (en) * 2012-05-30 2014-02-26 St Microelectronics Res & Dev Auto focus method using focus statistics
JP5941395B2 (ja) 2012-10-31 2016-06-29 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
DE102012223128B4 (de) * 2012-12-13 2022-09-01 Carl Zeiss Microscopy Gmbh Autofokusverfahren für Mikroskop und Mikroskop mit Autofokuseinrichtung
EP2947488B1 (en) 2013-01-17 2019-02-27 Hamamatsu Photonics K.K. Image acquisition device and focus method for image acquisition device
CN107111124B (zh) * 2014-10-29 2020-04-21 分子装置有限公司 在显微镜系统中使用并行成像生成对焦图像的设备和方法
WO2017053891A1 (en) * 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
CN115061271B (zh) 2017-09-29 2024-02-02 徕卡生物系统成像股份有限公司 实时自动对焦聚焦算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11454781B2 (en) 2017-09-29 2022-09-27 Leica Biosystems Imaging, Inc. Real-time autofocus focusing algorithm

Also Published As

Publication number Publication date
CN111149037B (zh) 2022-07-12
AU2024202198A1 (en) 2024-05-02
US20210048606A1 (en) 2021-02-18
EP3625602A4 (en) 2021-02-24
CA3075287C (en) 2022-06-14
CN115061271B (zh) 2024-02-02
US10459193B2 (en) 2019-10-29
US10823936B2 (en) 2020-11-03
AU2024202198B2 (en) 2024-06-13
AU2018339006B2 (en) 2024-02-15
KR20200041983A (ko) 2020-04-22
CN115061271A (zh) 2022-09-16
US20200041760A1 (en) 2020-02-06
JP2020535473A (ja) 2020-12-03
CA3075287A1 (en) 2019-04-04
EP3625602A1 (en) 2020-03-25
US20190101723A1 (en) 2019-04-04
KR102419163B1 (ko) 2022-07-08
WO2019068038A1 (en) 2019-04-04
US11454781B2 (en) 2022-09-27
CN111149037A (zh) 2020-05-12
AU2018339006A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
JP6985506B2 (ja) リアルタイムオートフォーカス合焦アルゴリズム
JP6899963B2 (ja) リアルタイムの自動焦点調節走査
JP7167276B2 (ja) 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
JP7288115B2 (ja) スライド在庫調べおよび再挿入システム
JP6940696B2 (ja) 二次元および三次元の固定式z走査
JP2020535478A (ja) 2回通過式マクロ画像
JP7119085B2 (ja) 衝撃再走査システム
JP2021505925A (ja) カラーモニタ設定の更新
AU2018375358B2 (en) Dual processor image processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211125

R150 Certificate of patent or registration of utility model

Ref document number: 6985506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150