JP7146635B2 - マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム - Google Patents

マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム Download PDF

Info

Publication number
JP7146635B2
JP7146635B2 JP2018531648A JP2018531648A JP7146635B2 JP 7146635 B2 JP7146635 B2 JP 7146635B2 JP 2018531648 A JP2018531648 A JP 2018531648A JP 2018531648 A JP2018531648 A JP 2018531648A JP 7146635 B2 JP7146635 B2 JP 7146635B2
Authority
JP
Japan
Prior art keywords
grid
image
images
best focus
slide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531648A
Other languages
English (en)
Other versions
JP2019505836A (ja
JP2019505836A5 (ja
Inventor
ジョージ ブレッノ,
ジム マーティン,
アニンディヤ サルカール,
Original Assignee
ヴェンタナ メディカル システムズ, インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴェンタナ メディカル システムズ, インク. filed Critical ヴェンタナ メディカル システムズ, インク.
Publication of JP2019505836A publication Critical patent/JP2019505836A/ja
Publication of JP2019505836A5 publication Critical patent/JP2019505836A5/ja
Application granted granted Critical
Publication of JP7146635B2 publication Critical patent/JP7146635B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)
  • Automatic Focus Adjustment (AREA)

Description

関連出願
本開示は、全体が参照によって本明細書に組み込まれている、2015年12月16日に出願した米国仮出願第62/268,165号の優先権を主張するものである。
本開示は、一般に、コンピュータベースの自動合焦システムと、顕微鏡スライドを撮像するための関連する方法とに関するものである。より詳細には、本開示は、高いスライドデジタル化速度で高品質の画像データを達成するための自動化スライド走査のために、マルチスペクトル軌跡を使用することに関するものである。
顕微鏡スライドのデジタル像を生成するために、デジタル病理機器が使用されることが多い。病理学者および組織検査技師は、組織試料に関する情報を手に入れ、最も適切な治療法を同定して臨床転帰を改善するために、デジタル像を視覚的に検討することが多い。カラー画像を生成するために、自動化スライドスキャナは、赤色チャネル、緑色チャネル、および青色チャネルの各々で画像を取得し、これらの画像を組み合わせてRGB画像を生成することが多い。
スキャナは、画像データを取得するために、複数のフィルタまたは可変波長フィルタのベンチを有する螢光撮像装置または明視野撮像装置のような、種々のスペクトル特性を有する複数の画像チャネルをさらに取得することができる。適切な画像データを達成するために、自動化スライド走査は、多くの場合、多数の種々のZ面において組織試料を自動的に走査することを含む。取り込まれた画像の多くは、画像データがZ面のほとんどにおける焦点がずれていることが多いため、ほとんどまたは全く価値がない。この問題は、フィルタベンチおよびRGBセンサを使用する螢光撮像および明視野撮像、あるいはスペクトル特性を取得するための何らかの他の方法にも影響を及ぼす。
RGB撮像に関して、特に撮像されているフィーチャが小さい場合(たとえば光の波長未満の場合)、青色チャネルまたは緑色チャネルにおける最善の焦点のZ面は、赤色チャネルにおける最善の焦点のZ面ではない可能性がある。マルチスペクトル撮像に関して、最善の焦点のZ面は、個々のチャネルについて異なる可能性がある。1つの色チャネルにおける画像ぼけが全体的なカラー画像品質を損なう可能性があり、解釈、診断、および/または自動化画像解析に関する重大な問題につながる。
ぼけを低減するために、カラースライドスキャナは、画像の完全なZスタック(たとえば各色チャネルに関する画像の一組のZスタック)を取得することができ、複雑な自動合焦アルゴリズムを使用して、Zスタックから単一画像を生成する。しかしながら、これには、かなりの収集時間と、大量のZスタックデータを記憶するためのメモリと、Zスタックデータを解析してカラー画像を生成するためのかなりの処理時間とを必要とする。
より具体的には、Zスタックは、走査されている組織において表されたそれぞれの色チャネルについて、いくつかの(典型的には3~15の)画像(または層)から成る。Zスタックの取得は、一例として、7層の撮像が通常の走査のほぼ7倍の時間がかかるという点で非常に時間がかかる。
問題は、病理学スライドのデジタル化に必要とされる高倍率レンズが非常に狭い被写界深度を表し、したがって、色収差によって撮像能力が制限されるということである。これは、レンズ焦点が、1つの色の近くにあるスライド上に被検物の要素が最もよく合焦されることを保証するように設定されると、その色と非常に異なる対象物は幾分ぼけるということを意味する。言い方を変えれば、緑色および赤色など興味のある種々の色に関して、最善の焦点のz層はとても異なる可能性があるので、合焦アルゴリズムが緑色の対象物に対して最適化されると赤色の対象物はしばしば焦点がずれる可能性がある。
この影響からのぼけの代わりに、またはそれに加えて、対象物が非常に異なる色の材料によって取り囲まれていると、対象物の色が、光回折効果のために周囲の材料の色と混合される可能性がある。そのため、本明細書で使用されるように、「最善の焦点」は、必ずしも「最もくっきりした焦点」を意味するのではなく、各対象物が、その周囲またはそれを識別するのが望ましい他の対象物から、近かろうと近くなかろうと、最もよく識別される焦点を意味し得る。
あるいは、従来のカラースライドスキャナは、1つのチャネルに対して焦点面(または焦面)を選択し、次いで、選択された焦点面において他のチャネルを走査することができる。たとえば、焦点面は緑色チャネルに対して選択され得る。スライドスキャナは、その焦点面において赤色チャネルおよび青色チャネルの画像を取得して、カラー画像すなわちマルチスペクトル画像を生成する。しかしながら、すべてのチャネルの画像を取得するために使用される共通の焦点面は、各チャネルに対する最善の焦点面ではない可能性があり、合焦プロシージャを支配した色以外の色によって支配されるフィーチャに関する、複合画像における望ましくない画像ぼけをもたらす。
以下の、従来の合焦方法が提案されている。そのような方法の1つには、ベンタナメディカルシステムズ社のスキャナで実施される「グレイスケール画像からの最善の自動合焦の軌跡」の方法がある。この方法は高い走査速度を提供するが、特にスペクトルにおいてグレイスケール画像を支配する色から比較的異なる色チャネルに関する焦点の走査について、改善のための継続的な必要性が残っている。
別の例示的な従来の合焦方法によれば、スキャナシステムは、被検物がzの各値において完全に撮像されるようなやり方で画像のZスタックを取得して記憶する。zの範囲は、存在する色収差がすべてカバーされるように選択され、すなわち、組織におけるすべての色は、Zスタックの層の少なくとも1つにおいて優れた焦点があることになる。これは、各色チャネルについて、Zスタックの各層に対して被検物の画像を高倍率でもたらす。そこで、色チャネルのすべてを優れた焦点で示す複合画像を得るために、画像のそのようなZスタックから単一画像を生成することができる画像合成アルゴリズムが採用される。この手法は高画質を提供するが、禁止的な走査時間およびデータファイルサイズをもたらす。
さらに別の走査方法は、視野において興味のある様々な色の各々に対する最善の焦点のz値を確立するための、較正試料を用いる予デジタル化較正のステップを含む。このステップの出力は、後続のスライドのデジタル化を導くルックアップ表または較正曲線であることが多い。
したがって、顕微鏡スライドをデジタル的に高速で撮像する一方で、各色チャネルに関する画像の完全なZスタックの収集および記憶を回避するための、新規のコンピュータベースの自動合焦システム、コンピュータプログラム製品、および関連する方法が必要である。
本開示は、この必要性を満たすものであり、走査されているスライドに関する最適なマルチスペクトル軌跡を決定して、高いスライドデジタル化速度で高品質の画像データを生成する自動化スライド走査を達成することにより、顕微鏡スライドを撮像するためのコンピュータベースの自動合焦システム、コンピュータプログラム製品、および関連する方法を提示するものである。
本開示の目標の1つは、顕微鏡などのデジタル光学系の焦点を自動的に選択して調節する一方で、被検物全体のデジタル像を取得することである。
本開示の別の目標は、走査画像における種々の染色の対象物のくっきりした合焦と走査速度との間の最適なトレードオフを手に入れることである。より具体的には、本画像処理および走査方法は、大幅に低減された走査時間およびデータファイルサイズを与える一方で、組織において表された関心のあるすべての色に関して満足すべき焦点をもたらすものである。
本開示のさらなる目的は、較正スライドの使用を回避し、各スライドを自動的かつ個々に「最善の焦点」へと調節する方法を提供することである。最善の焦点は、取得された画像値の数学関数を最大化する、画像処理とデータ解析技術の組合せを用いて決定される。一例として、焦点は、画像勾配の数学関数を用いて決定され得る。
この目的のために、また、高いスライドデジタル化速度で高品質の画像データを達成するために、本開示のデジタル撮像システム(デジタル撮像プロセッサ、デジタル撮像装置、または光プロセッサとも称する)は、以下のステップによってデジタル撮像走査を実施するために、ベンタナメディカルシステムズ社が開発したスキャナを使用することができる。
このデジタル撮像システムは、スライド全体の画像を取り込んで、被検物の位置を特定するために取り込まれた画像を処理するのに、比較的低い倍率(たとえば1つの画素当たり25ミクロン)を使用する。取り込まれた画像は関心領域(「AOI」)のサムネイル画像とも称される。このステップは、一般に、被検物(またはスライド)全体のサムネイル画像を取り込むことと称される。
次いで、デジタル撮像システムは、被検物の内部にグリッド点の配置を形成する。この配置は、たとえば、被検物がグリッドによって完全にカバーされるようにスライドの面(すなわち「x-y」面)において1ミリメートルまたは数ミリメートル隔てられたグリッド点から形成されたグリッドを含み得る。このステップは、一般に、被検物全体にわたってグリッドを被せることと称される。
次いで、デジタル撮像システムは、各グリッド点においてカメラ画像の「Zスタック」を取り込むために、比較的高い倍率(たとえば1つの画素当たり0.5ミクロン)を使用する。次いで、デジタル撮像システムは、Zスタックの画像解析に基づいて、各z値の焦点メトリックおよび各グリッド点に対する最善の焦点(すなわち最善のz値)を決定する。次いで、デジタル撮像システムは画像のZスタックを破棄する。このステップは、一般に、Zスタック画像を取り込み、各グリッド点に対する最善の焦点を決定し、次いでZスタック画像を破棄することと称される。
デジタル撮像システムは、最終結果としてのxyz点のグリッドを、スライドの走査のためにxyz軌跡を計算するアルゴリズムに入力する。このステップは、一般に、スキャナのためのxyz軌跡を計算することと称される。
より具体的には、本開示は、走査動作中に、グレイスケール軌跡に対して平行ではあるがz方向にオフセットされた追加の走査軌跡(「グレイスケール画像からの最善の自動合焦の軌跡」)において被検物の1つまたは複数の完成画像を追加することを提案するものである。グリッド点の各々におけるグレイスケール画像のための最善の焦点を決定するためのZスタック画像の解析の一部分として、デジタル撮像システムは、画像に存在する1つ(または複数)の他の色チャネルが、z方向において、グレイスケール画像の最善の焦点とかなり異なる最善の焦点z値があるように見える場所を判定するために、各グリッド点においてZスタックをさらに評価する。
色チャネルがかなり異なる最善の焦点z値を有するかどうかということは、「先験的な」ルールもしくは一覧表、または1つまたは複数の勾配フィルタリングされた画像の選択を考慮に入れる画像解析のいずれかによって判定される。
そのような色チャネルは、グレイスケール自動合焦が緑色チャネルによって支配されていると想定すると、RGBカメラの赤色チャネルおよび/または青色チャネルであり得る。代替実施形態では、1つまたは複数の色チャネルは、1つまたは複数のバイオマーカを強調するように設計されたRGBチャネルの組合せであり得る。別の代替実施形態では、1つまたは複数の色チャネルは、スライドを撮像するのに使用されるカラーフィルタまたは着色光の光源のうちの1つまたは複数、あるいは蛍光像において残存する色のうちの1つまたは複数に対応し得る。
追加の軌跡のオフセット距離は、各グリッド点におけるZスタックに関して興味のある1つまたは複数の色またはバイオマーカのためにグレイスケール画像に使用されるものに類似して、計算の最善の焦点タイプによってほとんど決定される。
本開示の様々な特徴およびそれらを実現するやり方を、以下の記述、特許請求の範囲、および図面を参照しながらより詳細に記述する。
本開示による、自動合焦技術を遂行するためにネットワーク環境で動作するスライドスキャナの一部分を形成するコンピュータベースのデジタル撮像システムを図解する図である。 スライドスキャナの一般的な機械的構成要素、光学的構成要素、および処理構成要素をさらに示す、図1のスライドスキャナの様々な全体図を図解する図である。 スライドスキャナの一般的な機械的構成要素、光学的構成要素、および処理構成要素をさらに示す、図1のスライドスキャナの様々な全体図を図解する図である。 スライドスキャナの一般的な機械的構成要素、光学的構成要素、および処理構成要素をさらに示す、図1のスライドスキャナの様々な全体図を図解する図である。 本開示による全体的な動作を図解する、図1のスライドスキャナの機械的構成要素および光学的構成要素のうちのいくつかの概略ブロック図である。 本開示による、前の図のスライドスキャナによって実施される走査プロセスを図解する流れ図である。 本開示による、走査されるべき被検物全体に被さるグリッドを図解する全体の被検物スライドの比較的低い倍率の画像またはサムネイル画像である。 本開示による、図7のグリッドの各グリッド点においてスライドスキャナによって取り込まれた画像のZスタックの比較的高い倍率の図である。 本開示による、グレイスケールおよび興味のある追加の色に対する最善の焦点z値を決定するためのプロセスであって、図7のグリッドの各グリッド点において繰り返されるプロセスを図解する図である。 本開示による、図9のプロセスによって決定された焦点メトリック値のプロットの拡大図であって、各z値に関する勾配の平均値を視覚的に図解する図である。 グレイスケールおよび興味のある色の各々に関して被検物全体をカバーする一連の高倍率画像を取り込むためのスライドステージ組立体およびレンズ組立体を選択的に駆動するためにスライドスキャナのデジタル撮像システムによって主として実施されるプロセスであって、各グリッド点における最善の焦点および興味のある各色に対応するx、y、zのアレイを生成し、x、y、zのアレイに基づいてxyzの走査軌跡を生成して、スライドスキャナの一部分を形成する駆動電子回路向けの信号を生成するプロセスを図解する図である。 図11のプロセスによって生成されたx、y、zのアレイの例示的な層の拡大図であって、グレイスケールおよび赤色に関する最善の合焦点の2つの組を示す図である。 本開示による、デジタル撮像システムによって、各グレイスケールおよび興味のある色チャネルに関する図11および図12のx、y、zのアレイに基づいて実行された例示的な代替の個別走査軌跡を図解する図である。 本開示による、デジタル撮像システムによって、各グレイスケールおよび興味のある色チャネルに関する図11および図12のx、y、zのアレイに基づいて実行された例示的な代替の個別走査軌跡を図解する図である。 本開示による、デジタル撮像システムによって、各グレイスケールおよび興味のある色チャネルに関する図11および図12のx、y、zのアレイに基づいて実行された例示的な代替の個別走査軌跡を図解する図である。 本開示による、デジタル撮像システムによって、各グレイスケールおよび興味のある色チャネルに関する図11および図12のx、y、zのアレイに基づいて実行された例示的な代替の個別走査軌跡を図解する図である。 HER2遺伝子の発現の程度を明らかにするために興味のある青、赤および黒の3つの色で染色された乳腺細胞核の一例であって、赤色点に関する最善の焦点を図解する図である。 HER2遺伝子の発現の程度を明らかにするために興味のある青、赤および黒の3つの色で染色された乳腺細胞核の一例であって、黒色点に関する最善の焦点を図解する図である。 本開示による、スライドスキャナによって走査された被検物全体の最終的なレンダリングを生成するためにデジタル撮像システムによって実行される、複数のタイルのスティッチング動作を図解する図である。
図に示される要素は、図解の簡単さおよび明瞭さのために、必ずしも原寸に比例するものではないことが認識されよう。たとえば、いくつかの要素の寸法は、明瞭さのために他の要素に対して誇張されていることがある。さらに、対応するかまたは類似したフィーチャを示すために、適切であると考えられる場合には図の間で参照番号が再利用されることがある。
図1は、本開示の一実施形態による、デジタル撮像のためにマルチスペクトル軌跡を使用する自動合焦技術(本明細書では「自動化スライド走査」または「走査」とも称される)を遂行するようにネットワーク環境で動作する病理学解析システム100を図解するものである。本明細書で使用されるように、「自動合焦」は、最終結果としての画像が病理学者にとって診断に役立つような顕微鏡スライドの自動デジタル化を指す。
顕微鏡スライドは、本明細書では「被検物スライド」または「スライド」とも称される。本開示にとって興味のある顕微鏡スライドは、生体学的被検物(たとえば細胞または組織)の非常に薄い層を保持するように意図されている。被検物は、
(i)スライドを透過する光を吸収する(「明視野撮像」)、
(ii)外部光源から発する光を散乱させる、または
(iii)外部光源によって刺激された光を放射する(「蛍光撮像」)、といった機能のうち任意の1つまたは複数を遂行するように、典型的には染色されるかそうでなければマークを付けられる。後の2つの機能は「暗視野撮像」と称されることが多い。
高品質の画像データを高いスライドデジタル化速度で達成するために、スライドの厚さ、光学軸に沿ったスライドの位置決め、および被検物の厚さが可変であるので、自動化スライド走査は自動合焦の方法を必要とする。
図1を参照して、病理学解析システム100は、一般に、ネットワーク130を通じて通信するスライドスキャナ200、複数のクライアントコンピュータシステム(またはユーザステーション)140、142を含む。被検物を担持する顕微鏡スライド117が、スライドスキャナ200に載せられる。スキャナ200は、自動合焦技術を遂行して、複数の色チャネルにおいて被検物の画像を生成する。
本明細書で使用されるように、フルカラー(またはマルチスペクトル)は、たとえばRGBカメラ用の赤色、緑色、および青色の3つのチャネル、蛍光画像のすべての色チャネル、または色フィルタもしくは着色光の光源で作製された画像を意味し得る。典型的には、Zスタック画像は、zのいくつかの(典型的には7~15の)値の各々において収集される。「Zスタック」は、被検物に被さるグリッドの各グリッド点において、光学軸(「z軸」)に沿ったスライド位置が0.5ミクロンなどの小さいステップで変化して、zの各値においてフルカラー画像または単一チャネル画像がカメラによって取り込まれることを意味する。
いくつかの実施形態では、スキャナ200は、被検物を担持する顕微鏡スライド117の明視野撮像および/または蛍光撮像のための顕微鏡115(レンズまたは各レンズとも称する)を含む。スキャナ200は、さらに、ベンタナメディカルシステムズ社のVENTANA iScan HT製品を一例とするホールスライドスキャナ(whole-slide scanner)であってよい。
病理学者、組織検査技師、または同類の専門家など、クライアントコンピュータシステム140、142のユーザは、走査出力(たとえばスライド117の向上した画像)にリモートで、またはローカルでアクセスして、リアルタイムで観察することができる。ユーザは、クライアントコンピュータシステム140、142によって、ネットワーク化されたデータベース150に記憶された走査データにさらにアクセスすることができる。
一実施形態では、スキャナ200がさらに含むコンピュータベースのデジタル撮像システム110は、種々のZスライス(たとえばZスタッキングによって生成されたZ面)において画像を取り込んで、各スライドを、自動的に、選択された色チャネルまたはフィルタ帯域に対して最善の焦点z値(最善の合焦点または最善の焦点設定とも称される)へと個々に調節することにより、取り込まれた画像の「鮮鋭度」を改善するように構成されている。
後に、より詳細に説明されるように、デジタル撮像システム110は、画像処理と、画像勾配の数学関数を最大化するデータ解析技術とを組み合わせて、最善の焦点z値を決定する。それぞれのグレイスケールおよび興味のある選択された色チャネルまたはフィルタ帯域について、デジタル撮像システム110は、Zスライス上の焦点を、たとえば、ぼけの量が最小の点、またはこの色において対象物をバックグラウンドもしくは周囲の対象物から最善の区別を伴って示す点として識別する。これは、各Zスライスにおける最善の合焦点、すなわち「焦点が合った」点または最もくっきりした点と称される。デジタル撮像システム110は、識別された「最善の合焦点」を使用して、スキャナ200の走査軌跡(または軌跡)を決定し、合焦された画像を取り込む。合焦された画像は、組み合わされて(またはスティッチングされて)合焦された複合画像を生成する。デジタル撮像システム110が、選択された色チャネルに対して最善の合焦点を使用するので、最終的な複合画像において観測される色収差の量がかなり低減され、走査速度が最適に改善される。
本明細書に記述された技術は、それだけではないが、位相検知自動合焦技術、コントラスト検知自動合焦技術などを含む、パッシブまたはアクティブな自動合焦技術など、既知の、または利用可能な自動合焦技術およびZスライシング技術を向上させるのに使用され得る。
図1の特定の例示的実施形態では、スキャナ200は、一般に、1つまたは複数の画像取込みデバイス111、デジタル撮像システム110、およびプロセッサ125(すなわちコンピュータまたは端末)を含む。より具体的には、画像取込みデバイス111は、一般に、光学系(たとえば1つまたは複数のレンズ115、センサ焦点レンズグループ、顕微鏡対物レンズなど)、結像センサ(たとえば電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)撮像センサなど)などを用いるデジタル撮像装置113(たとえばデジタルカメラ)を含む。
デジタルの実施形態では、デジタル撮像装置111は、合焦(たとえば自動合焦)を提供するように協働する複数のレンズ115を含み得る。CCDセンサは、被検物スライド117のデジタル像を取り込むことができる。特定の実施形態では、デジタル撮像装置111は、カラー画像を生成するための赤色チャネル、緑色チャネル、および青色チャネルを有し、種々の鉛直面すなわちZスライスにおいて画像を取り込むように動作可能である。他の実施形態では、デジタル撮像装置111は単色センサまたはカラーセンサであり、光学系は複数のフィルタおよび/または可変波長フィルタを含み、マルチスペクトルチャネルすなわちカラー画像チャネルは、種々のフィルタまたはフィルタ設定を有する撮像装置111から複数の画像を取得することによって生成される。カラー画像を生成する方法の1つは、被検物の少なくとも一部分を含む顕微鏡スライドの領域またはスライドの位置を備える1つまたは複数の走査領域を決定することを含む。走査領域は複数のスナップショットに分割され得る。画像は、スナップショットを組み合わせること(またはスティッチングすること)によって生成され得る。被検物またはスライド117全体の組み合わせた画像は、同一の焦点面または異なる焦点面におけるRGBチャネルまたはマルチスペクトルのカラー画像チャネルの画像を伴うスナップショットを有することができる。
スキャナ200は、アクセスドア121、メモリ112、および個別のコントローラ123も含むことができる。スライド117はアクセスドア121を通してスキャナ200に載せられる。最善の合焦点のxyz座標はメモリ112に記憶され得る。コントローラ123は、プロセッサ125とともに、または独立して、デジタル撮像システム110の動作を処理することによってスキャナ200の動作を制御するのに使用され得る。この目的のために、デジタル撮像システム110は、少なくとも部分的に、ソフトウェアアプリケーション、アルゴリズム、コンピュータプログラム製品などであり得(またはこれらを含み得)、これらは本明細書では総体としてコンピュータプログラム製品と称される。コンピュータプログラム製品は、組み込まれているかまたはコンピュータ記憶媒体に記憶されている複数の実行可能な命令コードから成る。後に、より詳細に説明されるように、プロセッサ125(および/またはコントローラ123)は、デジタル撮像システム110の命令コードを実行する。
プロセッサ125は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットなどを含み得て、デジタル電子回路、ファームウェア、ハードウェア、メモリ、コンピュータプログラム、プロセッサ(プログラムされたプロセッサを含む)、およびデジタル像を2進形式で記憶するための記憶媒体をさらに含むことができる。画像は、ビット深度によって定義される1つまたは複数のビットのデジタル量を画素が含むように、画素のマトリクスに分割される。デジタル量は、たとえばエネルギー、輝度、色、強度、密度、高さ、または画像処理を通じて導出される分類された値を表し得る。非限定的な例示的デジタル像フォーマットは、それだけではないが、ビットマップされたジェイペグ(JPEG)、タグ付き画像ファイルフォーマット(TIFF)、および画像交換フォーマット(GIF)、ならびに他のデジタルデータフォーマットを含む。
ネットワーク130(または直接接続)は、スキャナ200をクライアントコンピュータ140、142に対して相互に接続する。ネットワーク130は、一般に、1つまたは複数のゲートウェイ、ルータ、ブリッジ、その組合せ、1つまたは複数のサーバ、ならびに、クライアントコンピュータ140、142が、アクセスして、使用するための情報を送受信することができる1つまたは複数のウェブサイトを含む。サーバは、情報(たとえばデジタル像、アルゴリズム、染色プロトコルなど)を記憶するための1つまたは複数の関連するデータベースを含み得る。ネットワーク130は、それだけではないが、伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、インターネットプロトコル(IP)および他のデータプロトコルを使用するデータネットワークを含み得る。クライアントコンピュータシステム120は、本明細書で論じた方法および技術を遂行することができる。クライアントコンピュータシステム120の構成要素および特徴は、開示された技術の他の構成要素および特徴と混合され、かつ調和され得る。
図2、図3、および図4は、スキャナ200の機械的構成要素、光学的構成要素、および処理構成要素を図解するものである。スキャナ200は、スキャナ200の様々な構成要素を支持するプラットホーム205を含む。より具体的には、プラットホーム205は、光源210、デジタル撮像装置113、光学スプリッタ230、スライドステージ組立体520、およびレンズ組立体530のための支持体を提供する。
スライドステージ組立体520は、一般に、被検物スライド117を支持するスライド保持具、およびスライド117のx-y位置を設定するための駆動機構を備える。レンズ組立体530は、一般に、レンズ115と、レンズ115を支持するレンズプラットホーム222と、レンズ軸受組立体225と、レンズ115の垂直位置を図3の矢印Z-Z(z軸)に沿って設定するための駆動機構とを備える。図4に図解されるように、レンズ軸受組立体225は、軸受410と、外部モータ450に接続されて回転する、偏心ポスト444とを含む。
図2においてさらに図解されるように、ケーブル227は、プロセッサ125とコントローラ123を相互に接続して、デジタル撮像システム110によって提供された命令およびデータをスキャナ200の様々な構成要素に伝送する。相互接続は、本明細書ではケーブル227として記述されていても、それだけではないが、ワイヤレス通信およびネットワーク通信を含む他の通信手段が可能であることを理解されたい。加えて、ケーブル227は、スキャナ200の電気的に動作する様々な構成要素に電力を伝送する。
図5は、スキャナ200の一般的な動作を図解する流れ図500である。後に、より詳細に説明されるように、デジタル撮像システム110は、スキャナ200が、レンズ組立体530をz方向(z軸)に沿って移動させたり、スライド117をx-y方向に移動させたりするのに使用されるxyz軌跡を決定する。この目的のために、コントローラ123および/またはプロセッサ125のどちらかの内部に組み込まれ得る駆動電子回路510は、デジタル撮像システム110からxyz軌跡データを受け取る。
駆動電子回路510は、xyz軌跡データから適切な駆動命令を導出し、レンズ組立体530に対して、z方向に沿って垂直位置を設定するための対応する駆動命令を伝送し、スライドステージ組立体520に対して、xy面に沿ってx位置およびy位置を設定するための対応する駆動命令を伝送する。矢印555によって示された光ビーム(または光学ビーム)は、光源210から発し、光学スプリッタ230によってデジタル撮像装置113の方へ向けられる。
次に図6、図7、および図8を参照して、図6は、デジタル撮像システム110の全体的な動作(またはプロセス)600を図解するものである。ステップ610において、デジタル撮像システム110は、レンズ組立体530の比較的低い倍率(たとえば1つの画素当たり25ミクロン)を使用して、被検物スライド117全体の画像700(図7)を取り込む。取り込まれた画像700はAOIのサムネイル画像700とも称される。
ステップ611において、デジタル撮像システム110は、被検物710またはその一部分をスライド117上に配置するために、取り込まれた画像700を処理する。
プロセス600のステップ612において、デジタル撮像システム110は、グリッド点(たとえば720、721、722など)の配置を形成するグリッド711(図7)を定義する。グリッド点(たとえば720、721、722など)は、たとえば「x-y」面すなわちxy面であるスライド117の面において数ミリメートルまたは数分の1ミリメートルだけ分離されている。グリッド711が、xy面においてグリッド点の均一な配置または不規則な配置(または分布)を有し得ることを理解されたい。
ステップ620において、デジタル撮像システム110は、被検物710全体にわたってグリッド711を被せる。
ステップ630において、デジタル撮像システム110は、各グリッド点(たとえば720、721、722など)における画像800(図8)の「Zスタック」を取り込むために、レンズ組立体530(図5)に、比較的高い倍率(たとえば1つの画素当たり0.5ミクロン)を使用するように命令する。
ステップ632および633において、デジタル撮像システム110は、各グリッド点(たとえば720、721、722など)のZスタック画像800を使用して、グレイスケールに関する最善の合焦点に対応するz値と、興味のある各色に関する最善の合焦点に対応するz値とを決定する。後に、図11に関連して説明されるように、最善の合焦点のこの決定は、1つまたは複数のx、y、zのアレイ1111(1つはグレイスケールに関するものであり、1つは興味のある各色に関するものである)をもたらす。次いで、デジタル撮像システム110は、Zスタック画像800を破棄するが、それぞれの最善の焦点zに関する最善の焦点のx値およびy値を記憶する。
ステップ642および643において、デジタル撮像システム110は、最善の合焦点(またはz値)を表す、最終結果としてのx、y、zのアレイ1111を使用して、グレイスケールおよび興味のある各色に関する最善のxyz走査軌跡を計算する。例示的な自動合焦(または走査)の軌跡1300、1400、1500、1600は、それぞれ図13、図14、図15、および図16に関連して後に説明する。
ステップ650において、デジタル撮像システム110は、レンズ組立体530に、自動合焦の軌跡1300、1400、1500、1600の各々について、被検物710のデジタル画像1810(図18)を取り込ませる。
補完ステップ660として、ステップ620において、グリッド711がレンズ組立体530の視野から外れると、次いで、被検物710は、図18に図解されるような小さいタイル(たとえば1810、1811、1812など)のマトリクスに分割され、タイル(たとえば1810)のうちの1つの上にグリッド711が被せられる。デジタル撮像システム110は、他のタイル(たとえば1811、1812など)の各々に対してステップ620~650を繰り返す。次いで、最終結果としてのデジタル画像(たとえば1820、1821、1822など)がデジタル撮像システム110によってスティッチングされて、複合画像が生成される。
図9および図10を参照して、これらの図は、例示的な図解によって支援され、図6のステップ632および633のより詳細な記述を提供するものである。図9は、グレイスケールおよび興味のある追加の色について、それぞれ最善の焦点z値を決定するためのステップ632と633を組み合わせるプロセス900を表す。プロセス900は、各グリッド点(たとえば720、721、722など)について繰り返される。
ステップ910において、デジタル撮像システム110は、各グリッド点(たとえば720、721、722など)において取り込まれた高倍率画像800のZスタックを使用して、グレイスケールおよび興味のある各色について、各z値に関する勾配の平均値を決定する。各Zスタックの内部で、最大の平均勾配を伴う画像800が「最善の焦点」として定義され、対応するzが、そのxyz点に関するzにおける最善の焦点として記録される。
本明細書で使用されるように、「グレイスケール画像」は、デジタル撮像装置113のRチャネル、Gチャネル、およびBチャネルがグレイスケール画像へと組み合わされるか、または1つの色チャネルがグレイスケール画像に選択されることを意味する。ここで使用される最大の平均勾配は、「焦点メトリック」、すなわち焦点の品質に対応する数として知られているものの一例である。本開示の教示を使用して決定される走査軌跡は、「グレイスケール画像からの最善の自動合焦の軌跡」と称される。
本開示の一実施形態によれば、使用される(または除外される)色チャネルの選択は、スキャナ200の合焦能力に著しく影響を及ぼすことなく、走査速度をさらに改善する。より具体的には、病理学スライド117のデジタル化に必要とされる高倍率レンズ115が非常に狭い被写界深度をもたらし、したがって、色収差によって撮像能力が制限されるということである。これは、被検物710の緑色に近い色の要素がくっきりするように焦点が合うことを保証するようにz値が決定された(グレイスケール撮像の典型例である)場合には、(たとえば)非常に赤みがかっている要素は幾分ぼけることを意味する。赤色のフィーチャがかなり小さければ、診断の見地から、最終結果としてのスライドのデジタル像が、このぼけによって損なわれるか、または全く役立たないことさえある。「赤みがかっている」は一例でしかなく、「グレイスケール画像からの最善の自動合焦の軌跡」から十分に異なる色の被検物710の、色収差によってぼける何らかの対象物は、本開示の関心事である。この問題は、明視野画像と暗視野画像の両方のデジタル化に関連するものである。
図17Aおよび図17Bは、HER2遺伝子の発現の程度を明らかにするために興味のある青、赤および黒の3つの色で染色された乳腺細胞核1700の一例を図解するものである。図17Aは赤色点1710に関する最善の焦点を図解し、図17Bは黒色点1721、1722に関する最善の焦点を図解する。
図17Aでは、青色は核1700を指し、赤色は染色体17の存在を指示し、黒色はHER2遺伝子の発現を指示する。図17Aは赤色点1710に対する最善の焦点を示し、赤色点1710は生彩があり、うまく形成されている。図17Bは、黒色点1721、1722に対する最善の焦点を示す。図17Aの赤色点1710は図17Bのものよりも明らかに赤いが、図17Bの黒色点1722は図17Aのものよりも明瞭である。この例では、被検物710は、固定されたxy座標において0.25ミクロンだけ分離した15個の異なる焦点のz位置で撮像された。
次に図9および図10を参照して、プロット915は、各z値に関する勾配の平均値を図解するものである。プロット915は、赤色点に適切な焦点メトリック(円で表されている)と黒色点に適切な焦点メトリック(X印で表されている)とを対比させた例示的な応答を示す。プロット915において垂直軸はメトリックの値であり、水平軸はZ層の数である。この特定の例では、赤色に関する「最善の焦点」は、黒色に関する「最善の焦点」の左側の、zの少なくとも2つの値であることに留意されたい。この組にわたる実験データは、赤色に関する最善の焦点と黒色に関する最善の焦点の間のオフセットが、スライド間で2~6個のZ層だけ変化することを指示しており、連続する層の各組は0.25ミクロンだけ隔てられていた。
ステップ920では、デジタル撮像システム110は、プロット915を使用し、色に関連した勾配プロットにおいて、グレイスケールに関する最善の焦点zおよび他の興味のある色に関する最善の焦点zを、それぞれ頂点1022、頂点1023(図10)に決定する。
一般に、本開示の自動合焦の方法600は、被検物710の複数の位置(x,y)における最高の焦点メトリックを用いる焦点設定として、値zを決定する。詳述するため、この自動合焦のステップによって決定された(x,y)点は数ミリメートルだけ分離され得る。最善の焦点メトリックの位置zと各位置(x,y)を組み合わせると、3D空間における点クラウド(x,y,z)を与える。これらの点は、被検物710にむらがあるために、典型的には1つの面にはない。走査するときスライド117のxyz移動および焦点位置を制御する電子回路510(図5)を駆動するために、連続した経路または軌跡を、xyz点(最善の合焦点または最善の焦点Z点)のグリッドに一致させなければならない。この連続した経路は、本明細書では「走査軌跡」(たとえば1300、1400、1500、1600)と称する。
図11~図16を参照して、これらの図は、例示的な図解によって支援され、図6のステップ642、643、および650のより詳細な記述を提供するものである。図9に関連して前に説明されたように、一旦プロセス900が完了すると、グレイスケールおよび興味のある追加の色に関する最善の焦点のz値を決定するために、図11のプロセス1100は、図6のステップ642と643を組み合わせるステップ1120へ進む。ステップ1120において、デジタル撮像システム110は、x、y、zのアレイ1111からxyzの走査軌跡を生成する。
ステップ1130において、プロセス1100は、スライドステージ組立体520を光学軸に対して垂直な面(たとえばxy面)に沿って選択的に駆動するための駆動電子回路510向けの適切な信号と、カメラから画像を収集しながら光学軸(たとえばz軸)に沿ってレンズ115を駆動するための、レンズ組立体530向けの適切な信号とを生成し、それにより、ステップ650において、スキャナ200は、グレイスケールおよび興味のある色の各々について、スライド被検物710全体(またはレンズ115の視野の範囲内のタイル)をカバーする一連の高倍率画像を取り込む。
図12には、グレイスケールに関する最善の合焦点1210(黒色点のX印)と、興味のある色のうち1つに関する最善の合焦点(赤色点)1222とが、xを固定してyを変化させる一組のグリッド点のzにおいて異なり得ることを示す例示的なアレイ1111が図解されている。縦軸は「z層」とラベルを付けられ、Zスタックに関する画像が取り込まれているzの値に対応する。横軸は「y」とラベルを付けられ、スライド117の幅に沿って固定されたxに対してスライド117の長さに沿った距離に対応する。
この例では、黒色点のX印1210と赤色点1222の間のzの距離は、多くは2層であるが、1つのy値において2層よりも大きく、2つの他のy値において2未満であることに留意されたい。この変化は「実環境」では典型的なものである。グリッド点がたとえば数mm離れているので、走査中に、焦点機構(レンズ組立体530から成る)を連続的に制御することができるように、走査軌跡は、黒色点のX印1210と赤色点1222について別に計算されなければならない。
一実施形態では、デジタル撮像システム110は、グレイスケール(黒色点のX印)1210に関する滑らかな軌跡を最初に決定し、次いで、興味のある色に関する最善の焦点1222を解析することによって正当化される任意の追加の軌跡を決定する。追加の軌跡は赤色点を精密に辿り得る。別の実施形態では、追加の軌跡は、黒色点のX印1210の上または下に常にあるように拘束され得る。さらに別の実施形態では、追加の軌跡は、グレイスケール軌跡に対して常に平行で、zにおいて所定の距離があるように拘束され得る。さらに別の実施形態では、追加の軌跡は、レンズ115の色収差のモデルによってさらに拘束され得、同モデルは、予走査の較正ステップ中に生成されてよく、またはレンズ115の物理モデルに基づくものであってよい。較正ステップは、種々の色の人工目標を伴うスライド117を使用してよく、またはすべての関連するバイオマーカおよび色が存在する場合には被検物スライドを使用してよい。
しかしながら、本開示の1つの例示的実施形態では、較正ステップは不要である。スライド117にある個々の染色が知られているときには、染色の物理的性質により、これらの染色の焦点深度は、長い波長の光は短い波長の光よりもレンズ115から遠くに焦点があるという知識から概略的に推定され得る。そのゆえに、たとえば赤、黒、および青の3つの染色があるときには、染色の予備的知識を使用して、どの染色がより大きいz値を占有してどの染色がより小さいz値を占有するか、あらかじめ知ることができる。そのような知識は、各染色について、グレイスケール画像の最もよく合焦される層に関して、最もよく合焦されるz層の先験的な推定を提供する。所与の組織において、異なる染色の異なる焦点深度に関するこの初期の仮定が乱されるような染色変化があるときには、予備的知識に基づく予較正は正常に機能しない可能性がある。そうでなければ、最も実用的なシナリオのために、個別の染色について、異なる走査軌跡の相対位置が前もって推定され得る。
前述の軌跡決定方法は、必要に応じて、興味のある1つまたは複数の他の色へと拡張され得る。グレイスケールと興味のある色の間のzの距離がほぼ常にゼロであれば、さらなる軌跡は不要である。このzの距離がほぼ常に1以上であれば、その興味のある色に関するさらなる軌跡が、被検物710全体のさらなるデジタル画像を提供するはずであり、病理学者に有益であり得る。
透過した(近似的に白い)光の画像を取り込むRGBカメラについては、必要な追加の走査軌跡は、興味のある生物学的特徴の色分布に依拠して1つだけでよい。色フィルタ、着色光の光源、または蛍光性の被検物によって生成された連続する複数の狭い識別用色帯において画像を取り込むカメラについては、スライド画像にあるすべての色の満足すべき合焦のために、複数の追加の走査軌跡が必要とされることがある。
一旦、最善の合焦点1210、1222が決定されると、スライド117を位置決めし、かつレンズ115をこれらの最善の合焦点1210、1222に合焦させるために、種々の軌跡(たとえば1300、1400、1500、1600など)が辿られ得る。図13に図解されている第1の例示的な完全な軌跡1300は、各色チャネルについて実行され、最初に最善の合焦点1210を順次に連結し、次いで最善の合焦点1222を順次に連結する。位置決め精度を向上させるために、すべての位置は同一の方向から(すなわちz方向を増加させて)接近させる。この手法は、システムにあり得る機械的バックラッシュを補償する。軌跡1300は独立した色チャネルを提供し、独立した色チャネルを1つの複合画像へそろえるために追加の登録ステップが必要とされる。
図14は、「交番層」のパターンによって実行される別の軌跡1400を図解するものである。軌跡1300(図13)は、スライド117を、グレイスケールに関する最善の焦点軌跡を通って移動させ、その後(たとえば)赤色に関する最善の焦点軌跡を通って移動させ、何らかの他の所望の色軌跡に関して、同様に、軌跡1400は交番層のパターンに従って実行される。スキャナ200は、スライドをxおよびyにおいて移動させるとき、zにおいて(2つの最善の合焦点の間の)1つのサブ軌跡から次のものへと交番する。この移動は、被検物710の完全なデジタル化を保証するために、互いに完全にオーバラップする各軌跡について画像が収集されるように制御される。
走査がx、yにおいて進行するとき、各x、yにおいて各色チャネルに関する最善の焦点画像が取り込まれ、これによって必要な走査時間がより短くなることが判明し得る。図14に図解された手法は、被検物710のデジタル化に必要なxおよびyの範囲にわたってスライド117を1回だけ移動させればよく、取得された画像データは常に空間に整列するという利点がある。
図15は、合計の走査運動が低減された別の例示的な交番する軌跡1500を図解するものである。軌跡1500に沿って、各スライド位置において取得される画像チャネルの順番は、zにおいて最も近い位置が最初に撮像されるように選択される。次いで、最終結果としての複数の画像は、合成技術によって単一画像へ統合されて解析されるか、または、最初に個々に解析され、次いでその結果が合成解析へと統合される。
図16は、本開示によるさらに別の可能な軌跡1600を図解するものである。軌跡1300、1400、1500、1600は非排他的な例であり、本明細書では図解のために提供されていることを理解されたい。
本明細書で説明される流れ図の各々において、方法のうち1つまたは複数は、コンピュータ可読コードを包含しているコンピュータ可読媒体で具現されてよく、コンピュータ可読コードがコンピュータデバイス上で実行されるとき、一連のステップが遂行される。いくつかの実装形態では、この方法の特定のステップは、本開示の趣旨および範囲から逸脱することなく、組み合わされ、同時に、または異なる順番で遂行され、あるいは省略される。したがって、この方法のステップは特定の順序で説明され、かつ図解されているが、ステップの特殊な順序の使用は、本開示に対するいかなる限定も示唆するものではない。本開示の趣旨または範囲から逸脱することなく、ステップの順序が変更され得る。したがって、特定の順序の使用は限定する意味に解釈されるべきではなく、本開示の範囲は添付の特許請求の範囲によってのみ定義される。
当業者には理解されるように、本開示の態様は、システム、方法、またはコンピュータプログラム製品として具現され得る。それゆえに、本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、あるいは、すべてが一般に「回路」、「モジュール」または「システム」と本明細書で称され得るソフトウェアの態様とハードウェアの態様を組み合わせた実施形態の形を採用し得る。その上、本開示の態様は、具現されたコンピュータ可読プログラムコードを有する1つまたは複数のコンピュータ可読媒体において具現されたコンピュータプログラム製品の形を採用し得る。
さらに認識されるように、本開示の実施形態におけるプロセスは、ソフトウェア、ファームウェアまたはハードウェアの任意の組合せを使用して実施され得る。本開示のソフトウェアでの実施のための準備のステップとして、(ソフトウェアであろうとファームウェアであろうと)プログラミングコードは、たとえば、それだけではないが、典型的には電子、磁気、光学、電磁気、赤外線、もしくは半導体の、システム、装置、もしくはデバイス、または前述のものの任意の適切な組合せといった1つまたは複数のコンピュータ可読記憶媒体に記憶されることになる。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)は、1つまたは複数のワイヤを有する電気接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラム可能読取り専用メモリ(EPROMまたはフラッシュメモリ)、携帯用コンパクトディスク読取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または前述のものの任意の適切な組合せを含むことになる。この文献の状況では、コンピュータ可読記憶媒体は、命令を実行するシステム、装置、またはデバイスによって、またはそれらに関連して使用される、プログラムを包含するかまたは記憶することができる任意の有形の媒体であってよい。
プログラミングコードを包含している製品は、記憶デバイスからのコードを直接実行すること、記憶デバイスからコードをハードディスク、RAMなど別の記憶デバイスへのコピーすること、またはデジタル通信リンクおよびアナログ通信リンクなどの伝送タイプの媒体を使用してリモート実行のためのコードを伝送することのいずれかによって使用される。本開示の方法は、本開示によるコードを包含している1つまたは複数の機械可読記憶デバイスを、包含されているコードを実行するための適切な処理ハードウェアと組み合わせることによって実施され得る。本開示を実施するための装置は、1つまたは複数の処理デバイスと、本開示に従ってコード化された1つまたは複数のプログラムを包含しているかまたは同プログラムに対するネットワークアクセスを有する記憶システムとであり得る。
コンピュータ可読信号媒体には、たとえばベースバンドにおいて、または搬送波の一部分として伝達される、コンピュータ可読プログラムコードが具現されているデータ信号が含まれ得る。そのような伝達される信号は、それだけではないが、電磁気、光、またはその任意の適切な組合せを含む様々な形態のうち任意のものを採用してよい。コンピュータ可読信号媒体は、命令を実行するシステム、装置、またはデバイスによって使用されて、またはそれらに接続されて、プログラムを通信する、伝達する、または移送することができる、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってよい。
コンピュータ可読媒体上に具現されたプログラムコードは、それだけではないが、ワイヤレス、ワイヤライン、光ファイバケーブル、無線周波などを含む任意の適切な媒体、または前述のものの任意の適切な組合せを使用して伝送され得る。本開示の態様の動作を実行するためのコンピュータプログラムコードは、Java、Smalltalk、C++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語など従来の手続き型プログラミング言語もしくは類似のプログラミング言語を含む、1つまたは複数のプログラミング言語の任意の組合せで書かれ得る。プログラムコードは、スタンドアロンのソフトウェアパッケージとして、完全にユーザコンピュータ上で実行してよく、部分的にユーザコンピュータ上で実行してよく、部分的にユーザコンピュータでしかも部分的にリモートコンピュータ上で実行してよく、または完全にリモートコンピュータまたはサーバ上で実行してよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意のタイプのネットワークを通じてユーザコンピュータに接続されてよく、または(たとえばインターネットサービスプロバイダを使用してインターネットを通じて)外部コンピュータに接続されてよい。
したがって、本開示の実例となる実施形態は、ソフトウェアがインストールされている(または実行される)完全に機能的なコンピュータ(サーバ)システムの状況で説明されているが、本開示の実例となる実施形態のソフトウェアの態様が様々な形態でプログラム製品として配布され得、また、本開示の実例となる実施形態が、実際に配布するために使用されるコンピュータ可読信号媒体の特定タイプに関係なく一様に適合することを当業者なら認識するということが重要である。
加えて、本開示は例示的な実施形態を参照しながら説明されてきたが、本開示の範囲から逸脱することなく様々な変形形態が作製され得、その要素の代わりに均等物が代用され得ることが当業者には理解されよう。その上、特定のシステム、デバイス、またはその構成要素を本開示の教示に適応させるために、本開示の教示の本質的な範囲から逸脱することなく多くの変更形態が作製され得る。したがって、本開示は、この開示を実行するために開示された特定の実施形態に限定されず、添付の特許請求の範囲に含まれるすべての実施形態を含むように意図されている。
デバイス、機構、システム、または要素の配向(たとえばx、y、zの方向)を参照しながら本明細書で使用された語法および用語は、特定の実施形態を説明するためだけのものであり、本開示を限定するようには意図されていないことを理解されたい。本明細書で使用されたように、「ある(a)」、「ある(an)」、および「その」といった単数形は、文脈が明らかに示さなければ、同様に複数形を含むように意図されている。「備える」および/または「備えている」といった用語は、本明細書で使用されたとき、明示された特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそのグループの存在または追加を排除するものではないことがさらに理解されよう。第1、第2、などの用語の使用は、いかなる順番または重要性も表示するものではなく、第1、第2、などの用語は、1つの要素を別のものから区別するために使用される。加えて、「a」、「b」、「c」、「第1」、「第2」、および「第3」などの列挙する用語は、本明細書および添付の特許請求の範囲において記述の目的に使用され、相対的重要度または重要性を指示するかまたは示唆するようには意図されていない。
以下の特許請求の範囲における、すべてのミーンズプラスファンクション要素またはステッププラスファンクション要素の対応する構造、材料、行為、および均等物は、あらゆる構造、材料、または機能を遂行するための行為を、他の特許請求された要素と組み合わせて、明確に特許請求されたものとして含むように意図されている。本開示の記述は、図解および記述の目的のために提示されたものであるが、網羅的であるように、または本開示の開示された形態に限定されるようには、意図されていない。当業者には、多くの変更形態および変形形態が、本開示の範囲および趣旨から逸脱することなく明らかになるであろう。実施形態は、本開示の原理および実際の用途について最適に説明するために、また、他の当業者が、様々な変更を伴う様々な実施形態について、企図された特定の使用に適するものとして本開示を理解することを可能にするために、選択され、かつ記述されたものである。

Claims (9)

  1. 最適な走査軌跡を決定することによってスライド上の被検物の合焦された画像を取得するための方法であって、
    前記被検物の位置を特定するために前記スライドの比較的低い倍率の画像を取り込むことと、
    グリッド点の配置を含むグリッドを形成することと、
    前記被検物の少なくとも一部分をカバーする視野にわたって前記グリッドの少なくとも一部分を被せることと、
    前記視野の範囲内の前記被検物の画像の比較的高い倍率のZスタックを取り込むことと、
    前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する1つまたは複数の最善の焦点値を決定して、最終結果としての3次元の点のグリッドを形成することと、
    前記最終結果としてのグリッドに基づいて1つまたは複数の3次元走査軌跡を決定することとを含み、
    前記1つまたは複数の3次元走査軌跡がマルチスペクトル軌跡を含み、
    前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する前記1つまたは複数の最善の焦点値を決定することが、それぞれのグレイスケールおよび選択された興味のある色について、ぼけの量が最小の画像の前記Zスタックにおいて焦点面を識別することと、前記識別された焦点面のZ値を、前記各グリッド点に関する最善の焦点Z値として設定することとを含
    それぞれの最善の焦点が、画像の前記Zスタックの各画像の範囲内の複数の画像フィーチャの最大の平均勾配を有する、
    方法。
  2. 各グリッド点に関する前記1つまたは複数の最善の焦点値を決定した後に画像の前記Zスタックを破棄することをさらに含む、請求項1に記載の方法。
  3. 前記グリッドが2次元面に形成され、
    画像の比較的高い倍率のZスタックを取り込むことが、前記2次元面に対して垂直な光ビームを使用することを含む、請求項1または2に記載の方法。
  4. 前記被検物の合焦された画像をスティッチングして、前記被検物全体の複合画像を手に入れることをさらに備える、請求項3に記載の方法。
  5. 最適な走査軌跡を決定することによってスライド上の被検物の合焦された画像を取得するためのシステムであって、前記システムが、
    前記スライドの比較的低い倍率の画像を取り込んで前記被検物の位置を特定するデジタル撮像装置と、
    グリッド点の配置から成るグリッドを形成するデジタル撮像システムとを備え、
    前記デジタル撮像システムが、前記被検物の少なくとも一部分をカバーする視野にわたって前記グリッドの少なくとも一部分を被せ、
    前記デジタル撮像装置が、前記視野の範囲内の前記被検物の画像の比較的高い倍率のZスタックを取り込み、
    前記デジタル撮像システムが、前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する1つまたは複数の最善の焦点値を決定して、最終結果としての3次元の点のグリッドを形成し、
    前記デジタル撮像システムが、前記最終結果としてのグリッドに基づいて1つまたは複数の3次元走査軌跡を決定し、
    前記1つまたは複数の3次元走査軌跡がマルチスペクトル軌跡を含み、
    前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する前記1つまたは複数の最善の焦点値を決定することが、それぞれのグレイスケールおよび選択された興味のある色について、ぼけの量が最小の画像の前記Zスタックにおいて焦点面を識別することと、前記識別された焦点面のZ値を、前記各グリッド点に関する最善の焦点Z値として設定することとを含
    それぞれの最善の焦点が、画像の前記Zスタックの各画像の範囲内の複数の画像フィーチャの最大の平均勾配を有する、
    システム。
  6. グレイスケール画像、興味のある色の画像、および被検物全体の複合画像のうち任意の1つまたは複数にリモートでアクセスして表示するユーザステーションをさらに含む、請求項に記載のシステム。
  7. 最適な走査軌跡を決定することによりスライド上の被検物の合焦された画像を取得するための、非一時的なプロセッサ可読媒体上にあるコンピュータプログラム製品であって、前記コンピュータプログラム製品が、プロセッサ実行可能命令コードを含み、
    前記被検物の位置を特定するために、デジタル撮像装置に対して比較的低い倍率の前記スライドの画像を取り込むように命令するための命令コードの第1の組と、
    グリッド点の配置から成るグリッドを形成するための命令コードの第2の組と、
    前記被検物の少なくとも一部分をカバーする視野にわたって前記グリッドの少なくとも一部分を被せるための命令コードの第3の組と、
    前記視野の範囲内の前記被検物の画像の比較的高い倍率のZスタックを取り込むための命令コードの第4の組と、
    前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する1つまたは複数の最善の焦点値を決定して、最終結果としての3次元の点のグリッドを形成するための命令コードの第5の組と、
    前記最終結果としてのグリッドに基づいて1つまたは複数の3次元走査軌跡を決定するための命令コードの第6の組と、を備え、
    前記1つまたは複数の3次元走査軌跡がマルチスペクトル軌跡を含み、
    前記命令コードの第5の組が、それぞれのグレイスケールおよび選択された興味のある色に関して、ぼけの量が最小の画像の前記Zスタックにおける焦点面を識別することにより、前記グリッドの前記少なくとも一部分の範囲内のそれぞれのグリッド点に関する前記1つまたは複数の最善の焦点値を決定し、
    前記命令コードの第5の組が、前記識別された焦点面のZ値を、前記各グリッド点に関する最善の焦点Z値として設定
    それぞれの最善の焦点が、画像の前記Zスタックの各画像の範囲内の複数の画像フィーチャの最大の平均勾配を有する、
    コンピュータプログラム製品。
  8. 各グリッド点に関する前記1つまたは複数の最善の焦点値を決定した後に画像の前記Zスタックを破棄するための命令コードの第7の組をさらに備える、請求項に記載のコンピュータプログラム製品。
  9. リモートで設置されたユーザステーションに、グレイスケール画像、興味のある色の画像、および被検物全体の複合画像のうち任意の1つまたは複数にアクセスして表示させることを可能にするための命令コードのをさらに含む、請求項7または8に記載のコンピュータプログラム製品。
JP2018531648A 2015-12-16 2016-12-14 マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム Active JP7146635B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562268165P 2015-12-16 2015-12-16
US62/268,165 2015-12-16
PCT/EP2016/080970 WO2017102827A1 (en) 2015-12-16 2016-12-14 Auto-focus methods and systems for digital imaging using mutli-spectral trajectories

Publications (3)

Publication Number Publication Date
JP2019505836A JP2019505836A (ja) 2019-02-28
JP2019505836A5 JP2019505836A5 (ja) 2020-01-30
JP7146635B2 true JP7146635B2 (ja) 2022-10-04

Family

ID=57758572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531648A Active JP7146635B2 (ja) 2015-12-16 2016-12-14 マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム

Country Status (5)

Country Link
US (2) US10761310B2 (ja)
EP (1) EP3391116A1 (ja)
JP (1) JP7146635B2 (ja)
CN (1) CN108603998B (ja)
WO (1) WO2017102827A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017107348B4 (de) * 2017-04-05 2019-03-14 Olympus Soft Imaging Solutions Gmbh Verfahren zur zytometrischen Analyse von Zellproben
CN107515454B (zh) * 2017-08-29 2019-12-20 宁夏巨能机器人股份有限公司 一种3d视觉定位的焦距自动调节装置及其调节方法
CN108596878B (zh) * 2018-03-30 2021-04-09 浙江大学山东工业技术研究院 图像清晰度评价方法
US10341551B1 (en) * 2018-05-21 2019-07-02 Grundium Oy Method, an apparatus and a computer program product for focusing
JP7089071B2 (ja) * 2018-06-15 2022-06-21 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け
US10896316B2 (en) * 2019-02-04 2021-01-19 Tokitae, LLC Automated microscopy scanning systems and methods
CN111275016B (zh) * 2020-03-03 2023-05-16 湖南国科智瞳科技有限公司 一种玻片扫描影像采集与分析方法及装置
KR20230021136A (ko) * 2020-08-07 2023-02-13 나노트로닉스 이미징, 인코포레이티드 자동 초점 현미경 시스템을 위한 딥 러닝 모델
WO2022043289A1 (en) * 2020-08-25 2022-03-03 F. Hoffmann-La Roche Ag Computer-implemented method for quality control of a digital image of a sample

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191959A (ja) 2002-11-29 2004-07-08 Olympus Corp 顕微鏡画像撮影装置
JP2007525689A (ja) 2003-04-17 2007-09-06 アペリオ・テクノロジーズ・インコーポレイテッド 線形配列に基づくスライドスキャナにおける予備焦点合わせ方法及び装置
WO2015007697A1 (en) 2013-07-18 2015-01-22 Ventana Medical Systems, Inc. Auto-focus methods and systems for multi-spectral imaging

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155049B2 (en) * 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
US7417213B2 (en) * 2005-06-22 2008-08-26 Tripath Imaging, Inc. Apparatus and method for rapid microscopic image focusing having a movable objective
DE102005040827A1 (de) 2005-08-25 2007-06-21 Carl Zeiss Jena Gmbh Verfahren zur Kompensation des Farblängsfehlers der Abbildungsoptik eines Mikroskops
HUP0600435A2 (en) * 2006-05-26 2007-11-28 3Dhistech Kft Method and system for digitizing a specimen having fluorescent target points
US8310531B2 (en) * 2009-08-03 2012-11-13 Genetix Corporation Methods and apparatuses for processing fluorescence images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191959A (ja) 2002-11-29 2004-07-08 Olympus Corp 顕微鏡画像撮影装置
JP2007525689A (ja) 2003-04-17 2007-09-06 アペリオ・テクノロジーズ・インコーポレイテッド 線形配列に基づくスライドスキャナにおける予備焦点合わせ方法及び装置
WO2015007697A1 (en) 2013-07-18 2015-01-22 Ventana Medical Systems, Inc. Auto-focus methods and systems for multi-spectral imaging

Also Published As

Publication number Publication date
EP3391116A1 (en) 2018-10-24
US20200355903A1 (en) 2020-11-12
US20180292638A1 (en) 2018-10-11
WO2017102827A1 (en) 2017-06-22
CN108603998B (zh) 2021-12-31
US10761310B2 (en) 2020-09-01
JP2019505836A (ja) 2019-02-28
US10921575B2 (en) 2021-02-16
CN108603998A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
JP7146635B2 (ja) マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム
JP5698398B2 (ja) スライド全体蛍光スキャナ
AU2014292179B2 (en) Auto-focus methods and systems for multi-spectral imaging
US9224193B2 (en) Focus stacking image processing apparatus, imaging system, and image processing system
JP5675419B2 (ja) 画像生成装置、及び、画像生成方法
US10623627B2 (en) System for generating a synthetic 2D image with an enhanced depth of field of a biological sample
WO2014110027A1 (en) Multispectral imaging system and methods
JP2012237693A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US11422349B2 (en) Dual processor image processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211025

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211025

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211104

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211109

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211210

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20211214

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220614

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220726

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220830

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220921

R150 Certificate of patent or registration of utility model

Ref document number: 7146635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150