JP2023529083A - 走査有効性を解析する方法 - Google Patents
走査有効性を解析する方法 Download PDFInfo
- Publication number
- JP2023529083A JP2023529083A JP2022573304A JP2022573304A JP2023529083A JP 2023529083 A JP2023529083 A JP 2023529083A JP 2022573304 A JP2022573304 A JP 2022573304A JP 2022573304 A JP2022573304 A JP 2022573304A JP 2023529083 A JP2023529083 A JP 2023529083A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- scan
- image
- target
- imaging scan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 157
- 238000000034 method Methods 0.000 claims abstract description 84
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 208000013715 atelosteogenesis type I Diseases 0.000 claims description 52
- 230000008859 change Effects 0.000 claims description 18
- 238000010191 image analysis Methods 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000012188 paraffin wax Substances 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
Abstract
顕微鏡スキャナを作動させる方法を提供する。サンプルを備えるターゲット(6)上で1又は2以上の着目区域AOIの第1の撮像走査が実行される。これは、検出器アレイ(3)を画像走査経路に沿ってターゲット(6)に対して移動し、かつ画像走査経路に沿った複数の場所の各々でターゲットの画像を取得する段階を伴う。撮像走査中に焦点制御データが発生され、焦点制御データを発生させる段階は、画像走査経路に沿った各場所で焦点メリット値を計算する段階を備える。検出器アレイ(3)の焦点高さが、次に、焦点メリット値に基づいて画像走査経路に沿って調節される。第1の撮像走査の有効性が、焦点制御データを使用して解析され、第1の撮像走査からの1又は2以上の走査パラメータの変更が、この解析に基づいて第2の撮像走査のパフォーマンスに対して決定される。【選択図】図2
Description
本発明は、顕微鏡スキャナを使用して得られた撮像走査の有効性を解析する方法に関する。
病理スライドに関して、生検組織は、支持体としてのパラフィンのブロックに装着される。約4μmの薄層がブロックから採取され、スライドの上に置かれる。次に、スライドは、着目組織と背景組織とを示すように染色される。気化によってパラフィンが除去され、保護カバースリップが組織にわたって接着される。全スライド撮像スキャナを使用して、組織は、次に、病理医又はソフトウエアアルゴリズムのいずれかが疾患が存在するかを検査して示すようにデジタルファイルに対して走査される。典型的に、画像をデジタル化するためのピクセルサイズは、0.25μm前後であり、撮像の自然な絞り値は、焦点深度を1μm前後に制限する。組織がその上に装着されたスライドは、1μm内で平坦ではない。完璧に製造されたスライドの標準方程式は、スライドがその自重の下で2μm前後だけ曲がることになり、スライドの製造及び装着からの歪みは、それよりも遙かに大きい誤差を与える可能性があることを示している。組織自体は、典型的には常に均一な厚みではなく、組織の一部の部分は、他のタイプよりも薄くスライスされ、又は組織は、楔形にスライスされる。
全スライド撮像スキャナが焦点深度内で組織を走査しない場合に、焦点深度の外側の区域は、診断に適さないことになるか又は診断に誤差を与える場合がある。従って、全スライド撮像スキャナは、典型的に、組織の全てにわたって正しい焦点を達成するために、US9116035によって説明されているもののような焦点追跡機構を有する。しかし、いくつかの理由から、組織の焦点の追跡は、組織の全体にわたって完全ではない場合がある。
スライドが走査された状態で、走査画像を解析することにより、走査の品質がどれほど良好であるかに関するいくつかの態様を決定することが可能である。例えば、細胞のような組織品目の縁部での勾配を検査することにより、組織がどれほど良好に合焦状態にあるかを解析することが可能である。スライドの全体に対して、この解析は、かなりの処理パワーを必要とする。0.25μmピクセルを備えた典型的な15×15mm区域は、3.9ギガピクセルを有することになる。圧縮前のRGB画像は、11Gbのデータであることになる。完全な画像を例えばUS2019/0266726A1で行われているように詳細に検査することは遅いことになる。
撮像走査が完了した直後に画像を迅速に検査することができることが望ましい。スライドがまだスキャナにある間に走査での欠陥が識別された場合に、走査条件を変更して第1の走査の欠陥を有することにならない第2の走査を実行することが可能である。この第2の走査は、このスライドタイプに対してのみ調整された制御パラメータを有する場合がある又はそれは異なる開始条件を有する場合があるが、典型的には、走査を改善するように制御パラメータを調節することが可能である。スライドがまだスキャナにある間に3.9ギガピクセル画像の全体を検査することは実際的ではない場合がある。本発明は、第1の走査に見出されたいずれの欠陥も補正する第2の走査を必要に応じて実行することができるように、走査画像の有効性を解析するためのより迅速かつより有効な方法を見出すという関連に置かれる。
本発明の第1の態様は、検出器アレイを備える顕微鏡スキャナを作動させる方法を提供し、本方法は、
サンプルを備えるターゲット上で1又は2以上の着目区域AOIの第1の撮像走査を実行する段階であって、
検出器アレイを画像走査経路に沿ってターゲットに対して移動し、検出器アレイを使用して画像走査経路に沿った複数の場所の各々でターゲットの画像を取得する段階、
撮像走査中に焦点制御データを発生させる段階であって、画像走査経路に沿った各上記場所で焦点メリット値を計算する段階を備える上記発生させる段階、及び
上記焦点メリット値に基づいて画像走査経路に沿って検出器アレイの焦点高さを調節する段階、を備える上記実行する段階と、
焦点制御データを使用して第1の撮像走査の有効性を解析し、かつこの解析に基づいて第2の撮像走査のパフォーマンスのための第1の撮像走査からの1又は2以上の走査パラメータの変更を決定する段階と、を備える。
サンプルを備えるターゲット上で1又は2以上の着目区域AOIの第1の撮像走査を実行する段階であって、
検出器アレイを画像走査経路に沿ってターゲットに対して移動し、検出器アレイを使用して画像走査経路に沿った複数の場所の各々でターゲットの画像を取得する段階、
撮像走査中に焦点制御データを発生させる段階であって、画像走査経路に沿った各上記場所で焦点メリット値を計算する段階を備える上記発生させる段階、及び
上記焦点メリット値に基づいて画像走査経路に沿って検出器アレイの焦点高さを調節する段階、を備える上記実行する段階と、
焦点制御データを使用して第1の撮像走査の有効性を解析し、かつこの解析に基づいて第2の撮像走査のパフォーマンスのための第1の撮像走査からの1又は2以上の走査パラメータの変更を決定する段階と、を備える。
従って、撮像走査の有効性を撮像走査中に発生された焦点制御データを使用して解析する改善された方法を提供する。従来、焦点制御データは、撮像走査を実行する目的のためだけに発生され、それに対して走査が成功したかを評価するために注視されると考えられるのは、撮像走査から生成された画像である。それとは対照的に、上述の方法は、撮像走査の有効性を解析するのに焦点制御データを使用する。これは、いくつかの異なる技術を通して達成することができ(以下で議論するように)、これらの各々は、コンピュータ処理リソースに対して高い要求を課すことなく迅速かつ有効な結果を容易にする。この結果は、第2の撮像走査で補正アクションを講じることができるような第1の撮像走査からの1又は2以上の走査パラメータに対する変更の決定とすることができる。これは、ユーザがターゲットの高品質走査画像を最小限の遅延で取得することができることを保証する。
特に望ましい実施では、第1の撮像走査は、1又は2以上のAOIを備える第1の走査領域にわたって実行され、1又は2以上の走査パラメータの変更を決定する段階は、第1の走査領域とは異なるターゲット上の第2の走査領域を選択する段階を備える。これは、例えば、最初に選択された1又は2以上のAOIがサンプルによって占有されたターゲット区域を完全に取り込むのに小さ過ぎたことを焦点追跡データが示す場合に該当すると考えられる。典型的には、病理医は、サンプル全体を走査画像中に取り込もうとすることになり、従って、第1の走査領域が小さ過ぎたことを解析が示唆した場合に、相応に走査領域を拡大することが有利である。しかし、撮像走査は時間を消費し、従って、第2の撮像走査に必要とされる時間を短縮するために、第2の走査のための走査面積をサンプルを包含するのに必要とされる量に限って拡大することが望ましい。従って、第1の撮像走査の有効性を解析する段階は、好ましくは、検出器アレイが主として第1の走査領域の境界で合焦状態にあったことを焦点制御データが示す場合に1又は2以上の境界場所をターゲット上で識別する段階を備え、第2の走査領域を選択する段階は、好ましくは、第1の走査領域の外側で1又は2以上の境界場所を取り囲むターゲットの区域を組み込むように第1の走査領域を調節する段階を備える。第1の走査領域は、その外側にあるサンプルの外形を包含するように境界場所を取り囲む事前設定量だけ拡大することができる。これに代えて、ターゲット上のサンプルの形状の数学的予測を行うことができる。特に、第1の撮像走査の有効性を解析する段階は、ターゲット上の1又は2以上のサンプル焦点領域を検出器アレイが主として1又は2以上のサンプル焦点領域を通して合焦状態にあったことを示す焦点制御データから識別する段階を備えることができ、第2の走査領域を選択する段階は、第1の撮像走査中に撮像された1又は2以上のサンプル焦点領域の外側でサンプルがそれにわたって延びるターゲットの領域を内挿する段階を備えることができる。内挿領域の形状は、上記サンプル焦点領域の外形に形状当て嵌めを適用することにより、例えば、焦点制御データから決定された組織縁部に円、弧、又はスプライン曲線を当て嵌めることによって求めることができる。これは、走査領域をサンプルを網羅するのに必要な量だけ延ばし、サンプルが不在であるターゲットの領域にわたっても延ばすことのないような第1の走査領域の外側のサンプルが延びる場所のよりインテリジェントな推定を行うことを可能にする。
第1の撮像走査の有効性を評価する段階は、好ましくは、ターゲット上で1又は2以上の不良焦点領域を識別する段階を更に備え、焦点制御データは、検出器アレイが第1の撮像走査中に主として1又は2以上の不良焦点領域を通して焦点外にあったことを示す。不良焦点領域は、第2の走査区域を決定する処理で使用することができる。これに代えて又はこれに加えて、1又は2以上の走査パラメータの変更を決定する段階は、1又は2以上の不良焦点領域のような1又は2以上のターゲット領域内で第2の撮像走査中に第1の撮像走査からの対応する画像と比較して異なる焦点高さでターゲットの画像を取得するように合焦手順を調節する段階を備えることができる。そのようなシナリオは、検出器アレイが第1の撮像走査中に1又は2以上のAOI内のサンプル上に適正に焦点合わせされなかったことを焦点制御データの解析が示す場合に発生する場合がある。新しい合焦手順の形態にある走査パラメータの変更は、次に、検出器アレイが第2の撮像走査中にこれらの領域内で異なる焦点を有するように決定される。
1又は2以上のAOIを選択することを可能にするターゲットの低解像度画像を取得するために、遙かにより大きい焦点深度を用いて実行される予備走査を第1の撮像走査に先行させることが一般的である。特に、本方法は、好ましくは、ターゲットの予備走査画像を発生させるための予備走査を実行する段階であって、予備走査に対する焦点深度が500マイクロメートルを超え、第1の撮像走査中に得られる各画像に対する焦点深度が3マイクロメートルよりも小さい上記実行する段階と、サンプルがターゲット上の何処に存在することが予想されるかを示す第1の確率マップを生成するために予備走査画像の自動画像解析を実行する段階であって、1又は2以上のAOIが第1の確率マップから選択される上記実行する段階とを更に備える。1又は2以上のAOIを識別するために予備走査を実行するこの処理は、第1の撮像走査を実行することを可能にするパラメータを設定することを可能にするのに特に迅速かつ有効であることが見出されている。
検出器アレイは、典型的には、狭いCCDストリップとして配置された光検出器のアレイを備える。従って、検出器アレイは、典型的には、ライン検出器であるが、2Dカメラとすることができると考えられる。典型的には、第1の撮像走査は、画像走査経路に沿って得られた画像からターゲットの第1の画像を発生させる段階を更に備える。そのような画像は、個々の画像の各々の組合せ又は画像走査経路に沿って検出器アレイによって得られた「ライン」に対応することが可能である。従って、第1の画像は比較的高い解像度を有し、それによってかなりのコンピュータ処理リソースをロードすることを必要とする場合がある。従って、第1の画像の解像度よりも低い解像度を有するターゲットの第2の画像を第1の画像から導出することが好ましい。第2の画像は、第1の画像に存在する追加のデータをコンピュータシステムがロードする必要なくターゲットの「スナップショット」を取得するためにユーザが観察することができる。有利なことに、この第2の画像は、1又は2以上のAOIを選択するのに使用される予備走査画像と比較してかなり小さい焦点深度のみを有することになることで上述の1又は2以上の不良焦点領域の識別を支援するのに更に使用することができる。従って、予備走査画像内で視認可能であり、サンプル領域に対応するものとして間違って識別される可能性があるターゲット上の汚れ又はスクラッチのような面詳細部は、第1又は第2の画像内では見えない可能性が高くなる。従って、第2の走査が、面詳細部によって遮蔽されているターゲット領域及びサンプルが存在しない可能性があるターゲット領域にわたって不要に実行されないように、この面詳細部を識別することが有利である。従って、第1の撮像走査の有効性を解析する段階は、サンプルが存在することが予想されるターゲットの領域に関する第2の確率マップを生成するために第2の画像の自動画像解析を実行する段階と、ターゲット上にサンプルが存在することが予想されることを第1の確率マップが示し、サンプルが存在しないことを第2の確率マップが示す場所に対応する面詳細部を予備走査画像内で識別する段階とを更に備えることができ、上記1又は2以上の不良焦点領域は、ターゲット上に上記面詳細部を有する場所を含まない。第2の画像の解像度は、好ましくは、予備走査画像の解像度に等しいか又はほぼ等しい。これは、第2の確率マップを生成するのに多大な処理リソースを要することなく第1の確率マップを生成するのに使用されたものと同じか又は類似のアルゴリズムを使用することを可能にする。更に、これは、面詳細部の識別に向けて第1の確率マップと第2の確率マップの間の有効な比較を可能にする。
焦点制御データは、ターゲットに関する推定焦点面(「ターゲット高さ」とも呼ぶ)及び/又は検出器アレイの実際の焦点高さを更に備えることができる。従って、これらのデータから、第1の撮像走査中に得られたいずれかの項画像に関して検出器アレイが存在した場所と検出器アレイが存在することが望ましかった場所との間の差を識別することができる。この差は既知の位置誤差である。位置誤差に対する許容範囲が存在することが可能であるが、この許容範囲を超えた時に、第2の撮像走査に向けて対応する場所を識別することができる。例えば、焦点制御データは、画像走査経路に沿った各場所でターゲットの推定焦点面を備えることができ、検出器アレイの実際の焦点高さを画像走査経路に沿って画像が得られる各場所に関してモニタすることができる。ターゲット上で1又は2以上の不良焦点領域を識別する段階は、次に、推定焦点面と検出器アレイの実際の焦点高さの間の差が誤差閾値を超える1又は2以上の位置誤差場所を識別する段階を備えることができる。典型的には、誤差閾値は、検出器アレイに関する焦点深度にほぼ等しいか又はそれを超える。
背景節で議論したように、画像の品質、特に、サンプルが画像内で十分に焦点合わせされているかを解析するための自動画像解析技術は公知である。しかし、そのような技術は、典型的には、計算負荷が高く、従って、時間を消費する。従って、合焦状態にあることが既知である画像領域が除外されるように、そのような技術が適用される画像領域を限定することが望ましい。この場合に、画像を解析する処理を焦点が不良又は未知であると考えられる残りの領域に制限することができる。この制限は、焦点制御データを使用することによって有利に達成することができる。特に、第1の撮像走査は、先に議論したように、画像走査経路に沿って得られた画像からのターゲットの第1の画像の発生を更に備えることができる。1又は2以上の不良焦点領域を識別する段階は、次に、第1の画像の焦点が受容可能であるかを識別するために第1の画像の1又は2以上の部分領域の自動画像解析のパフォーマンスと、焦点が受容不能であるターゲットの各部分領域を「不良焦点領域」として指定する段階とを更に備え、1又は2以上の部分領域は、焦点制御データに基づいて選択される。好ましくは、1又は2以上の部分領域は、位置誤差場所を含む。1又は2以上の部分領域は、位置誤差場所によって占有されるターゲット区域に基づいて決定することができる。
1又は2以上の走査パラメータの変更を決定する段階は、先に議論したように、第2の撮像走査に向けて合焦手順を調節する段階を備えることができる。この合焦手順は、ターゲット上の少なくとも1つのシード場所に対する焦合位置の測定に基づくことができる。特に、本方法は、第1の撮像走査の前に、典型的には、1又は2以上のAOI内で少なくとも1つのシード場所に対する焦合位置を測定する段階と、シード場所に対する測定焦合位置に基づいて画像走査経路に沿った1又は2以上の場所に焦点高さを設定する段階とを更に備える。従って、変更される1又は2以上の走査パラメータは、撮像されるターゲットの面積、ターゲット上のシード場所の個数、及びターゲット上でのシード場所の位置を備える群から選択することができる。更に、第1の撮像走査の有効性を解析する段階は、1又は2以上の上記シード場所に関して測定された焦合位置で誤差を識別する段階を備えることができ、この識別段階は、第1の撮像走査からの焦点制御データを第1の撮像走査の前の1又は2以上のシード場所に対する測定焦合位置と比較することによって実行することができる。例えば、第1の撮像走査からの焦点制御データを第1の撮像走査の前の1又は2以上のシード場所に対する測定焦合位置と比較する段階は、第1の撮像走査中のシード場所からの焦点制御データを第1の撮像走査の前の1又は2以上のシード場所に対する測定焦合位置と比較する段階を備えることができる。典型的には、検出器アレイの焦点高さは、得られた焦点制御データに基づいてターゲットの推定焦点面を追跡するように画像走査経路に沿って調整される。従って、検出器アレイの焦点高さは、第1の撮像走査中にシード場所に対する測定焦合位置に必ずしも到着することになるとは限らないが、焦点高さが有意に異なる(例えば、この差が閾分離よりも大きい)場合に、焦合位置をエラーとして識別することができる。画像走査経路に沿った1又は2以上の場所での焦点高さは、シード場所に対する測定焦合位置に基づいて、従って、この焦合位置がエラーであることが見出された場合に、典型的には、撮像走査の有効性に影響を及ぼすことになる。第1の撮像走査からの1又は2以上の走査パラメータの変更を決定する段階は、次に、ターゲット上で検出器アレイが第1の撮像走査中に焦点外にあったことを焦点制御データが示す位置で新しいシード場所を選択する段階を備えることができる。
第1の撮像走査は、複数のAOIにわたって実行することができ、焦合位置は、各上記シード場所で検出器アレイの焦点高さをターゲットの面に対して垂直な位置範囲を通して調節することによって測定される。これらのAOIの各々の平均焦点が、スライドの傾斜、スライドの歪み、組織の厚みの変化に起因して類似ではないか又は予想許容範囲にない場合に、撮像走査中に検出器アレイがAOIのうちの少なくとも1つでサンプル上に正しく焦点合わせされなかったことになると見なすことができる。従って、第1の撮像走査の有効性を解析する段階は、各AOIでのサンプルの平均焦点高さを焦点制御データから計算する段階を備えることができる。次に、第1の撮像走査からの1又は2以上の走査パラメータの変更の決定段階は、第1の上記AOIに対する平均焦点高さと第2の該AOIに対する平均焦点高さとの間の分離が閾値距離を超えたと決定するのに応答して、第1のAOI内でシード場所で焦合位置をモニタしている時に焦点高さが調節される位置範囲を第2のAOIに対して計算された平均焦点高さを超える第1の撮像走査から計算された第1のAOIに対する平均焦点高さを除外するように修正する段階を備えることができる。AOIの最も低い焦点レベルは、典型的には、正しい焦点レベルの良好な表示を与えることになる。従って、第2のAOIに対して計算された平均焦点高さは、好ましくは、各上記AOIに対して計算された平均焦点高さを備える群からの最も低い焦点高さである。この技術は、各AOIが正しく撮像されるような第2の撮像走査のパラメータを決定することを可能にする。
第2の撮像走査のパラメータが設定された状態、特に、第1の撮像走査からの1又は2以上の走査パラメータの変更が決定された状態で、第2の撮像走査を実行することができる。従って、本方法は、典型的には、実行された第1の撮像走査と比較して決定された1又は2以上の走査パラメータの変更を有するターゲットの第2の撮像走査を検出器アレイを使用して実行する段階を更に備える。
本発明の第2の態様は、検出器アレイとサンプルを備えるターゲットとを備える顕微鏡スキャナを使用して実行された時に顕微鏡スキャナに第1の態様の方法を実行させる命令を含むコンピュータプログラム製品を提供する。第2の態様は、第1の態様に関して議論したものと類似の特徴及び利点を共有する。
顕微鏡スキャナは、典型的には、明視野顕微鏡スキャナであり、更に好ましくは、仮想顕微鏡であり、コンピュータプログラム製品は、典型的には、ハードドライブのような非一時的コンピュータ可読媒体に対応する。ターゲットは、いくつかの形態を取ることができるが、好ましくは、生体組織サンプルを備える。好ましくは、ターゲットは、面高さの実質的な変化を示さず、従って、実質的に平坦である。例えば、ターゲットは、スライスされて平坦ガラススライド間に保持された染色組織抽出物とすることができると考えられる。
ここで、本発明の実施形態を以下の図を参照して議論する。
明視野顕微鏡スキャナ1の例を図1に示している。この顕微鏡スキャナは、線形光検出器のアレイの形態にあるラインスキャナ3を備える走査ヘッド2を備える。走査ヘッド2は、調節可能焦点システム4と予備走査カメラ12とを更に備える。プラテン5が与えられ、その上にサンプルを備える病理スライドの形態にあるターゲット6が置かれる。矢印9に示すように走査ヘッドをターゲット6に対して移動することができるように駆動機構7が、走査ヘッド2を軌道8に取り付ける。軌道8は、隣接走査幅を撮像するために走査ヘッド2を横方向(走査ヘッド2の光軸11及び走査方向9に対して垂直)に変位させることも可能にすることができる。顕微鏡スキャナ1は、コンピュータシステム10の形態にある電子コントローラを用いて制御される。図1には、以下の例で参照するための座標軸も提供する。縦座標z軸は、走査ヘッド2の光軸及びターゲット6の焦点高さに位置合わせされ、それに対して横座標x軸は、走査方向(図1に記載の矢印9と平行)を表している。ターゲット6の面は、xy平面に位置合わせされ、調節可能焦点システム4のレンズは、z軸に沿って移動可能である。代替例では、走査ヘッド2は静止したままに留まり、走査処理中に走査ヘッド2とターゲット6の間の相対運動を達成するためにターゲット6がxy平面内で移動される。予備走査カメラ12は、走査ヘッド2とは個別のユニットを形成し、走査ヘッド2とは独立に作動可能とすることができる。
次に、本発明の実施形態による方法を実行する際の顕微鏡スキャナ1の作動を図2から図5を参照して以下に説明する。本方法は段階100で始まり(図2)、そこでターゲット6の予備走査画像を取得するための予備走査が実行される。ターゲット6の画像が予備走査カメラ12を用いて得られる時に、走査ヘッド2は軌道8に沿って移動される。予備走査カメラ12は、サンプルの厚み(典型的には、2μmから10μm)よりも有意に大きい1mmの焦点深度でターゲットの画像を取得するように構成される。従って、予備走査カメラ12の焦点高さは予備走査中に調節されず、予備走査画像は、比較的低い解像度、例えば、1200dpi(1mm当たり47本のライン)で迅速に生成される。予備走査画像は、ターゲット6上のサンプルの外形の概要を提供し、そこから1又は2以上の着目区域AOIを第1の撮像走査中の撮像に向けて選択することができる。この撮像走査は、予備走査と比較してかなり低速で進行し、従って、ターゲット6上で撮像走査中にサンプルが存在する区域のみを撮像することが望ましい。ターゲットの「ブランク」領域又は「空き」領域を除外することができる。段階101では、予備走査画像内でサンプルが視認可能である各領域がAOIとして識別されるように予備走査画像が従来のソフトウエアを用いて処理される。より具体的には、予備走査画像の自動画像解析を用いて、ターゲット上でサンプルが存在することが予想される場所を識別する第1の確率マップが発生され、この第1の確率マップから1又は2以上のAOIが選択される。典型的には、サンプルがAOI内に完全に含まれるように、AOIの境界は、サンプルの外縁の僅かに外側に位置する(予備走査画像から識別)ように選択することができる。次に、1又は2以上のAOIが分画された予備走査画像をコンピュータシステム10を用いてユーザに対して表示することができる。任意的に、ユーザは、次に、コンピュータシステムを用いて1又は2以上のAOIの境界を必要に応じて手動調節することができる。
次に、本方法は段階102に進行し、この時点でxy平面内の各AOI範囲で(典型的には、AOIの中心で)シード場所が選択され、この場所でサンプルの焦点高さがラインスキャナ3を用いて測定される。z軸に沿ういくつかの異なる焦点位置では、1μm前後の焦点深度でターゲット6からの画像情報を取得するように、調節可能焦点システム4の焦点高さは、予め決められた焦点高さ範囲を通して変更される。次に、焦合位置は、各焦点位置でのこの画像情報から、焦点メリット値の形態の焦点パラメータを使用することによって計算される。典型的には、焦点メリット値は、画像内の複雑度の数値尺度であり、この値が大きいほど画像内の詳細度が高い。より良好な焦合画像は、対応する高いメリット値を有する。次に、最も高いメリット値を有する焦点高さがシード場所に対する測定焦合位置として格納され、上述の処理は、特定されたいずれの残りのシード場所に関しても繰り返される。
ラインスキャナ3が1又は2以上のAOIの全面を撮像するように走査ヘッド2が移動されることになる画像走査経路が計算される。ラインスキャナ3は、画像走査経路に沿って開始場所まで移動されてそれぞれのAOIに対する焦合位置で焦点合わせされる。次に、段階103では、第1の撮像走査が開始され、この時点でライン走査ヘッド2が画像走査幅にわたって移動されてターゲット6上の複数の隣接場所の画像が得られる。各場所に関してラインスキャナ3に関する焦点メリット値、焦合レベルがある場所の推定値、及びラインスキャナ3の実際の焦点高さを備える焦点制御データが記録される。推定焦合レベルは、US9116035B2に説明されているように当業技術で公知の技術を用いて計算することができる。ラインスキャナ3の焦点高さは、推定焦合位置の方向に又はそこまでの画像走査経路に沿って各xy場所間で調節される。このようにして、各AOIが完全に撮像され終わるまでターゲット6が1又は2以上の走査幅内で撮像される。次に、段階104では、ラインスキャナ3によって得られた個々の画像が互いに組み合わされてターゲットの第1の画像が形成される。
第1の画像がxy平面にわたるサンプルの全体を含むこと及び全体を通して合焦状態にあることが望ましい。しかし、上述の方法段階では合焦状態が発生することを妨げるいくつかの誤差が発生する場合がある。次に、段階105では、第1の撮像走査の有効性(第1の撮像走査が意図する結果を生じた程度と考えることができる)が解析される。この解析は、それぞれの基準を検査するためのいずれかの個数の個々の副処理を伴う場合があり、それらの例に対しては図3を参照して更に議論する。しかし、典型的には、この解析は、撮像されたターゲット上の区域がサンプルによって占有されているターゲット6の区域を十分に網羅しているか否か、及び/又は画像を通してサンプルが正しく焦点合わせされているか否かに関する評価を伴う。重要な点として、この処理は、第1の撮像走査中に得られた焦点制御データに関して実行される。そのような解析は、計算的には厳しいものではなく、従って、第1の撮像走査での誤差は、時間効率的な方式で実質的に識別することができる。いずれかの誤差が識別された場合に、これらの誤差を第2の撮像走査で補正することができるように、段階106で走査パラメータの変更が決定される。次に、段階107では、撮像走査の有効性を改善するための走査パラメータ(使用合焦手順又はターゲット6の撮像ターゲット区域)の適正な変更を有する第2の撮像走査が実行される。
次に、図2に記載の実施形態を図3に記載の流れ図を参照してより詳細に議論する。段階201では、各AOIがラインスキャナ3を用いて撮像されるように第1の撮像走査が実行される。この段階は、図2に記載の段階103と同等である。次に、本方法は段階202に進行し、コンピュータシステム10が第1の撮像走査の有効性を解析するための一連の試験のうちの最初のものを実行する。第1の撮像走査中に1よりも多いAOIが撮像されたか否かの真偽が問われ、その答えが「イエス」である場合に、本方法は段階203に進行し、そうでなければそれは段階205に進行する。
AOIの平均焦点高さがスライドの傾斜、スライドの歪み、組織の厚みの変化に起因して互いに類似ではないか又は予想許容範囲にない場合に、AOIのうちの少なくとも1つが正しい焦点を持たないことになると見なすことができる。典型的には、ラインスキャナ3は、ターゲット6に対するカバースリップの上部上の何かに間違って焦点合わせしたことになり、カバースリップの上部上に存在する十分な詳細部がある場合に、走査が完了したように見えることになる。この場合に、典型的には、焦点レベル間に170μm前後のカバースリップ厚み差が存在することになる。従って、段階203では、各AOIの平均焦点が許容範囲を満足するか否かの評価が行われる。最も低い平均焦点高さを有するAOIが見出され、許容範囲は、この最低平均焦点高さからの閾値差内に設定される。この閾値は、用途に依存して設定することができるが、典型的には、サンプルの厚みよりも大きく、この場合は20μmである。より典型的には、閾値は、10~30μm内で選択することができると考えられる。各AOIの平均焦点がこの閾値を下回った場合に、ラインスキャナ3がカバースリップの領域上に焦点合わせしなかったと見なすことができ、本方法は段階205に進行する。一方でAOIのうちの1つの平均焦点が閾値を超えた場合に、本方法は段階204に進行する。段階204では、第2の撮像走査のパフォーマンスに向けて第1の撮像走査からの走査パラメータの変更が決定される。特に、合焦手順の変更が決定される。AOIの最低平均焦点高さは、正しい組織焦点レベルの良好な表示を与えることになる。これは、段階204で新しい走査を実行することを可能にするが、この時点で大体の焦点レベルが既知であるので、段階102で各シード場所に関して探索される焦点高さ範囲は、例えば先に見つかった閾値焦点範囲に限定することができる。これは、第2の撮像走査中にラインスキャナ3がカバースリップ上に焦点合わせせず、従って、走査の有効性を改善することを保証する。
段階205では、前回の撮像走査中の画像走査経路に沿った各場所に関して計算される焦点メリット値を示す焦点メリット組織マップが発生される。これらの焦点メリット値から、ラインスキャナ3が合焦状態にあった場所を決定することができる。組織が存在する場所では、若干焦点外である区域であっても焦点メリット値が大きくなる。これは、組織が存在する場所の代替マップを与える。第1の撮像走査中に高い焦点メリット値が第1の走査領域の縁部で記録された場合に、組織の全てを取り込むにはAOIが過度に小さく設定されていたと見なすことができる。段階206では、焦点メリット値がAOIの境界で閾値よりも大きいいずれかの「境界場所」が識別される。第1の走査領域がサンプルを取り込むには過度に小さいことを示す一連の隣接境界場所が識別された場合に、本方法は段階207に進行する。
段階207では、第1の走査領域よりも大きいターゲットの部分を網羅する第2の走査領域を計算することによって走査パラメータの変更が決定される。第2の走査領域は、単純に第1の走査領域が十分に大きくなかった場合の境界の小さい拡大とするか、又は焦点メリット組織マップから決定された組織縁部に円、弧、又はスプライン曲線を当て嵌めることのようなサンプル形状の数学的予測とすることができる。走査時間が不要に長くなるので、サンプルが不在であると見なすことができるターゲットの領域を網羅するように走査領域を不要に拡大しないことが望ましい。任意的に、ユーザが境界場所でAOI境界を変更したことが既知である場合に、ユーザが組織の全てを走査しないことを望んでいると見なすことができる。そうでなければ、第2の撮像走査が、次に、第1の撮像走査に含まれなかった場所にあるサンプルを撮像するように新しい走査領域にわたって実行される。
第1の走査領域がサンプルを十分に取り込むには小さ過ぎたことを焦点メリットマップが示さなかった場合に、本方法は、段階206から段階208に進行する。段階208では、予備走査画像内で視認可能ないずれの面詳細部も識別される。この識別は、予備走査画像と第1の撮像走査から得られた撮像データとの比較によって達成される。段階104(図2)から、撮像走査中に得られた複数の個々の画像の組合せに対応するターゲットの第1の画像が発生されたことが思い出されるであろう。この画像は、予備走査画像とは完全に異なる開口数を有し、従って、完全に異なる焦点深度を有することになる。予備走査画像は、より大きい焦点深度を有することになり、これは、スライド及びカバースリップの面上の汚れ及びスクラッチのような欠陥が合焦状態にあることを意味し、それに対して撮像走査の小さい焦点深度は、スライド及びカバースリップの面上の汚れ及びスクラッチが合焦状態にないことを意味する。一方で第1の撮像走査からの撮像データを予備走査画像と比較することができる前に、第1の画像の解像度は、予備走査画像と類似の又は同じ解像度まで下げられる。
典型的な全スライド撮像画像ファイルは、各々が異なる解像度の複数の画像層を含有する。これは、画像観察アプリケーションが、大量のデータにアクセスする必要なく画像をズームアウトし、画像の周りを移動することを可能にする。例えば、画像ファイルが0.25μmピクセルを有し、観察アプリケーションが、これを示すための2000×3000個のピクセルを示す場合に、非圧縮で18Mバイトのデータである6Mピクセルを読み取ることが必要である。圧縮すると、このデータは、僅か2Mバイトのデータにすることができると考えられる。この観察アプリケーションがより大きい区域をより低い解像度で、例えば、当該区域の10倍に「ズームアウト」して表示するように求められた場合に、0.25μmピクセルデータからこの区域を読み取るには60Mピクセル又は20Mバイトの圧縮データを必要とすると考えられる。この条件を回避するために、ファイルは、必要解像度に近い追加画像を備えることが一般的である。例えば、このファイルは、観察アプリケーションが読み取って表示するのに使用することができる最大の0.25μm解像度データの8分の1の解像度のものである画像を有することができる。これは、観察アプリケーションが約8Mピクセル又は3Mバイトのデータのみを読み取ることを可能にすると考えられる。この配置がどのように作動するかは重要ではないが、高解像度(HR)データから導出されたこのより低い解像度のデータの存在は、最大走査解像度よりも低い解像度の画像データへの高速アクセスを可能にする。このより低い解像度のデータを本明細書ではターゲットの「第2の画像」と呼ぶことにし、段階208で面詳細部を識別するためにこのデータが解析される。典型的には、第2の画像は、予備走査画像と類似の又は同じ解像度を有する。例えば、これらの画像の解像度は、2倍内で同等とすることができる。この場合に、第2の画像は、予備走査画像と類似のサイズの特徴部を解像することができ、HRの「第1の画像」よりもかなり高速に(例えば、約4000倍高速に)処理することができる。
図4Aは、ターゲットの予備走査画像の例を示し、画像の上側中央部分に2つのスクラッチを示している。この第1の画像から導出された予備走査画像と類似の又は等しい解像度の対応する第2の画像を図4Bに示しており、第2の画像は、これらのスクラッチを示していない。1又は2以上のAOIを識別するために、段階101で予備走査画像の第1の確率マップが発生されたことが思い出されるであろう。段階208では、サンプルを示すと思われる画像の領域を識別するために、確率マップ(本明細書では「第2の確率マップ」と呼ぶ)が、類似の方式であるがターゲットの第2の画像を用いて発生される。次に、第1の画像内で面詳細部が視認可能であるターゲット領域を示すために、第2の確率マップが第1の確率マップから減算される。
次に、本方法は、段階208から段階209に進行し、そこで、ラインスキャナ3がサンプル上に焦点合わせされなかった1又は2以上の「不良焦点領域」を識別するために、第1の撮像走査からの焦点制御データが解析される。この解析は、ターゲット上で第1の撮像走査中に焦点メリット値が閾値を下回った場所を識別することによって達成することができる。ターゲット上で面詳細部が見つかった場所に関して記録された焦点メリット値が、この閾値よりも小さい可能性があることを予想することができる。そのような場所は、段階101で組織を有するものとして間違って識別されたという理由で撮像されたものである場合があり、従って、これらの場所で撮像走査を繰り返す必要はない。しかし、1又は2以上の不良焦点領域(面詳細部の場所を除く)が残っている場合に、本方法は段階210に進行する。任意的に、本方法は、不良焦点領域が最小サイズ、例えば、いずれかの方向に少なくとも0.5mmの長さを有する場合にのみ段階209から段階210に進行し、そうでなければそれは段階211に進行する。任意的に、最小サイズは、コンピュータシステム10のユーザによって設定することができる。段階210では、第2の撮像走査のパフォーマンスに向けて新しい合焦手順が決定される。この場合に、第1の撮像走査を繰り返すべきであるが、1又は2以上の不良焦点領域内で追加のシード場所に対する焦合位置が段階101で見つかった場合であることが決定される。これらの追加の場所で焦合位置が測定された場合に、ラインスキャナ3が1又は2以上の不良焦点領域にわたって異なる焦点高さでターゲットを撮像することで第2の撮像走査が進行することになる。
段階209の結果が、不良焦点領域が残っていないというものであった場合に、本方法は、代わりに段階211に進行する。画像走査経路に沿った各場所に関して、焦点制御データは、サンプルに関する正しい焦点高さの推定値(「焦点面」とも呼ぶ)と、画像が得られた時のラインスキャナ3に関する実際の焦点高さの記録とを提供する。これらのデータから、スキャナ焦点が組織焦点の1焦点深度外側にあった場所が決定され、これは、焦点がエラーであることが既知である組織区域を識別することを可能にすることができる。スキャナは、組織に近づく時に組織の焦点が存在する場所を予想しなければならないので、焦点エラーは、組織の縁部の間際でより有意である。組織が縁部で薄め又は厚めであること又はスライドが歪むことのようないくつかのファクタに起因して、この予想はエラーであり、スキャナが透明なスライドを通り過ぎて組織に達した時に、焦点機構は、この予想誤差を識別するが、予想誤差を補正するのに少しの距離を要する場合がある。発生する可能性があるこの焦点追跡誤差を与える他の条件は、組織がそれ自体に折り重なるか又は曲がる時のような焦点を急激に変化させることを含む場合がある。
段階211では、ラインスキャナ3の実際の焦点高さがサンプルの実際の焦点面から少なくとも1μmだけ逸脱した又は正しい焦点高さが未知である全ての組織区域が識別される位置誤差マップが生成される。図5Aは、透明なスライドを白色に示し、合焦状態にあるサンプルの領域を灰色に示したターゲットの画像を示している。不良焦点領域(位置誤差が1μmよりも大きいか又は焦点が未知である場所)を黒色として示している。位置誤差には許容範囲が存在することになるが、この誤差が過度に大きい時に受容不能と見なされる場合がある。黒色に示す領域を識別し終わると、段階213では、これらの領域に限定された第1の画像の品質の自動解析を例えばUS2019/0266726(先に議論した)に説明されているものと類似のアルゴリズムを用いて実行することができる。2D標準偏差、勾配解析、及びエッジフィルタリング(当業技術で公知)を備える他の自動解析技術をこれに代えて使用することができる。この解析の結果は、画像の焦点がユーザの目的(典型的には、病理評価を実行するための)に対して受容可能であるか又は受容不能であるかのいずれかである。画像解析の処理は、典型的には、計算的に厳しいものであるが、ここでは第1の画像の僅かな分量しか解析に必要とされないので、この解析は比較的迅速に完了することができる。図5Aの例では、画像の1%未満しか検査する必要はない。これに代えて、焦点が未知な組織区域に関してのみHRの「第1の画像」を検査することが可能であり、すなわち、このようにして画像の一層小さい分量しか解析されない。
図5Bは、この時点で許容可能焦点品質であると識別された(上述の画像解析技術の実施に続いて)領域も灰色であることを除いて図5Aと同じであるターゲット画像の第2の例を提供している。いずれかの不良焦点区域(黒色で記した領域に対応する)が第1の画像内に残っている場合又はそのような区域が第1の画像の閾値分量を超えた場合に、第2の撮像走査のパフォーマンスのための走査パラメータの変更を決定することができる。例えば、残りの不良焦点領域の内側で追加のシード場所に対する焦点測定値が得られる場合に、第1の撮像走査を繰り返さなければならないと決定することができる。任意的に、得られる誤差マップは、どの画像区域が検査されるかの指針として代わりにユーザに対して表示することができ、それによってタスクの速度及び精度が改善されることになる。
段階212で位置誤差が焦点深度を超えないこと又は受容不能品質のものである不良/未知焦点区域/領域が第1の画像の閾値分量を占有しないことが決定された場合に、本方法は段階214に進行する。第1の撮像走査の前に1又は2以上のシード場所に関して最初に計算された焦合位置は、当該場所に関して第1の撮像走査中に識別された推定焦点面と比較される。これらが、例えば、互いへの閾分離内で類似ではない場合に、誤差が発生したと見なすことができ、本方法は段階215に進行する。段階215では、第2の撮像走査のパフォーマンスのための合焦手順の変更が決定される。特に、シード場所の位置がターゲット上で移動される。次に、第2の撮像走査は、図2で上述したようにではあるが新しいシード場所を用いて進めることができる。段階215の結果が、各シード焦点が焦点制御データから見出された追跡焦点に適合するというものであった場合に、第1の撮像走査が許容可能であると決定される。走査パラメータは、次に、第2の撮像走査のパフォーマンスのための変更を必要としないことになり、段階104で発生されたターゲットの第1の画像を解析に向けてユーザに対して表示することができる。
段階203、206、209、212、及び214の各々は、焦点制御データを使用して第1の撮像走査の有効性を解析し、この解析に基づいて第2の撮像走査のパフォーマンスのための第1の撮像走査からの1又は2以上の走査パラメータの変更を決定するための処理の例に関連することは認められるであろう。第2の撮像走査が実行された後に、前回の撮像走査によって生成された撮像データが許容可能であると決定されるまで又は反復閾値に達するまで図3を参照して議論した品質管理処理が全面的に繰り返されることになる。代替実施形態では、これらの処理のうちのいずれも、第2の撮像走査を開始する前に単独で又はあらゆる組合せで実行することができる。従って、第1の撮像走査を開始する段階とユーザによる解析に適するターゲット画像を出力する段階との間で経過する全体の時間を更に短縮するために、第2の撮像走査を開始する前に走査パラメータの複数の変更を識別することができる。
要約すると、従って、ターゲットが適正に撮像されたことを保証するために撮像走査によって発生されたデータを解析する方法を備える顕微鏡スキャナを作動させるための改善された方法が提供された。解析は、撮像走査中に発生された焦点制御データを使用して有利に実行される。これは、結果を迅速かつ効率的な方式で取得することを可能にする。この解析の結果として第1の撮像走査でいずれかの誤差が識別された場合に、この誤差を補正する第2の撮像走査を実行することができるように走査パラメータの変更が識別される。
100 予備走査を実行する段階。
101 AOIを識別する段階
102 シード場所で焦点高さを測定する段階
103 画像走査経路に沿って画像を取得する段階
104 ターゲットの第1の画像を生成する段階
101 AOIを識別する段階
102 シード場所で焦点高さを測定する段階
103 画像走査経路に沿って画像を取得する段階
104 ターゲットの第1の画像を生成する段階
Claims (22)
- 検出器アレイを備える顕微鏡スキャナを作動させる方法であって、
サンプルを備えるターゲット上で1又は2以上の着目区域(AOI)の第1の撮像走査を実行する段階であって、
前記検出器アレイを画像走査経路に沿って前記ターゲットに対して移動し、かつ該画像走査経路に沿った複数の場所の各々で該検出器アレイを使用して該ターゲットの画像を取得する段階、
前記撮像走査中に焦点制御データを発生させる段階であって、前記画像走査経路に沿った各前記場所での焦点メリット値を計算する段階を備える前記発生させる段階、及び
前記焦点メリット値に基づいて前記画像走査経路に沿って前記検出器アレイの焦点高さを調節する段階、
を備える前記第1の撮像走査を実行する段階と、
前記焦点制御データを使用して前記第1の撮像走査の有効性を解析する段階、並びにこの解析に基づいて第2の撮像走査のパフォーマンスのための該第1の撮像走査からの1又は2以上の走査パラメータの変更を決定する段階と、
を備えることを特徴とする方法。 - 前記第1の撮像走査は、前記1又は2以上のAOIを備える第1の走査領域にわたって実行され、
前記1又は2以上の走査パラメータの変更を決定する段階は、前記第1の走査領域とは異なる前記ターゲット上の第2の走査領域を選択する段階を備える、請求項1に記載の方法。 - 前記第1の撮像走査の有効性を解析する段階は、前記検出器アレイが前記第1の走査領域の境界で主として合焦状態にあったことを前記焦点制御データが示す前記ターゲット上の1又は2以上の境界場所を識別する段階を備え、
前記第2の走査領域を選択する段階は、前記1又は2以上の境界場所を取り囲む前記第1の走査領域の外側の前記ターゲットの区域を組み込むように該第1の走査領域を調節する段階を備える、請求項2に記載の方法。 - 前記第1の撮像走査の有効性を解析する段階は、前記ターゲット上の1又は2以上のサンプル焦点領域を、前記検出器アレイが該1又は2以上のサンプル焦点領域全体を通して主として合焦状態にあったことを示す前記焦点制御データから識別する段階を備え、
前記第2の走査領域を選択する段階は、前記第1の撮像走査中に撮像された前記1又は2以上のサンプル焦点領域の外側で前記サンプルがそれにわたって延びる前記ターゲットの領域を内挿する段階を備える、請求項2又は3に記載の方法。 - 内挿された領域の形状が、前記サンプル焦点領域の外形に形状当て嵌めを適用することによって見出される、請求項4に記載の方法。
- 前記第1の撮像走査の有効性を評価する段階は、前記ターゲット上の1又は2以上の不良焦点領域を識別する段階を更に備え、前記焦点制御データは、前記検出器アレイが前記第1の撮像走査中に該1又は2以上の不良焦点領域全体を通して主として焦点外れであったことを示し、
前記1又は2以上の走査パラメータの変更を決定する段階は、前記第1の撮像走査からの対応する画像と比較して前記1又は2以上の不良焦点領域内において前記第2の撮像走査中に異なる焦点高さで前記ターゲットの画像を取得するように合焦手順を調節する段階を備える、請求項1~5のいずれかに記載の方法。 - 前記ターゲットの予備走査画像を発生させるために予備走査を実行する段階であって、該予備走査に対する焦点深度が500マイクロメートルを超え、前記撮像経路に沿って得られる各画像に対する該焦点深度が3マイクロメートルよりも小さい、前記予備走査を実行する段階と、
前記ターゲット上で前記サンプルが存在することが予想される場所を示す第1の確率マップを生成するように、前記予備走査画像の自動画像解析を実行する段階であって、前記1又は2以上のAOIが該第1の確率マップから選択される、前記自動画像解析を実行する段階と、
を更に備える、請求項6に記載の方法。 - 前記第1の撮像走査は、前記画像走査経路に沿って得られた前記画像から前記ターゲットの第1の画像を発生させる段階と、該第1の画像から該ターゲットの第2の画像を導出する段階と、を更に備え、該第2の画像の解像度が、該第1の画像の解像度よりも低く、
前記第1の撮像走査の有効性を解析する段階は、
前記サンプルが存在することが予想される前記ターゲットの領域に対する第2の確率マップを生成するように、前記第2の画像の自動画像解析を実行する段階と、
前記サンプルが存在することが予想されることを前記第1の確率マップが示し、かつ該サンプルが存在しないことを前記第2の確率マップが示す前記ターゲット上の場所に対応する前記予備走査画像内の面詳細部を識別する段階と、
を更に備え、
前記1又は2以上の不良焦点領域は、前記面詳細部を有する前記ターゲット上の場所を除外する、請求項7に記載の方法。 - 前記第2の画像の前記解像度は、前記予備走査画像の解像度に略等しい、請求項8に記載の方法。
- 前記焦点制御データは、前記画像走査経路に沿った各場所での前記ターゲットの推定焦点面を備え、前記検出器アレイの実際の焦点高さが、画像が得られる該画像走査経路に沿った各場所に対してモニタされ、
前記ターゲット上の1又は2以上の不良焦点領域を識別する段階は、前記推定焦点面と前記検出器アレイの前記実際の焦点高さとの間の差が誤差閾値を超える1又は2以上の位置誤差場所を識別する段階を備える、請求項6~9のいずれかに記載の方法。 - 前記第1の撮像走査は、前記画像走査経路に沿って得られた前記画像から前記ターゲットの第1の画像を発生させる段階を更に備え、
前記1又は2以上の不良焦点領域を識別する段階は、前記第1の画像の焦点が受容可能であるかを識別するように、該第1の画像の1又は2以上の部分領域の自動画像解析を実行する段階と、該焦点が受容不能である前記ターゲットの各部分領域を不良焦点領域として指定する段階と、を更に備え、該1又は2以上の部分領域は、前記焦点制御データに基づいて選択される、請求項6~10のいずれかに記載の方法。 - 前記1又は2以上の部分領域が位置誤差場所を含む、請求項10又は11に記載の方法。
- 前記第1の撮像走査の前に、前記方法が、前記1又は2以上のAOI内の少なくとも1つのシード場所に対する焦合位置を測定する段階と、該シード場所に対する測定された前記焦合位置に基づいて前記画像走査経路に沿った1又は2以上の場所での前記焦点高さを設定する段階と、を更に備える、請求項1~12のいずれかに記載の方法。
- 前記1又は2以上の走査パラメータは、撮像される前記ターゲットの面積、該ターゲット上のシード場所の個数、及び該ターゲット上の該シード場所の位置を含む群から選択される、請求項13に記載の方法。
- 前記第1の撮像走査の有効性を解析する段階は、1又は2以上の前記シード場所に対する測定された前記焦合位置での誤差を識別する段階を備える、請求項13又は14に記載の方法。
- 前記焦合位置での誤差を識別する段階は、前記第1の撮像走査からの前記焦点制御データを、該第1の撮像走査の前の前記1又は2以上のシード場所に対する測定された前記焦合位置と比較する段階を備える、請求項15に記載の方法。
- 前記第1の撮像走査からの前記焦点制御データを、該第1の撮像走査の前の前記1又は2以上のシード場所に対する測定された前記焦合位置と比較する段階は、該第1の撮像走査中の該シード場所からの該焦点制御データを、該第1の撮像走査の前の該1又は2以上のシード場所に対する測定された該焦合位置と比較する段階を備える、請求項16に記載の方法。
- 前記第1の撮像走査からの1又は2以上の走査パラメータの変更を決定する段階は、前記検出器アレイが該第1の撮像走査中に焦点外れであったことを前記焦点制御データが示す前記ターゲット上の位置で新しいシード場所を選択する段階を備える、請求項13~17のいずれかに記載の方法。
- 前記第1の撮像走査は、複数のAOIにわたって実行され、前記焦合位置は、各前記シード場所で前記ターゲットの面に対して垂直な位置の範囲を通して前記検出器アレイの前記焦点高さを調節することによって測定され、
前記第1の撮像走査の有効性を解析する段階は、前記焦点制御データから各前記AOI内の前記サンプルの平均焦点高さを計算する段階を備え、
第1の前記AOIと第2の該AOIとに対する平均焦点高さの間の分離が閾値距離を超えることが見出されるのに応答して、前記第1の撮像走査からの1又は2以上の走査パラメータの変更を決定する段階は、該第1のAOI内の前記シード場所での前記焦合位置をモニタしている時に、前記焦点高さがそれにわたって調節される位置の範囲を該第1の撮像走査から計算された該第1のAOIに対する該平均焦点高さを除外するように修正する段階を備え、該第1のAOIに対して計算された該平均焦点高さは、該第2のAOIに対して計算された該平均焦点高さを超える、請求項13~18のいずれかに記載の方法。 - 前記第2のAOIに対して計算された前記平均焦点高さは、各前記AOIに対して計算された該平均焦点高さを含む群からの最も低い焦点高さである、請求項19に記載の方法。
- 実施された前記第1の撮像走査に対して前記1又は2以上の走査パラメータの決定された変更を用いて前記検出器アレイを使用して前記ターゲットの前記第2の撮像走査を実行する段階を更に備える、請求項1~20のいずれかに記載の方法。
- 検出器アレイとサンプルを備えるターゲットとを備える顕微鏡スキャナを使用して実行された時に請求項1~21のいずれかに記載の方法を該顕微鏡スキャナに実行させる命令を含有するコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB2008690.6 | 2020-06-09 | ||
GB2008690.6A GB2595873B (en) | 2020-06-09 | 2020-06-09 | A method for analysing scanning efficacy |
PCT/GB2021/051271 WO2021250373A1 (en) | 2020-06-09 | 2021-05-26 | A method for analysing scanning efficacy |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023529083A true JP2023529083A (ja) | 2023-07-07 |
JPWO2021250373A5 JPWO2021250373A5 (ja) | 2024-05-24 |
Family
ID=71616083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022573304A Pending JP2023529083A (ja) | 2020-06-09 | 2021-05-26 | 走査有効性を解析する方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230258919A1 (ja) |
EP (1) | EP4107570A1 (ja) |
JP (1) | JP2023529083A (ja) |
CN (1) | CN115836241A (ja) |
GB (1) | GB2595873B (ja) |
WO (1) | WO2021250373A1 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7518652B2 (en) * | 2000-05-03 | 2009-04-14 | Aperio Technologies, Inc. | Method and apparatus for pre-focus in a linear array based slide scanner |
US7155049B2 (en) * | 2001-01-11 | 2006-12-26 | Trestle Acquisition Corp. | System for creating microscopic digital montage images |
EP3410395B1 (en) * | 2004-05-27 | 2020-03-11 | Leica Biosystems Imaging, Inc. | System and method for assessing virtual slide image quality |
GB2505691B (en) | 2012-09-07 | 2018-02-21 | Ffei Ltd | Method and apparatus for image scanning |
JP5941395B2 (ja) * | 2012-10-31 | 2016-06-29 | 浜松ホトニクス株式会社 | 画像取得装置及び画像取得装置のフォーカス方法 |
GB201322188D0 (en) * | 2013-12-16 | 2014-01-29 | Ffei Ltd | Method and apparatus for estimating an in-focus position |
WO2019034328A1 (en) * | 2017-08-15 | 2019-02-21 | Siemens Healthcare Gmbh | IDENTIFYING THE QUALITY OF CELLULAR IMAGES ACQUIRED USING DIGITAL HOLOGRAPHIC MICROSCOPY USING CONVOLUTIONAL NEURAL NETWORKS |
CN114779459A (zh) * | 2017-09-29 | 2022-07-22 | 徕卡生物系统成像股份有限公司 | 实时自动聚焦扫描 |
US10861156B2 (en) | 2018-02-28 | 2020-12-08 | Case Western Reserve University | Quality control for digital pathology slides |
CN111007661B (zh) * | 2019-12-02 | 2022-02-22 | 湖南国科智瞳科技有限公司 | 一种基于深度学习的显微图像自动聚焦方法及装置 |
-
2020
- 2020-06-09 GB GB2008690.6A patent/GB2595873B/en active Active
-
2021
- 2021-05-26 US US18/009,152 patent/US20230258919A1/en active Pending
- 2021-05-26 CN CN202180041233.4A patent/CN115836241A/zh active Pending
- 2021-05-26 WO PCT/GB2021/051271 patent/WO2021250373A1/en unknown
- 2021-05-26 JP JP2022573304A patent/JP2023529083A/ja active Pending
- 2021-05-26 EP EP21731566.2A patent/EP4107570A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
GB2595873B (en) | 2023-01-25 |
US20230258919A1 (en) | 2023-08-17 |
GB2595873A (en) | 2021-12-15 |
WO2021250373A1 (en) | 2021-12-16 |
CN115836241A (zh) | 2023-03-21 |
EP4107570A1 (en) | 2022-12-28 |
GB202008690D0 (en) | 2020-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11721018B2 (en) | System and method for calculating focus variation for a digital microscope | |
US5647025A (en) | Automatic focusing of biomedical specimens apparatus | |
TWI478101B (zh) | 評估影像聚焦品質的方法 | |
US8350905B2 (en) | Microscope system, image generating method, and program for practicing the same | |
US8878923B2 (en) | System and method for enhanced predictive autofocusing | |
US7058233B2 (en) | Systems and methods for constructing an image having an extended depth of field | |
JP3822242B2 (ja) | スライド及び試料の調製品質を評価するための方法及び装置 | |
US20100141753A1 (en) | Optimizing Virtual Slide Image Quality | |
EP2556487A2 (en) | Image quality assessment including comparison of overlapped margins | |
EP3410395B1 (en) | System and method for assessing virtual slide image quality | |
US20120249770A1 (en) | Method for automatically focusing a microscope on a predetermined object and microscope for automatic focusing | |
JP2004317190A (ja) | 高速凹凸判定可能な表面検査方法及び表面検査システム | |
CN113705298A (zh) | 图像采集方法、装置、计算机设备及存储介质 | |
US7653260B2 (en) | System and method of registering field of view | |
EP3884327B1 (en) | Real-time focusing in a slide-scanning system | |
JP2023529083A (ja) | 走査有効性を解析する方法 | |
JP2023542619A (ja) | 試料のデジタル画像の品質管理のためのコンピュータ実装方法 | |
RU2785199C1 (ru) | Способ сканирования цервикального препарата, подготовленного методом жидкостной цитологии | |
JP2023535038A (ja) | 顕微鏡のための全スライド撮像方法 | |
Fan | Methods for rapid and high quality acquisition of whole slide images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240515 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240515 |