JP6945737B2 - デュアルプロセッサ画像処理 - Google Patents

Description

関連出願の相互参照
本願は、２０１７年１１月２８日に提出された米国仮特許出願第６２／５９１，４１８号の優先権を主張するものであり、これは完全に記載されているかのように参照により本明細書に組み込まれている。

本発明は、一般に（例えば病理学のための）デジタルスライド走査装置に関し、より詳細には、デジタルスライド走査装置によりサンプルを走査している間のデュアルプロセッサリソースの効率的なリアルタイムでの管理に関する。

デジタル病理学は、物質のスライドから生成された情報の管理を可能にするコンピュータ技術によって可能になる、画像ベースの情報環境である。デジタル病理学の一部は、バーチャルの顕微鏡検査によって可能になるものであり、この検査は、物質のスライドガラス上の標本を走査し、コンピュータモニタ上で保存と表示と管理と分析とをすることができるデジタルスライド画像を作成することを実践する方法である。スライドガラス全体を画像化する機能により、デジタル病理学の分野は急成長しており、現在、一際優れた迅速で安価である、がんをはじめとした重要な疾患の診断、予後、および予測の向上を成し遂げるための診断医療の最も有望な手段の１つとみなされている。

デジタル病理学に関わる業界では、スライドガラス上の標本をできるだけ早く走査することが所望されている。走査の時間を短縮するために、リアルタイムでのイメージングシステムの自動でのフォーカシングも望ましい。しかし、リアルタイムのオートフォーカスが実行されると、デジタルスライド走査装置のプロセッサが過負荷になり、この過負荷は走査時間に悪影響を及ぼす。したがって、上記の従来のシステムに見出せるこれらの重要な問題を克服するシステムと方法が必要とされている。

したがって、上で特定させた問題を解決するために、本明細書では、少なくとも２つのプロセッサを含むデジタルスライド走査装置が説明されている。実施形態では、走査装置の主要プロセッサは、走査装置全体および走査プロセスを制御するように構成された中央処理装置（ＣＰＵ）である。ＣＰＵはまた、走査装置の全体的な画像処理およびオートフォーカスプロセスを制御し得る。しかし、実施形態では、オートフォーカスプロセスの一部である特定の特異的な画像分析処理は、ＣＰＵからグラフィックス処理ユニット（ＧＰＵ）などの二次プロセッサにオフロードされる。

有利なことに、ＣＰＵは、特定の処理集中タスクをＧＰＵにオフロードして、デジタルスライド走査装置の全体的な効率を向上させる。例えば、リアルタイムのオートフォーカスにフォーカシングセンサとイメージングセンサの両方から得た画像データの処理が必要な場合、オフロードタスクには、各１，０００本の走査線のバッファを処理して、フォーカシングセンサの平均コントラストベクトルを生成し、各１，０００本の走査線のバッファを処理してイメージングセンサ用の平均コントラストベクトルを生成することが含まれ得る。平均コントラストベクトルを生成することには、走査線の各ピクセルのコントラスト値を判定することが含まれ得る。センサは４，０９６ピクセルを有することがあるが、走査線は通常４，０８０ピクセルを有する。これらのコントラスト値は、バッファの１，０００本の走査線各々の各ピクセルについて判定されてもよい。さらに、バッファの各ピクセル列（例えば、列１〜４，０８０の１０００個のピクセルのそれぞれ）を単一の値に平均化し、それらの平均値の組み合わせを使用して、ＧＰＵによって生成されてＣＰＵに与えられる平均コントラストベクトルを計算することができる。ＧＰＵにオフロードされる追加のタスクには、平均コントラストベクトルを生成する前の、白黒への色変換および照明補正が含まれる場合がある。

実施形態では、デジタルスライド走査装置は、フォーカシングセンサおよびイメージングセンサを含むイメージングシステム；サンプルを支え、フォーカシングセンサおよびイメージングセンサに対してサンプルを移動させるように構成された走査ステージ；走査ステージを制御して、フォーカシングセンサおよびイメージングセンサから画像データを生成するように構成される主要プロセッサ；および主要プロセッサの制御下で、フォーカシングセンサによって生成された複数の走査線を含むフォーカスバッファと、イメージングセンサによって生成された複数の走査線を含む画像バッファとの各々に対し、ここにおいて複数の走査線の各々は複数のピクセルを含み、各々のバッファにアクセスすること、各々のバッファの複数の走査線の各ピクセル列の平均コントラスト値を計算することであって、ピクセル列が、各々のバッファの複数の走査線のすべてにわたる各々の位置のすべてのピクセルを含む、計算すること、および各々のバッファの各々のコントラストベクトルを生成することであって、各々のコントラストベクトルは、各々のバッファの複数の走査線の各ピクセル列の平均コントラスト値を含む、生成すること、ならびにフォーカスバッファから生成されたコントラストベクトルと、画像バッファから生成されたコントラストベクトルとの両方を、さらに処理するために主要プロセッサに返すことにより、フォーカシングセンサとイメージングセンサによって生成された画像データを処理するように構成される二次プロセッサを含む。主要プロセッサは、走査ステージを制御しながら、フォーカスバッファと画像バッファの両方を生成できる。二次プロセッサは、フォーカスバッファおよび画像バッファのそれぞれについて、各々のバッファの各ピクセルの平均コントラスト値を計算するために主要プロセッサによってさらに制御することができ、各々のバッファの複数の走査線の各ピクセル列の平均コントラスト値は、各ピクセル列のピクセルの計算された平均コントラスト値を使用して計算する。各ピクセルの平均コントラスト値は、そのピクセルおよびそのピクセルを囲む１つ以上のピクセルのコントラスト値を平均することによって計算され得る。二次プロセッサは、フォーカシングセンサおよびイメージングセンサによって生成された画像データの処理を、主要プロセッサが走査ステージを制御してフォーカシングセンサとイメージングセンサから新しい画像データを生成することと並行して実行することができる。主要プロセッサは、フォーカスバッファおよび画像バッファの一方または両方から生成されたコントラストベクトルを使用して、走査ステージに支えられたサンプルのスライド画像全体を生成できる。デジタルスライド走査装置は、走査ステージの平面に垂直な軸に沿って移動するように構成された対物レンズをさらに備えることができ、主要プロセッサは、フォーカスバッファと画像バッファの一方または両方から生成されるコントラストベクトルを使用して対物レンズを自動的にフォーカスする。

実施形態において、フォーカシングセンサと、イメージングセンサと、サンプルを支え、フォーカシングセンサおよびイメージングセンサに対してサンプルを移動させるように構成された走査ステージと、主要プロセッサと、二次プロセッサとを含むデジタルスライド走査装置の方法が開示されている。方法は、複数の反復のそれぞれについて、走査ステージを制御し、フォーカシングセンサおよびイメージングセンサから画像データを生成するために主要プロセッサを使用することであって、画像データが、フォーカシングセンサによって生成された複数の走査線を含むフォーカスバッファ、およびイメージングセンサによって生成された複数の走査線を備える画像バッファを含み、各走査線は、走査線内に各々の位置を有する複数のピクセルを備える、使用すること、および主要プロセッサの走査ステージの制御と並行して、フォーカスバッファと画像バッファのそれぞれに対して、各々のバッファにアクセスすること、各々のバッファの複数の走査線の各ピクセル列の平均コントラスト値を計算することであって、ピクセル列が、各々のバッファの複数の走査線のすべてにわたる各々の位置のすべてのピクセルを含む、計算すること、および各々のバッファの各々のコントラストベクトルを生成することであって、各々のコントラストベクトルが、各々のバッファの複数の走査線の各ピクセル列の平均コントラスト値を含む、生成することにより、画像データを処理するために二次プロセッサを使用すること、およびフォーカスバッファから生成されたコントラストベクトルと、画像バッファから生成されたコントラストベクトルの両方を、さらに処理するために主要プロセッサに返すことを含む。

本発明の他の特徴および利点は、以下の詳細な説明および添付図面を再考した後、当業者にとってさらに容易に明らかになるであろう。

本発明の構造および動作は、同一の参照符号が同一の部品を指す以下の詳細な説明および添付図面の再検討から理解される。

実施形態による、デュアルプロセッサ画像処理の例示的なプロセスを示す流れ図である。 図２Ａは、本明細書で説明されるさまざまな実施形態に関連して使用され得る例示的なプロセッサ使用可能デバイスを示すブロック図である。図２Ｂは、実施形態による、単一のリニアアレイを有する例示的なライン走査カメラを示すブロック図である。図２Ｃは、実施形態による、３つのリニアアレイを有する例示的なライン走査カメラを示すブロック図である。図２Ｄは、実施形態による、複数のリニアアレイを有する例示的なライン走査カメラを示すブロック図である。

本明細書に開示される特定の実施形態は、デジタルスライド走査装置においてリアルタイムのオートフォーカスを達成するために、特定の画像処理タスクを主要プロセッサから二次プロセッサにオフロードすることを提供する。本明細書で使用される場合、各々「リアルタイム」という形容詞は、リアルタイムだけでなくリアルタイムに近いことも指すと理解されるべきであり、また「リアルタイム」という名詞は、リアルタイムだけでなくリアルタイムに近いことも指すと理解されるべきである。この説明を読んだ後、さまざまな代替的な実施形態および代替的な適用において発明をどのように実装するかが当業者にとって明らかになる。しかし、本発明のさまざまな実施形態が本明細書で説明されるが、それらの実施形態が例としてのみであり、非限定的に提示されることが理解される。そのようにして、さまざまな代替的な実施形態のこの詳細な説明は、添付の特許請求の範囲に示されるように、本発明の範囲または広さを限定するものと解釈されるべきではない。

１．デュアルプロセッサ

図１は、実施形態による、デュアルプロセッサ画像処理の例示的なプロセスを示す流れ図である。図示されたプロセスは、図２Ａ〜図２Ｄに関して後述されるように、デジタルスライド走査装置内の主要プロセッサ１００および二次プロセッサ２００（例えば、プロセッサ５５５として）によって実行され得る。

最初に、デジタルスライド走査装置が、フォーカシングセンサ、イメージングセンサ、および単一の対物レンズ（例えば、対物レンズ６００）を含むイメージングシステムに対して走査ステージ（例えば、ステージ５８０）を移動させるステップ１１０を実行するために、その主要プロセッサ１００を採用する。対物レンズの視野（例えば、視野６２５）の少なくとも一部は、対物レンズからフォーカシングセンサまでの光路（例えば、光路６０５）を介して、フォーカシングセンサに提示される。加えて、対物レンズからイメージングセンサまでの光路を介して、対物レンズの視野の少なくとも一部がイメージングセンサに提示される。実施形態では、フォーカシングセンサおよびイメージングセンサはそれぞれ、走査線と呼ばれる画像データの線をそれぞれ生成するリニアセンサである。それにより、フォーカシングセンサおよびイメージングセンサはそれぞれ、各々の受信した視野の画像データを表す複数の走査線を生成する。

ステップ１２０で、主要プロセッサ１００は、フォーカシングセンサにより生成された複数の走査線を含むフォーカスバッファを生成し、イメージングセンサにより生成された複数の走査線を含む画像バッファを生成する。説明する実施形態では、各々のバッファは１，０００本の走査線を備え、各走査線は４，０８０ピクセルを備えると想定される。しかし、各々のバッファは、さらに多いまたは少ない数の走査線を備えてもよく、および／または各走査線は、さらに多いまたは少ない数のピクセルを備えてもよい。

ステップ１３０では、ステップ１２０にてフォーカスバッファおよび画像バッファが生成されると、主要プロセッサ１００が、二次プロセッサ２００を制御して、フォーカスおよび画像バッファを処理する。これにより、主要プロセッサ１００は、イメージングシステムに対する走査ステージの継続的な移動（すなわち、ステップ１１０の後続的な繰り返し）および追加のフォーカスバッファおよび画像バッファの生成（すなわち、ステップ１２０の後続的な繰り返し）を含む走査のプロセス全体の制御を続行できるようになる。

主要プロセッサ１００による走査プロセス全体のこの継続的な制御と並行して、ステップ２１０で、二次プロセッサ２００は画像バッファおよびフォーカスバッファから画像データを取得する。説明した例では、各々のバッファの画像データは１，０００本の走査線を含み、各々の走査線は各々のセンサのピクセルに対応する各々の位置で走査線に沿ってインデックス付けされる４，０８０個の個々のピクセルを含む。例えば、バッファは、各々の行が、各センサが生成する１つの走査線に対応している１，０００の行と、各々の列が、各センサの各ピクセルに対応する４，０８０の列を含むピクセルのテーブルとして説明できる。

ステップ２２０で、所定のバッファ（例えば、フォーカスバッファまたは画像バッファ）のデータが取得されると、二次プロセッサ２００は、各々のバッファの各ピクセルの平均コントラスト値を計算する。実施形態では、これは、ターゲットのピクセルおよびその周囲のピクセルのコントラスト値を平均することにより成され得る。別法として、ステップ２２０を省いてもよい。

ステップ２３０において、二次プロセッサ２００は、各々のバッファ内の各列の平均コントラスト値を計算する。各々のバッファが１，０００本の走査線を含み、各走査線が４，０８０ピクセルを含む実施形態では、ステップ２３０は、各々のバッファの所定の列にある１，０００個のピクセルのそれぞれについて、（ステップ２２０が省かれる実施形態における）元のコントラスト値または（ステップ２２０が実行される実施形態における）平均コントラスト値に基づいて平均ピクセルコントラスト値を計算することを含み得る。各々のバッファについて、この計算は４，０８０回実行される。

ステップ２４０で、二次プロセッサは、各々のバッファのコントラストベクトルを生成する。各コントラストベクトルは、各々のバッファの４，０８０ピクセル列ごとに、ステップ２３０で計算された平均コントラスト値を含む。次に、ステップ２５０において、フォーカスバッファのコントラストベクトルと画像バッファのコントラストベクトルは、さらなる処理のために主要プロセッサ１００に返される。

ステップ１４０で、主要プロセッサ１００は、ステップ２５０で二次プロセッサ２００により返されたフォーカスバッファのコントラストベクトルおよび画像バッファのコントラストベクトルを、対物レンズの焦点合わせおよび走査ステージ上のサンプル（例えば、サンプル５９０）の全体のスライド画像の生成におけるオートフォーカスプロセスで使用する。

２．例示的実施形態

実施形態において、デジタルスライド走査装置は、フォーカシングセンサおよびイメージングセンサを含むイメージングシステム、サンプルを支え、フォーカシングセンサおよびイメージングセンサに対してサンプルを移動させるように構成された走査ステージ、走査ステージを制御し、フォーカシングセンサおよびイメージングセンサによって生成される画像データの処理を制御するように構成される主要プロセッサ、フォーカシングセンサおよびイメージングセンサによって生成される画像データを主要プロセッサの制御下で処理するように構成される二次プロセッサを含む。この実施形態では、二次プロセッサは、主要プロセッサによって制御され、フォーカシングセンサおよびイメージングセンサによって生成された画像データの個々のバッファを処理する。具体的には、二次プロセッサは主要プロセッサによって制御され、フォーカシングセンサによって生成された複数の走査線を含むフォーカスバッファを取得し、各走査線は複数のピクセルを含み、フォーカスバッファの各ピクセル列の平均コントラスト値を計算し、この場合、ピクセル列は、フォーカスバッファのすべての走査線にわたる各々の位置にあるすべてのピクセルを含み、フォーカスバッファのフォーカスコントラストベクトルを生成し、フォーカスコントラストベクトルは、フォーカスバッファの各ピクセル列の平均コントラスト値を含む。

二次プロセッサはまた、主要プロセッサによって制御され、イメージングセンサによって生成された複数の走査線を含む画像バッファを取得し、各走査線は複数のピクセルを含み、画像バッファの各ピクセル列の平均コントラスト値を計算し、ピクセル列は、画像バッファのすべての走査線にわたる各々の位置にあるすべてのピクセルを含み、画像バッファの画像コントラストベクトルを生成し、画像コントラストベクトルは、フォーカスバッファの各ピクセル列の平均コントラスト値を含む。

有利にも、二次プロセッサによって処理される画像データの各フォーカスバッファについて、二次プロセッサはフォーカスコントラストベクトルを主要プロセッサに戻す。さらに、二次プロセッサによって処理される画像データの各画像バッファについて、二次プロセッサは画像コントラストベクトルを主要プロセッサに返す。フォーカスバッファの平均コントラストベクトルと画像バッファの平均コントラストベクトルは、主要プロセッサによって、リアルタイムのオートフォーカスおよび／または走査プロセス全体の管理のために続いて使用される。

実施形態において、フォーカシングセンサ、イメージングセンサ、サンプルを支え、フォーカシングセンサおよびイメージングセンサに対してサンプルを移動させるように構成された走査ステージ、主要プロセッサ、および二次プロセッサを有するデジタルスライド走査装置は、リアルタイムのオートフォーカスの方法を実行するように構成されている。リアルタイムのオートフォーカスの方法には、主要プロセッサを使用して走査ステージを制御し、走査ステージで支えられているサンプルをフォーカシングセンサとイメージングセンサに対して移動することが含まれる。また、この方法は、フォーカシングセンサによって複数のフォーカスバッファを生成することも含み、各フォーカスバッファは、フォーカシングセンサによって生成された複数の走査線を含み、フォーカシングセンサによって生成された各走査線は、走査線の各々の位置を含む複数のピクセルを含む。この方法はまた、イメージングセンサによって複数の画像バッファを生成することを含み、各画像バッファは、イメージングセンサによって生成された複数の走査線を含み、イメージングセンサによって生成された各走査線は、走査線の各々の位置を含む複数のピクセルを含む。

加えて、この方法は、二次プロセッサを使用して、フォーカシングセンサによって生成される複数のフォーカスバッファおよびイメージングセンサによって生成される複数の画像バッファの画像データを処理することを含む。二次プロセッサによる処理は、フォーカシングセンサによって生成された複数の走査線を含むフォーカスバッファを取得することを含み、各走査線は複数のピクセルを含み、フォーカスバッファの各ピクセル列の平均コントラスト値を計算し、ピクセル列は、フォーカスバッファのすべての走査線にわたる各々の位置にあるすべてのピクセルを含み、フォーカスバッファのフォーカスコントラストベクトルを生成し、フォーカスコントラストベクトルは、フォーカスバッファにおける各ピクセル列の平均コントラスト値を含む。二次プロセッサによる処理はまた、イメージングセンサによって生成された複数の走査線を含む画像バッファを得ることを含み、各走査線は複数のピクセルを含み、画像バッファ内の各ピクセルの列の平均コントラスト値を計算し、ピクセル列は、画像バッファ内のすべてにわたる走査線の各々の位置にあるすべてのピクセルを含み、画像バッファの画像コントラストベクトルを生成し、画像コントラストベクトルは、画像バッファの各ピクセル列の平均コントラスト値を含む。二次プロセッサによる処理は、フォーカスバッファのフォーカスコントラストベクトルと画像バッファの画像コントラストベクトルをさらなる処理のために主要プロセッサに返すことをさらに含む。

３．例示的デジタルスライド走査装置

図２Ａは、本明細書で説明されるさまざまな実施形態に関連して使用され得る例示的なプロセッサ対応デバイス５５０を示すブロック図である。当業者に理解されるように、デバイス５５０の代替形態も使用することができる。図示された実施形態では、デバイス５５０は、１つ以上のプロセッサ５５５、１つ以上のメモリ５６５、１つ以上の動きコントローラ５７０、１つ以上のインターフェースシステム５７５、１つ以上のサンプル５９０を有する１つ以上のスライドガラス５８５をそれぞれ支える１つ以上の可動ステージ５８０、サンプルを照らす１つ以上の照明システム５９５、光軸に沿って進む光路６０５をそれぞれ規定する１つ以上の対物レンズ６００、１つ以上の対物レンズポジショナ６３０、１つ以上の任意の落射照明システム６３５（例えば、蛍光ベースのスキャナシステムに含まれる）、１つ以上のフォーカシング光学系６１０、１つ以上のライン走査カメラ６１５および／または１つ以上のエリア走査カメラ６２０を備えるデジタルイメージングデバイス（本明細書ではスキャナシステム、走査システム、デジタルスライド走査装置、走査装置などとも呼ばれる）として提示され、それらはそれぞれ、サンプル５９０および／またはスライドガラス５８５上の別個の視野６２５を規定する。スキャナシステム５５０のさまざまな要素は、１つ以上の通信バス５６０を介して通信可能に結合される。スキャナシステム５５０のさまざまな要素のそれぞれは１つまたは複数であり得るが、簡素にするため、これらの要素は、適切な情報を伝えるために複数で記述する必要がある場合を除いて単数形で説明する。

１つ以上のプロセッサ５５５は、例えば、主要プロセッサ１００（例えば、ＣＰＵ）および二次プロセッサ２００（例えば、別個のＧＰＵ）を含み得る。主要プロセッサ１００および二次プロセッサ２００は、有利にも、並行して命令を処理することができる。実施形態では、１つ以上のプロセッサ５５５は、命令を並列に処理することができるマルチコアプロセッサを含むことができ、マルチコアプロセッサの第１のコアは主要プロセッサ１００とみなせ、マルチコアプロセッサの第２のコアは二次プロセッサ２００とみなせる。特定の構成要素を制御したり、画像処理などの特定の機能を実行したりするために、追加の別個のプロセッサを設けることもできる。例えば、追加のプロセッサには、データ入力を管理する補助プロセッサ、浮動小数点の数学的な演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを備えた専用プロセッサ（例えば、デジタル信号プロセッサ）、主要プロセッサ１００に従属するスレーブプロセッサ（例えば、バックエンドプロセッサ）、および／またはライン走査カメラ６１５、ステージ５８０、対物レンズ２２５、および／またはディスプレイ（図示せず）を制御する追加のプロセッサが含まれ得る。そのような追加のプロセッサは、別個の分離したプロセッサであっても、プロセッサ５５５と統合されてもよい。

メモリ５６５は、プロセッサ５５５によって実行可能なプログラムのデータおよび命令の記憶機構を提供する。メモリ５６５は、データおよび命令を記憶する１つ以上の揮発性かつ永続的なコンピュータ可読記憶媒体、例えば非限定的にランダムアクセスメモリ、読み取り専用メモリ、ハードディスクドライブ、リムーバブルストレージドライブなどを含むことができる。プロセッサ５５５は、メモリ５６５に記憶された命令を実行し、通信バス５６０を介してスキャナシステム５５０のさまざまな要素と通信して、スキャナシステム５５０の全体的な機能を実行するように構成される。

１つ以上の通信バス５６０は、アナログ電気信号を伝達するように構成された通信バス５６０を含み得、デジタルデータを伝達するように構成された通信バス５６０を含み得る。したがって、１つまたは複数の通信バス５６０を介した、プロセッサ５５５、動きコントローラ５７０、および／またはインターフェースシステム５７５からの通信は、電気信号とデジタルデータの両方を含み得る。また、プロセッサ５５５、動きコントローラ５７０、および／またはインターフェースシステム５７５は、無線通信リンクを介して走査システム５５０のさまざまな要素の１つ以上と通信するように構成されてもよい。

動き制御システム５７０は、ステージ５８０および／または対物レンズ６００のＸ−Ｙ−Ｚの移動を正確に制御および調整するように構成されている（例えば、対物レンズポジショナ６３０を介して）。実施形態では、ステージ５８０はＸ軸およびＹ軸に沿って移動可能であり、一方で対物レンズ６００はＺ軸に沿って移動可能である。動き制御システム５７０はまた、スキャナシステム５５０における他の任意の可動部分の移動を制御するように構成される。例えば、蛍光ベースのスキャナの実施形態では、動き制御システム５７０は、落射照明システム６３５における光学フィルタ等の移動を調整するように構成される。

実施形態では、インターフェースシステム５７５は、スキャナシステム５５０が他のシステムおよび人間の操作者とインターフェースすることを可能にする。例えば、インターフェースシステム５７５は、操作者に直接情報を提供し、および／または操作者からの直接的な入力を可能にするためのユーザーインターフェースを含むことができる。インターフェースシステム５７５はまた、走査システム５５０と、直接接続された１つ以上の外部デバイス（例えば、プリンタ、取り外し可能な記憶媒体など）、または外部デバイス、例えば画像サーバシステム、操作者ステーション、ユーザステーション、管理サーバシステム、および／またはネットワークを介してスキャナシステム５５０に接続されている同様のもの（図示せず）などとの間の通信およびデータ転送を促進するように構成されてもよい。

照明システム５９５は、サンプル５９０の一部を照らすように構成される。照明システムは、例えば、光源および照明光学系を含み得る。光源は、光出力を最大化する凹面反射鏡と、熱を抑えるＫＧ−１フィルタとを備えた可変強度ハロゲン光源であってよい。光源はまた、任意の類のアークランプ、レーザ、またはその他の光源であってよい。実施形態では、照明システム５９５は、ライン走査カメラ６１５および／またはエリア走査カメラ６２０がサンプル５９０を透過する光エネルギーを感知するように、透過モードでサンプル５９０を照らす。別法として、または組み合わせて、照明システム５９５は、ライン走査カメラ６１５および／またはエリア走査カメラ６２０がサンプル５９０から反射される光エネルギーを感知するように、サンプル５９０を反射モードで照らすように構成され得る。より一般的には、照明システム５９５は、光学顕微鏡法のいずれかの既知のモードでの顕微鏡サンプル５９０の調査に対して適切であるよう構成し得る。

実施形態では、スキャナシステム５５０は、蛍光ベースの走査のためにスキャナシステム５５０を最適化する落射照明システム６３５を含む。蛍光ベースの走査は、蛍光分子を含むサンプル５９０の走査であり、蛍光分子は、特定の波長の光を吸収できる（励起）、光子に敏感な分子である。これらの光子に敏感な分子はまた、さらに高次の波長の光も放出する（放出）。この光ルミネセンス現象の効率が非常に低次であるため、放出される光の量は、えてして非常に少ない。この少量の放出される光は、典型的には、サンプル５９０を走査およびデジタル化するための従来の技術（例えば、透過モード顕微鏡検査）を失敗させる。有利なことに、スキャナシステム５５０の蛍光ベースの実施形態は、複数のリニアセンサアレイ（例えば、時間遅延積分（「ＴＤＩ」）ライン走査カメラ）を含み、ライン走査カメラの光に対する感度を高めるライン走査カメラ６１５を使用する。これは、サンプル５９０の同じ領域をライン走査カメラ６１５の複数のリニアセンサアレイのそれぞれに露光することによるものである。これは、微弱な蛍光サンプルを低次の放出された光で走査するときに特に有用である。

したがって、蛍光ベースのスキャナシステムの実施形態では、ライン走査カメラ６１５は、モノクロＴＤＩライン走査カメラであることが好ましい。有利なことに、モノクロ画像は、サンプルに存在するさまざまなチャネルからの実際の信号をより正確に表すため、蛍光顕微鏡法に理想的である。当業者によって理解されるように、蛍光サンプル５９０は、「チャネル」とも呼ばれる異なる波長で光を発する複数の蛍光色素で標識することができる。

さらに、さまざまな蛍光サンプルのローエンドおよびハイエンドの信号レベルが、ライン走査カメラ６１５が感知する波長の広いスペクトルを呈するため、ライン走査カメラ６１５が同様に広いことを感知できるローエンドおよびハイエンドの信号レベルが望ましい。したがって、蛍光ベースのスキャナの実施形態では、蛍光ベースの走査システム５５０で使用されるライン走査カメラ６１５は、モノクロ１０ビット６４リニアアレイＴＤＩライン走査カメラである。走査システム５５０の蛍光ベースのスキャナの実施形態と共に使用するために、ライン走査カメラ６１５のさまざまなビット深度を採用できることに留意されたい。

可動ステージ５８０は、プロセッサ５５５または動きコントローラ５７０の制御下での正確なＸ−Ｙ移動用に構成される。また、可動ステージは、プロセッサ５５５または動きコントローラ５７０の制御下でのＺ軸に沿った動きのために構成されてもよい。可動ステージは、ライン走査カメラ６１５および／またはエリア走査カメラによる画像データキャプチャ中に、サンプルを所望の場所に配置するように構成されている。可動ステージはまた、サンプル５９０を走査方向に実質的に一定の速度まで加速し、その後、ライン走査カメラ６１５による画像データの取り込み中に実質的に一定の速度を維持するように構成される。スキャナシステム５５０は、高精度で厳密に調整されたＸ−Ｙグリッドを使用して、可動ステージ５８０にあるサンプル５９０の位置の特定を補助できる。実施形態では、可動ステージ５８０は、Ｘ軸およびＹ軸の両方で使用される高精度エンコーダを備えたリニアモータベースのＸ−Ｙステージである。例えば、非常に正確なナノメートルエンコーダーは、走査方向の軸と、走査方向に垂直で走査方向と同じ平面にある方向の軸で使用できる。ステージはまた、サンプル５９０が配置されるスライドガラス５８５を支えるように構成される。

サンプル５９０は、光学顕微鏡検査で調べることができるものであればいずれのものでもよい。例えば、顕微鏡スライドガラス５８５は、組織や細胞、染色体、ＤＮＡ、タンパク質、血液、骨髄、尿、細菌、ビーズ、生検材料、または死亡か生存、染色か非染色、標識か非標識であるその他いずれかの種類の生物学的材料または物質を含む標本の観察基板として頻繁に使用される。サンプル５９０はまた、マイクロアレイとして一般に知られているありとあらゆるサンプルを含む、任意の類のＤＮＡまたはＤＮＡ関連材料、例えばｃＤＮＡ、ＲＮＡ、または任意の類のスライドまたは他の基板に堆積されるタンパク質のアレイであってもよい。サンプル５９０は、マイクロタイタープレート（例えば、９６ウェルプレート）であり得る。サンプル５９０の他の例には、集積回路基板、電気泳動記録、ペトリ皿、フィルム、半導体材料、法医学材料、および機械加工部品が含まれる。

対物レンズ６００は、実施形態では、非常に正確なリニアモータを使用して対物レンズ６００によって規定される光軸に沿って対物レンズ６００を移動させる対物レンズポジショナ６３０に取り付けられている。例えば、対物レンズポジショナ６３０のリニアモータは、５０ナノメートルのエンコーダを含み得る。Ｘ軸、Ｙ軸、およびＺ軸におけるステージ５８０および対物レンズ６００の相対的な位置は、全体的な走査システム５５０の動作に関するコンピュータ実行可能なプログラムされたステップを含む、情報および命令を記憶するためのメモリ５６５を使用するプロセッサ５５５（例えば、主要プロセッサ１００）の制御下で、動きコントローラ５７０を使用して、閉ループ方式で調整および制御される。

実施形態では、対物レンズ６００は、望ましい最高の空間分解能に対応する開口数を有するプランアポクロマート（「ＡＰＯ」）無限補正対物レンズであり、この場合、対物レンズ６００は、透過モード照明顕微鏡法、反射モード照明顕微鏡法、および／または落射照明モード蛍光顕微鏡法（例えば、Ｏｌｙｍｐｕｓ ４０Ｘ、０．７５ＮＡまたは２０Ｘ、０．７５ ＮＡ）に適している。有利にも、対物レンズ６００は、色収差および球面収差を補正することができる。対物レンズ６００は無限に補正されるため、フォーカシング光学系６１０は、対物レンズを通過する光ビームがコリメート光ビームになる対物レンズ６００上方の光路６０５に配置することができる。フォーカシング光学系６１０は、対物レンズ６００によって取り込まれた光信号をライン走査カメラ６１５および／またはエリア走査カメラ６２０の光応答要素にフォーカシングさせ、フィルタ、倍率変換器レンズ、および／または同様のものなどの光学的構成要素を含み得る。対物レンズ６００は、フォーカシング光学系６１０と組み合わされて、走査システム５５０の全倍率を実現する。実施形態では、フォーカシング光学系６１０は、チューブレンズおよび任意の２倍倍率変換器を含み得る。有利にも、２倍倍率変換器により、元来２０倍である対物レンズ６００がサンプル５９０を４０倍の倍率で走査することが可能になる。

ライン走査カメラ６１５は、少なくとも１つの画像要素のリニアアレイ（「ピクセル」）を含む。ライン走査カメラはモノクロでもカラーでもよい。通常、カラーライン走査カメラには少なくとも３つのリニアアレイがあるが、モノクロライン走査カメラには単一のリニアアレイまたは複数のリニアアレイがあり得る。カメラの一部としてパッケージ化されているか、イメージング電子モジュールにカスタムで一体化されているかにかかわらず、任意のタイプの単数または複数のリニアアレイも使用できる。例えば、３つのリニアアレイ（「赤緑青」または「ＲＧＢ」）カラーライン走査カメラまたは９６のリニアアレイモノクロＴＤＩも使用できる。ＴＤＩライン走査カメラは通常、すでに画像化されている標本の領域から得た強度のデータを合計することにより、出力信号における大幅に優れた信号対雑音比（「ＳＮＲ」）を実現し、統合ステージの数の平方根に比例したＳＮＲの増大を生み出す。ＴＤＩライン走査カメラは、複数のリニアアレイで構成されている。例えば、ＴＤＩライン走査カメラは２４、３２、４８、６４、９６、またはそれより多いリニアアレイで使用できる。スキャナシステム５５０はまた、５１２ピクセルを有するもの、１，０２４ピクセルを有するもの、および４，０９６ピクセルを有するものを含むさまざまなフォーマットで製造されるリニアアレイを支える。同様に、さまざまなピクセルサイズのリニアアレイもスキャナシステム５５０で使用できる。任意のタイプのライン走査カメラ６１５を選択するための主要な要件は、ステージ５８０の動きをライン走査カメラ６１５のラインの速さと同期でき、サンプル５９０のデジタル画像を取り込む間にステージ５８０がライン走査カメラ６１５に対して動けるようにするというものである。

ライン走査カメラ６１５によって生成された画像データは、メモリ５６５の一部に記憶され、プロセッサ５５５によって処理されて、サンプル５９０の少なくとも一部の連続したデジタル画像を生成する。連続したデジタル画像は、プロセッサ５５５によってさらに処理され、修正された連続したデジタル画像もメモリ５６５に記憶することができる。

２つ以上のライン走査カメラ６１５を備えた実施形態では、ライン走査カメラ６１５の少なくとも１つは、イメージングセンサとして機能するよう構成されたライン走査カメラ６１５の少なくとも１つと組み合わせて動作する、フォーカシングセンサとして機能するように構成できる。フォーカシングセンサは、イメージングシステムと同じ光軸に論理的に配置することができ、またはフォーカシングセンサは、スキャナシステム５５０の走査方向に関してイメージングセンサの前または後に論理的に配置することができる。少なくとも１つのライン走査カメラ６１５がフォーカシングセンサとして機能する実施形態で、フォーカシングセンサによって生成された画像データをメモリ５６５の一部に記憶し、１つまたは複数のプロセッサ５５５によって処理してフォーカスの情報を生成し、スキャナシステム５５０が、サンプル５９０と対物レンズ６００との間の相対的な距離を調整して走査中サンプルに対するフォーカスを維持できるようにする。加えて、実施形態では、フォーカシングセンサとして機能する少なくとも１つのライン走査カメラ６１５は、フォーカシングセンサの複数の個々のピクセルのそれぞれが光路６０５に沿って異なる論理的高さに位置するように向けられ得る。

動作中、スキャナシステム５５０のさまざまな構成要素およびメモリ５６５に記憶されたプログラムモジュールは、スライドガラス５８５上に配置されたサンプル５９０の自動的な走査およびデジタル化を可能にする。スライドガラス５８５は、サンプル５９０を走査するためのスキャナシステム５５０の可動ステージ５８０にしっかりと配置される。プロセッサ５５５（例えば、主要プロセッサ１００）の制御下で、可動ステージ５８０は、ライン走査カメラ６１５による感知のためにサンプル５９０を実質的に一定の速度に加速し、この場合ステージの速度はライン走査カメラ６１５のラインの速さと同期している。画像データのストライプを走査した後、可動ステージ５８０は減速し、サンプル５９０をほぼ完全に停止させる。その後、可動ステージ５８０は、走査方向に対して直角に移動して、画像データの後続のストライプ（例えば、隣接するストライプ）の走査のためにサンプル５９０を配置する。追加のストライプはその後、サンプル５９０の全体部分またはサンプル５９０全体が走査されるまで走査される。

例えば、サンプル５９０のデジタル走査中に、サンプル５９０の連続したデジタル画像は、画像のストライプを形成するために一緒に組み合わされる複数の連続した視野として取得される。サンプル５９０の一部またはサンプル５９０全体の連続したデジタル画像を形成するために、複数の隣接する画像のストライプが同様に組み合わされる。サンプル５９０の走査は、垂直画像のストライプまたは水平画像のストライプを取得することを含み得る。サンプル５９０の走査は、上から下、下から上、または両方（双方向）のいずれかであり得、サンプル５９０上の任意の点で開始することができる。あるいは、サンプル５９０の走査は、左から右、右から左、またはその両方（双方向）のいずれかであり得、サンプル５９０の任意の点から開始できる。さらに、画像のストライプを隣接または連続して取得する必要はない。さらに、結果として得られるサンプル５９０の画像は、サンプル５９０全体の画像であってもよいし、サンプル５９０の一部のみであってもよい。

実施形態では、コンピュータ実行可能命令（例えば、プログラムされたモジュールおよびソフトウェア）はメモリ５６５に記憶され、実行されると、走査システム５５０が本明細書に記載のさまざまな機能を実行できるようになる。この説明において、「コンピュータ可読記憶媒体」という用語は、プロセッサ５５５（例えば、主要プロセッサ１００および／または二次プロセッサ２００）による実行のために、コンピュータ実行可能命令を、走査システム５５０に記憶および与えるために使用される任意の媒体を示すために使用される。これらの媒体の例には、メモリ５６５、および例えばネットワーク（図示せず）を介して直接的または間接的に走査システム５５０と通信可能に結合された取り外し可能または外部記憶媒体（図示せず）が含まれる。

図２Ｂは、電荷結合素子（ＣＣＤ）アレイとして実装され得る単一のリニアアレイ６４０を有するライン走査カメラ６１５を示す。単一のリニアアレイ６４０は、複数の個々のピクセル６４５を含む。図示の実施形態では、単一のリニアアレイ６４０は４，０９６ピクセルを有する。代替実施形態では、リニアアレイ６４０は、さらに多いまたはさらに少ないピクセルを有してもよい。例えば、リニアアレイの一般的な形式には、５１２、１，０２４、および４，０９６ピクセルが含まれる。ピクセル６４５はリニアに配置され、リニアアレイ６４０の視野６２５を画定する。視野のサイズは、スキャナシステム５５０の倍率に従って変化する。

図２Ｃは、それぞれがＣＣＤアレイとして実装され得る３つのリニアアレイを有するライン走査カメラを示している。３つのリニアアレイは組み合わされてカラーアレイ６５０を形成する。実施形態では、カラーアレイ６５０の個々のリニアアレイは各々、異なる色の強度（例えば、赤、緑、または青）を検出する。カラーアレイ６５０の個々のリニアアレイ各々から得るカラーの画像データが組み合わされて、カラーの画像データの単一の視野６２５を形成する。

図２Ｄは、それぞれがＣＣＤアレイとして実装され得る複数のリニアアレイを有するライン走査カメラを示している。複数のリニアアレイが組み合わされて、ＴＤＩアレイ６５５を形成する。有利なことに、ＴＤＩライン走査カメラは、標本の以前に撮像された領域から得た強度のデータを合計することにより、その出力信号において実質的に良好なＳＮＲをもたらし、リニアアレイの数の平方根に比例するＳＮＲの増加をもたらすことができる（一体化ステージとも呼ばれる）。ＴＤＩライン走査カメラは、より多様な数のリニアアレイを備え得る。例えば、ＴＤＩライン走査カメラの一般的な形式には、２４、３２、４８、６４、９６、１２０、およびそれ以上のリニアアレイが含まれる。

開示される実施形態の上記説明は、いずれかの当業者が発明を作成または使用することを可能にするために提供される。それらの実施形態に対するさまざまな修正は、当業者にとって容易に明らかであり、本明細書で説明された一般的な原理は、本発明の精神または範囲から逸脱することなく他の実施形態に適用されることができる。よって、本明細書で提示される説明および図面は、本発明の現時点で好ましい実施形態を表し、したがって、本発明によって広く考慮される主題を表すことが理解される。さらに、本発明の範囲は、当業者にとって明白となり得る他の実施形態を完全に包含すること、したがって、本発明の範囲は限定されないことが理解されよう。

Claims (8)

1. デジタルスライド走査装置であって、前記デジタルスライド走査装置は、
   フォーカシングセンサと、
   イメージングセンサと、
   サンプルを支え、前記フォーカシングセンサおよび前記イメージングセンサに対して前記サンプルを移動させるように構成された走査ステージを制御して、前記フォーカシングセンサから第１の画像データを生成するとともに前記イメージングセンサから第２の画像データを生成するように構成される主要プロセッサと、
   二次プロセッサと、
   を備え、
   前記二次プロセッサは、
   前記フォーカシングセンサからの前記第１の画像データおよび前記イメージングセンサからの前記第２の画像データを受信し、
   （ｉ）前記フォーカシングセンサによって生成された前記第１の画像データの、複数のピクセルを含む複数の走査線を含むフォーカスバッファと、（ｉｉ）前記イメージングセンサによって生成された前記第２の画像データの、複数のピクセルを含む複数の走査線を含む画像バッファと、の各々に対して、
   前記各々のバッファにアクセスすることと、
   前記各々のバッファの前記複数の走査線の各ピクセル列の平均コントラスト値を計算することであって、ピクセル列は、前記各々のバッファの前記複数の走査線のすべてにわたる各々の位置の前記ピクセルのすべてを含むことと、
   前記各々のバッファの平均コントラスト値のセットを生成することであって、前記平均コントラスト値のセットは、前記各々のバッファの前記複数の走査線の前記ピクセル列の各々の平均コントラスト値を含むことと、
   前記フォーカスバッファから生成された平均コントラスト値の第１のセットと、前記画像バッファから生成された平均コントラスト値の第２のセットと、の両方をさらに処理するために前記主要プロセッサに返すことと、
   を行うように構成される、
   デジタルスライド走査装置。
2. 前記主要プロセッサは、前記走査ステージを制御しながら、前記フォーカスバッファと前記画像バッファとの両方を生成する、
   請求項１に記載のデジタルスライド走査装置。
3. 前記二次プロセッサは、前記フォーカスバッファおよび前記画像バッファのそれぞれについて、前記各々のバッファの各ピクセルの平均コントラスト値を計算するように前記主要プロセッサによってさらに制御され、
   前記各々のバッファの前記複数の走査線の各ピクセル列の前記平均コントラスト値は、各ピクセル列の前記ピクセルの前記計算された平均コントラスト値を使用して計算される、
   請求項１に記載のデジタルスライド走査装置。
4. 各ピクセルの前記平均コントラスト値は、そのピクセルおよびそのピクセルを囲む１つ以上のピクセルのコントラスト値を平均することによって計算される、
   請求項３に記載のデジタルスライド走査装置。
5. 前記二次プロセッサは、前記フォーカシングセンサおよび前記イメージングセンサによって生成された前記画像データの前記処理を、前記主要プロセッサが前記走査ステージを制御して前記フォーカシングセンサおよび前記イメージングセンサから新しい画像データを生成することと並行して実行する、
   請求項１に記載のデジタルスライド走査装置。
6. 前記デジタルスライド走査装置は、前記走査ステージの平面に垂直な軸に沿って移動するように構成された対物レンズをさらに備え、
   前記主要プロセッサは、前記フォーカスバッファおよび前記画像バッファの一方または両方から生成される前記平均コントラスト値のセットを使用して、前記対物レンズを自動的にフォーカスする、
   請求項１に記載のデジタルスライド走査装置。
7. 前記主要プロセッサは、前記フォーカスバッファおよび前記画像バッファの一方または両方から生成された前記平均コントラスト値のセットを使用して、前記走査ステージに支えられた前記サンプルのスライド画像全体を生成する、
   請求項１に記載のデジタルスライド走査装置。
8. デジタルスライド走査装置の方法であって、前記デジタルスライド走査装置は、
   フォーカシングセンサと、
   イメージングセンサと、
   サンプルを支え、前記フォーカシングセンサおよび前記イメージングセンサに対して前記サンプルを移動させるように構成された走査ステージと、
   主要プロセッサと、
   二次プロセッサと、
   を含み、
   複数の反復のそれぞれについて、前記主要プロセッサを使用して、前記走査ステージを制御し、前記フォーカシングセンサおよび前記イメージングセンサから画像データを生成し、前記画像データは、前記フォーカシングセンサによって生成された複数の走査線を含むフォーカスバッファと、前記イメージングセンサによって生成された複数の走査線を備える画像バッファと、を含み、各走査線は、前記走査線に各々の位置を有する複数のピクセルを備え、
   前記主要プロセッサの前記走査ステージの制御と並行して、前記二次プロセッサを使用して、
   前記フォーカスバッファと前記画像バッファとの各々に対して、
   前記各々のバッファにアクセスすることと、
   前記各々のバッファの前記複数の走査線の各ピクセル列の平均コントラスト値を計算することであって、ピクセル列は、前記各々のバッファの前記複数の走査線のすべてにわたる各々の位置の前記ピクセルのすべてを含むことと、
   前記各々のバッファの各々の平均コントラスト値のセットを生成することであって、前記平均コントラスト値のセットは、前記各々のバッファの前記複数の走査線の前記ピクセル列の各々の平均コントラスト値を含むことと、
   前記フォーカスバッファから生成された平均コントラスト値の第１のセットと、前記画像バッファから生成された平均コントラスト値の第２のセットと、の両方をさらに処理するために前記主要プロセッサに返すことと、
   を行う方法。

Images