JP4863998B2 - 仮想顕微鏡画像キャプチャにおいてステージを機械的に位置決めする方法および機器 - Google Patents

Description

本発明は一般に、仮想顕微鏡スライドの画像キャプチャに関し、より詳細には、低分解能のｘ，ｙ機械的移動を有する顕微鏡ステージプラットフォームを用い、光学エンコーダ位置フィードバック制御を用いずに、仮想顕微鏡スライドをキャプチャする方法、システム、および機器に関する。

現在、製造業者らは、仮想顕微鏡スライド（virtual microscope slide）を得られるデジタル顕微鏡を製造している。そのような２つのシステムが、イリノイ州Ｌｏｍｂａｒｄの本件特許出願人のＢＬＩＳＳ Ｓｙｓｔｅｍ、およびカリフォルニア州ＶｉｓｔａのＡｐｅｒｉｏ ｔｅｃｈｎｏｌｏｇｉｅｓ社のＳｃａｎｓｃｏｐｅ Ｓｙｓｔｅｍである。デジタル顕微鏡は一般に、顕微鏡を制御するアプリケーションプログラムをもつコンピュータによって操作される。さらに、デジタル顕微鏡によって生成される仮想スライドは、イントラネットサーバが、イントラネットやインターネットなどのネットワークに対してホストすることができる。したがって、これらのデジタル顕微鏡を使用した物理スライド（physical slide）は、ユーザが容易にスキャンすることができ、キャプチャされたスライド画像は、仮想スライドのデータ構造で記録することができ、それらはその後、ネットワーク上の他のユーザが見ることができる。物理スライドは基本的に、仮想顕微鏡スライドとなる。仮想顕微鏡スライドのより詳細な説明については、本発明者らによる特許文献１および２を参照されたい。それらを、参照によりその全体を組み込む。

一般的な光学顕微鏡を通して標本を見ると、視野は、拡大用の対物レンズを使って標本平面内に見える、顕微鏡光学システムの照明された視野絞りの区域である。視野は、接眼レンズに通常は含まれる視覚的視野絞りによって、さらに限定される。より高い倍率の対物レンズを使って倍率を上げると、視野は劇的に狭くなる。デジタルイメージング顕微鏡では、視野は、拡大対物レンズを使って標本平面内に見える、顕微鏡光学システムの照明された視野絞りの区域であり、画像キャプチャ装置の検出区域によってさらに限定される。仮想スライドは、記録の際に使用される光学システムの標本平面内の視野の区域よりも大きな、顕微鏡スライド上の標本の区域をキャプチャするために、多数の部分に分けて高倍率で記録される、記憶顕微鏡画像または画像データ構造である。多数の画像フィールド（image field）は、ステージプラットフォーム上に装着されたスライドを、各画像キャプチャごとに視野内に移動させることによってキャプチャされ、その結果、隣り合った連続画像フィールドを、あたかも連続しているかのように再構築または記憶することができる。この仮想スライドの記憶画像または画像データ構造により、表示画面を通して、記録された区域またはそれらの部分の再構築されたデジタル画像を見ることが可能になる。表示画面を使用して見るときは、記憶画像または画像データ構造のデジタル画像を変更して、標本の異なる部分を見ることができ、あるいはそれを、より高いまたはより低いデジタル倍率に変更して、異なる分解能（resolution）で見ることもできる。標本の拡大画像のキャプチャは、一団となったシームレスな拡大画像を閲覧者に提供するために正確に整合される必要のある、通常は画像タイルまたは画像ストリップと呼ばれる、多数のデータセグメントをキャプチャすることによって行う。先行技術文献で述べられている仮想スライドは、７５２×４８０ピクセルセンサなど、長方形のセンサで、または１×１０２４ピクセルセンサなど、機械的ステージにより１つの軸のスキャン方向に移動される直線センサで、キャプチャされる。どちらの方法も、一時にキャプチャすることのできる画像のサイズに関しては、ステージを移動して後続の画像キャプチャを行うことをしない限り、光学視野のサイズによって制限される。上記の特許文献に開示されているシステムおよび従来のシステムでは、モータ駆動ステージを有するデジタル顕微鏡システムを使用して、画像データをキャプチャし保存して、整合されたセグメントまたはタイルからなる全体的画像のデータ構造をもたらす。これらのシステムは、主要構成要素のうちの１つが、画像整合を保持するのに必要な高精密ステージであり、高価である。著しく安価なデジタル顕微鏡が、ＣＯＯＬＳＣＯＰＥの商標でニコンから販売されている。一般に、ＣＯＯＬＳＣＯＰＥなどのデジタル顕微鏡のモータ駆動ステージの精度は、安価にするために犠牲になっており、仮想スライドキャプチャには使用されていない。しかし、この比較的安価なデジタル顕微鏡の利点のうちの１つが、１２８０×９６０ピクセルの、はるかに大きな５メガピクセル長方形画像センサである。

ステッピングステージプラットフォーム（stepping stage platform）のデジタル分解能とデジタル画像センサの分解能との間の関係は、順次画像キャプチャ（sequential image capture）間でシームレスな整合（seamless alignment）を得ることに関して、決定的に重要である。ＢＬＩＳＳ Ｓｙｓｔｅｍ（例えば、特許文献１、２、および３参照）では、位置精度を高めるために、非常に精密なフィードバック制御および高度に線形な（highly linear）親ねじ（lead screw）を用いて、分解能０．１μｍのステッピングステージを使用することによって、シームレスな画像が得られる。したがって、ステージの分解能が、画像ピクセルのデジタル分解能よりも高く、整合を容易に実現することができる。例えば、２０倍の倍率では、ＢＬＩＳＳ ＳＹＳＴＥＭのデジタル分解能は、０．５μｍである。１ピクセルの長さを進むために５ステージステップかかるので、１ステージステップの誤差は、最終的な画像ではわからない。さらに、そのようなステージは、精度を精密に維持するためのフィードバック制御を有する。残念ながら、そのような高精密ステージは、非常に高価である。例えば、１．０μｍ、１．２５μｍ、または５μｍで、より低コストのステージが入手可能である。しかし、これにより、ステージのステップサイズが画像平面内のピクセル要素のサイズよりも大きいことに関係する、位置誤差がもたらされる。ステージは、通常はピクセルでの画像幅に均一にマッチしない増分量しか移動することができず、画像間での数ピクセルの誤差が生成される。

また、より低コストのステージは、光学エンコードフィードバック位置制御ステージで使用される精密金属材料ほどは線形ではない材料から作られ得る親ねじを有することがある。これにより、非線形性の誤差がさらにもたらされる。曲がった、または湾曲した親ねじにより、ステージプラットフォームのｘ、ｙ平面上のスライドの表面を横切る精密な直線経路に対して、位置における、波状の、またはゆるやかなシフトが生じる。この誤差、および機械的ヒステリシスは通常、高価な光学エンコーダフィードバック制御によって補正される。光学エンコーダフィードバック制御なしでの線形性の偏差（deviation）により、結果の位置再現性において、許容範囲２０μｍのステージ仕様となるおそれがある。これにより、フィードバック制御なしでは、画像間における４０ピクセルもの整合誤差が生じる可能性がある。

本発明は、上記特許の所有者である本件特許出願人によって市販されるシステムに比べて比較的安価な、上記のデジタル顕微鏡システムＣＯＯＬＳＣＯＰＥに関して説明することにする。しかし、本発明で説明される画像タイルの整合は、ＣＯＯＬＳＣＯＰＥシステムだけには限定されず、他のシステムに適用することもできる。したがって、本明細書に記載され、特許請求の範囲に記述される本発明は、本発明の単なる一例として述べられているＣＯＯＬＳＣＯＰＥだけには限定されない。

本願は、２００４年８月１６日出願の米国仮特許出願第６０／６０１，７９４号、および２００４年８月３０日出願の米国仮特許出願第６０／６０５，５８３号の利益を主張するものである。それらを、参照によりその全体を本明細書に組み込む。

米国特許第６，１０１，２６５号 米国特許第６，２７２，２３５号 米国特許第６，３９６，９４１号

本発明によれば、組織標本などの顕微鏡試料から、デジタルスキャン画像からなる仮想顕微鏡スライドを構築するための、先行技術と比べて新規で安価な方法および機器が提供される。

本発明に係る方法及び機器は、従来の高精密ｘ，ｙステージプラットフォームを、著しく低精度で低精密なｘ，ｙステージプラットフォームで置き換えることによって、かつ、より大きな画像センサを使用してフィードバック制御を提供して位置決めの誤りを補償することによって、実現される。そのより大きな画像センサによって、はるかに大きな画像キャプチャが可能になる。画像の中心部分だけを仮想スライドデータ構造タイルとして保持することにより、その中心部分を囲む画像キャプチャのより大きな区域を使用して、画像を整合させてステージ誤りを補償し、かつフィードバック制御信号を提供して、従来の光学エンコードフィードバック制御信号を置き換えることができる。フィードバック制御の目的は、画像整合用のオーバーラップ区域が常に存在するように、キャプチャ画像をより大きな画像センサの中心に維持することである。

本発明の様々な実施形態の説明に進む前に、本発明の様々な実施形態が実施され得るコンピュータおよびネットワーキング環境について、次に説明する。必ずしもその必要はないが、本発明は、コンピュータによって実行されるプログラムによって実装されてもよい。一般に、プログラムは、個々のタスクを実行する、または個々の抽象データ型を実装するルーチン、オブジェクト、コンポーネント、データ構造などを含む。本明細書では「プログラム」という語は、単一のプログラムモジュールを暗示しても、協調動作する多数のプログラムモジュールを暗示してもよい。本明細書では「コンピュータ」という語には、パーソナルコンピュータ（ＰＣ）、ハンドヘルド装置、マルチプロセッサシステム、マイクロプロセッサベースのプログラマブル民生用エレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、マイクロプロセッサまたはマイクロコントローラを有する民生機器、ルータ、ゲートウェイ、ハブなど、１つまたは複数のプログラムを電子的に実行するどんな装置も含まれる。本発明はまた、通信ネットワークを介してリンクされるリモート処理装置によってタスクが実行される、分散コンピューティング環境で使用されてもよい。分散コンピューティング環境では、プログラムは、ローカルの記憶装置に位置しても、リモートの記憶装置に位置してもよい。

図１は、本発明を実装することのできる例示的なコンピュータ環境１０を示す。この一般的なコンピュータ環境１０では、デジタル顕微鏡１２が、直接多数のコンピュータ１４、１６に、またネットワーク２２を介して間接的にその他のコンピュータ１８、２０に、接続される。ネットワークは、イントラネットやインターネットなど、どんなタイプのコンピュータネットワークでもよい。１つのデジタル顕微鏡１２が一例として示されているが、このシステムは、多数のコンピュータまたは単一のコンピュータに接続される多数の顕微鏡を含むことができる。コンピュータ環境１０のトポロジは大きく変わり得るので、このシステムは一例として示されている。コンピュータ環境１０は、ネットワークなしで直接デジタル顕微鏡１２に接続される単一のコンピュータまで縮小することができ、または数百のコンピュータおよびデジタル顕微鏡が相互接続される巨大なコンピューティングネットワークとすることもできる。その結果、当業者なら容易に理解するであろうように、他のコンピュータ環境も企図され、こうした様々なコンピュータ環境が本発明の範囲に含まれる。

図２は、本発明のすべてまたは一部が実装され得る、図１に示されており、３０で全体的に示されている、コンピュータ１４、１６、１８、２０についての全体構成を示す。一例として、その最も基本的な構成では、コンピュータ１４は、少なくとも１つの処理ユニット３２およびメモリ３４を含んでもよい。処理ユニット３２は、本発明の様々な実施形態に従って、命令を実行して、タスクを実行する。そのようなタスクを実行する際に、処理ユニット３２は、コンピュータ１４の他の部分およびコンピュータ１４の外部の装置に電子信号を送信して、何らかの結果を生じさせてもよい。コンピュータ１４の具体的な構成およびタイプに応じて、メモリ３４は、システムメモリ３６、揮発性メモリ３８（例えば、ランダムアクセスメモリ「ＲＡＭ」）、あるいは不揮発性メモリ４０（例えば、読取り専用メモリ「ＲＯＭ」またはフラッシュメモリ）でよい。この最も基本的な構成は、図２に破線４２で示されている。

また、コンピュータ１４は、さらなる機能を有してもよい。例えば、コンピュータ１４は、取外し可能４４および／または取外し不可能４６記憶媒体を含んでもよく、それらには、例えば、磁気ディスクもしくは磁気テープおよび／または光ディスクもしくは光テープが含まれる。こうしたコンピュータ記憶媒体は、コンピュータ実行可能命令、データ構造、プログラムモジュール、またはその他のデータを含めた情報を記憶するための、任意の方法または技術で実装することもできる。コンピュータ記憶媒体には、それだけには限らないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、またはその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、またはその他の磁気記憶装置、あるいは所望の情報を記憶するために使用することができ、コンピュータ１４によってアクセスすることができる他のどんな媒体も含まれる。そのようなどんなコンピュータ記憶媒体も、コンピュータ１４の一部でよい。

また、コンピュータ１４は好ましくは、コンピュータが他のコンピュータおよび／または装置と通信することを可能にする、通信接続４８も含む。通信接続は、通信媒体の一例である。通信媒体は一般に、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波やその他の移送機構などの変調データ信号中の他のデータを実施し、またこの通信媒体には、どんな情報送達媒体も含まれる。限定ではなく例として、「通信媒体」という語には、有線ネットワークや直接有線接続などの有線媒体、ならびに音波、ＲＦ、赤外、およびその他の無線媒体などの無線媒体が含まれる。本明細書では「コンピュータ可読媒体」という語には、コンピュータ記憶媒体も、通信媒体も含まれる。コンピュータ１４はまた、キーボード、マウス、ペン、音声入力装置、タッチ式入力装置などの入力装置５０を有してもよい。また、ディスプレイ５４、スピーカ、プリンタ、または周辺装置などの出力装置５２が含まれてもよい。こうした装置はすべて、当技術分野でよく知られている。

以下の説明では、別段の指示がない限り、本発明について、１つまたは複数のコンピュータによって実行される動作の働きおよび記号表現に関して説明する。したがって、時としてコンピュータ実行されるともいう、そのような働きおよび動作には、構造化形態でデータを表す電気信号のコンピューティング装置の処理ユニットによる操作が含まれることが理解されよう。この操作によってデータが変換され、またはそれがコンピュータのメモリシステム中の場所に維持され、それにより、当業者によってよく理解されるような方式で、コンピューティング装置の動作が再構成され、あるいは変更される。データが維持されるデータ構造は、データのフォーマットによって定義される個々のプロパティを有する、メモリの物理的場所である。しかし、本発明について以上の文脈で説明されているが、当業者なら理解するであろうように、それは限定するものではなく、以下で説明される様々な働きおよび動作もまた、ハードウェアに実装されてよい。

次に図３を参照すると、本発明の一実施形態に従って実装されるデジタル顕微鏡１２の概要図が示されており、全体的に６０で示されている。顕微鏡１２は、平面６８の領域を、ｘ，ｙ軸平面に垂直なｚ軸７２上に位置する対物レンズ７０の視野内に移動するための、ｘ，ｙ軸６４、６６を提供するステージ６２を含む。ステージ６２は、ｘ，ｙ軸平面６８の区域上にスライド７４を受け入れるように構成される。図示されているように、デジタル顕微鏡１２は、標本７５をその上に載せたスライドを、ステージ座標を構成するｘ，ｙ軸６４、６６に沿って移動させて、そうした指定の座標での視野画像をキャプチャすることができる。デジタル顕微鏡１２は、ステージ６２、レンズ７０、またはレンズおよびステージの組合せを、これらのステージ座標に合わせて移動させるように適合させることができる。例えば、対物レンズ７０は、ｚ軸７２上を上および下に移動させるように適合させることができ、ステージ６２は、ｘ，ｙ軸６４、６６上を移動するように適合される。あるいは、ステージ６２または対物レンズ７０は別個に、定義されたステージ座標に合わせて、ｘ軸６４、ｙ軸６６、ｚ軸７２上を移動することもできる。本明細書に記載される本発明の実施形態では、ステージを移動させて、対物レンズの下の標本を視野に入れる。

本発明の一実施形態では、利用可能な装置機能を制御するために、プログラム７６を使用して、適切な命令を作成し、顕微鏡１２に送る。一例として、プログラム７６は、記憶媒体上に永続的または一時的に保存され得るデータ７８を使用するが、指定のステージ座標を用いた命令を顕微鏡１２に送って、そうした指定のステージ座標で１つまたは複数の視野画像をキャプチャしてもよい。プログラム７６はまた、命令を送って、フォーカス、データの送信、またはスライドのイジェクトなど、その他の装置機能を制御してもよい。基本的には、プログラム７６は、デジタル顕微鏡１２の装置機能の、必ずしもすべてではないが、大部分を制御するために実装される。デジタル顕微鏡１２の移動構成に応じて、プログラム７６は、装置の機械部品を制御可能であるべきである。プログラム７６は好ましくは、顕微鏡１２のユーザ制御を可能にするユーザインターフェース８０を含む。

本発明は、プログラム７６が、それだけには限らないが、デジタル顕微鏡１２、その装置に接続された別個のコンピュータ、アプリケーションの機能、またはウェブベースの実行可能機能の中にある実装形態であると企図するので、そのプログラムは、コンピュータまたは周辺装置で使用するためのどんなプログラムでもよいとみなされるべきである。その結果、そのプログラムの実装形態には、ソフトウェア、ファームウェア、アプリケーション内のモジュール、およびアプリケーションプログラムインターフェースが含まれる。こうした様々な実装形態が企図され、当業者によって容易に理解されるので、それらは本発明の範囲に含まれる。

図４は、本発明の一実施形態に従って選択される標本７５の長方形領域８２を示す。最初に、標本７５のマクロビューがキャプチャされ、それによりユーザが、ユーザインターフェースを介して標本の領域を容易に選択することが可能になる。マクロビューと、より高い倍率の画像キャプチャ用の領域を選択する際にそれを使用することとの関係は、本発明者らによる特許文献１に記載されている。本発明では、同様の方法を使用してもよい。時として、異なる光学部品を使用してマクロビューを得るＣＯＯＬＳＣＯＰＥおよびその他のシステムや、異なる光学部品およびセンサを使用する他のシステムの場合と同様に、正確な選択を行うために、マクロビュー画像をより高い倍率の画像と整合させる必要がある。この整合を実現するための本発明の手順では、マクロビュー画像中の小さな視覚的に検出可能なオブジェクトを選択し、マウスポインタでクリックして、その画像ピクセルのｘ，ｙ座標を得る。次に、予備中心合わせ（centration）とともに、取得し画像化する倍率を変更して、２番目に高い分解能の、例えば２０倍での同じ全体視野内の、通常は第２の閲覧ウィンドウ内の画像を得た後、スクロールによって、または光学部品に対する標本の自動移動によって、そのウィンドウ内でオブジェクトを中心合わせし、キャプチャ画像の視野内でそのオブジェクトが中心合わせされた後、２番目に高い倍率のｘ，ｙ座標を記録する。次いで、マクロビューをマウスポインタでナビゲートするときに、マクロビュー画像のｘ，ｙ座標とより高い倍率のビュー画像の間の差異関係をオフセットとして使用して、より高い倍率で異なる点を参照し、より高い倍率での仮想スライドキャプチャ用のマクロビュー上に領域の概略を示してもよい。本発明は、マクロビューの取得だけには限定されないが、スライド全体を単にスキャンする、または画像キャプチャ用の標本領域を自動的に位置決定するシステムで使用してもよい。

キャプチャで要求される倍率に応じて、選択領域が多数のタイル８４に分割され、それが、図４中のそれぞれＤａ０からＤａ４１として示されている。より高い倍率、例えば４０倍の倍率では、選択領域を分割するために、より多くのタイル８４が使用される。同様に、より低い倍率、例えば５倍の倍率では、より少ないタイル８４が使用される。使用される倍率、したがって使用されるタイル８４の数は、標本を見る際の具体的な必要性に依存する。しかし、一般に、より詳細が望まれる場合、選択領域を分割するために、より高い倍率およびより多数のタイル８４が使用される。しかし、より多くのタイルを使用すると厄介な問題が生じ、その場合、このプロセスにはより多くの時間がかかり、より多くの画像記憶容量が必要になる。したがって、諸利点は、具体的な標本の検査、倍率、および分解能の必要性に従って重み付けされ、そのことは、当業者によって容易に理解される。選択領域を分割するために使用されるタイル数によって、各タイルのｘ，ｙ座標が決まり、左上タイルのｘ，ｙ座標が、取得のための開始位置として記憶される。

図５Ａは、本発明の一実施形態による選択領域をキャプチャするためのプロセスの流れ図を示しており、それは全体的に１００で示されている。このプロセスは、スライドの検出によって自動的に、またはこのプロセスを実行するユーザによって手動で開始する（ブロック１０２）。このプロセスを開始する他の実装形態も可能であり、それらは当業者によって容易に理解される。このプロセスが開始された後（ブロック１０２）、装置内でスライドが検出されたかどうかが判定される（ブロック１０４）。検出されていない場合（ブロック１０４）、このプロセスは、スライドが装置に挿入されるようユーザに促し（ブロック１０６）、戻ってスライド検出を再びチェックする（ブロック１０４）。スライドが検出された後（ブロック１０４）、スライドのマクロビューが低分解能画像（ブロック１０８）でキャプチャされ、それがディスプレイ上でユーザに出力される（ブロック１１０）。一実施形態では、スライドのマクロキャプチャは、２２倍の倍率での２つのマクロ画像を含んでおり、整合され、端同士が貼り合わされて、スライド全体のマクロキャプチャが生成される。しかし、単一のフィールド画像のキャプチャなど、他の実装形態も可能である。具体的な実装形態は、装置の能力に依存する。

次に、ユーザは、スライドのマクロビューを使用して、スライドの事前定義領域を選択し（ブロック１１２）、選択領域の選択倍率でのキャプチャを要求することができる（ブロック１１４）。選択領域および選択倍率の情報が与えられると、このプロセスは次いで、選択領域を分割するために適切なタイル数を決定する（ブロック１１６）。選択領域はしたがって、決定されたタイル数で分割される（ブロック１１８）。前述のように、倍率が高いほどタイル数が増加し、その逆も同様である。使用されるべきタイル数は、装置の容量および構成と、選択領域の形状に大きく依存する。選択領域が決定されたタイル数に分割された後（ブロック１１８）、システムのいくつかの変数が初期化され、具体的には、オフセット値および合計オフセット値がゼロに設定される（ブロック１２０）。

第１のタイルが選択され（ブロック１２２）、装置はしたがって、第１のタイルのステージ座標に移動し（ブロック１２４）、第１のタイルの画像をキャプチャする（ブロック１２６）。第１のタイルのキャプチャ画像は、ＩｍａｇｅＮと設定される（ブロック１２８）。次に、次のタイルが存在するかどうかが判定される（ブロック１３０）。存在しない場合（ブロック１３０）、すなわち、すべてのタイルが処理された場合、このプロセスは終了する（ブロック１３２）。しかし、別のタイルが存在する場合（ブロック１３０）、この次のタイルが選択される（ブロック１３４）。このプロセスは、次のタイルに基づいて移動方向を決定する。例えば、次のタイルがｘ軸の右方向（すなわち、正）の場合、移動は、ｘ軸上の右移動となる。同様に、次のタイルがｙ軸の下側（負）の場合、移動は、ｙ軸上の下移動となる。本発明の実施形態では、第１のタイルは好ましくは、第１のタイル画像として選択されるので、右移動、左移動、下移動があることになり、それらはすべて、次のタイルの方向によって決まる。その結果、次のタイルへの方向移動に応じて、ｘまたはｙ（（ｘ，ｙ）とも呼ばれる）オフセット値が計算されることになる。こうした様々な実施形態は、当業者によって容易に理解され、本発明の範囲に含まれる。ｘまたはｙ軸（ｘ，ｙ）上のオフセット値を定義する次のタイルで、（ｘ，ｙ）補正ステップ値が算出され（ブロック１３６）、それにより、図５Ｂに示されているサブルーチンが初期化される。

図５Ｂに移ると、（ｘ，ｙ）補正ステップ値を算出するためのプロセス１３６の流れ図が示されている。新（ｘ，ｙ）合計オフセットは、「現（ｘ，ｙ）合計オフセット＋（ｘ，ｙ）オフセット」に設定される（すなわち、（ｘ，ｙ）合計オフセット＝（ｘ，ｙ）合計オフセット＋（ｘ，ｙ）オフセット）（ブロック１３８）。前述のように、次のタイルが整合の方向を定義するので、その値は、ｘ合計オフセット、ｙ合計オフセット、ｘオフセット、またはｙオフセットとなり、これらの値は互いに異なる。しかし、適用（application）をわかりやすく読みやすくするために、表記法（ｘ，ｙ）を使用して、ｘまたはｙ値を表す。第１の反復（iteration）では、これらの変数はゼロに設定されているので、すべてがゼロとなる。しかし、第１および第２のタイル画像が整合された後は、概して正または負の（ｘ，ｙ）オフセット値である可能性が高く、それは次の反復で処理される。

（ｘ，ｙ）合計オフセット値は次に、（ｘ，ｙ）しきい値と比較される。具体的には、このプロセスは、（ｘ，ｙ）合計オフセット値が（ｘ，ｙ）しきい値よりも大きいかどうかを判定する（ブロック１４０）。大きい場合（ブロック１４０）、（ｘ，ｙ）合計オフセット値は、しきい値を正の側に超えており、それに応じて、（ｘ，ｙ）補正ステップ値は、第１の事前定義値に設定され（ブロック１４２）、それによりこのプロセスは完了する（ブロック１４４）。一方、（ｘ，ｙ）合計オフセット値が（ｘ，ｙ）しきい値以下のとき（ブロック１４０）、このプロセスは次に、（ｘ，ｙ）合計オフセット値が（ｘ，ｙ）しきい値未満かどうかを判定する（ブロック１４６）。（ｘ，ｙ）しきい値未満の場合（ブロック１４６）、すなわち整合が負の側に外れている場合、（ｘ，ｙ）補正ステップは、第２の事前定義値に設定され（ブロック１４８）、それによりやはり、このプロセスは終了する（ブロック１４４）。この好ましい実施形態では、サンプリング部分および変数の（ｘ，ｙ）合計オフセットおよび（ｘ，ｙ）オフセットは、画像のピクセル値に基づいており、したがって、ピクセル数として表される長さ単位（μｍ）である。したがって、（ｘ，ｙ）しきい値は、長さ単位（μｍ）のステージステップに変換される必要があり、それを、図６Ａおよび図６Ｂに表される関係を使用することによって導出して、第１の固定値（ブロック１４２）および第２の固定値（ブロック１４８）を得ることができる。これらの値は、ステージステップであり、画像キャプチャに使用される倍率に応じて異なる。本発明の実施形態では、第１および第２の事前定義値は、一方が正の値で他方が負の値であることを除き、同じ値である。これは、ステージ装置が下回った（例えば、オフセットを補正する正の値）または上回った（例えば、オフセットを補正する負の値）のを補償するものである。しかし、実装設計および／または装置の仕様によっては、他の値または値範囲を使用することもできる。こうした様々な実装形態は、当業者によって容易に理解され、したがって、本発明の範囲に含まれる。（ｘ，ｙ）合計オフセット値が、しきい値より大きくも小さくもない場合、すなわち、オフセットがしきい値の範囲内であり、補償が必要とされない場合、（ｘ，ｙ）補正ステップ値は、ゼロに設定される（ブロック１５０）。この時点で、（ｘ，ｙ）補正ステップ値が得られたので、このプロセスは終了し（ブロック１４４）、図５Ａに戻る。

戻って図５Ａを参照すると、（ｘ，ｙ）ステップは、「事前定義された（ｘ，ｙ）デフォルトステップ＋図５Ｂで得られた（ｘ，ｙ）補正ステップ値」に設定される（ブロック１５２）。このプロセスは、ステージを（ｘ，ｙ）ステップだけ次のタイルに移動し（ブロック１５４）、画像をキャプチャする（ブロック１５６）。キャプチャ画像は次に、ＩｍａｇｅＮ＋１と設定され（ブロック１５８）、ＩｍａｇｅＮおよびＩｍａｇｅＮ＋１が整合される（ブロック１６０）。その整合の結果から、ＩｍａｇｅＮおよびＩｍａｇｅＮ＋１の（ｘ，ｙ）オフセット値が算出され（ブロック１６２）、それにより、図５Ｃに示されているサブルーチンが開始される。

次に図５Ｃに移ると、ＩｍａｇｅＮおよびＩｍａｇｅＮ＋１の（ｘ，ｙ）オフセット値を算出するプロセス１６２の流れ図が示されている。そのプロセスは、まず両画像のサンプリング部分を抽出する（ブロック１６４）。抽出されたサンプリング部分（ブロック１６６）に基づいて、ＩｍａｇｅＮおよびＩｍａｇｅＮ＋１の１組の相関係数が計算され（ブロック１６６）、その１組の相関係数からの最大値が、その最大値に関連する（ｘ，ｙ）オフセットステップとともに保持される（ブロック１６８）。この場合も、オフセット値がｘ値か、それともｙ値かは、次のタイルの方向に基づく。その結果、抽出されたサンプリング部分も、次のタイルが、ｘ軸方向か、それともｙ軸方向かに従う。さらに、本発明の諸実施形態では、抽出された各サンプリング部分がハッシュされ、サンプリング部分の各反復ごとの最大値だけが保持される。この好ましい実施形態では、サンプリング部分は、画像のピクセル値に基づいており、（ｘ，ｙ）オフセットステップは、ピクセル数、すなわち、一方の画像を他方の画像に対して移動させ、したがって、それらの画像をｘまたはｙ方向に正確に整列させるのに必要なピクセル数である。オフセットステップが得られた後、それは（ｘ，ｙ）オフセット値と設定され（ブロック１７２）、このプロセスは終了し（ブロック１７４）、図５Ａのプロセスにループして戻る。本発明の代替実施形態では、相関係数の代わりに、サンプリング部分の画像ピクセル値間の絶対差異の合計を使用してもよい。この場合、最小絶対差異が、サンプリング部分の各反復ごとに、その最小値に関連する（ｘ，ｙ）オフセットステップとともに保持される。

再び図５Ａを参照すると、新（ｘ，ｙ）オフセット値が設定されたことで、ＩｍａｇｅＮ＋１は次に、ＩｍａｇｅＮに設定することができる（ブロック１７６）。このプロセスは、ループして戻り、別の次のタイルが存在するかどうかをチェックする（ブロック１３０）。存在する場合（ブロック１３２）、このプロセスは、次のタイルを選択することで、次のタイルのためにもう１回、反復する（ブロック１３４）。そうでない場合は、このプロセスを通じて、すべてのタイルがスキャンされキャプチャされているので、このプロセスは終了する（ブロック１３２）。発明の諸実施形態では、キャプチャ画像は好ましくは再び整合され、その整合は、タイルがキャプチャされる必要がないことを除き、図５Ａ、５Ｂ、および５Ｃに示されているプロセスと同様である。しかし、オフセット値の計算およびこの計算されたオフセット値に基づく移動は、同じままである。

倍率および画像サイズが与えられた場合、各取得ごとの、ステージを移動させる名目上の（nominal）ｘ、ｙ増分ステップ数を算出することができる。例を挙げると、図６Ａおよび６Ｂはそれぞれ、関連した画像センサおよび低分解能増分ステップをもつ安価なステージのピクセル値を示している。具体的には、図６Ａでは、幅６．７５μｍおよび高さ６．７５μｍの５メガピクセル２／３インチ（１．６９ｃｍ）デジタルセンサのセンサ表面でのピクセルサイズが、１０倍、２０倍、および４０倍の倍率での標本平面内の対応サイズとともに示されている。例えば、図６Ａに示されているように、２０倍の倍率での単一ピクセルの標本平面内のピクセルサイズは、０．３４３７５である。指定のピクセル数の画像タイルに対する指定の倍率での画像サイズ（幅および高さ）は、単一ピクセルのサイズに基づいて容易に計算することができる。

また、図６Ｂは、１．２５μｍ増分位置決めステージプラットフォームでのステージステップ数を示す。正確なステップ数が指定された距離をカバーしない場合、ステージステップは、最も近い整数値に切り捨てられる。例えば、４０倍の倍率での画像幅１０３．４μｍは、１０３．４ステージステップを要することになるが、１０３ステップに切り捨てられ、約２ピクセルの整合問題が生じる。光学エンコーダフィードバック制御のない、より低コストのステージは、整合の誤差が生じる傾向がある。

図７Ａは、各タイルが全１２８０×９６０ピクセルサイズである、５メガピクセル画像センサを使った画像タイル取得の例示的なパターンを示す。標本７５の選択区域２００が、多数のタイル画像２０２に分割されている。この例では、選択区域２００は、タイルＩｍａｇｅ０からＩｍａｇｅ１７に分割される。タイル画像２０２は全体的に、整合時に確実に選択区域２００の画像全体が正しくキャプチャされるようにするために、相互間に大きなオーバーラップを有する。

図７Ｂおよび７Ｃは、図７Ａに示されているＩｍａｇｅ０、Ｉｍａｇｅ１、Ｉｍａｇｅ２、およびＩｍａｇｅ１１の抽出された部分の例示的な整合を示す。各画像の中心がタイルとして選ばれる場合、画像のオーバーラップ領域はしたがって、（ｘ，ｙ）オフセット補正後の名目的に中心合わせされた部分の後続の整合および抽出のために、中心領域の外部で利用可能である。図７Ｂに示されているように、Ｉｍａｇｅ０およびＩｍａｇｅ１の中心Ｄａ０およびＤａ１は、ｘ方向でオーバーラップし、タイルＩｍａｇｅ１１の中心Ｄａ１１は、ギャップが空き、Ｉｍａｇｅ０およびＩｍａｇｅ１と正しく整合されない。これは、精密なステージの動きを仮定して、正確な中心が位置決定されるという仮定に基づいている。ステージの動きは不正確なので、中心部分をタイル化仮想スライドキャプチャとして抽出することにより、仮想スライド画像の不整合および不連続が生じることになる。（ｘ，ｙ）オフセットを使用した整合後、図７Ｃに示されているように、Ｉｍａｇｅ０およびＩｍａｇｅ１１のＤａ０およびＤａ１１の中心は、大部分オーバーラップするＩｍａｇｅ０、Ｉｍａｇｅ１、およびＩｍａｇｅ１１の異なる部分から抽出されるので、オーバーラップ領域なしで整合される。スキャンパターンＹ誤差は、行全体に起きる傾向があり、短い距離では不規則な傾向であるので、より長い距離では、スキャンパターンＹ誤差は、うねる周期的パターンを示す。ステージの動きのオーバーシュートのためにオーバーラップしていないギャップがある場合は、画像を相互相関させることができないので、非常に大きくオーバーラップする初期画像の中心部分の抽出は、本発明の重要な特徴である。大きくオーバーラップする画像では、相関後、ステージの動きのアンダーシュートまたはオーバーシュートのためにオーバーラップまたはギャップが存在する場合、タイルは単に、画像の異なる領域から取られる。

本発明の一実施形態では、この手順では、オーバーラップ領域をもつ２つの画像をマッチさせ、それら２つの画像は、アルファ画像およびデルタ画像と呼ばれる。この手順は、アルファ画像領域を固定し、デルタ画像領域を、ラスタスキャンパターン（raster scan pattern）でアルファ画像領域上を移動させ、パラメータを算出する、例えばデルタ領域をアルファ領域上および固定検索範囲上をｘ，ｙ方向に反復させながら各ピクセルを減算することによって、それらの領域間の最小絶対差異を算出する、と概念化される。したがって、デルタ領域インデックスは、同じままとなり、アルファ領域インデックスは、異なる領域を固定のアルファ領域と比較するために、検索手順を通じて変化する。アルファ画像領域およびデルタ画像領域は、２つの画像を位置決めする際に誤差がなかった場合、同一であるべき領域を定義するｘ，ｙ開始および終了座標によって定義される。この出力は、確定された誤配置画像のＸ，Ｙオフセットである。それらの領域は、検索範囲によってアルファ画像領域上の座標を移動しても、アルファ画像領域上の比較される領域が、より大きな元の画像から外れないように選ばれるべきである。

図８Ａは、図７Ａに示されている第１のタイルＩｍａｇｅ０ ２１０の例示的な寸法（dimension）を示す。顕微鏡１２は、そのステージ座標を使用して、ｘ方向７５２ピクセルおよびｙ方向４８０ピクセルに関連する名目的ステージステップだけ移動させて、より大きな１２８０×９６０画像をそれぞれキャプチャする。図示されているように、タイルＩｍａｇｅ０ ２１０は、中心タイル区域Ｄａ０ ２１２、およびその中心タイル区域に隣接する追加のキャプチャ区域２１４を含む。キャプチャされるより大きな画像２１０の区域全体は、ｘ軸方向１２８０ピクセルおよびｙ軸方向９６０ピクセルの寸法である。しかし、中心区域２１２は、ｘ軸上７５２ピクセルおよびｙ軸上４８０ピクセルの寸法であり、残りの区域は、ｘ，ｙ軸においてタイルの両側でそれぞれ２６４および２４０ピクセルの寸法である追加のキャプチャ区域２１４からなる。もちろん、示されているこれらの寸法は、顕微鏡１２のキャプチャされる分解能によって異なるので、単に例示的なものである。他の代替寸法および比も企図されるが、それらも本発明の範囲内である。顕微鏡１２によってキャプチャされる、より大きな画像は、タイル、およびそのタイルに隣接する追加の区域を含む。

図８Ｂは、図８Ａに示されているタイルＩｍａｇｅ０ ２１０のｘ軸上右側でキャプチャされる第２のタイルＩｍａｇｅ１ ２２０の、例示的な寸法を示す。この実施形態では、第１のタイルＩｍａｇｅ０ ２１０がキャプチャされた後、顕微鏡１２は、第２のタイル画像２２０をキャプチャするために、事前定義ステップに従って右に移動するよう指令される。その第２のタイル画像２２０は、その対応する第２の中心区域Ｄａ１ ２２２、およびそのタイル区域に隣接する第２の追加のキャプチャ区域２２４を含む。この例では、事前定義ステップは、第１のタイルＩｍａｇｅ０ ２１０の右への７５２ピクセルの距離で定義される。具体的には、確実にキャプチャされたタイルが分割されたタイルよりも大きくなるように、第１のタイルＩｍａｇｅ０ ２１０の第１の中心区域Ｄａ０ ２１２は、第２のタイルＩｍａｇｅ１ ２２０の第２の中心区域Ｄａ１ ２２２にオーバーラップする。オーバーラップ区域により、タイルの区域全体がキャプチャされ、その結果、顕微鏡１２の不正確な移動のために何もタイルの区域が失われなくなる。さらに、これらの追加の区域は、精度を得るために整合プロセス中も有用である。この場合、使用される相関区域は、２つのより大きな画像間のオーバーラップ区域２２６である。ｘ方向では、これは、右の画像２１１の（上部に図示される）第１３２ピクセルで開始し、第３９５ピクセルで終了する。同様に、左の画像２１０のオーバーラップ区域は、（下部に図示される）第８８４ピクセル〜第１１４７ピクセルである。ｘ軸上でＩｍａｇｅ０の右に位置する残りのタイルＩｍａｇｅ２からＩｍａｇｅ５も同様に、ｘ方向でのオフセット値に従ってオーバーラップされることになる。

図８Ｃは、タイルＩｍａｇｅ５ ２３０、およびタイルＩｍａｇｅ５から下に移動してキャプチャされるタイルＩｍａｇｅ６ ２３２の例示的な寸法を示す。この例では、ｘ軸上で右に移動することによってすべてのタイル画像がキャプチャされた後、顕微鏡１２は、次のタイル画像（例えば、Ｉｍａｇｅ６ ２３２）をキャプチャするために、ｘ軸の右側でキャプチャされた最後のタイル画像（例えば、Ｉｍａｇｅ５ ２３０）から、ｙ軸上で下に移動するよう指令される。この例では、顕微鏡１２は、同様に中心区域Ｄａ５ ２３４および追加のキャプチャ区域２３６を含むタイルＩｍａｇｅ５ ２３０から下方に、約４８０ピクセル相当ステージステップだけ移動して、その対応する中心区域Ｄａ６ ２３８および追加のキャプチャ区域２４０も含むタイルＩｍａｇｅ６ １２０をキャプチャする。２つのより大きな画像間に、オーバーラップ区域が作成される。この場合も、上側および下側の２つのタイル画像がキャプチャされ、オーバーラップ区域が確実に、顕微鏡１２の不正確な移動のために何もタイルの区域が失われないようになる。さらに、タイルＩｍａｇｅ５およびＩｍａｇｅ６に対してｙ方向でのオフセット値も計算される。このオフセット値を計算するために、区域２４２が使用される。これは、（左部に示される）タイルＩｍａｇｅ５ ２３０の第４８０ピクセル〜第７１９ピクセルであり、タイルＩｍａｇｅ６ ２３２のゼロ（０）ピクセル〜第２３９ピクセルである。図示されたオーバーラップ区域は、距離約２３９ピクセルの寸法で、これは、タイルＩｍａｇｅ６ ２３２の追加のキャプチャ区域２４０のほぼ上部である。この実施形態では、タイルＩｍａｇｅ６の後の次のタイル画像がｘ方向の左側であるので、顕微鏡はしたがって、次のタイル画像、すなわちタイルＩｍａｇｅ７をキャプチャするために、ｘ軸の左に移動される。

図８Ｄは、タイルＩｍａｇｅ６ ２３２、およびタイルＩｍａｇｅ６から左に移動してキャプチャされるタイルＩｍａｇｅ７ ２５０の例示的な寸法を示す。この例では、顕微鏡１２は、次のタイル画像（例えば、Ｉｍａｇｅ７ ２５０）をキャプチャするために、ｙ軸上でキャプチャされた最後のタイル画像（例えば、Ｉｍａｇｅ６ ２３２）から、ｘ軸上で左に移動するよう指令される。この場合、タイルＩｍａｇｅ７は、ｙ軸上で下移動の第１のタイル画像、および同時にｘ軸上で左移動の第１のタイル画像である。この例では、キャプチャタイルＩｍａｇｅ７をキャプチャするために、顕微鏡１２は、タイルＩｍａｇｅ６のステージ座標から、ｘ方向での前のオフセット値に基づくステージステップ距離だけ、ｘ軸の左に移動する。タイルＩｍａｇｅ７は同様に、中心区域２５２および追加のキャプチャ区域２５４を含む。ｘオフセット値を計算するために使用されるオーバーラップ区域２５６は、（上部に示される）第１のタイル画像の第１３２ピクセル〜第３９５ピクセルである。ｘ軸上のＩｍａｇｅ７の左に位置する、残りの画像Ｉｍａｇｅ８からＩｍａｇｅ１１は同様に、このプロセスを通じて動的に計算されるオフセット値に従ってオーバーラップされることになる。Ｉｍａｇｅ１１の完了後、このプロセスは、図８Ｃに示されているように、タイルＩｍａｇｅ１２をキャプチャするために、下に移動する（例えば、ｙ軸での下移動）。その後、タイルＩｍａｇｅ１３からＩｍａｇｅ１７が、図８Ｂに示されているように、ｘ軸上の右方向に沿ってキャプチャされ、これにより、選択画像に対するキャプチャプロセスが完了する。図８Ａ、８Ｂ、８Ｃ、および８Ｄは、述べられているように、具体例として示されているが、寸法、各タイルに使用されるフィールド画像数、事前定義の距離、および移動の方向は変更することができる。例えば、顕微鏡１２は、ｘ軸（左右）およびｙ軸（上下）のいずれに沿っても移動することができる。こうしたすべてのパラメータは、速度または精度の所望の利点に従って設定することができる。その結果、こうした多数の代替実装形態が、本発明の範囲に含まれる。

図８Ａ、８Ｂ、８Ｃ、および８Ｄの上記の説明では、最終的なタイル抽出に必要とされる画像の整合の計算を詳細に示している。図５Ａ、５Ｂ、および５Ｃに関して示され述べられている別の関連した問題は、固定のステップサイズでのステージの移動に伴う位置決めの誤差がそれほど大きくならないようにさせ、相関後、より小さなタイルを切除するのに十分な領域が大きな画像中に残されないようにすることである。これは、本発明の他方の態様により、図５Ａ、５Ｂ、および５Ｃに示されているように、画像の相互相関の結果に基づくフィードバック制御によってステップサイズを変えることで、解決される。上記にさらに詳しく説明されているように、これは、中心タイル抽出用に理想的ｘ，ｙ設定点を選び、整合における前の誤差に基づいて次のステップのステップサイズ変えることによって、実現された。画像整合の周囲の区域が比較的大きい場合、これにより、後続の画像は、その画像にタイルが含まれるように位置決めされる傾向になる。したがって、図８Ａ、８Ｂ、８Ｃ、および８Ｄに示されている領域間の大きな画像オーバーラップおよび相関は、どちらの目的にも使用される。この実施形態では、第１の画像Ｉｍａｇｅ０、Ｉｍａｇｅ１などが、フィードバック情報を使用して十分にオーバーラップされて保存された後、第１の画像と同一だが保存画像上の第２の画像が実装され、その場合、保存された画像と相関関係があり、最終的なＤａ０、Ｄａ１などの抽出タイルが、抽出され、仮想スライドデータ構造として保存される。元の大きな画像はその後、破棄される。

図９Ａは、より具体的な本発明の実施形態による、ステージステップ１．２５μｍを使って画像をキャプチャするための抽出プロセスの流れ図を示しており、それは全体的に３００で示されている。このプロセスはまず、変数を初期化する（ブロック３０２）。具体的には、Ｘｏｆｆｓｅｔ値、Ｙｏｆｆｓｅｔ値、ＳｕｍＸｏｆｆｓｅｔ値、およびＳｕｍＹｏｆｆｓｅｔ値が、すべてゼロに設定される。さらに、初期化中、第１のタイル画像がキャプチャされる（ブロック３０２）。この実施形態では、第１のタイル画像の次のタイル画像は好ましくは、右側である（ブロック３０４）。その結果、このプロセスはまず、右移動を生じさせるｘ軸の右方向に沿ったタイルが存在するかどうかを判定する（ブロック３０６）。存在する場合、Ｘｃｏｒｒｅｃｔｉｏｎ値が算出され、それは図９Ｂに示されている。

図９Ｂに移ると、Ｘｃｏｒｒｅｃｔｉｏｎ値を算出するための流れ図が示されており、全体的に３１０で示されている。このプロセスは開始すると（ブロック３１２）、ＳｕｍＸｏｆｆｓｅｔを、ＳｕｍＸｏｆｆｓｅｔ＋Ｘｏｆｆｓｅｔに設定する（ブロック３１４）。図９Ａでの初期化より、このプロセスの第１の反復では、ＳｕｍＸｏｆｆｓｅｔ＝０＋０となる。次に、ＳｕｍＸｏｆｆｓｅｔがＸｔｈｒｅｓｈｏｌｄ値３よりも大きいかどうかが判定される（ブロック３１６）。ＳｕｍＸｏｆｆｓｅｔがＸｔｈｒｅｓｈｏｌｄ値３よりも大きい場合（ブロック３１６）、すなわち整合画像のオフセット値がｘ軸の正の方向（例えば、右側）で補償される必要のある場合、Ｘｃｏｒｒｅｃｔｉｏｎが、値４に設定され（ブロック３１８）、これにより、ステージは、デフォルトステップから４ピクセルステップだけ上に移動することになる。この特定の実施形態では、Ｘｔｈｒｅｓｈｏｌｄ値３およびＸｃｏｒｒｅｃｔｉｏｎ値４は、１．２５μｍステージステップを用いる安価なステージに使用される。しかし、ステージ装置の仕様によっては、他のＸｔｈｒｅｓｈｏｌｄ値およびＸｃｏｒｒｅｃｔｉｏｎ値を使用することもでき、それは当業者によって容易に理解される。Ｘｃｏｒｒｅｃｔｉｏｎ値が設定された後、このプロセスは終了し、図９Ａに戻る（ブロック３２０）。

しかし、ＳｕｍＸｏｆｆｓｅｔがＸｔｈｒｅｓｈｏｌｄ値以下の場合（ブロック３１６）、このプロセスは、引き続きチェックし、ＳｕｍＸｏｆｆｓｅｔが負のＸｔｈｒｅｓｈｏｌｄ値−３より小さいかどうかを判定する（ブロック３２２）。−３より小さい場合、整合画像のオフセット値は、ｘ軸の負の方向（例えば、左側）で補償される必要がある。Ｘｃｏｒｒｅｃｔｉｏｎが−４に設定され（ブロック３２４）、それによりこの場合も、このプロセスは、Ｘｃｏｒｒｅｃｔｉｏｎ値が得られたので終了する（ブロック３２０）。そうでない場合、すなわちＳｕｍＸｏｆｆｓｅｔがＸｔｈｒｅｓｈｏｌｄ値−３より小さくないとき（ブロック３２２）、Ｘｃｏｒｒｅｃｔｉｏｎは、補正が必要とされないのでゼロに設定される（ブロック３２６）。このプロセスはこの場合も、Ｘｃｏｒｒｅｃｔｉｏｎ値が得られるので完了し、図９Ａに戻る。再び、Ｘｃｏｒｒｅｃｔｉｏｎ値は左側であり、ステージ装置の仕様に応じて、多数の異なる値を負のＸｔｈｒｅｓｈｏｌｄおよびＸｃｏｒｒｅｃｔｉｏｎに対して使用することができる。これらの代替実施形態は、当業者によって容易に理解され、したがって、それらは本発明の範囲内である。

図９Ａに戻ると、Ｘｃｏｒｒｅｃｔｉｏｎ値が算出された後、Ｘｓｔｅｐｓ値が、Ｘｄｅｆａｕｌｔ−Ｘｃｏｒｒｅｃｔｉｏｎに設定される（ブロック３０８）。ステージは、このＸｓｔｅｐｓに基づいて右に移動し（ブロック３０８）、画像をキャプチャする（ブロック３２８）。キャプチャ画像は次に、前の画像のアルファ画像との右整合のために、デルタ画像に設定される（ブロック３２８）。したがって、ＸｏｆｆＳｅｔは、デルタとアルファ画像の間の右整合の結果に基づいて算出される（ブロック３２８）。このプロセスは、ループして戻り、まだ右移動があるかどうかをチェックする（ブロック３０６）。タイルがｘ軸上の右方向に残っている場合（ブロック３０６）、このプロセスは、戻って、新しいＸｃｏｒｒｅｃｔｉｏｎを新しいＸｏｆｆｓｅｔ値で算出する（ブロック３０６）。

そうでない場合、すなわち、もう右移動がないとき（ブロック３０６）、このプロセスは、次のタイルに対する下移動があるかどうかを判定する（ブロック３３０）。言い換えれば、このプロセスは、ｘ軸の右方向でキャプチャされた最後のタイルから下方の次のタイルが存在するかどうかをチェックする。存在しない場合、すなわちすべてのタイルが処理された場合、このプロセスは終了する（ブロック３３２）。しかし、下移動を必要とするタイルがまだ存在する場合、Ｙｃｏｒｒｅｃｔｉｏｎ値が算出され（ブロック３３４）、それは、図９Ｃにサブルーチンとして示されている。

次に図９Ｃに移ると、Ｙｃｏｒｒｅｃｔｉｏｎ値を算出するための流れ図が示されており、全体的に３４０で示されている。図９Ｂに示されているＸｃｏｒｒｅｃｔｉｏｎプロセスと同様に、このプロセスは開始すると（ブロック３４２）、ＳｕｍＹｏｆｆｓｅｔをＳｕｍＹｏｆｆｓｅｔ＋Ｙｏｆｆｓｅｔに設定する（ブロック３４４）。これらの変数は図９Ａで初期化されているので、このプロセスの第１の反復もまた、ＳｕｍＹｏｆｆｓｅｔ＝０＋０となる。しかし、その後の反復では、画像の整合中にわかった何らかのオフセットによるＳｕｍＹｏｆｆｓｅｔ値を有することになる。このプロセスは次に、ＳｕｍＹｏｆｆｓｅｔがＹｔｈｒｅｓｈｏｌｄ値３よりも大きいかどうかを判定する（ブロック３４６）。ＳｕｍＹｏｆｆｓｅｔがＹｔｈｒｅｓｈｏｌｄ値３よりも大きい場合（ブロック３４６）、すなわち、整合画像のオフセット値がｙ軸の正の方向（例えば、上方）で補償される必要がある場合、Ｙｃｏｒｒｅｃｔｉｏｎは、値４に設定され（ブロック３４８）、それによりステージは、デフォルトステップから４ピクセルステップだけ下に移動する。１．２５μｍステージステップをもつ安価なステージを用いるこの特定の実施形態によれば、Ｙｔｈｒｅｓｈｏｌｄ値３およびＹｃｏｒｒｅｃｔｉｏｎ値４が使用される。しかし、図９Ｂに示されているＸｃｏｒｒｅｃｔｉｏｎプロセスと同様に、Ｙｔｈｒｅｓｈｏｌｄ値およびＹｃｏｒｒｅｃｔｉｏｎ値は、ステージ装置の仕様によっては異なってもよく、そのことは、当業者によって容易に理解される。Ｙｃｏｒｒｅｃｔｉｏｎ値が設定された後、このプロセスは終了し、図９Ａに戻る（ブロック３５０）。

他方、ＳｕｍＹｏｆｆｓｅｔが、Ｙｔｈｒｅｓｈｏｌｄ値以下の場合（ブロック３４６）、このプロセスは引き続き、ＳｕｍＹｏｆｆｓｅｔが負のＹｔｈｒｅｓｈｏｌｄ値−３より小さいかどうかを判定する（ブロック３５２）。−３より小さい場合、整合画像のオフセット値は、ｙ軸の負の方向（例えば、下方）で補償される必要がある。Ｙｃｏｒｒｅｃｔｉｏｎはしたがって、ｙ軸上で４ステップ下方に補償するために、−４に設定される（ブロック３５４）。このプロセスはこの場合も、Ｙｃｏｒｒｅｃｔｉｏｎ値が得られたので、この時点で終了する（ブロック３５０）。そうでない場合、ＳｕｍＹｏｆｆｓｅｔが負のＹｔｈｒｅｓｈｏｌｄ値−３より小さくないとき（ブロック３５２）、Ｙｃｏｒｒｅｃｔｉｏｎは、補正が必要とされないのでゼロに設定される（ブロック３５６）。このプロセスはこの場合も、Ｙｃｏｒｒｅｃｔｉｏｎ値が得られるので完了し（ブロック３５０）、それにより図９Ａに戻る。この場合も、ステージ装置の仕様に応じて、多数の異なる値をＹｔｈｒｅｓｈｏｌｄおよびＹｃｏｒｒｅｃｔｉｏｎ値に使用することができる。これらの代替実施形態は、当業者によって容易に理解され、したがってそれらは、本発明の範囲に含まれる。

再び図９Ａを参照すると、「Ｙｓｔｅｐｓ＝Ｙｄｅｆａｕｌｔ値−算出されたＹｃｏｒｒｅｃｔｉｏｎ値」が算出される（ブロック３３４）。ステージは、Ｙｄｅｆａｕｌｔ値およびＹｃｏｒｒｅｃｔｉｏｎ値から得られたＹｓｔｅｐｓだけ下に移動し（ブロック３３４）、画像をキャプチャする（ブロック３６０）。キャプチャ画像はデルタ画像と設定され（ブロック３６０）、このキャプチャ画像の前の画像は、アルファ画像と設定される（ブロック３３４）。アルファ画像およびデルタ画像の下整合が行われ、それにより、Ｙｏｆｆｓｅｔ値の算出が可能になる（ブロック３６０）。

Ｙ方向の下整合が行われた後、ｘ軸の左側のタイルが次に、キャプチャされる（ブロック３６２）。このプロセスはしたがって、前にキャプチャされたタイルの左に位置するタイルをキャプチャするために、ステージが左に移動すべきかどうかを判定する（ブロック３６４）。左に移動すべき場合（ブロック３６４）、左移動に対するＸｃｏｒｒｅｃｔｉｏｎを算出するために、図９Ｂに示されているサブルーチンが再び実行される（ブロック３６６）。Ｘｃｏｒｒｅｃｔｉｏｎを用いて、Ｘｓｔｅｐｓ値が再び算出され、それは、Ｘｄｅｆａｕｌｔ−Ｘｃｏｒｒｅｃｔｉｏｎ値に基づく（ブロック３６６）。ステージは、Ｘｓｔｅｐｓだけ左に移動し（ブロック３６６）、画像をキャプチャする（ブロック３６８）。キャプチャ画像は、デルタ画像と設定され（ブロック３６８）、一方、前のキャプチャ画像は、アルファ画像となる（ブロック３６６）。アルファおよびデルタ画像の左整合が行われ、その左整合に基づいて別のＸｏｆｆｓｅｔ値が算出される（ブロック３６８）。このプロセスは、ループして左移動に戻り（ブロック３６２）、引き続き別の左移動を要するようなタイルをチェックする（ブロック３６４）。

もう左移動は必要とされない場合（ブロック３６４）、このプロセスは、別の下移動プロセスに進み、それは、下移動があるかどうかをチェックする（ブロック３７０）。ｙ軸の下方にまだタイルが存在する場合、図９Ｃに示されているサブルーチンを用いて、Ｙｃｏｒｒｅｃｔｉｏｎ値が再び算出される（ブロック３７２）。その後、ＹｄｅｆａｕｌｔおよびＹｃｏｒｒｅｃｔｉｏｎを用いて、Ｙｓｔｅｐｓが算出される（ブロック３７２）。ステージは、ｙ軸上で下に移動し（ブロック３７２）、画像をキャプチャし（ブロック３７４）、その画像は、デルタ画像と設定される。この場合も、前のキャプチャ画像のアルファ画像が、ｙ軸上でデルタ画像と整合され、下整合の結果から別のＹｏｆｆｓｅｔ値が算出される（ブロック３７４）。このプロセスは、右移動にループして戻り（ブロック３０４）、次のタイルに対する右移動が存在するかどうかを判定する（ブロック３０６）。下移動が必要とされない場合（ブロック３７０）、すべてのタイルが処理され、キャプチャされたので、このプロセスは終了する（ブロック３３２）。

図９Ｄは、一連の、キャプチャされ保存されたより大きな画像Ｉｍａｇｅ０、Ｉｍａｇｅ１などからの、最終的な、名目的に中心合わせされたＤａ０、Ｄａ１などのタイルをキャプチャするための、抽出プロセスの流れ図を示す。すべての画像で、全体的に３８０で示される別の整合プロセスが、図９Ａ、９Ｂ、および９Ｃからのこれらのキャプチャ画像を用いて実行される。このプロセスは、Ｉｍａｇｅ０から開始する（ブロック３８２）。Ｉｍａｇｅ０の中心Ｄａ０タイルが抽出され、仮想スライドデータ構造に保存される。Ｉｍａｇｅ０ ｘ，ｙ座標での抽出されたタイルの座標は、図８Ａに示されているようにｘ＝２６４、ｙ＝２４０で開始する。抽出されたタイルのｘ，ｙタイルサイズは、７５２×４８０である。現画像の次画像へと右に移動して（ブロック３８４）、現タイルの右隣が存在するかどうかが判定される（ブロック３８６）。存在する場合、現画像は、アルファと設定され、現タイルの右隣は、デルタと設定され、アルファ画像とデルタ画像の間の右整合が行われる（ブロック３８８）。右整合後、ＩｍａｇｅＮ＋１の中心ＤａＮ＋１タイルが抽出され、仮想スライドデータ構造中に保存される。ＩｍａｇｅＮ ｘ，ｙ座標での抽出されたタイルの座標は、ｘ＝２６４＋ｘオフセット、およびｙ＝２４０＋ｙオフセットで開始する。抽出されたタイルのｘ，ｙタイルサイズは、７５２×４８０である。デルタ画像ＩｍａｇｅＮ＋１は、現アルファ画像ＩｍａｇｅＮとなる（ブロック３８８）。このプロセスは、ループして、「右」（ブロック３８４）に戻り、現画像の右隣をチェックする（ブロック３８６）。別の右隣画像が存在する場合（ブロック３８６）、プロセスは、右隣画像の整合を続行し（ブロック３８８）、最後の抽出されたタイル位置からの、ｘ，ｙでのその開始オフセットによって補正されたタイルを抽出する。もう右隣画像が存在しない場合（ブロック３８６）、下隣がチェックされる（ブロック３９０）。下隣が存在しない場合（ブロック３９０）、すべての画像が処理されているはずであるので、このプロセスは終了する（ブロック３９２）。

他方、下隣が存在する場合、現画像はアルファ画像と設定され、下隣画像はデルタ画像と設定され、下整合が行われ（ブロック３９４）、このプロセスは、最後の抽出されたタイル位置からの、ｘ，ｙでのその開始オフセットによって補正されたタイルを抽出する。このプロセスは、左に移動し（ブロック３９６）、左隣画像が存在するかどうかを判定する（ブロック３９８）。存在する場合、左整合が行われるために、現画像はアルファ画像に設定され、左隣画像はデルタ画像に設定され（ブロック４００）、このプロセスは、最後の抽出されたタイル位置からの、ｘ，ｙでのその開始オフセットによって補正されたタイルを抽出する。このプロセスは、別の左移動に戻る（ブロック３９６）。この反復は、左隣がもう存在しなくなるまで行われ（ブロック３９８）、その後、下隣画像が存在するかどうかが判定される（ブロック４０２）。下隣画像が存在する場合（ブロック４０２）、現画像および下隣がそれぞれアルファおよびデルタと設定され、両画像に対して下整合が行われ（ブロック４０４）、このプロセスは、最後の抽出されたタイル位置からの、ｘ，ｙでのその開始オフセットによって補正されたタイルを抽出する。この時点で、このプロセスは、ループして右移動（ブロック３８４）に戻り、それにより、右隣が存在するかどうかがチェックされる（ブロック３８６）。他方、下隣が存在しない場合（ブロック４０２）、このプロセスは終了する（ブロック３９２）。

本発明の特定の実施形態が示され説明されているが、多くの変更形態および改変形態が当業者には想到され、本発明は、添付の特許請求の範囲において、本発明の真の趣旨および範囲に従ったそうしたすべての変更形態および改変形態を包含するものであることが理解されよう。

本発明を実装することのできる例示的なコンピュータ環境１０を示す図である。 本発明のすべてまたは一部が実装され得る、図１に示されるコンピュータについての全体構成を示す図である。 本発明の一実施形態に従って実装されるデジタル顕微鏡１２の概要図である。 本発明の一実施形態によるスライドの選択区域の長方形領域を示す図である。 本発明の一実施形態によるプロセスの流れ図である。 本発明の一実施形態によるプロセスの流れ図である。 本発明の一実施形態によるプロセスの流れ図である。 画像センサの互いに異なるパラメータの例示的な値を示す表である。 ステージ装置の互いに異なるパラメータの例示的な値を示す表である。 本発明の一実施形態による複数のタイル画像の例示的な図である。 本発明の一実施形態による複数のタイル画像の整合の例示的な図である。 本発明の一実施形態による複数のタイル画像の整合の例示的な図である。 図７Ａに示されるタイル画像の整合移動の例示的なピクセル値を示す図である。 図７Ａに示されるタイル画像の整合移動の例示的なピクセル値を示す図である。 図７Ａに示されるタイル画像の整合移動の例示的なピクセル値を示す図である。 図７Ａに示されるタイル画像の整合移動の例示的なピクセル値を示す図である。 本発明の一実施形態によるプロセスを示す流れ図である。 本発明の一実施形態によるプロセスを示す流れ図である。 本発明の一実施形態によるプロセスを示す流れ図である。 本発明の一実施形態によるプロセスを示す流れ図である。

Claims (16)

1. 整列させた複数の画像のタイルから標本の拡大合成画像を作成する方法であって、
   標本を対物レンズに対して所定の距離だけ移動させ、所定のサイズを有し、第１のキャプチャ区域によって周囲を囲まれた第１の中心区域を有する第１の拡大画像についてのデータをキャプチャすること、
   前記標本を前記対物レンズに対して前記所定の距離だけ移動させ、前記所定のサイズを有し、第２のキャプチャ区域によって周囲を囲まれた第２の中心区域を有し、前記第１のキャプチャ区域と前記第２のキャプチャ区域は少なくとも部分的にオーバーラップする、第２の拡大画像についてのデータをキャプチャすること、
   前記第１および第２のキャプチャ区域のオーバーラップした部分についてのデータの比較に基づいて、補正オフセットを算出すること、および、
   前記所定のサイズを有し、第３のキャプチャ区域によって周囲を囲まれた第３の中心区域を有する第３の拡大画像をキャプチャするために、前記標本を前記対物レンズに対して、前記所定の距離から前記補正オフセットだけ修正した距離だけ移動させること
   を含むことを特徴とする方法。
2. 前記第１、第２、および第３の中心区域についてのデータを抽出して、前記拡大合成画像のための第１、第２、および第３の前記タイルを形成することをさらに含むことを特徴とする請求項１に記載の方法。
3. 前記補正オフセットを算出することは、前記第１および第２のキャプチャ区域のオーバーラップした部分のそれぞれの画像の前記データのピクセル値を評価することを含むことを特徴とする請求項１に記載の方法。
4. 顕微鏡ステージを、前記対物レンズに対して移動させるための親ねじを用いた駆動装置を提供すること、および、
   算出された前記補正オフセットをフィードバックとして使用して、前記顕微鏡ステージが前記親ねじを用いた駆動装置によって駆動される前記所定の距離を調整すること
   をさらに含むことを特徴とする請求項１に記載の方法。
5. 移動のＸ方向に、前記移動させることおよび前記算出することを実行すること、ならびに、
   Ｙ方向に、前記移動させることおよび前記算出することを実行すること
   をさらに含むことを特徴とする請求項１に記載の方法。
6. ステージおよび対物レンズおよび前記ステージを前記対物レンズに対して移動させるための駆動装置を有する顕微鏡を使用して、整列させた複数の画像のタイルから形成された標本のタイル化された合成拡大画像を作成する方法であって、
   画像センサによって、各々が、所定のサイズを有し、キャプチャ区域によって周囲を囲まれた中心区域を有し、該キャプチャ区域が互いに少なくとも部分的にオバーラップする、複数の拡大画像についてのデータをキャプチャすること、
   連続する前記拡大画像の前記中心区域を、前記標本の前記合成拡大画像のための前記画像のタイルとして保持すること、および、
   前記対物レンズに対する前記ステージの移動の誤りを補償するように前記ステージの移動を変更するためにフィードバック制御信号を生成するのに、前記キャプチャ区域のオーバーラップした部分を用いること
   を含むことを特徴とする方法。
7. 前記中心区域を前記画像センサの中心に維持するように前記フィードバック制御信号を用いることをさらに含むことを特徴とする請求項６に記載の方法。
8. 仮想顕微鏡スライド用の画像のデータをキャプチャするために、対物レンズに対して標本を移動可能に保持するステージに対するコンピュータ実行可能命令を有するコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、
   所定のサイズを有し、第１のキャプチャ区域によって周囲を囲まれた第１の中心区域を有する第１の拡大画像と、前記所定のサイズを有し、第２のキャプチャ区域によって周囲を囲まれた第２の中心区域を有し、前記第１のキャプチャ区域と前記第２のキャプチャ区域は少なくとも部分的にオーバーラップする、第２の拡大画像についてのデータをキャプチャすること、
   オーバーラップした前記第１および第２のキャプチャ区域のデータの比較に基づいてオフセット値を算出すること、および、
   第３の拡大画像についてのデータの後続のキャプチャのために、前記オフセット値を、前記対物レンズに対する前記ステージの次の移動に対するフィードバック制御信号として使用すること
   をコンピュータに実行させることを特徴とするコンピュータ可読媒体。
9. 整列させた複数の画像のタイルから標本の拡大合成画像を作成する装置であって、
   前記標本の一部を拡大するように構成された対物レンズと、
   前記標本を保持するように構成されたサポートと、
   前記標本を前記対物レンズに対して所定の距離だけ移動させるように構成された駆動装置と、
   所定のサイズを有し、第１のキャプチャ区域によって周囲を囲まれた第１の中心区域を有する第１の拡大画像についてのデータをキャプチャするように構成された画像キャプチャシステムと、
   を有し、
   前記駆動装置は、前記所定のサイズを有し、第２のキャプチャ区域によって周囲を囲まれた第２の中心区域を有し、前記第１のキャプチャ区域は前記第２のキャプチャ区域の少なくとも一部にオーバーラップする、第２の拡大画像についてのデータを前記画像キャプチャシステムでキャプチャするために、前記標本を前記対物レンズに対して前記所定の距離だけ移動させるように構成されており、
   前記所定のサイズを有し、第３のキャプチャ区域によって周囲を囲まれた第３の中心区域を有する第３の拡大画像のキャプチャのために、前記駆動装置に、前記標本を、前記対物レンズに対して前記所定の距離から補正オフセットだけ修正した距離だけ移動させるために、前記それぞれの第１および第２のキャプチャ区域のオーバーラップした部分についてのデータの比較に基づいて前記補正オフセットを算出するように構成された算出システムをさらに備えることを特徴とする装置。
10. 前記算出システムは、前記合成拡大画像のための第１、第２、および第３の前記タイルを形成するために前記第１、第２、および第３の中心区域についてのデータを抽出するように構成されていることを特徴とする請求項９に記載の装置。
11. 前記算出システムは、複数の前記タイルの縁部を揃えるために、オーバーラップした前記キャプチャ区域のそれぞれの画像の前記データのピクセル値を評価することを特徴とする請求項９に記載の装置。
12. 前記駆動装置は、顕微鏡ステージを前記対物レンズに対して移動させるための親ねじを備え、算出された前記補正オフセットをフィードバックとして使用して、前記顕微鏡ステージが、前記親ねじの駆動によって駆動される前記所定の距離を調整することを特徴とする請求項９に記載の装置。
13. 前記駆動装置は、
    Ｘ方向に駆動するためのＸ軸の親ねじと、
    Ｙ方向に駆動するためのＹ軸の親ねじと
    を備えることを特徴とする請求項９に記載の装置。
14. 整列させた複数の画像のタイルから形成される標本のタイル化された合成拡大画像を作成する装置であって、
    前記標本の画像を拡大するように構成された対物レンズを有する顕微鏡と、
    前記標本を支持するように構成されたステージと、
    前記ステージを前記対物レンズに対して移動させるように構成された駆動装置と、
    所定のサイズを有し、第１のキャプチャ区域によって周囲を囲まれた第１の中心区域を有する第１の拡大画像と、前記所定のサイズを有し、第２のキャプチャ区域によって周囲を囲まれた第２の中心区域を有し、前記第１のキャプチャ区域と前記第２のキャプチャ区域は少なくとも部分的にオーバーラップする、第２の拡大画像についてのデータをキャプチャするように構成された画像センサと、
    前記第１および第２の中心区域を、前記標本の前記タイル化された合成拡大画像のための画像の前記タイルとして保持するように構成されたメモリ媒体と、
    前記駆動装置にフィードバック制御信号を提供するためのフィードバック制御を有する
    前記駆動装置による次の移動のためにフィードバック制御信号を算出するように構成された算出システムであって、前記フィードバック制御信号は、前記対物レンズに対する前記ステージの移動の誤りを補償するために、前記第１および第２のキャプチャ領域のオーバーラップした部分から導出される、算出システムと
    を備えることを特徴とする装置。
15. 前記中心区域を前記画像センサの中心に維持するように前記フィードバック制御信号を用いることを特徴とする請求項１４に記載の装置。
16. 標本の仮想顕微鏡スライド画像をキャプチャする顕微鏡画像キャプチャシステムであって、
    対物レンズを有する顕微鏡と、
    前記標本を支持するように構成されたステージと、
    前記ステージを前記対物レンズに対してシフトさせるように構成された親ねじを用いた駆動装置と、
    コンピュータ実行可能命令を有するコンピュータ可読媒体を備えるコンピュータ制御システムであって、該コンピュータ実行可能命令は、
    所定のサイズを有し、第１のキャプチャ区域によって周囲を囲まれた第１の中心区域を有する第１の拡大画像と、前記所定のサイズを有し、第２のキャプチャ区域によって周囲を囲まれた第２の中心区域を有し、前記第１のキャプチャ区域と前記第２のキャプチャ区域は少なくとも部分的にオーバーラップする、第２の拡大画像についてのデータをキャプチャするための命令、
    前記第１および第２のキャプチャ区域のオーバーラップした部分のデータの比較に基づいてオフセット値を算出するための別の命令、および
    第３の拡大画像についてのデータの後続のキャプチャのために、前記オフセット値を、前記対物レンズに対する前記ステージの次の相対的な移動のためのフィードバック制御信号として使用するための命令
    を備えるコンピュータ制御システムと
    を備えることを特徴とする顕微鏡画像キャプチャシステム。

Images