JP6902864B2 - フーリエタイコグラフィによって取得された画像の物理レジストレーション - Google Patents

Description

本発明は、フーリエタイコグラフィ顕微鏡に関し、特に、フーリエタイコグラフィ顕微鏡の手段によって撮像された試料のレジストレーションに関する。

バーチャル顕微鏡は、医師に、彼らがまるで顕微鏡をコントロールしているかのように、生物学的試料を操作及び観察する能力を与える技術である。これは、試料の顕微鏡画像のデータベースを入手可能なコンピュータモニタ又はタブレットなどのディスプレイ装置を使用して実現することができる。生物学的試料の強調された観察は、試料が得られた主題についての医学的診断を実行するためのより大きな機会を医師に提供することができる。

バーチャル顕微鏡のための画像のキャプチャ（取得）は、一般的に、高速（ｈｉｇｈ ｔｈｒｏｕｇｈｐｕｔ）スライドスキャナを使用して実行される。試料は、ステージの上に機械的にロードされ、試料の種々の部分の画像がセンサでキャプチャされるように、顕微鏡対物の下に移動させられる。２つの隣接するキャプチャ画像は、２次元（２Ｄ）レイヤ又は３次元（３Ｄ）ボリュームを形成するために、同じ試料の複数の画像が結合される、又は、つなぎ合わされるように、オーバーラップの領域を有している。

また、フーリエタイコグラフィ顕微鏡（ＦＰＭ）は、バーチャルスライド（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ）に使用される。ＦＰＭは、対物レンズの下の試料の横断運動を必要とすることなく、高解像度及び広角画像を実現することができる。これは、種々の照明条件の下で試料の多くの強度画像をキャプチャし、反復計算処理を使用してフーリエ領域の画像を結合することによって実現される。

バーチャル顕微鏡は、サンプルをパラフィンの中で凍結し、次いで、セクション又はレイヤにスライスすることによって、組織サンプルから準備された組織学試料を撮像するのに適用することができる。スライスは、特定の特徴を明らかにするために染色され、カバーガラスの下の顕微鏡スライドに置かれる。そして、これらの試料スライドは、バーチャル顕微鏡によって、デジタルスライドに変換される。次いで、臨床医は、組織にわたって疾患を評価するために、試料組織のいくつかの隣接するデジタルスライドを検査する。従って、多くの場合、臨床医が組織サンプルを容易に評価することができるように、デジタルスライドを位置合わせすることが望ましい。

しかしながら、デジタルスライドのレジストレーションを困難にする、複雑で、非線形な変形が、隣接するデジタルスライドの間にあるかもしれない。そのような要因の１つは、デジタルスライドの間の物理的な軸方向距離である。例えば、２つの隣接するセクション（断面）の間の軸方向距離が大きければ、これらのセクションのデジタルスライド対は、レジストレーションが実行できる共通の特徴を殆ど含んでいない。別の要因は、セクションがカットされたときに導入されたセクションのバリエーションである。例えば、線条（隆線）、襞、断裂、又はその他のフィジカルな変形は、カットの間に、セクションに独立して導入することができる。第３の要因は、セクションを染色することによって引き起こされたセクションのバリエーションである。例えば、染色のために組織に適用された種々のプレパレーションは、セクションの間で異なり、撮像されたときに、同じ特徴を全く異なったように出現させる。

困難にもかかわらず、オプティカル又はノーマルフローに基づく方法、情報理論的方法（例えば、相互情報量）、相互相関に基づく方法、勾配に基づく方法及び機械学習から高度な統計的方法を利用する最近の方法含むデジタルスライドを位置合わせするために、種々のレジストレーション方法が用いられる。更に、弾性材料の変形又は流体の流れなどの組織変形の物理ベースモデルを考慮する、或いは、放射基底関数などの基底関数、ウェーブレット変換及びＢスプラインを使用して変形をモデル化しようとする、画像の間に生じる非線形な変形をモデル化するための多くの方法がある。

しかしながら、そのような方法は、通常、大きなバーチャルスライド（例えば、２５，０００×２５，０００ピクセル）に適用される場合に遅い。例えば、使用された技術に依存する２つの２５，０００×２５、０００ピクセルの画像を登録するのに数十分かかる可能性があり、バーチャル顕微鏡を臨床医に実務的に使いづらくしている。従って、バーチャル顕微鏡システムの全体のスループットを向上させる、特に、登録（レジストレーション）された隣接するスライドの画像を臨床医により速く提供する必要性がある。

本開示は、向上されたスループットを容易にする顕微鏡画像レジストレーションを提案する。第１の提案は、登録すべき画像の間のディストーションマップを推定するための再構成画像というよりもＲＡＷ ＦＰＭ画像データを使用する。これは、並行処理を可能にし、画像再構成が完了するときにディストーションマップが得られ、その結果として全体のシステム実行時間の改善が生じる。

第２の提案は、第２画像の再構成をシードするために、ディストーションマップを使用する。これは、再構成実行時間及び／又は精度の改善をもたらす。

第３の提案は、ゆがみ推定（ｗａｒｐ ｅｓｔｉｍａｔｉｏｎ）の位相情報を使用する。

本開示の１つの側面によれば、提供される。

本開示の１つの側面によれば、顕微鏡装置を用いて取得された画像を処理するコンピュータで実行可能な方法であって、試料組織を軸方向に交差する面でスライスした隣接するセクションに対応する第１スライド及び第２スライドのそれぞれに対して、空間周波数においてスペクトルの異なる部分を取得するように、複数の光学的配置の下で複数の部分スペクトル画像を取得するステップと、前記複数の部分スペクトル画像のうち、前記第１スライドに対応する複数の第１の部分スペクトル画像から、第１光学的配置に関連する第１部分スペクトル画像を選択するステップと、前記複数の第１の部分スペクトル画像に基づいて、第１スライドの少なくとも一部に対応する結合スペクトル画像を再構成するステップと、前記複数の部分スペクトル画像のうち、前記第２スライドに対応する複数の第２の部分スペクトル画像から、前記第１光学的配置に対応する光学的配置の下で取得された第２部分スペクトル画像を決定することにより、前記第１部分スペクトル画像と前記第２部分スペクトル画像とを含む一対の部分スペクトル画像を決定するステップと、前記複数の第２の部分スペクトル画像に基づいて、前記第２スライドの少なくとも一部に対応する結合スペクトル画像を再構成するステップと、前記一対の部分スペクトル画像から導出される画像を位置合わせることによってディストーションマップを生成するステップと、を有する方法が提供される。

望ましくは、かかる方法は、前記複数の第１の部分スペクトル画像から、第２光学的配置に関連する第３部分スペクトル画像を選択するステップと、前記複数の第２の部分スペクトル画像から、前記第２光学的配置に対応する光学的配置の下で取得された第４部分スペクトル画像を決定することにより、前記第３部分スペクトル画像と前記第４部分スペクトル画像とを含む一対の部分画像スペクトルを決定するステップと、前記第１部分スペクトル画像と前記第２部分スペクトル画像とからなる一対の部分スペクトル画像から導出される画像を位置合わせすることによって第１ディストーションマップを生成するステップと、前記第３部分スペクトル画像と前記第４部分スペクトル画像とを含む一対の部分スペクトル画像から導出される画像を位置合わせすることによって第２ディストーションマップを生成するステップと、前記第１ディストーションマップと前記第２ディストーションマップとを結合することによって、前記結合スペクトル画像を位置合わせするための前記ディストーションマップを生成するステップと、を更に有する。

更に好ましくは、前記第１スライドの結合スペクトル画像は、第１スライドの一部をカバーする注目領域に対応し、前記第２スライドの前記結合スペクトル画像は、前記注目領域に対応する領域をカバーする。

具体的な形態において、かかる方法は、前記第１スライド内の注目領域を選択するステップと、前記選択された注目領域の位置及び前記生成されたディストーションマップに基づいて、前記第２スライド内の前記注目領域に対応する領域を決定するステップと、前記決定された前記注目領域に対応する領域に基づいて、前記複数の第２の部分スペクトル画像の各画像における少なくとも１つの部分を選択するステップと、前記選択した前記部分に基づいて、前記第２スライド内の前記注目領域に対応する領域を再構成するステップと、を更に有する。

かかる方法は、前記ディストーションマップを前記第１スライドの前記結合スペクトル画像に適用することによって、ゆがみ画像を生成するステップを更に有し、前記第２スライドの少なくとも一部に対応する結合スペクトル画像を再構成するステップでは、推定として、前記ゆがみ画像を用いる。

具体的な例において、前記再構成するステップでは、前記第２スライド内の選択されていない部分を除いて行われる。代替的提案において、前記第１光学的配置及び前記第２光学的配置は、ＤＣに近いフーリエ空間における低横波数ベクトル（ｌｏｗ ｔｒａｎｓｖｅｒｓｅ ｗａｖｅｖｅｃｔｏｒｓ）に対応する。望ましくは、前記第１光学的配置は、ＤＣ横波数ベクトルの光学的配置に対応する。前記第１光学的配置及び前記第２光学的配置は、それぞれ、ＤＣ横波数ベクトル及び前記ＤＣ横波数ベクトルに隣接する波数ベクトルのセットに対応する。

典型的に、前記顕微鏡装置は、フーリエタイコグラフィ顕微鏡装置であり、前記再構成するステップでは、前記第１スライド及び前記第２スライドの位相情報をリカバーする。具体的な形態において、前記第１スライド及び前記第２スライドの少なくとも１つの位相情報をリカバーする処理は、ディストーションマップを生成するステップと並行して実行される。

典型的には、前記光学的配置は、照明設定を含み、前記光学的配置は、波数ベクトルとしてエンコードされる。

別の例において、かかる方法は、前記決定されたディストーションマップを前記第２スライドの前記結合スペクトル画像に適用することによって、前記第２スライドの前記結合スペクトル画像と前記第１スライドの前記結合スペクトル画像とを位置合わせするステップを更に有してもよい。別の形態において、かかる方法は、前記結合スペクトル画像を表示するとともに前記ディストーションマップを表示するステップを更に有する。また、かかる方法は、前記ディストーションマップに基づいて、前記結合スペクトル画像の少なくとも１つにおける高ディストーションの領域を強調するステップを更に有する。

具体的な形態において、前記ディストーションマップは、前記第１スライド及び前記第２スライドの少なくとも１つを再構成するステップと同時に、前記一対の部分スペクトル画像に基づいて決定される。

好ましい形態において、前記ディストーションマップを生成するステップは、前記複数の部分スペクトル画像を取得した光学的配置に基づいて、前記複数の第１の部分スペクトル画像のサブセット及び前記複数の第２の部分スペクトル画像のサブセットを選択するステップと、前記選択されたサブセットのそれぞれを用いて前記第１スライド及び前記第２スライドを部分的に再構成することによって、前記第１スライド及び前記第２スライドの位相情報をリカバーするステップと、前記リカバーされた位相情報に基づいて、前記部分的に再構成された前記第１スライド及び前記第２スライドに対応するディストーションマップを生成するステップと、を更に有する。

その他の形態において、前記複数の部分スペクトル画像は、前記第１スライド及び前記第２スライドの前記共有する領域の異なる周波数バンドを表し、前記選択するステップでは、前記複数の第１の部分スペクトル画像から、前記第１スライドの第１周波数バンドに対応する第１部分スペクトル画像を選択し、前記一対の部分スペクトル画像を決定するステップでは、前記複数の第２の部分スペクトル画像から、前記第２スライドの前記第１周波数バンドに対応する第２部分スペクトル画像を識別し、前記ディストーションマップを生成するステップでは、前記第１部分スペクトル画像と前記第２部分スペクトル画像とを位置合わせすることによってディストーションマップを生成する。

具体的な形態において、前記第２部分スペクトル画像の識別は、前記第２部分スペクトル画像を取得した照明条件を分析するステップと、前記複数の第２の部分スペクトル画像に関連する照明条件と前記分析した前記照明条件とを比較するステップと、前記複数の第２の部分スペクトル画像から、前記分析した照明条件に対応する照明条件で取得した第２部分スペクトル画像を選択するステップと、を有する。

方法を実行するためのコードを有するコンピュータ可読記憶媒体及びイメージングシステムを含むその他の側面も開示される。

本発明の少なくとも１つの実施形態は、以下の図面を参照して説明されるであろう。
図１は、ここで開示される形態を実行するフーリエタイコグラフィ顕微鏡システムのハイレベルシステム図である。 図２は、ＦＰＭ画像をキャプチャする処理の概略フロー図である。 図３は、フーリエタイコグラフィ顕微鏡システムによってキャプチャされた部分スペクトル画像のセットから、試料の結合スペクトル画像を生成する方法の概略フロー図である。 図４Ａは、図３の方法３００のステップ３１０で用いられる部分スペクトル画像の例示的な区分を示す。 図４Ｂは、図３の方法３００のステップ３１０で用いられる部分スペクトル画像の例示的な区分を示す。 図５は、部分スペクトル区分画像のセットから、結合スペクトル区分画像を生成する方法の概略フロー図である。 図６は、部分スペクトル区分画像に基づいて、中間結合スペクトル区分画像を更新する方法の概略フロー図である。 図７Ａは、試料の実空間表現を示す。 図７Ｂは、試料のフーリエ空間表現を示す。 図８Ａ乃至図８Ｃは、光軸に垂直な面の上に投影される光源の空間的配置及び対応する横波数ベクトルを示す。 図８Ａ乃至図８Ｃは、光軸に垂直な面の上に投影される光源の空間的配置及び対応する横波数ベクトルを示す。 図８Ａ乃至図８Ｃは、光軸に垂直な面の上に投影される光源の空間的配置及び対応する横波数ベクトルを示す。 図９は、１つの具体的な形態におけるデータ処理アーキテクチャの概略ブロック図である。 図１０Ａは、並行実行を含む図９の形態のための処理フローを示す。 図１０Ｂは、並行実行を含む図９の形態のための処理フローを示す。 図１１は、並行実行を含む、２つの結合スペクトル画像を登録する方法の概略フロー図である。 図１２は、並行実行を含む、２つの結合スペクトル画像を登録する別の方法の概略フロー図である。 図１３は、並行実行を含む、２つの結合スペクトル画像を登録する第３方法の概略フロー図である。 図１４は、部分スペクトル画像に基づいて、ディストーションマップを生成及び結合する方法の概略フロー図である。 図１５Ａ及び図１５Ｂは、それぞれ、注目領域を含むサンプルＡ及びサンプルＢを示す。 図１５Ａ及び図１５Ｂは、それぞれ、注目領域を含むサンプルＡ及びサンプルＢを示す。 図１６は、２つの試料の１つ以上の登録された注目領域を生成する方法の概略フロー図である。 図１７は、図１６の方法のための例示的な処理フローを示す。 図１８Ａ及び図１８Ｂは、説明された形態が実行される汎用コンピュータシステムの概略ブロック図を形成する。 図１８Ａ及び図１８Ｂは、説明された形態が実行される汎用コンピュータシステムの概略ブロック図を形成する。 図１９は、並行実行を含む、２つの結合スペクトル画像の注目領域を登録する方法の概略フロー図である。 図２０は、更なる実施形態におけるデータ処理アーキテクチャの概略ブロック図である。 図２１は、並行実行を含む、結合スペクトル画像の生成を改善した、２つの結合スペクトル画像を登録する方法の概略フロー図である。 図２２は、更なる実施形態におけるデータ処理アーキテクチャの概略ブロック図である。 図２３は、図２２の形態の例示的な処理フローである。 図２４は、更なる実施形態におけるデータ処理アーキテクチャの概略ブロック図である。 図２５（１）乃至図２５（６）は、試料のフーリエ空間表現の選択された領域を示す。

コンテクスト
図１は、ここで開示される形態を備え、フーリエタイコグラフィ顕微鏡（ＦＰＭ）に好適な従来技術の顕微鏡キャプチャシステム１００のハイレベルシステム図を示す。試料１０２は、レンズ１０９などの光学素子の下のステージ１１４の上に、且つ、この構成では、顕微鏡装置として機能する顕微鏡１０１の視野内に物理的に位置決めされる。実施形態において、顕微鏡１０１は、試料を適切な深度で顕微鏡の視野に正確に置くために、移動することが可能なステージ１１４を有する。ステージ１１４は、顕微鏡１０１に実装されたカメラ１０３によって試料の複数の画像がキャプチャ（取得）されるように、移動することも可能である。標準構成において、ステージ１４は、試料の画像キャプチャの間、固定されてもよい。

可変照明系（照明器）１０８は、試料１０２が種々の角度で入射するコヒーレント又は部分的にコヒーレントな光によって照明されるように、顕微鏡１０１と関連して位置決めされる。

顕微鏡１０１は、光学系を用いて、カメラ１０３のセンサの上に試料１０２の強度画像を形成する。光学系は、低開口数（ＮＡ）又はその他の配置を備えた対物レンズ１０９を含む光学素子に基づいている。カメラ１０３は、各照明配置に対応する１つ以上の強度画像１０４をキャプチャする。複数の画像は、種々のステージ位置及び／又は照明の種々の色でキャプチャされる。実施形態は、コンピュータ１０５への試料１０２の複数の強度画像のキャプチャ及び供給を含む試料１０２のイメージングを提供する。

強度画像は、センサ及び照明に依存するグレイスケール画像又はカラー画像である。キャプチャ強度画像１０４は、通常、相対的に低い解像度である。キャプチャ画像１０４は、そのような画像のそれぞれが、特定の照明設定に依存する、試料のスペクトルの固有の空間周波数バンドを示すように、部分スペクトル画像と称されることがある。キャプチャ強度画像の空間周波数バンドは、それらが隣接する波数ベクトルに対応する場合を除いて、通常、重ならない。画像１０４は、画像を直ちに処理し始める、或いは、後で処理するために、それらを一時記憶装置１０６に記憶することができるコンピュータシステム１０５に渡される。処理の一部として、コンピュータ１０５は、相対的により高い解像度である、試料１０２の１つ以上の領域に対応する結合スペクトル画像１１０を生成する。再構成画像とも称される結合スペクトル画像１１０は、ディスプレイ装置１０７において再生される。

説明するように、コンピュータ１０５は、制御ライン１１６を介して、照明器１０８の個々の発光体１１２の動作を制御する。また、コンピュータ１０５は、制御ライン１１８を介して、ステージ１１４の移動、即ち、試料１０２を制御する。更なる制御ライン１２０は、コンピュータ１０５が画像１０４のキャプチャのためのカメラ１０３を制御するのに用いられる。

顕微鏡１０１の横光学解像度は、顕微鏡１０１の光学的配置に基づいて推定され、顕微鏡の点広がり関数に関連している。空気中のこの解像度の標準近似は、

で与えられ、ＮＡは、開口数であり、λは、光の波長である。従来のスライドスキャナは、０．７のＮＡを備える空気浸漬（ａｉｒ ｉｍｍｅｒｓｉｏｎ）対物レンズを用いている。５００ｎｍの波長において、推定解像度は、０．４μｍである。典型的なＦＰＭシステムは、推定解像度が４μｍに低下する０．０８のオーダーの低いＮＡを用いる。

レンズの開口数は、レンズに入射する、又は、レンズから射出する光の最大錐の半角、θ_Ｈ、を定義する。空気中において、これは、

で定義される。レンズのフル受光角に関して、θ_Ｆ＝２θ_Ｈとして表される。

観察される試料１０２は、基板に固定され、特定の特徴を強調するために染色された組織からなる組織スライドなどの生体学的試料である。そのような試料は、実質的には、半透明である。そのようなスライドは、広範囲のスケールにおける種々の生体学的特徴を含む。与えられたスライドの特徴は、組織スライドを作成するために用いられた特定の組織及び染色に依存する。スライドの上の試料の寸法は、１０ｍｍ×１０ｍｍのオーダー又はそれより大きい。バーチャルスライドの横解像度が０．４μｍとして選択されると、スライドの各レイヤは、少なくとも２５，０００×２５，０００ピクセルからなる。

可変照明系１０８は、ＬＥＤマトリクスと称される、平坦基板の上に配列されたＬＥＤのセットを用いて形成される。ＬＥＤは、単色又は多波長であり、例えば、赤、緑及び青光に対応する３つの個々の波長で照明する、又は、試料の特定の特徴を観察するために適切な波長の選択可能なセットで照明する。基板上のＬＥＤの適切な間隔は、顕微鏡光学及び試料１０２から、個々の発光体１１２を支持する平坦基板によって定義された面である照明面までの距離に依存する。点光源として機能する各発光体１１２は、試料１０２に対して、照明の対応する角度を規定する。光源１１２と試料１０２との間の距離が十分に大きい場所では、光源１１２から射出された光は、平面波に近づく。一般的には、基板上のＬＥＤの間隔は、近接のＬＥＤの対から受光する照明角の差が上述の式２に従ってレンズ１０９の開口数によって定義される受光角θ_Ｆより小さくなるように、選択されるべきである。

それは、フーリエ空間における光学系の態様を考慮するのに有用である。２次元（２Ｄ）フーリエ空間は、キャプチャ画像が形成される、又は、試料の横空間特性が定義される２Ｄ実空間の２Ｄフーリエ変換によって規定される空間である。このフーリエ空間の座標は、横波数ベクトル（ｋ_ｘ，ｋ_ｙ）である。横波数ベクトルは、画像の空間周波数を表し、低周波数（又はゼロ近傍）は、座標表現の中央に向いており、高周波数は、座標表現の周辺に向いている。この説明において、横「波数ベクトル」及び「空間周波数」のタームは、交換可能に用いられる。放射横波数ベクトル及び放射空間周波数のタームは、同様に、交換可能である。

各キャプチャ画像は、光学素子１０９の光学的伝達関数及び可変照明器によって設定される照明角によって定義されるフーリエ空間の領域に関連する。更なる説明を目的として、「キャプチャ画像」、「部分スペクトル画像」及び「キャプチャＦＰＭ画像」は、交換可能に用いられる。光学素子１０９が対物レンズである場合のために、フーリエ空間の領域は、真空中の照明波長と、ｋ_０＝２π／λと、開口数との積によって定義される半径ｒ_ｋの円（円領域）として近似することができる。

円領域の位置は、照明角に従って、フーリエ空間の原点（ＤＣ位置）からオフセットされる。ｉ番目の照明角に対して、オフセットは、波数ベクトルの横成分（ｋ_ｘ ^ｉ，ｋ_ｙ ^ｉ）によって定義される。これは、概略試料の実空間及びフーリエ空間表現を示す図７Ａ及び図７Ｂに示される。図７Ｂの破線円は、横波数ベクトル７１０が図７Ｂの実線矢印で示される照明による単一のキャプチャ画像に関連する円領域を示す。横波数ベクトル（ｋ_ｘ ^ｉ，ｋ_ｙ ^ｉ）は、合成開口上の光源位置を示すものとして考慮される。

フーリエタイコグラフィイメージングの選択的なモードにおいて、ＦＰＭキャプチャ画像は、照明角よりも（開口走査とも称される）光学素子としてのシフト開口を用いて得られる。この形態において、サンプルは、光軸に沿って概略入射する単一の平面波を用いて照明される。開口は、結像系１００のフーリエ面に設定され、開口は、光軸に垂直な、この平面内で移動する。この種類の走査開口は、光学系を通過する光を制限する追加の小走査開口を備える高ＮＡレンズを用いて実現される。そのような走査開口システムの開口は、外側でスペクトル成分がブロックされる図７Ｂの破線円によって示されるフーリエ空間の領域を選択するものとして考慮される。図７Ｂの破線円のサイズは、低ＮＡレンズの小開口に対応する。横波数ベクトル（ｋ_ｘ ^ｉ，ｋ_ｙ ^ｉ）は、傾斜照明の横波数ベクトルよりも開口のシフト位置を示すものとして考慮される。なお、同一の効果を実現するために、走査開口よりもフーリエ面の空間光変調器が用いられる。空間光変調器の例は、個々のピクセル又はピクセルのグループが透明から不透明に切り替えられる液晶ディスプレイ（ＬＣＤ）であり、その結果、ディスプレイを介して、光の通路を空間的に変調する。

ナチュラルな試料に対して、任意のピクセル値の値は、他の画像から独立していないことが知られている。これは、画像であるナチュラルな対象の固有の構造に起因する。そのような画像に対して、単一のピクセル冗長性を測定することが可能である。結果として、特定の波数ベクトルでのナチュラルな画像のフーリエ変換の値は、その他の波数ベクトルでのフーリエ変換の値から完全に独立していない。一方、値は、その他の波数ベクトルでの値に完全に依存するのではなく、部分的に依存すると説明することができる。

従って、ナチュラルな試料に対して、対象スペクトルの異なる領域は、完全に独立であるのではなく、しかしながら、それらは、完全に依存するのでもない。スペクトルの制限された領域又は領域のセットの上の信号で与えられる、そのような試料のフル対象スペクトルを高精度に推定することは、一般的に、可能ではない。異なる横波数ベクトルに対応するキャプチャＦＰＭ画像が部分的に独立であると考えることができるように、スペクトルの異なる部分は、部分的に独立であると考えることができる。

異なるスペクトル領域に対応する画像の部分的な独立は、システムにおける光の透過及びサンプリングに起因して低減される。これは、例えば、センサに固定パターンノイズがある場合に発生する。

図１８Ａ及び図１８Ｂは、説明される様々な形態が実行される汎用コンピュータシステム１８００を示す。

図１８Ａに示すように、コンピュータシステム１８００は、コンピュータ１０５を代表するコンピュータモジュール１８０１と、キーボード１０８２、マウスポインタ装置１８０３、スキャナー１８２６、カメラ１８２７、マイクロフォン１８８０を含む入力装置と、プリンター１８１５と、ディスプレイ１０７を代表するディスプレイ装置１８１４、ラウドスピーカー１８１７を含む出力装置とを含む。外部変調復調器（モデム）トランシーバー装置１８１６は、コネクション１８２１を介して、通信ネットワーク１８２０と通信するコンピュータモジュール１８０１によって用いられる。通信ネットワーク１８２０は、インターネット、携帯電話の電気通信網、プライベートＷＡＮなどの広域ネットワーク（ＷＡＮ）である。コネクション１８２１が電話回線である場合、モデム１８１６は、ＡＤＳＬモデムである。また、コネクション１８２１が高容量（例えば、ケーブル）コネクションである場合、モデム１８１６は、ブロードバンドモデムである。ワイヤレスモデムは、通信ネットワーク１８２０とのワイヤレス接続のために用いられる。

コンピュータモジュール１８０１は、一般的に、少なくとも１つのプロセッサユニット１８０５と、メモリユニット１８０６とを含む。例えば、メモリユニット１８０６は、半導体ランダムアクセスメモリ（ＲＡＭ）及び半導体リードオンリーメモリ（ＲＯＭ）を有する。コンピュータモジュール１８０１は、ビデオディスプレイ１８１４、ラウドスピーカー１８１７及びマイクロフォン１８８０に接続するオーディオ−ビデオインターフェース１８０７を含む多数の入力／出力（Ｉ／Ｏ）インターフェースと、キーボード１８０２、マウス１８０３、スキャナー１８２６、カメラ１８２７及び任意のジョイスティック又はその他のヒューマンインターフェース装置（不図示）に接続するＩ／Ｏインターフェース１８１３と、外部モデム１８１６及びプリンター１８１５のためのインターフェース１８０８とを含む。いくつかの実施形態において、モデム１６１６は、コンピュータモジュール１８０１、例えば、インターフェース１８０８に内蔵される。コンピュータモジュール１８０１は、コネクション１８２３を介して、コンピュータシステム１８００と、ローカルエリアネットワーク（ＬＡＮ）として知られるローカルエリア通信ネットワーク１８２２との接続を可能にするローカルネットワークインターフェース１８１１を有する。図１８Ａに示すように、ローカル通信ネットワーク１８２２は、一般的には、所謂、「ファイアウォール」装置又は同様な機能の装置を含むコネクション１８２４を介して、広域ネットワーク１８２０に接続する。ローカルネットワークインターフェース１８１１は、イーサネット（登録商標）回路カード、ブルートゥース（登録商標）ワイヤレスアレンジメント又はＩＥＥＥ ８０２．１１ワイヤレスアレンジメントを備え、但し、多数の他の種類のインターフェースがインターフェース１８１１として実行される。

Ｉ／Ｏインターフェース１８０８及び１８１３は、シリアル及びパラレル接続のいずれか又は両方を提供し、前者は、一般的には、ユニバーサルシリアルバス（ＵＳＢ）標準に従って実現され、対応するＵＳＢコネクタ（不図示）を有する。記憶装置１８０９は、提供され、一般的には、ハードディスクドライブ（ＨＤＤ）１８１０を含む。フロッピーディスクドライブや磁気テープドライブ（不図示）などのその他の記憶装置も用いられる。光ディスクドライブ１８１２は、一般的には、不揮発性のデータソースとして機能するように提供される。ポータブルメモリ装置、そのような光ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイディスク（登録商標））、ＵＳＢ−ＲＡＭ、ポータブル外部ハードドライブ及びフロッピーディスクは、適切なデータソースとして、システム１８００に用いられる。

コンピュータモジュール１８０１のコンポーネント１８０５乃至１８１３は、一般的には、相互接続バス１８０４及び従来技術でそれらに知られているコンピュータシステム１８００の動作の従来のモードをもたらす方法を介して、通信する。例えば、プロセッサ１８０５は、コネクション１８１９を用いてシステムバス１８０４に接続される。同様に、メモリ１８０６及び光ディスクドライブ１８１２は、コネクション１８１９によってシステムバス１８０４に接続される。
説明された形態を実行することができるコンピュータの例は、ＩＢＭ−ＰＣと互換機、ＳＵＮスパークステーション、アップル Ｍａｃ（登録商標）又は同様なコンピュータシステムを含む。

説明される画像処理方法は、コンピュータシステム１８００を用いて実行され、説明される図２乃至１７及び１９乃至２５の処理は、コンピュータシステム１８００内で実行可能な１つ以上のソフトウェアアプリケーションプログラム１８３３として実装される。特に、方法のステップは、コンピュータシステム１８００内で実行されるソフトウェア１８３３の命令１８３１（図１８Ｂを参照）によって実現される。ソフトウェア命令１８３１は、１つ以上の特定のタスクをそれぞれ実行する１つ以上のコードモジュールとして形成される。ソフトウェアは、２つの別々の部分に分割され、第１部分及び対応するコードモジュールは、画像処理方法を実行し、第２部分及び対応するコードモジュールは、第１部分とユーザーとの間のユーザーインターフェースを管理する。

例えば、ソフトウェアは、以下で説明される記憶装置を含むコンピュータ読み取り可能な媒体に格納される。ソフトウェアは、コンピュータ読み取り可能な媒体からコンピュータシステム１８００にロードされ、そして、コンピュータシステム１８００によって実行される。そのようなソフトウェアを有するコンピュータ読み取り可能な媒体又はコンピュータ読み取り可能な媒体に格納されたコンピュータプログラムは、コンピュータプログラム製品である。コンピュータシステム１８００のコンピュータプログラム製品の使用は、好ましくは、画像処理のための有利な装置を実現する。

ソフトウェア１８３３は、一般的には、ＨＤＤ１８１０又はメモリ１８０６に格納される。ソフトウェアは、コンピュータ読み取り可能な媒体からコンピュータシステム１８００にロードされ、コンピュータシステム１８００によって実行される。従って、例えば、ソフトウェア１８３３は、光ディスクドライブ１８１２によって読み出される光読み取り可能なディスク記憶媒体（例えば、ＣＤ−ＲＯＭ）１８２５に格納される。そのようなソフトウェアを有するコンピュータ読み取り可能な記憶媒体又はそれに格納されたコンピュータプログラムは、コンピュータプログラム製品である。コンピュータシステム１８００のコンピュータプログラム製品の使用は、好ましくは、画像処理のための装置を実現する。

いつくかの例において、アプリケーションプログラム１８３３は、ユーザーに提供され、１つ以上のＣＤ−ＲＯＭ１８２５においてエンコードされ、対応するドライブ１８１２を介して読み出されるか、又は、代替的に、ネットワーク１８２０又は１８２２からユーザーによって読み出される。更に、ソフトウェアは、そのほかのコンピュータ読み取り可能な媒体からコンピュータシステム１８００にロードすることもできる。コンピュータ読み取り可能な記憶媒体は、実行及び／又は処理のために、格納された命令及び／又はデータをコンピュータシステム１８００に提供する任意の非一時的有形記憶媒体を参照する。そのような装置がコンピュータモジュール１８０１の内部又は外部であるかにかかわらず、そのような記憶媒体の例は、フロッピーディスク、磁気テープ、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイディスク（登録商標）、ハードディスクドライブ、ＲＯＭ又は集積回路、ＵＳＢメモリ、光磁気ディスク、又は、ＰＣＭＣＩＡカードなどのコンピュータ読み取り可能なカードを含む。コンピュータモジュール１８０１に対するソフトウェア、アプリケーションプログラム、命令及び／又はデータの供給に関与する一時的又は非有形コンピュータ読み取り可能な伝送媒体の例は、別のコンピュータ又はネットワーク装置とのネットワークコネクションに加えて、無線又は赤外線伝送路と、電子メール送信及びウェブサイトなどに格納された情報を含むインターネット及びイントラネットとを含む。

上述したアプリケーションプログラム１８３３の第２部分及び対応するコードモジュールは、ディスプレイ１８１４に描画される、又は、別の方法で示される１つ以上のグラフィカルユーザーインターフェース（ＧＵＩ）を実現するために実行される。一般的なキーボード１８０２及びマウス１８０３の操作を介して、コンピュータシステム１８００及びアプリケーションのユーザーは、ＧＵＩと関連するアプリケーションに対するコマンド及び／又は入力の制御を提供するために、機能的に適応可能な方法でインターフェースを操作する。機能的に適応可能なユーザーインターフェースのその他の形態は、ラウドスピーカー１８１７を介するスピーチプロンプト出力及びマイクロフォン１８８０を介するユーザボイスコマンド入力を利用するオーディオインターフェースなどで実現される。

図１８Ｂは、プロセッサ１８０５及び「メモリ」１８３４の詳細な概略ブロック図である。メモリ１８３４は、図１８Ａのコンピュータモジュール１８０１によってアクセスすることができる（ＨＤＤ１８０９及び半導体メモリ１８０６を含む）全てのメモリモジュールの論理的な集合体を示す。

コンピュータモジュール１８０１が最初に電源を入れられると、パワーオンセルフテスト（ＰＯＳＴ）プログラム１８５０は実行する。ＰＯＳＴプログラム１８５０は、一般的には、図１８Ａの半導体メモリ１８０６のＲＯＭ１８４９に格納される。ソフトウェアを格納するＲＯＭ１８４９などのハードウェア装置は、ファームウェアと称されることもある。ＰＯＳＴプログラム１８５０は、適切な機能を保証するために、コンピュータモジュール１８０１内のハードウェアを検査し、一般的には、正確な動作のために、プロセッサ１８０５、メモリ１８３４（１８０９，１８０６）及び一般的にはＲＯＭ１８４９に格納された基本入出力システムソフトウェア（ＢＩＯＳ）モジュール１８５１をチェックする。ＰＯＳＴプログラム１８５０が成功裏に実行されたら、ＢＩＯＳ１８５１は、図１８Ａのハードディスクドライブ１８１０を起動する。ハードディスクドライブ１８１０の起動は、プロセッサ１８０５を介して実行するために、ハードディスクドライブ１８１０に常駐するブートストラップローダープログラム１８５２を動作させる。これは、オペレーティングシステム１８５３が動作を開始するＲＡＭメモリ１８０６にオペレーティングシステム１８５３をロードする。オペレーティングシステム１８５３は、プロセッサ管理、メモリ管理、装置管理、記憶管理、ソフトウェアアプリケーションインターフェース及びグラフィックユーザーインターフェースを含む様々なハイレベル機能を実現するために、プロセッサ１８０５によって実行可能なシステムレベルアプリケーションである。

オペレーティングシステム１８５３は、コンピュータモジュール１８０１で動作している各処理又はアプリケーションが別の処理に割り当てられたメモリと衝突せずに実行するのに十分なメモリを有することを保証するために、メモリ１８３４（１８０９，１８０６）を管理する。更に、図１８Ａのシステム１８００で利用可能な種々のタイプのメモリは、各処理が効率的に動作することができるように、適切に用いなければならない。従って、集合メモリ１８３４は、どのようにメモリの特定のセグメントが割り当てられるのか（特に明記しない限り）を明らかにすることを目的としていないが、コンピュータシステム１８００によってアクセス可能なメモリの一般的概念及びどのようにそれらを用いるのかを提供することを目的とする。

図１８Ｂに示すように、プロセッサ１８０５は、制御ユニット１８３９、論理演算ユニット（ＡＬＵ）１８４０及びキャッシュメモリとも称されるローカル又は内部メモリ１８４８を含む多数の機能モジュールを含む。キャッシュメモリ１８４８は、一般的に、レジスタ部に多数の記憶レジスタ１８４４乃至１８４６含む。１つ以上の内部バス１８４１は、これらの機能モジュールを機能的に相互接続する。プロセッサ１８０５は、一般的には、コネクション１８１８を用いて、システムバス１８０４を介して外部装置と通信するための１つ以上のインターフェース１８４２も有する。メモリ１８３４は、コネクション１８１９を用いてバス１８０４に接続される。

アプリケーションプログラム１８３３は、条件付き分岐及びループ命令を含む一連の命令１８３１を含む。プログラム１８３３は、プログラム１８３３の実行に用いられるデータ１８３２も含む。命令１８３１及びデータ１８３２は、記憶場所１８２８、１８２９、１８３０及び１８３５、１８３６、１８３７にそれぞれ格納される。命令１８３１及び記憶場所１８２８乃至１８３０の相対的なサイズに依存して、特定の命令は、記憶場所１８３０に示される命令によって表されるように、単一の記憶場所に格納される。また、命令は、記憶場所１８２８及び１８２９に示される命令セグメントによって表されるように、各々が別々の記憶場所に格納される多数の部分にセグメント化される。

一般的に、プロセッサ１８０５は、その中で実行される命令のセットを与えられる。プロセッサ１８０５は、プロセッサ１８０５が別の命令のセットを実行することに対応する後続入力を待つ。各入力は、図１８Ａに全て示された、１つ以上の入力装置１８０２、１８０３によって生成されたデータ、ネットワーク１８２０、１８２２のうちの１つを越える外部ソースから受け取ったデータ、記憶装置１８０６、１８０９のうちの１つから読み出したデータ又は対応するリーダー１８１２に挿入された記憶媒体１８２５から読み出したデータを含む、多数のソースのうちの１つ以上から提供される。命令のセットの実行は、場合によっては、データの出力をもたらす。実行は、データ又は変数をメモリ１８３４に格納することも含む。

開示された画像処理の形態は、対応する記憶場所１８５５、１８５６、１８５７のメモリ１８３４に格納された入力変数１８５４を用いる。画像処理の形態は、対応する記憶場所１８６２、１８６３、１８６４のメモリ１８３４に格納される出力変数１８６１を生成する。中間変数１８５８は、記憶場所１８５９、１８６０、１８６６及び１８６７に格納される。

図１８Ｂのプロセッサ１８０５を参照するに、レジスタ１８４４、１８４５、１８４５、論理演算ユニット（ＡＬＵ）１８４０及び制御ユニット１８３９は、プログラム１８３３を作り出している命令セットの命令ごとに「フェッチ、デコード、エクセキュート」サイクルを行うために必要なマイクロオペレーションのシーケンスを行うために協同する。各フェッチ、デコード、エクセキュートサイクルは、
（ｉ）記憶場所１８２８、１８２９、１８３０から命令１８３１を取り出す又は読み出すフェッチ動作、
（ｉｉ）制御ユニット１８３９がどの命令が取り出されたのかを決定するデコード動作、
（ｉｉｉ）制御ユニット１８３９及び／又はＡＬＵ１８４０が命令を実行するエクセキュート動作、
を有する。

その後、次の命令のための更なるフェッチ、デコード、エクセキュートサイクルが実行される。同様に、記憶サイクルは、制御ユニット１８３９が記憶場所１８３２に値を格納する又は書き込むことによって行われる。

図２乃至１７及び１９乃至２５の処理の各ステップ又はサブプロセスは、プログラム１８３３の１つ以上のセグメントと関連し、プログラム１８３３の注目セグメントのための命令セットの命令ごとにフェッチ、デコード及びエクセキュートサイクルを行うために、プロセッサ１８０５におけるレジスタ部１８４４、１８４５、１８４６、ＡＬＵ１８４０及び制御ユニット１８３９の協同によって行われる。

画像処理方法のいくつかの部分は、所望の画像処理の機能又はサブ機能を行う１つ以上の集積回路などの専用ハードウェアにより選択的に実行される。そのような専用ハードウェアの例は、例えば、画像のフーリエ変換を行うことを補助するために、グラフィックプロセッサ、デジタルシグナルプロセッサ、又は１つ以上のマイクロプロセッサ及び関連メモリを含む。

フーリエタイコグラフィイメージングによってサンプルのＦＰＭ画像をキャプチャするのに用いられる処理２００の一般的な概要は、図２に示される。ＦＰＭキャプチャ画像を処理することによってサンプルの結合スペクトル画像を生成する処理３００の一般的な概要は、図３に示される。処理２００及び３００は、図１８Ａのコンピュータシステム１８００を用いて行われる、いくつかが手動で又は自動で行われる種々のステップ及び特定の処理ステップを含む。そのような処理は、一般的には、タイコグラフィイメージングを行うために、コンピュータ１８０１のプロセッサ１８０５によって実行可能なソフトウェアアプリケーションを介して制御される。

処理２００において、ステップ２１０では、試料が顕微鏡ステージ１１４の上に随意的にロードされる。そのようなロードは、自動化される。いずれにしても、試料１０２は、イメージングのために位置決めされることを必要とする。次に、ステップ２２０では、試料は、それが焦点面に存在して顕微鏡１０１の視野内にあるように位置決めするために移動させられる。そのような移動は、随意的であり、手動で実行される、又は、コンピュータ１８０１の制御の下でステージ１１４によって自動化される。次に、適切に位置決めされたサンプルとともに、ステップ２４０乃至２６０は、試料１０２を含む全体のスライドの複数の照明配置の所定のセットのための試料の画像のセットをキャプチャ及び格納するループ構造を定義する。一般的に、これは、特定の位置から、又は、特定の角度で試料を照明することによって実現される。可変照明器１０８がＬＥＤマトリクスなどのＬＥＤのセットで形成される場合において、これは、個々のＬＥＤを順々にスイッチングすることによって実現される。それらが処理される順に（照明角が大きくなる順に）ＦＰＭ画像をキャプチャすることが好ましいが、照明の順序は任意である。これは、ＦＰＭ画像キャプチャの完了より前に処理が開始される場合、キャプチャＦＰＭ画像の処理が始められる前の遅延を最小化する。

ステップ２５０は、次の適切な照明配置を設定し、次いで、ステップ２６０では、ＦＰＭ画像１０４がカメラ１０３でキャプチャされ、（図１８ＡのＨＤＤ１８１０などの）データ記憶装置１０６に格納される。キャプチャ画像１０４は、ハイダイナミックレンジ画像、例えば、種々の露光時間でキャプチャされた１つ以上の画像から形成されるハイダイナミックレンジ画像である。適切な露光時間は、照明配置の特性に基づいて選択される。例えば、可変照明器がＬＥＤマトリクスである場合、これらの特性は、現在の配置におけるスイッチが入れられたＬＥＤの照明強度を含む。

ステップ２７０は、全ての照明配置が選択され、次の光学的配置でキャプチャするために処理がステップ２４０に戻らないかをチェックする。全ての所望の配置がキャプチャされた場合、方法２００は完了する。

キャプチャＦＰＭ画像１０４のセットから再構成又は結合スペクトル画像１１０を生成する方法３００は、図３を参照して以下に更に詳細に説明される。方法３００は、好ましくは、中間的な一時記憶のためのメモリ１８０６を用いている間、ＨＤＤ１８１０に格納された画像に作用しているプロセッサ１８０５によるソフトウェアアプリケーションの実行によって行われる。

方法３００は、プロセッサ１８０５が試料１０２のキャプチャＦＰＭ画像１０４のセットを取り出し、キャプチャ画像１０４のそれぞれを空間的に区分するステップ３１０で開始する。図４Ａ及び図４Ｂは、画像の適切な区分を示す。図４Ａの矩形４１０は、幅４２０及び高さ４３０によって形成されるサイズの単一のキャプチャ画像１０４を示す。サイズは、一般的に、カメラ１０３のセンサの解像度（例えば、５６１６×３７４４ピクセル）に対応する。ステップ３１０において、矩形４１０は、隣接する区分４４５の各対の間の重なりを備えた規則的なグリッドで等しいサイズの正方形領域４４０に区分される。交差斜線の区分４５０は、右の区分４５５及び下の区分４６０に隣接し、これらの３つの区分の拡大図は、図４Ｂに示される。図示された空間区分のそれぞれは、サイズディメンション４６５×サイズディメンション４７５を有し、一般的には、例えば、１５０×１５０ピクセル（即ち、ディメンション４６５＝１５０ピクセル、及び、ディメンション４７５＝１５０画素）である。重なり領域４７０及び４８０のｘ及びｙ次元のそれぞれは、適切なサイズ、１０ピクセルを有する。

重なり領域は、区分することが視野を正確にカバーするために、キャプチャ画像１０４の一面に種々のサイズを取る。また、重なり領域は、固定されていてもよく、その場合、区分することは、キャプチャＦＰＭ画像の境界のまわりの小領域を省略する。各区分のサイズ及び区分の総数は、メモリ使用及び処理時間に関してシステムの全体の性能を最適化するために変動する。区分画像のセットは、キャプチャ画像のセットのそれぞれに適用された区分領域の幾何図形的配置（ｇｅｏｍｅｔｒｙ）に対応して形成される。例えば、区分４５０は、区分のそのようなセットの１つを形成するために、スライドの同一の空間領域をカバーする各キャプチャ画像から選択される。

ステップ３２０乃至３４０は、キャプチャ画像の区分のセットを順々に処理するループ構造を定義する。区分のセットは、より速いスループットのために、並行して処理する。ステップ３２０は、キャプチャ画像の区分の次のセットを選択する。次いで、ステップ３３０は、区分画像のセットから、再構成区分画像を生成する。各再構成区分画像は、メモリ１８０６又は１８１０に一時的に格納される。このステップは、図５に関して、以下で更に詳細に説明される。各再構成区分画像は、実質的に、キャプチャ画像のそれぞれの対応する領域４４０に対応する区分であるが、より高い解像度である。また、再構成部分画像は、位相情報を有しているため、複雑である。ステップ３４０は、キャプチャ画像の区分画像の全てのセットが処理されているかをチェックし、そうであるなら、処理はステップ３５０に続き、そうでないなら、処理はステップ３２０に戻る。

ステップ３５０では、単一の結合スペクトル画像１１０を形成するために、各区分領域に対応して形成される１つの再構成部分画像を含む再構成部分画像のセットが結合される。結合スペクトル画像１１０は、画像１１０を形成する図３の方法３００の処理の特定の本質を考慮して図面に示されるように、選択的又は追加的に再構成画像と称される。画像を結合する適切な方法は、図４Ａを参照して理解される。区分セットによってカバーされたキャプチャ画像視野に対応する結合スペクトル画像が定義され、結合スペクトル画像は、区分画像に関連する再構成区分画像のスケールアップと同一のファクターによって、キャプチャ画像に関連してスケールアップされる。各再構成部分画像は、プロセッサ１８０５によって、同一の比率でスケールアップされた区分場所に対応する場所での結合スペクトル画像の上に合成される。効率的な合成方法が存在し、この目的のために用いられる。理想的には、合成は、領域４４５のアップスケールされた同等のものによって与えられた重なり領域における隣接する再構成部分画像の内容を混合する。ステップ３５０は、方法３００の処理を完了する。方法３００の再構成処理は、複数の画像の空間区分に機能する間、空間区分の結合スペクトル特性を有する再構成画像を形成するために動作し、よって、結合スペクトル画像と称される。

ここで説明された形態は、図８Ａに示す大円８０４によって概略的に示されるような相対的に高価なシステム（例えば、高ＮＡレンズを備える）に対抗して、スペクトルが図８Ａのフーリエ表現において小円８０２によって概略的に示される部分スペクトル画像をキャプチャする相対的に安価な光学系（例えば、低ＮＡレンズ、小開口）を提供するように機能する。これは、フーリエ空間において、パターンに従ってキャプチャ画像のスペクトル領域をマッピングすること、及び、結合スペクトル画像を形成するためのパターンにおける隣接するスペクトル領域の間の関係を用いることによって実現される。図８Ｂは、２つの重なり円を示し、各円は、特定の照明角における対応するキャプチャ画像のフーリエ成分を代表するスペクトル領域である。各円の幅８１８は、レンズ又はその他の光学部品の受光角θ_Ｆに対応し、隣接する円の間のシフト８１６は、照明角、又は、更に具体的には、キャプチャ画像の照明角の差によって決定される。図８Ｃは、（対応するキャプチャ画像からの）複数の円が、どのように図８Ａに示す大円８０４の相対的に大きな受光角に対抗することを提供するためのオーバーラップマトリクスに徐々にマッピングされるのかを示す部分（１）乃至（４）を有する。説明された形態における処理が行われるフーリエ空間は、マッピングを介して角度に関連する横波数ベクトルに関して定義される。

区分画像のセットから再構成区分画像を生成するステップ３３０で用いられる方法５００は、図５を参照して、以下で更に詳細に説明される。方法５００は、好ましくは、プロセッサ１８０５によって実行されるソフトウェアを用いて実施される。

まず、ステップ５１０では、再構成区分画像がプロセッサ１８０５によって初期化される。画像は、好ましくは、２Ｄフーリエ変換によってフーリエ空間に変換されたキャプチャ画像のそれと同じピクセルサイズを備えたフーリエ空間において定義される。なお、初期化された画像の各ピクセルは、実成分及び虚数成分を備える複素数を格納する。初期化された画像は、図７Ｂの破線円によって示される領域などの可変的に照明されたキャプチャ画像に対応するフーリエ空間領域の全てを含むために十分に大きい。

なお、代替の実施形態において、再構成区分画像は、対応するキャプチャ画像が処理されるにつれて、連続するフーリエ空間領域のそれぞれを含むように動的に増大するサイズで生成される。

ステップ５１０において再構成区分画像が初期化されると、ステップ５２０乃至５７０は、繰り返し回数までループする。繰り返しの更新は、再構成（結合スペクトル）画像のエラーを低減するために、画像データの潜在的な位相を解像するのに用いられる。繰り返し回数は、固定され、好ましくは、４と１５の間であり、又は、再構成アルゴリズムに関して収斂基準をチェックすることによって動的に設定する。

ステップ５２０は、次の繰り返しを開始し、次いで、ステップ５４０乃至５６０は、ステップ３１０で生成されたキャプチャ画像の区分画像のセットの画像を介して進める。ステップ５４０は、セットから次の画像を選択し、次いで、ステップ５５０は、フーリエ空間において、セットの現在選択された区分画像に基づいて、再構成区分画像を更新する。このステップは、図６を参照して、以下で更に詳細に説明する。次いで、処理は、セットにおける全ての画像が処理されたかをチェックするステップ５６０に継続し、そして、そうでなければ、ステップ５４０に戻り、そうであれば、ステップ５７０に継続する。行うべき繰り返しがあるなら、処理は、ステップ５７０から、ステップ５２０に戻り、又は、繰り返しが完了しているなら、ステップ５８０に継続する。

方法５００の最後のステップ５８０は、再構成区分画像において、それをもとの実空間に変換する逆２Ｄフーリエ変換を行うプロセッサ１８０５を用いることによって生じる。

単一の区分画像に基づいて再構成区分画像を更新するステップ５５０で用いられる方法６００は、図６を参照して、以下で更に詳細に説明される。

ステップ６１０において、プロセッサ１８０５は、現在選択された区分画像に対応する再構成区分画像のスペクトル領域を選択する。これは、試料のフーリエ空間表現、単一のキャプチャ画像に関連するスペクトル領域７０５を示す破線円、及び、照明の配置に対応する実線矢印によって示される横波数ベクトル７１０を示す図７Ｂに示されるように実現される。スペクトル領域７０５は、円領域の内側又は外側で再構成区分画像のスペクトル表現において各ピクセルを割り当て、領域の外側で０を、領域の内側で１を、全てのピクセルに乗算することによって、選択される。また、補間は、ピクセル配列上のスペクトル領域配列の近似化に関連するアーチファクトを避けるために、境界近傍のピクセルに対して用いることができる。この場合、境界の周囲のピクセルは、０から１の範囲の値で乗算される。

なお、可変照明器１０８が試料１２を平面波で照明しないのであれば、任意の照明配置に対する入射角は、試料にわたって、種々の区分の間で変化する。これは、単一の照明配置に対応するスペクトル領域のセットが種々の区分に対して異なることを意味する。

随意的に、スペクトル領域の信号は、光学の収差を処理するために変更される。例えば、スペクトル信号は、特定の瞳収差を処理するために、位相関数で乗算される。位相関数は、キャリブレーション方法を介して、例えば、瞳収差関数のいくつかのパラメータに対する（テスト試料に対して高解像度画像の生成を行うときに形成される）収斂メトリックを最適化することによって決定される。瞳関数は、視野上の入射照明のローカル角度の僅かな差異に起因して、結果的に、種々の区分で異なる。

次に、ステップ６２０では、スペクトル領域からの画像データは、プロセッサ１８０５によって、キャプチャ画像区分と同じ解像度で目標画像を形成するために、フーリエ空間から実空間に変換される。スペクトル領域は、逆２Ｄフーリエ変換を含む変換より前に、ゼロ詰めされる。ステップ６３０では、目標画像の振幅が、対応する（現在の）区分画像の振幅と一致するように設定される。振幅は、（現在の）区分画像のＲＡＷピクセル強度値の平方根をとることによって得られる。目標画像の複雑な位相は、このステップでは変更されない。ステップ６４０では、目標画像は、スペクトル画像を与えるために、フーリエ変換される。最後に、ステップ６５０では、ステップ６１０で選択された再構成区分画像のスペクトル領域の信号は、ステップ６４０で形成されたスペクトル画像（フーリエ空間目標画像）のスペクトル領域からの対応する信号に置き換えられる。なお、アーチファクトに関連した境界を処理するために、いかなる境界ピクセルも含まないスペクトル領域のサブセットに置き換えることが好ましい。スペクトル領域の信号が、収差を処理するために、ステップ６１０で変更されたならば、逆変更は、この段階での再構成区分画像の領域を置き換えることより前に、ステップ６５０の一部として行われる。

概要
ここで開示される具体的な形態は、フーリエタイコグラフィによって少なくとも２つの顕微鏡スライドを撮像する。バーチャルスライド画像１１０の分析を補助するために共通の特徴が位置合わせされ、それらがユーザーに提供されるように、コンピュータモジュール１０５は、再構成（結合スペクトル）バーチャルスライド画像１１０の対を位置合わせするために、本開示の一側面としての図９の画像レジストレーション方法９００を用いる。スライドは、サンプルＡ及びサンプルＢと称される。画像レジストレーション方法９００は、レジストレーション情報とともに、対の再構成画像を形成するためのキャプチャ画像のセットを処理する。レジストレーション情報は、一般的には、再構成画像の１つに適用するディストーションマップの形態をとる。以下の説明において、サンプルＢは、サンプルＡを備える視覚レジストレーションにあるようにゆがめられる。キャプチャＦＰＭ画像のセットは、光学的配置が同様である画像のセットを含む。この説明において、光学的配置は、任意の画像キャプチャに関連する横波数ベクトルを設定するために選択される照明角及び／又は走査開口を参照する。特に、特定の照明角又は走査開口の位置は、試料のスペクトルの部分がキャプチャ強度画像によって表されることを指定するために、エンコードされる。このエンコードは、画像のメタデータ又はヘッダーに格納されたキャプチャ画像に関連する横波数ベクトルの形態であってもよい。

同一又は同様な光学的配置を用いてキャプチャされた画像は、スペクトルの同一の部分に対応する画像情報を示し、レジストレーションアルゴリズムによる分析に好適である。それらは、同一のＦＰＭ装置を用いてキャプチャされる、又は、独立したＦＰＭ装置を用いてキャプチャされる。キャプチャ画像は、再構成から、又は、再構成より前に、対のスライドのためのレジストレーション情報を形成するために用いられ、これらのサンプルのうちの少なくとも１つの再構成と並行して行われるサンプルのレジストレーションを可能にする。

ディスプレイシステム１０７（１８１４）は、バーチャルスライド画像１１０の全体又は部分を表示する。コンピュータモジュール１０５（１８０１）は、ユーザーへの提示の前に、画像を強調するために、バーチャルスライド画像１１０の情報を更に処理することができる。このプロセスは、ユーザーへの診断支援及び／又はその他の潜在的強化を与えるために、画像外観を変更する形態をとることができる。更に、ディスプレイシステム１０７は、１つ以上のバーチャルスライド画像１１０を同時に表示する。

第１の形態
図９は、本開示における画像レジストレーションの実施形態のデータ処理アーキテクチャの概略表現である。ＦＰＭは、スライドに置かれた第１試料（サンプルＡ）の異なる光学的配置を備えた複数の画像９１０をキャプチャするために、ステップ９０５で用いられる。同様に、複数の画像９２０は、ステップ９１５で、ＦＰＭを用いて、別のスライドに置かれた第２試料（サンプルＢ）でキャプチャされる。画像９１０及び９２０は、空間画像であり、各画像は、周波数の狭いバンドに対応する。画像９１０と画像９２０とは、結合スペクトル画像を与えるために、それぞれ結合する。このように、画像９１０及び９２０の個々の画像のそれぞれは、部分スペクトル画像を示す。同一の光学的配置に対応する少なくとも１つの対、又は、好ましくは、複数の対のサンプルＡ及びサンプルＢの画像は、結合ディストーション推定９３５を得るための幾何ディストーション推定及び結合処理９３０への入力として、結合ディストーションマップの形式で、選択される。各対の部分スペクトル画像は、全ての対が空間的に一致している間、それらが同一又は実質的に同一の光学的配置の下でキャプチャされているので、スペクトル的に一致している。望ましくは、同一の光学的配置の下のキャプチャは、実質的に、同一の照明設定を含む。対のための部分スペクトル画像は、スペクトル情報が相対的に低い（即ち、横波数ベクトルが画像の低周波数部分に関連する）光学的配置に対応するように、一般的には選択される。プロセス９３０は、１つ以上の対の対応する部分スペクトル画像から導出された画像を位置合わせするために動作する。ステップ９３０を行うのに好適な方法１４００は、図１４を参照して、以下で更に詳細に説明される。

具体的な実施形態において、第１スライドに関連する第１部分スペクトル画像が選択され、第２スライドの対応する部分スペクトル画像が識別される。識別は、キャプチャ９０５の間に用いられた、第１スペクトル画像に関連する第１照明条件を識別すること、及び、第２スライドの画像９２０のキャプチャ９１５の間に用いられた照明条件を分析することによって行われる。第２スライドの画像９２０のキャプチャ９１５に関連する照明条件と、第１照明条件との比較は、同様な照明条件を選択するために用いられる。選択された同様な照明条件によって、第２の複数の画像からの関連強度画像（第２スペクトル画像）が選択され、これにより、単一の対の第１及び第２スペクトル画像を形成する。サンプルＡのＦＰＭキャプチャ画像９１０は、サンプルＡの結合スペクトル画像９４５を効率的に再構成する（上述した方法３００などの）位相リカバリ処理９４０に対する入力として用いられる。同様に、サンプルＢのキャプチャＦＰＭ画像９２０は、サンプルＢの結合スペクトル画像９５５を再構成する位相リカバリプロセス９５０（方法３００）に対する入力として選択される。結合ディストーション推定（ディストーションマップ）９３５は、処理９６０によって、再構成結合スペクトル画像９５５に適用され、これにより、サンプルＡの画像９４５に登録されたサンプルＢの画像９７０を得る。

図９の形態から、再構成画像９４５及び９５５のいずれか１つ又は両方に基づいて、医師が医学的診断を行うことができると理解される。更に、システム１００は、臨床医によって分析できるように、出力されたディストーションマップを、表示再生のための対応するディスプレイ装置１８１４に送る。ディストーションマップ及び１つ以上の結合スペクトル画像などの画像の並列再生は、画像の診断及び／又はエラーを補助するために用いられる。例えば、それらは、結合スペクトル画像の高ディストーションの領域を強調することができる。例えば、登録画像９７０を決定するための、再構成画像９４５、９４５のうちの少なくとも１つを備えるディストーションマップの適用を介して、画像９４５及び９７０を用いた医学的診断を更に容易にするための、より大きなイメージングオプションを医師に提供する。例えば、形態は、ディストーションマップのゆがみの範囲を強調する機会を提供する。これは、例えば、コンピュータ支援診断の目的のために、特に、許容限界内のレジストレーションによって補正可能である過度なゆがみの場合に、キャプチャ画像データが信頼できないことを示す。上述したように、ナチュラルな試料について、対象スペクトルの種々の領域は、完全には独立していないが、それらは、完全に依存してもいない。スペクトルの制限領域又は領域のセットの信号を与える、そのような試料のフル対象スペクトルを高精度に推定することは、一般的に、可能ではない。従って、異なる光学的配置に対応するＦＰＭキャプチャ画像は、情報量で異なる。隣接する波数ベクトルに対応するＦＰＭキャプチャ画像について予期されるように、スペクトル領域が部分的に重なっていても、これは正しいと予期される。軸上ＦＰＭキャプチャ画像（又はＤＣ画像又はゼロ横波数ベクトル画像）は、ローパスフィルタ、高解像度画像のダウンサンプルバージョンとして現れる。その他の光学的配置についてのＦＰＭ画像は、光学的配置に対応する横波数ベクトルを中心とする高周波数パスバンドを備えたバンドパスフィルタとして現れる。空間構造は、バンドパスフィルタ効果によって変更され、勾配のような画像を結果として生じる。例えば、階段状の強度変化を備えるエッジは、線として現れる。しかしながら、重要な構造情報は、空間的に局所化されて残存し、適切なディストーションマップを生成することができる。

スペクトルの種々の部分は、スペクトルの種々の部分からのディストーションマップが部分的に独立であるように、部分的に独立であると考えられる。結果として、異なるＦＰＭ画像対から得られたディストーションマップは、異なる、独立したエラーを有しそうである。従って、独立したエラーを有するディストーションマップを結合することによって、より高精度なディストーションマップ推定が実現される。この仮定は、合成試料のためのシミュレーションされたテストデータからディストーションマップを算出し、既知のシミュレーショングランドトゥルースに対するディストーションマップの精度をチェックすることによって証明することができる。現実的な合成試料について、複数の異なる部分スペクトル画像から導出されるディストーションマップを結合するときに、ゆがみ推定の精度が改善する。

ディストーションは、一般的には、補間に対して滑らか及び従順であると予期されるため、低解像度部分スペクトル画像（９１０，９２０）から生成された低解像度結合ディストーションマップ（９３５）は、高解像度画像（例えば、９５５）のレジストレーションに好適である。

いくつかのアプリケーションについて、ディストーションマップ９３５をサンプルＢの結合スペクトル画像に適用することが必要ではない。ディストーションマップ９３５は、サンプルＡ及びＢの間の差異を示すために用いられる。例えば、医師がサンプルの間の差異をより詳細に、且つ、容易に観察及び調査することができるように、ディストーションマップ９３５は、サンプルＡ ９４５及びＢ ９５５の再構成画像とともに、視覚的に提示される。また、サンプルＡ ９４５及びＢ ９５５のいずれか及び両方の再構成画像が生成される前に、ディストーションマップ９３５は生成される。

また、各低解像度ディストーションマップ９３５は、関連信頼スコア又は基準を有し、それらは、結合ディストーションマップを形成するために、一緒に結合するためのディストーションマップのベストセットを選択するために用いられる。信頼スコアは、結合ディストーションマップが登録再構成画像の生成に用いるための十分に高い品質を有しているかどうかを決定するために用いられる。

それらが高精度に位置合わせされるべきであるならば、満たさなければならない試料キャプチャ画像のいくつかの制約がある。スライドの間に十分な構造的類似性がなければ、位置合わせは失敗する。発明に従って処理する場合、各対のキャプチャ画像が十分な構造的類似性を含むことが重要である、即ち、アライメントを行う各スペクトル的なバンド制限画像対内に十分な構造的類似性がある。特定のスペクトル領域がそのような情報を含まない場合において、対応するキャプチャ画像は、位置合わせに含めるべきではない。試料スライドが同一の染色及び十分に小さい中間層間隔を備えた組織試料の連続した層から選択されるならば、我々は、高い空間周波数よりも低い空間周波数での構造的類似性の量が大きくなると予期する。これは、低い空間周波数（例えば、傾斜照明ＦＰＭについては、光軸により近い照明角でキャプチャされたそれら）に対応する画像キャプチャ対のセットを用いることがよい理由である。

図１０Ａは、方法９００の様々な処理ステップを行うために用いられる単一のＦＰＭ装置及び２つのプロセッサがあるシステムのための処理タイミング及び同期を示す。例えば、これは、プロセッサ１８０５がデュアルコアプロセッサである場合、又は、２つのプロセッサ１８０５がコンピュータ１８０１で用いられる場合である。図１０Ａの縦軸は、時間を示し、各処理ステップの高さは、相対的な又は比較的な処理時間に対応する。各ステップの正確な処理時間は、画像に関連する数及び光学的配置を含むＦＰＭの設定パラメータに依存し、ＦＰＭ再構成及びディストーションマップ生成ステップで用いられた様々なパラメータにも依存する。

図１０Ａに示すように、ＦＰＭは、まず、ステップ９０５に対応するサンプルＡの画像をキャプチャし、次いで、ステップ９１５のためのサンプルＢの画像をキャプチャする。サンプルＡの十分なＦＰＭ画像がキャプチャされた場合（即ち、処理９０５の終了の後又は若干前）、ステップ９４０でのサンプルＡの結合スペクトル画像の生成は、プロセッサ１において開始することができる。このステップが完了し、サンプルＢの十分なＦＰＭ画像がキャプチャされたら、プロセッサ１は、ステップ９５０に従って、サンプルＢの結合スペクトル画像の生成を始める。ディストーションマップ９３５の生成は、プロセッサ１における再構成と並行して、プロセッサ２において行われる。このディストーションマップ生成は、図１０Ａに示されるように、両方のサンプルのＦＰＭ画像の相対的に小さいサブセットがキャプチャされたら、行われる。図１０Ａに示すディストーションマップ生成の終了時間は、ステップ９１５に関連して説明される。ディストーションマップ生成の結末（ｃｏｎｃｌｕｓｉｏｎ）は、いくつかの実施形態において、ＦＰＭ画像の完全キャプチャの終了の前に生じる。各画像の再構成が完了する場合（ステップ９４０及び９５０のそれぞれの結末）、ステップ９６０において、プロセッサ２は、ディストーションマップを再構成画像に適用することができる。図１０Ａに示されるように、ステップ９６０におけるゆがみ（ディストーションマップ）のアプリケーションは、ステップ９５０における画像サンプルＢの再構成の後に開始される。ディストーションマップが（ステップ９４０からの）画像サンプルＡの再構成に適用される必要があるならば、そのようなアプリケーションは、この例では、ステップ９３５におけるディストーションマップの生成の後に直ちに開始することができる（不図示）。

図１０Ｂは、方法９００の様々な処理ステップを行うために用いられる２つのＦＰＭ装置及び３つのプロセッサがあるシステムのための処理タイミング及び同期を示す。３つのプロセッサは、例えば、クワッドコアプロセッサの一部である。図１０Ｂにおいて、２つのＦＰＭは、ステップ９０５でサンプルＡのＦＰＭ画像を、ステップ９１５でサンプルＢのＦＰＭ画像を同時にキャプチャする。例えば、図２５を参照して以下で説明されるように、サンプルＡ及びＢの十分なＦＰＭ画像がキャプチャされると、プロセッサ１は、ディストーションマップを生成することを開始する。サンプルＡ及びＢの十分なＦＰＭ画像がそれぞれキャプチャされた後、プロセッサ２及び３は、ステップ９４０でサンプルＡの再構成画像を、ステップ９５０でサンプルＢの再構成画像を、実質的に同時に又は並行して生成することを開始することができる。サンプルＢ画像が再構成されると、ディストーションマップは、既に生成され、ステップ９６０に従って適用することができる。この実施形態に適切な処理フローの多くのバリエーションが用いられることは明らかである。また、プロセッサのうちの多数のプロセッサ及び処理ステップの形態が用いられる。例えば、図１０Ｂのゆがみ適用ステップ９６０は、３つのプロセッサのいずれかにおいて行われる。

図１１は、図９に関連する形態１１００の概略フロー図である。単一のＦＰＭがサンプルＡ及びサンプルＢの画像を取得するために用いられる場合に、この形態１１００が好適である。第１実行シーケンス１１０５は、ステップ１１１０、１１２０、１１３０、１１４０及び１１５０を有し、例えば、第１プロセッサにおいて実行することができる。第２実行シーケンス１１６０は、ステップ１１７０を有し、第２プロセッサにおいて実質的に並行して実行することができる。プロセッサは、通信し、例えば、第２プロセッサは、第１プロセッサ及び第２プロセッサのそれぞれと接続するＦＰＭ装置からキャプチャ画像を受け取ることができる。更に、第２プロセッサは、更なる処理のために、例えば、ディストーションマップを結合スペクトル画像又は強調された高ディストーション領域に適用するために、結果ディストーションマップを、もとの第１プロセッサに通信することができる。選択的又は追加的に、第２プロセッサは、それが臨床医によって分析することができるように、出力ディストーションマップを、表示再生のための対応するディスプレイ装置１８１４に送ることができる。ディストーションマップ及び１つ以上の結合スペクトル画像などの画像の並列再生は、結合スペクトル画像における高ディストーションの領域を強調するために用いられる。

ステップ１１１０では、方法２００において説明したように、ＦＰＭを用いて、サンプルＡのＦＰＭ画像９１０がキャプチャされる。ステップ１１２０では、方法３００において説明したように、キャプチャ画像９１０を用いて、サンプルＡ ９４５の結合スペクトル画像１１２５が生成される。ステップ１１３０では、方法２００において説明したように、サンプルＢのＦＰＭ画像９２０がキャプチャされる。キャプチャＦＰＭ画像９１０及び９２０は、第１実行シーケンスと並行して動作する第２実行シーケンス１１６０に渡される。ステップ１１７０において、第２実行シーケンスは、第１実行シーケンスのステップ１１５０に送られる結合ディストーションマップ９３５を生成する。ステップ１１３０の後、第１実行シーケンスは、方法３００において説明したように、キャプチャＦＰＭ画像９２０を用いて、サンプルＢ ９５５の結合スペクトル画像を生成するステップ１１４０に継続する。ステップ１１５０では、サンプルＡの結合スペクトル画像におけるピクセル座標ごとの位置をサンプルＢの結合スペクトル画像１１４５における座標にマッピングすることによって、ステップ１１７０から受け取った画像ディストーションマップ９３５に基づいて、サンプルＢ ９５５の結合スペクトル画像がゆがめられる。代替（不図示）として、ステップ１１５０は、ディストーションマップ９３５をサンプルＡの結合スペクトル画像１１２５に適用することができる。次いで、ピクセル値は、マッピングされた位置を用いて、サンプルＢの結合スペクトル画像１１４５に補間され、ディストーションマップ９７０は、サンプルＢの結合スペクトル画像１１４５からの補間値を含むが、サンプルＡの結合スペクトル画像１１２５と同一のサイズで再構成される。３次補間法は、ゆがみの間の補間として用いられることが望ましく、許容画質を生み出す。しかしながら、本開示の範囲を逸脱せずに、バイリニア、サイン又はスプライン補間などのその他の補間技術も用いられることが理解される。

上記の形態は、多くの利点をもたらす。まず、それらは、再構成処理が行われている間、ディストーションマップの生成を提供する。更に、形態は、再構成の間、ゆがみを行えること、例えば、図１０Ａから説明されるように、サンプルＢが再構成されている間、ゆがみがサンプルＡの再構成に適用されることを提供する。

ゆがみ結合スペクトル画像９７０の演算において、更なる処理が登録画像で生じ、又は、２つの画像（即ち、サンプルＡの再構成された結合画像、及び、登録されたサンプルＢの結合スペクトル画像）は、位置合わせされたそれらの特徴を備える２つの画像の間でスイッチングすることによって、交互に見られる。

図１２は、図１１の形態１１００に対する代替概略フロー図であり、実行は、３つの並行シーケンスを有する形態１２００において行われる。形態１２００は、ディストーションマップの並行生成に加えて、サンプルＡ及びサンプルＢのための再構成画像の生成を並行して行うことを可能にする。第１実行シーケンス１２０５は、ステップ１２１０、１２２０、１２３０及び１２４０を有し、例えば、図１０Ｂに示すようなプロセッサ２において実行される。第２実行シーケンス１２５０は、ステップ１２６０を有し、例えば、図１０Ｂに示すようなプロセッサ３において実行される。第３実行シーケンス１２７０は、ステップ１２８０を有し、例えば、図１０Ｂに示すようなプロセッサ１において実行される。プロセッサ１、２及び３は、通信する。例えば、プロセッサ２は、プロセッサのそれぞれに接続されたＦＰＭ装置からキャプチャ画像を受け取ることができる。更に、プロセッサ１は、更なる処理のために、結果ディストーションマップを、もとのプロセッサ３に通信することができる。

ステップ１２１０では、方法２００において説明したように、ＦＰＭを用いて、サンプルＡのＦＰＭ画像９１０がキャプチャされる。キャプチャＦＰＭ画像９１０は、例えば、それらがキャプチャされながら、第１実行シーケンスと並行して動作する第２実行シーケンス１２５０及び第３実行シーケンス１２７０に渡される。ステップ１２６０では、方法３００において説明したように、キャプチャ画像９１０を用いて、サンプルＡ ９４５の結合スペクトル画像が生成される。第３実行シーケンス１２７０のステップ１２８０は、第１実行シーケンスのステップ１２４０に送られる結合ディストーションマップ９３５を生成する。

ステップ１２１０の後、第１実行シーケンス１２０５は、方法２００において説明したように、サンプルＢのＦＰＭ画像９２０がキャプチャされるステップ１２２０に継続する。ステップ１２３０では、方法３００において説明したように、キャプチャ画像９２０を用いて、サンプルＢ ９５５の結合スペクトル画像が生成される。ステップ１２４０では、サンプルＡの結合スペクトル画像におけるピクセル座標ごとの位置をサンプルＢの結合スペクトル画像における座標にマッピングすることによって、ステップ１２８０から受け取った画像ディストーションマップ９３５に基づいて、サンプルＢ ９５５の結合スペクトル画像がゆがめられる。

図１３は、図１０Ｂに関連する形態１３００の概略フロー図である。第２ＦＰＭがサンプルＢの画像を取得するために用いられる場合に、形態１３００は好適であり、並行キャプチャを可能にする。第１実行シーケンス１３０５は、ステップ１３１０及び１３２０を有する。第２実行シーケンス１２５０は、ステップ１３４０、１３５０及び１３６０を有する。第３実行シーケンス１３７０は、ステップ１３８０を有する。実行シーケンスは、互いに通信する対応するプロセッサによって行われる。

第１実行シーケンスのステップ１３１０では、方法２００において説明したように、ＦＰＭを用いて、サンプルＡのＦＰＭ画像９１０がキャプチャされる。キャプチャＦＰＭ画像９１０は、第１実行シーケンスと並行して動作する第３実行シーケンス１３７０に渡される。ステップ１３１０の後、第１実行シーケンスは、方法３００において説明したように、キャプチャ画像９１０を用いて、サンプルＡ ９４５の結合スペクトル画像が生成されるステップ１３２０に継続する。

第２実行シーケンスのステップ１３４０では、方法２００において説明したように、ＦＰＭを用いて、サンプルＢのＦＰＭ画像９２０がキャプチャされる。キャプチャＦＰＭ画像９２０は、第２実行シーケンスと並行して動作する第３実行シーケンス１３７０に渡される。第３実行シーケンスのステップ１３８０は、第２実行シーケンスのステップ１３６０に送られる結合ディストーションマップ９３５を生成する。ステップ１２４０の後、第２実行シーケンスは、方法３００において説明したように、キャプチャ画像９２０を用いて、サンプルＢ ９５０の結合スペクトル画像が生成されるステップ１３５０に継続する。ステップ１３６０では、登録画像９７０を形成するために、サンプルＡの結合スペクトル画像におけるピクセル座標ごとの位置をサンプルＢの結合スペクトル画像における座標にマッピングすることによって、ステップ１３８０から受け取った画像ディストーションマップ９３５に基づいて、サンプルＢ ９５５の結合スペクトル画像がゆがめられる。

図１４は、サンプルＡの結合スペクトル画像に対するサンプルＢの結合スペクトル画像のレジストレーションに好適なディストーションマップを生成するために用いられるプロセス９３０、１１７０、１２８０及び１３８０を例示する処理１４００の概略フロー図である。処理１４００は、処理１４００に渡され、プロセッサ１８０５によって行われる２つのサンプル（Ａ及びＢ）のキャプチャＦＰＭ画像のセットを順々に処理するループ構造を用いる。処理１４００は、キャプチャＦＰＭ画像がステップ１４１０で受け取られると、開始する。画像に加えて、キャプチャに用いられたサンプル及び光学的配置を識別する情報が受け取られる。ステップ１４２０では、プロセッサ１８０５は、同一の光学的配置を備えるその他のサンプルからの対応する画像が既に格納されているかどうかを決定するために動作する。格納されていなければ、その後のステップ１４１０での取り出しのために、画像、サンプルＩＤ及び光学的配置情報は、ステップ１４３０で、例えば、メモリ１８０６に一時的に格納され、実行は、ステップ１４１０で再開する。その他のサンプルからの対応する画像が存在するとステップ１４２０で決定されると、ステップ１４４０は、（ステップ１４３０で）以前に格納された画像を取り出す。ステップ１４５０では、２つのキャプチャＦＰＭ画像は、ディストーションマップを推定するために用いられる。場合によっては、強度が用いられるが、キャプチャ画像の振幅がディストーションの推定に用いられることが好ましい。上述したように、振幅は、ＲＡＷピクセル強度値の平方根をとることによって得られる。

ディストーションマップを推定する好適な方法は、勾配ベースの方法を用い、
第１画像に対して第２画像を登録するために第２画像に適用される候補スムーズディストーションマップを生成するための低周波数ＤＣＴ係数をフィットするように動作する。更なる精度を提供するために、この方法は、登録画像の間のＲＭＳエラーによって与えられるレジストレーションエラーが許容、一般的には、所定のレベルに低減されるまで繰り返される。勾配ベースの方法は、初期レジストレーションエラーが過度に大きい場所で失敗し、この場合、動作を可能とし、リジットＲＳＴ（ローテーション、スケール、トランスレーション）変換が初期候補モーションフィールドを提供するために推定され、非リジット位置合わせは、ピラミッド的なスキームにおいて低解像度から高解像度まで動作することができる。

ディストーションマップは、関連統計値を有する。例えば、１つの統計値は、ディストーションマップに従ってゆがめられた、対のサンプルＡのキャプチャ画像とサンプルＢのキャプチャ画像のピクセルの間のＲＭＳ（ルートミーンスクエア）エラーである。ＲＭＳエラーは、信頼メトリックとして用いられる。ディストーションマップ及び信頼メトリックなどの関連情報は、その後のステップ１４７０での取り出し及び結合のために、メモリ１８０６に一時的に格納される。ステップ１４６０では、プロセッサ１８０５は、レジストレーションにおいて用いられることを対象としたサンプルＡ及びＢについての全てのキャプチャ画像が受け取られ、処理されたかどうかを決定する。レジストレーションアルゴリズムによって用いられるべき画像のセットは、以下で説明されるように、最小の横波数ベクトルを備えるそれらのセットを含む。そうでなければ、実行は、ステップ１４１０で再開する。全ての画像が受け取られていれば、ステップ１４５０で生成されたディストーションマップは、結合ディストーションマップと称する単一のディストーションマップを生成するために、ステップ１４７０で結合される。

好ましくは、全てのキャプチャＦＰＭ画像対は、図２５（１）に示されるように、対応するディストーションマップを生成するために用いられる。しかしながら、キャプチャＦＰＭ画像対のサブセットは、対応するディストーションマップを生成するために用いられる。例えば、低空間周波数に関連する画像対又は重なり周波数を有さない画像対は、サポートする。演算されたディストーションマップのサブセットが結合に用いられるならば、ステップ１４４０でのディストーションマップ演算は、所望のサブセット内の画像対にだけ必要である。サブセットは、光学的配置によって制御されるように、フーリエ空間の場所に基づいて予め決められる。例サブセットは、図２５（２）に示すように、ＤＣ（セントラル）フーリエ場所である。別のサブセットは、図２５（３）及び図２５（４）に示すＤＣ及び隣接するフーリエ領域、図２５（５）に示すＤＣ及び軸、又は、ＤＣを中心とする、可変サイズの正方形又は円内の対角領域を含む。非重なりサブセットは、図２５（６）に示すように用いられる。その他のサブセットは、用いられる。

好ましくは、ディストーションマップは、単純な平均化によって結合される。また、重み付け結合スキームが用いられる。例えば、重みは、ディストーションマップ生成のために用いられたキャプチャ画像対に関連する放射横波数ベクトルによって決定される。その他の結合スキームは、非線形方法又は各ディストーションマップに関連する信頼基準に基づく重み付けスキームを含んで用いられる。

方法１４００の処理のその他の実施形態において、各サンプルからの画像のセットは、分析より前に結合される。例えば、それらは、単純に平均化される、又は、試料の高解像度画像を形成するために、ともに処理される。そのような結合画像は、ステップ１４１０で、キャプチャ画像として受け取られ、しかしながら、この場合、画像を定義する光学的配置情報は、結合された画像の全て及び結合の方法の情報を含まなければならない。

第２の形態
結合スペクトル画像は、相対的に大きい（２５，０００×２５，０００ピクセルよりも多い）ため、多くの場合、単に、サブ領域を見ることが望ましい。ここの説明は、１つ以上の注目領域がユーザーによって選択される、又は、画像分析アルゴリズムによって自動的に決定される、代替形態である。これらの領域の登録結合スペクトル画像は、サンプルＡ及びサンプルＢの両方に対して生成される。キャプチャＦＰＭ画像から結合スペクトル画像を生成するために必要な処理は、低減されたピクセル数に起因して、著しく低減される。

図１５Ａは、例示的なサンプルＡの図であり、図１５Ｂは、同様に、対応するサンプルＢの図である。サンプルＡにおける注目領域（ＲＯＩ）は、破線矩形１５１０によって示される。サンプルＢにおける対応する領域は、破線領域１５２０によって示される。なお、対応する領域１５２０は、この概略例において、矩形として示されるが、一般的には、領域１５２０は、曲がった境界を有する。しかしながら、領域選択は、一般的には、オリジナルのスライド画像の座標において行われるため、サンプルＢの対応する領域１５２０を含み、サンプルＡの領域１５１０に位置合わせされた図１５Ｂの画像の部分１５３０が選択される。領域１５２０は、領域１５１０に対する対応するディストーションマップの適用によって決定される。説明されるように、部分１５３０は、領域１５２０の境界ボックスの位置を介して取得され、領域１５１０に対応する対象に対応する。図１６は、図９のデータ処理アーキテクチャの変更バージョンを示す概略ブロック図である。サンプルＡの注目領域１６２５を選択する及びサンプルＢの対応する領域１６４５を決定するための動作が導入される。

方法１６００における多数の処理は、より速いスループットを実現するために、並行して行われる。１つのオプションは、複数の注目領域に対して、図１７に示される。単一の注目領域に対するオプションは、図１９に示される。選択されたＲＯＩだけを処理する結果として、トータルの処理時間が著しく低減される。

図１７は、図１６に示す方法１６００の様々な処理ステップを行うために用いられる単一のＦＰＭ装置及び１つ以上のプロセッサがあるシステムのための処理タイミング及び同期を示す。図１７の縦軸は、時間を示し、各処理ステップの高さは、相対的な処理時間に対応する。各ステップの正確な処理時間は、画像に関連する数及び光学的配置を含むＦＰＭの設定パラメータに依存し、ＦＰＭ再構成及びディストーションマップ生成ステップで用いられた様々なパラメータにも依存する。

図１６及び図１７の両方を参照するに、ＦＰＭは、まず、ステップ１６０５でサンプルＡ １６１０の画像をキャプチャし、次いで、ステップ１６１５でサンプルＢ １６２０の画像をキャプチャする。両方のサンプルの比較的に小さいＦＰＭ画像のセットがキャプチャされると、ステップ１６３５での結合ディストーションマップの生成がプロセッサ１において行われる。これに続いて、プロセッサ１８０５は、処理ステップ１６２５、１６４０、１６４５及び１６５０に従って、サンプルＡ １６６５及びサンプルＢ １６７０の登録注目領域を生成することを開始する。ステップ１６２５で選択された注目領域は、（ＧＵＩ表現を介して）ユーザー又はアルゴリズム、例えば、コンピュータ支援診断（ＣＡＤ）システムの一部によって選択される。ステップ１６２５で選択されたＲＯＩ及び結合ディストーションマップ１６３５に基づいて、ステップ１６４５は、サンプルＢのための対応するＲＯＩを決定する。ＲＯＩ画像の再構成は、ステップ１６４０及び１６５０のそれぞれに進む。それらが利用できるならば、これらの処理ステップは、複数のプロセッサに広がる。例えば、十分なプロセッサがあるならば、サンプルＢの注目領域に対する結合スペクトル画像の生成（ステップ１６５０）は、２つの注目領域が並行して再構成されるように、サンプルＡの注目領域に対する結合スペクトル画像を生成（ステップ１６４０）するプロセッサとは異なるプロセッサにおいて行われる。更に、様々なＲＯＩに対するこれらのステップの順番は、変更することができる。例えば、図１７に示すように、第２プロセッサは、ディストーションマップ１６３５の生成よりも前に、ＲＯＩ３乃至６に対する再構成画像を生成することができる。そして、ステップ１６４５、１６５０及びステップ１６６０でのゆがみの適用は、所望のレジストレーションを行うために、ＲＯＩ３乃至６のそれぞれに対して順々に行われる。

この形態に適合する多くの処理フローは、選択可能な多数のプロセッサ又はプロセッサのうち処理ステップの形態などとして用いられる。

図１９は、図１２に示す動作のシーケンスの変更を示し、実行は、３つの並行シーケンスにおいて行われる。この形態は、図１７を参照して説明されるように、ディストーションマップの並行生成に加えて、サンプルＡに対する単一の注目領域及びサンプルＢの対応する注目領域の結合スペクトル画像の生成を並行して行うことを可能にする。図１１及び図１３に基づく代替形態が用いられる。

第１実行シーケンス１９０５は、ステップ１９１０、１９１５、１９２０、１９２５、１９３０及び１９４０を有する。第２実行シーケンス１９５０は、ステップ１９６０を有する。第３実行シーケンス１９７０は、ステップ１９８０を有する。

第１実行シーケンス１９０５のステップ１９１０では、方法２００において説明したように、ＦＰＭを用いて、サンプルＡの部分スペクトルキャプチャＦＰＭ画像１６１０がキャプチャされる。キャプチャＦＰＭ画像１６１０は、第１実行シーケンスと並行して動作する第３実行シーケンス１９７０に渡される。第１実行シーケンスのステップ１９１５では、注目領域を識別するために、軸上照明に対応するサンプルＡのキャプチャ画像が用いられる。注目領域は、手動で又は画像分析によって自動的に選択され、境界又はマスクとして定義される。サブ画像は、注目領域を含むキャプチャＦＰＭ画像から形成される。例えば、それらは、全体の領域をカバーする隣接するボックスを備えた矩形領域である。矩形領域は、固定数のピクセル又はＲＯＩのまわりの隣接するボックスのパーセンテージによって定義されたサイズを備えるいくつかのバッファ領域、又は、このようにして決定されたバッファ領域サイズのいくつかの組み合わせ（例えば、固定サイズ及び隣接するボックスのパーセンテージに基づいて決定された２つのパラメータの最大）によって、ＲＯＩ以外のところに拡張される。サブ画像は、第２実行シーケンス１９５０に渡される。第２実行シーケンス１９５０のステップ１９６０では、方法３００において説明したように、サブ画像を用いて、サンプルＡの再構成サブ画像が生成される。第１実行シーケンス１９０５のステップ１９２０では、方法２００において説明したように、ＦＰＭを用いて、サンプルＢのＦＰＭ画像１６２０がキャプチャされる。キャプチャＦＰＭ画像１６２０は、第３実行シーケンス１９７０に渡される。第３実行シーケンス１９７０のステップ１９８０は、第１実行シーケンスのステップ１９２５及び１９４０に送られる結合ディストーションマップ１９８５を生成する。第１実行シーケンスのステップ１９２５では、結合ディストーションマップは、サンプルＢに対する対応する注目領域を取得するために、サンプルＡに対して選択された注目領域を定義する境界又はマスクに適用される。この注目領域は、矩形ではなく、注目領域を再構成処理により適切な包囲矩形領域に拡張又は拡大することに適している。サブ画像は、サンプルＢに対して決定された注目領域を含むサンプルＢのキャプチャＦＰＭ画像から形成される。実行は、方法３００において説明したように、対応するサブ画像を用いて、サンプルＢの再構成サブ画像が形成されるステップ１９３０に継続する。好適な実施形態において、ステップ１９３０の再構成は、注目領域に関連しない、それらのサブ画像を除いた、対応するサブ画像（即ち、スライド画像の非選択部分）を用いて行われる。ステップ１９４０では、サンプルＡの対応するサブ画像に登録されたサンプルＢ １６７０の再構成サブ画像を生成するために、ステップ１９８０から受け取ったディストーションマップが用いられる。

第３の形態
ディストーションマップは、サンプルＡの結合スペクトル画像を生成する処理の速度及び精度を改善するためにも用いられる。（ステップ１２１０からの）サンプルＡに対する初期結合スペクトル画像は、結合ディストーションマップに従ってゆがめられた、サンプルＢに対して得られた結合スペクトル画像によって初期化される。なお、この形態の利点を得るために、サンプルＡ及びサンプルＢには実質的に同様であることが要求され、例えば、それらは、同一の手法で染色された同一の試料の連続するスライドである。例えば、バーコードなどのスライドに取り付けられているラベルを分析することによって、２つのスライドがシーケンスにおいて隣接しているかどうかをチェックすることができる。

図２０は、図９のデータ処理アーキテクチャ９００の変更バージョンを示すアーキテクチャ２０００の概略ブロック図である。前の形態と同様に、処理２０００は、ステップ２００５でサンプルＡ ２０１０のキャプチャを、ステップ２０１５でサンプルＢ ２０２０のキャプチャを開始する。ステップ２０３０は、ディストーションマップを生成し、結合ディストーションマップ２０３５を形成するために、生成されたディストーションマップを結合する。ステップ２０３０を行うのに好適な方法１４００は、図１４を参照して更に詳細に説明される。前の形態と同様に、サンプルＢ画像２０２０は、サンプルＢの結合スペクトル再構成画像２０５５を提供するために、再構成ステップ２０５０に入力される。マップ２０３５は、登録サンプルＢ画像２０７０を出力するために、ステップ２０６０において、結合スペクトル画像２０５５にゆがみを適用するために用いられる。この具体的な形態において、登録サンプルＢ画像２０７０は、サンプルＡ画像の再構成を初期化又は推定するためのステップ２０７５でのキャプチャサンプルＡ ２０１０画像を備えたゆがみ画像として用いられる。これは、上で議論されたステップ５１０と同種のステップを行うことを含む。初期化されると、ステップ２０８０は、サンプルＡ画像２０８５の再構成を生成するために、これまでのように進む。図９の形態と比較するに、追加の初期化ステップ２０７５は、サンプルＡに対する再構成処理の収斂を補助する初期開始点として登録サンプルＢを用いることによって、促進された再構成を実現する。

図２１は、図１２に示す動作のシーケンスの変更を示す方法２１００を示し、図２０の実行が３つの並列シーケンスにおいて行われる。この形態は、サンプルＡに対する結合スペクトル画像の生成、サンプルＢに対する結合スペクトル画像の生成及びディストーションマップの生成を並行して行うことを可能にする。図１１及び図１３に基づく代替形態が用いられる。

方法２１００において、サンプルＡは、サンプルＢの後にキャプチャされ、サンプルＢは、ディストーションマップの標準アプリケーションを用いて、サンプルＡに登録される。

第１実行シーケンス２１０５は、ステップ２１１０、２１２０及び２１３０を有する。第２実行シーケンス２１５０は、ステップ２１６０及び２１６５を有する。第３実行シーケンス２１７０は、ステップ２１８０を有する。

第１実行シーケンス２１０５のステップ２１１０では、方法２００において説明したように、ＦＰＭを用いて、サンプルＢのＦＰＭ画像２０２０がキャプチャされる。キャプチャＦＰＭ画像２０２０は、第１実行シーケンス２１０５と並行して動作する第２実行シーケンス２１５０及び第３実行シーケンス２１７０に渡される。第１実行シーケンス２１０５のステップ２１２０では、方法２００において説明したように、ＦＰＭを用いて、サンプルＡのＦＰＭ画像２０１０がキャプチャされる。キャプチャ画像２０１０は、第３実行シーケンス２１７０に渡される。

第３実行シーケンス２１７０のステップ２１８０は、第２実行シーケンス２１５０のステップ２１６５に送られる結合ディストーションマップを生成する。

第２実行シーケンスのステップ２１６０では、方法３００において説明したように、キャプチャＦＰＭ画像９１０を用いて、サンプルＢ ２０５５の結合スペクトル画像が生成される。ステップ２１６５では、ステップ２１８０から受け取ったディストーションマップは、サンプルＡに登録されたサンプルＢの結合スペクトル画像２１７０を生成するために用いられる。ゆがみ画像である画像２１７０は、第１実行シーケンスのステップ２１３０に送られる。

第１実行シーケンスのステップ２１３０では、サンプルＢ ２０７０の登録結合スペクトル画像は、サンプルＡ ２０８５の結合スペクトル画像を生成する処理３００の一部を形成するステップ５１０において説明されるように、サンプルＡに対する再構成を初期化するために用いられる。

随意的に、サンプルＢの部分結合スペクトル画像は、ステップ２１３０で用いられる。これは、スライドＡ及びＢの再構成が同時に起こるように、サンプルＡに対する結合スペクトル画像の生成をより早く開始することを可能にする。部分再構成は、第５の形態について以下で説明される。

第４の形態
ディストーションマップは、再構成より前に、サンプルＢのキャプチャ画像をゆがめるためにも用いられる。この場合、再構成の結果は、サンプルＡに登録されたサンプルＢの画像である。このように、サンプルＢの大きな結合スペクトル画像をゆがめるステップは、回避される。

図２２は、代替データ処理アーキテクチャ２２００を示す概略ブロック図である。ＦＰＭは、スライドに置かれた第１試料（サンプルＡ）の異なる光学的配置を備えた複数の画像２２１０をステップ２２０５でキャプチャするために用いられる。同様に、複数の画像２２２０は、ＦＰＭを用いて、別のスライドに置かれた第２試料（サンプルＢ）のステップ２２１５でキャプチャされる。同一の光学的配置に対応するサンプルＡ及びサンプルＢの対の部分スペクトル画像は、推定を得るための幾何ディストーション推定及び結合処理２２３０への入力として、結合ディストーションマップ２２３５の形式で、用いられる。ＦＰＭサンプルＡ画像２２１０は、サンプルＡの結合スペクトル画像２２４５を取得するために、位相リカバリ処理２２４０に入力される。結合ディストーションマップ２２３５は、サンプルＢの登録部分スペクトル画像２２５５を取得するために、ゆがみ処理２２５０によって、キャプチャＦＰＭ画像２２２０に適用される。サンプルＢの登録キャプチャＦＰＭ画像２２５５は、サンプルＡとともに登録された、サンプルＢの結合スペクトル画像２２７０を生成するために、位相リカバリプロセス２２６０に入力される。

方法２２００における多数の処理は、より速いスループットを実現するために、並行して行われる。１つの動作は、図２３に示される。

図２３は、方法２２００の様々な処理ステップを行うために用いられる単一のＦＰＭ装置及び１つ以上のプロセッサがあるシステムのための処理タイミング及び同期を示す。また、図１７の縦軸は、相対的な時間を示し、各ステップの正確な処理時間は、ＦＰＭ、及び、再構成及びディストーションマップ生成ステップの多数の設定パラメータに依存する。

ＦＰＭは、まず、サンプルＢの画像をステップ２２１５でキャプチャし、次いで、サンプルＡの画像をステップ２２０５でキャプチャする。十分なサンプルＡのＦＰＭ画像がキャプチャされると、サンプルＡに対するステップ２２４０の位相リカバリは、プロセッサ１において行われる。相対的に小さいＦＰＭ画像のサブセットが両方のサンプルについてキャプチャされると、ステップ２２３０のディストーションマップの生成は、プロセッサ２において行われる。これに続いて、プロセッサは、ステップ２２５０において、ゆがみマップをキャプチャ部分スペクトル画像に適用し、位相情報がリカバーされたサンプルＢの結合スペクトル画像をステップ２２６０で生成する。この結合スペクトル画像は、キャプチャ画像に対するディストーションマップの先行アプリケーションの結果として、サンプルＡに対して位置合わせされる。なお、図２３において、サンプルＡ及びＢ（２２０５及び２２１５）の画像のキャプチャの順序は、入れ替えてもよい。

図１１、図１２及び図１３に示す並行動作の形態は、図２２に従って変更されてもよい。

第５の形態
対の部分再構成画像は、サンプルＡ及びＢのキャプチャ画像の選択サブセットを用いて生成される。ディストーションマップは、部分結合スペクトル画像対から取得される。部分再構成画像は、ディストーション推定処理において組み込まれた位相情報を含む。マグニチュード画像がテクスチャを制限しているいくつかの領域において、位相情報の使用は、レジストレーションの全体の精度を向上させるために用いられる。例えば、画像レジストレーションは、位相画像、位相勾配又はいくつかの適切にフィルタされた位相画像に基づいて行われる。

図２４は、部分再構成を用いる代替データ処理アーキテクチャ２４００を示す概略ブロック図である。ＦＰＭは、スライドに置かれた第１試料（サンプルＡ）の異なる照明条件を備えた複数の画像２４１０をステップ２４０５でキャプチャするために用いられる。同様に、ＦＰＭを用いて、別のスライドに置かれた第２試料（サンプルＢ）の複数の画像２４２０がステップ２４１５でキャプチャされる。試料Ａに対してＦＰＭ画像２４１０から導出されるＦＰＭ画像のサブセットは、サンプルＡの中間解像結合スペクトル画像２４１８を取得するために、位相リカバリ処理２４１５に入力される。好適なサブセットは、ゼロに最も近い横波数ベクトル（ＤＣ横波数ベクトル）を備えた画像のセットである。例えば、傾斜照明ＦＰＭにおいて、それらは、軸上画像、及び、光軸に対して小さい角度を備えた横波数ベクトル空間において、これに隣接する画像である。サンプルＢに対してＦＰＭ画像２４２０から導出されるＦＰＭ画像のサブセットは、サンプルＢの中間解像結合スペクトル画像２４２８を取得するために、位相リカバリ処理２４２５に入力される。好適なサブセットは、サンプルＡのサブセットに用いられたような対応する照明条件を備えた画像である。サンプルＡ及びＢの中間解像再構成画像は、ディストーション推定マップ２４３５を取得するために、マップを形成する幾何ディストーション推定処理への入力として用いられる。

サブセットではない、サンプルＡの残りのＦＰＭ画像２４１０は、サンプルＡの結合スペクトル画像２４４５を取得するために、位相リカバリ処理２４４０に入力される。この処理は、再構成に対する好適な初期化として、ステップ２４１５からの中間解像画像２４１８を用いる。同様に、サブセットではない、サンプルＢの残りのＦＰＭ画像２４２０は、サンプルＢの結合スペクトル画像２４５５を取得するために、位相リカバリ処理２４５０に入力され、この処理は、再構成に対する好適な初期化として、ステップ２４２５からの中間解像画像２４２８を用いる。ディストーション推定マップ２４３５は、サンプルＡの画像２４４５とともに登録された、サンプルＢの画像２４７０を取得するために、プロセッサ２４６０によって、結合スペクトル画像２４５５に適用される。

図１１、図１２及び図１３に示す並行動作の形態は、図２４に従って変更されてもよい。

更に、ディストーションマップを生成する方法２４００は、その他の形態に組み込まれてもよい。

産業適用性
説明された形態は、コンピュータ及びデータ処理産業に適用可能であり、特に、生物的な試料の顕微鏡画像のレジストレーションに適用可能である。

上記は、本発明のいくつかの実施形態のみを説明し、変更及び／又は変化は、本発明の範囲及び主旨から逸脱することなく、それらを構成し、実施形態は、例であって、限定するものではない。

Claims (28)

1. 顕微鏡装置を用いて取得された画像を処理するコンピュータで実行可能な方法であって、
   試料組織を軸方向に交差する面でスライスした隣接するレイヤに対応する第１スライド及び第２スライドのそれぞれに対して、空間周波数においてスペクトルの異なる部分を取得するように、複数の光学的配置の下でそれぞれがフーリエ空間で表現された複数の部分スペクトル画像を取得するステップと、
   前記複数の部分スペクトル画像のうち、前記第１スライドに対応する複数の第１の部分スペクトル画像から、第１光学的配置に関連する第１部分スペクトル画像を選択するステップと、
   前記複数の第１の部分スペクトル画像に基づいて再構成処理を行い、前記第１スライドの少なくとも一部に対応する結合スペクトル画像を実空間で表現された前記第１スライドの実空間画像として取得するステップと、
   前記複数の部分スペクトル画像のうち、前記第２スライドに対応する複数の第２の部分スペクトル画像から、前記第１光学的配置に対応する光学的配置の下で取得された第２部分スペクトル画像を決定することにより、前記第１部分スペクトル画像と前記第２部分スペクトル画像とを含みそれぞれがフーリエ空間で表現された一対の部分スペクトル画像を決定するステップと、
   前記複数の第２の部分スペクトル画像に基づいて再構成処理を行い、前記第２スライドの少なくとも一部に対応する結合スペクトル画像を実空間で表現された前記第２スライドの実空間画像として取得するステップと、
   前記それぞれがフーリエ空間で表現された前記一対の部分スペクトル画像をフーリエ空間上で位置合わせすることによってディストーションマップを生成するステップと、を有することを特徴とする方法。
2. 前記複数の第１の部分スペクトル画像から、第２光学的配置に関連する第３部分スペクトル画像を選択するステップと、
   前記複数の第２の部分スペクトル画像から、前記第２光学的配置に対応する光学的配置の下で取得された第４部分スペクトル画像を決定することにより、前記第３部分スペクトル画像と前記第４部分スペクトル画像とを含む一対の部分スペクトル画像を決定するステップと、
   前記第１部分スペクトル画像と前記第２部分スペクトル画像とを含む一対の部分スペクトル画像をフーリエ空間上で位置合わせすることによって第１ディストーションマップを生成するステップと、
   前記第３部分スペクトル画像と前記第４部分スペクトル画像とを含む一対の部分スペクトル画像をフーリエ空間上で位置合わせすることによって第２ディストーションマップを生成するステップと、
   前記第１ディストーションマップと前記第２ディストーションマップとを結合することによって、前記結合スペクトル画像を位置合わせするための前記ディストーションマップを生成するステップと、を更に有することを特徴とする請求項１に記載の方法。
3. 前記第１スライドの前記結合スペクトル画像は、前記第１スライドの一部をカバーする注目領域に対応し、前記第２スライドの前記結合スペクトル画像は、前記注目領域に対応する領域をカバーする、ことを特徴とする請求項１に記載の方法。
4. 前記第１スライド内の注目領域を選択するステップと、
   前記選択された注目領域の位置及び前記生成されたディストーションマップに基づいて、前記第２スライド内の前記注目領域に対応する領域を決定するステップと、
   前記決定された前記注目領域に対応する領域に基づいて、前記複数の第２の部分スペクトル画像の各画像における少なくとも１つの部分を選択するステップと、
   前記選択した前記部分に基づいて、前記第２スライド内の前記注目領域に対応する領域を再構成するステップと、を更に有することを特徴とする請求項１に記載の方法。
5. 前記ディストーションマップを前記第１スライドの前記結合スペクトル画像に適用することによって、ゆがみ画像を生成するステップを更に有し、
   前記第２スライドの少なくとも一部に対応する結合スペクトル画像を再構成するステップでは、推定として、前記ゆがみ画像を用いる、ことを特徴とする請求項１に記載の方法。
6. 前記再構成するステップでは、前記第２スライド内の選択されていない部分を除いて行われる、ことを特徴とする請求項４に記載の方法。
7. 前記第１光学的配置及び前記第２光学的配置は、ＤＣに近いフーリエ空間における低横波数ベクトルに対応する、ことを特徴とする請求項２に記載の方法。
8. 前記第１光学的配置は、ＤＣ横波数ベクトルの光学的配置に対応する、ことを特徴とする請求項１に記載の方法。
9. 前記第１光学的配置及び前記第２光学的配置は、それぞれ、ＤＣ横波数ベクトル及び前記ＤＣ横波数ベクトルに隣接する波数ベクトルのセットに対応する、ことを特徴とする請求項７に記載の方法。
10. 前記顕微鏡装置は、フーリエタイコグラフィ顕微鏡装置である、ことを特徴とする請求項１に記載の方法。
11. 前記再構成処理により前記第１スライド及び前記第２スライドの前記実空間画像として前記結合スペクトル画像を取得するステップでは、前記第１スライド及び前記第２スライドの位相情報をリカバーする、ことを特徴とする請求項１に記載の方法。
12. 前記第１スライド及び前記第２スライドの少なくとも１つの位相情報をリカバーする処理は、前記ディストーションマップを生成するステップと並行して行われる、ことを特徴とする請求項１１に記載の方法。
13. 前記光学的配置は、照明設定を含む、ことを特徴とする請求項１に記載の方法。
14. 前記光学的配置は、波数ベクトルとしてエンコードされる、ことを特徴とする請求項１に記載の方法。
15. 前記決定されたディストーションマップを前記第２スライドの前記結合スペクトル画像に適用することによって、前記第２スライドの前記結合スペクトル画像と前記第１スライドの前記結合スペクトル画像とを位置合わせするステップを更に有することを特徴とする請求項１に記載の方法。
16. 前記結合スペクトル画像を表示するとともに前記ディストーションマップを表示するステップを更に有することを特徴とする請求項１に記載の方法。
17. 前記ディストーションマップに基づいて、前記結合スペクトル画像の少なくとも１つにおける高ディストーションの領域を強調するステップを更に有することを特徴とする請求項１に記載の方法。
18. 前記ディストーションマップは、前記第１スライド及び前記第２スライドの少なくとも１つを再構成するステップと同時に、前記一対の部分スペクトル画像に基づいて生成される、ことを特徴とする請求項１に記載の方法。
19. 前記ディストーションマップを生成するステップは、
    前記複数の部分スペクトル画像を取得した光学的配置に基づいて、前記複数の第１の部分スペクトル画像のサブセット及び前記複数の第２の部分スペクトル画像のサブセットを選択するステップと、
    前記選択されたサブセットのそれぞれを用いて前記第１スライド及び前記第２スライドを部分的に再構成することによって、前記第１スライド及び前記第２スライドの位相情報をリカバーするステップと、
    前記リカバーされた位相情報に基づいて、前記部分的に再構成された前記第１スライド及び前記第２スライドに対応する前記ディストーションマップを生成するステップと、を更に有することを特徴とする請求項１に記載の方法。
20. 前記複数の部分スペクトル画像は、前記第１スライド及び前記第２スライドの共有する領域の異なる周波数バンドを表し、
    前記選択するステップでは、前記複数の第１の部分スペクトル画像から、前記第１スライドの第１周波数バンドに対応する第１部分スペクトル画像を選択し、
    前記一対の部分スペクトル画像を決定するステップでは、前記複数の第２の部分スペクトル画像から、前記第２スライドの前記第１周波数バンドに対応する第２部分スペクトル画像を識別し、
    前記ディストーションマップを生成するステップでは、前記第１部分スペクトル画像と前記第２部分スペクトル画像とを位置合わせすることによってディストーションマップを生成する、ことを特徴とする請求項１に記載の方法。
21. 前記第２部分スペクトル画像の識別は、
    前記第２部分スペクトル画像を取得した照明条件を分析するステップと、
    前記複数の第２の部分スペクトル画像に関連する照明条件と前記分析した前記照明条件とを比較するステップと、
    前記複数の第２の部分スペクトル画像から、前記分析した照明条件に対応する照明条件で取得した第２部分スペクトル画像を選択するステップと、を有することを特徴とする請求項２０に記載の方法。
22. 前記決定されたディストーションマップは、前記結合スペクトル画像の少なくとも１つと組み合わせて用いられる、ことを特徴とする請求項１に記載の方法。
23. 前記決定されたディストーションマップは、医学的診断を更に容易にするために、前記結合スペクトル画像の少なくとも１つと組み合わせて用いられる、ことを特徴とする請求項２２に記載の方法。
24. 前記複数の部分スペクトル画像は、空間画像であることを特徴とする請求項１に記載の方法。
25. 前記ディストーションマップは、前記結合スペクトル画像の１つに適用されるレジストレーションに関する情報を含むことを特徴とする請求項１に記載の方法。
26. 前記第１スライド及び前記第２スライドの共有する領域のスペクトルの異なる部分は、前記第１スライド及び前記第２スライドの同一の部分であり、前記光学的配置に依存してスペクトルが異なる部分であることを特徴とする請求項１に記載の方法。
27. 格納されたプログラムを有する非一時的コンピュータ可読記憶媒体であって、
    前記プログラムは、
    顕微鏡装置を用いて取得された画像を処理するためのプロセッサによって実行され、
    試料組織を軸方向に交差する面でスライスした隣接するレイヤに対応する第１スライド及び第２スライドのそれぞれに対して、空間周波数においてスペクトルの異なる部分を取得するように、複数の光学的配置の下でそれぞれがフーリエ空間で表現された複数の部分スペクトル画像を取得するコードと、
    前記複数の部分スペクトル画像のうち、前記第１スライドに対応する複数の第１の部分スペクトル画像から、第１光学的配置に関連する第１部分スペクトル画像を選択するコードと、
    前記複数の第１の部分スペクトル画像に基づいて再構成処理を行い、前記第１スライドの少なくとも一部に対応する結合スペクトル画像を実空間で表現された前記第１スライドの実空間画像として取得するコードと、
    前記複数の部分スペクトル画像のうち、前記第２スライドに対応する複数の第２の部分スペクトル画像から、前記第１光学的配置に対応する光学的配置の下で取得された第２部分スペクトル画像を決定することにより、前記第１部分スペクトル画像と前記第２部分スペクトル画像とを含みそれぞれがフーリエ空間で表現された一対の部分スペクトル画像を決定するコードと、
    前記複数の第２の部分スペクトル画像に基づいて再構成処理を行い、前記第２スライドの少なくとも一部に対応する結合スペクトル画像を実空間で表現された前記第２スライドの実空間画像として取得するコードと、
    前記それぞれがフーリエ空間で表現された前記一対の部分スペクトル画像をフーリエ空間上で位置合わせすることによってディストーションマップを生成するコードと、を有することを特徴とする記憶媒体。
28. 顕微鏡システムであって、
    画像を取得する顕微鏡装置と、
    格納されたプログラムを有する非一時的コンピュータ可読メモリと、
    前記画像を格納し、前記画像を処理するための前記プログラムを実行する、前記顕微鏡装置及び前記メモリに接続するコンピュータ装置と、を有し、
    前記プログラムは、
    試料組織を軸方向に交差する面でスライスした隣接するレイヤに対応する第１スライド及び第２スライドのそれぞれに対して、空間周波数においてスペクトルの異なる部分を取得するように、複数の光学的配置の下でそれぞれがフーリエ空間で表現された複数の部分スペクトル画像を取得するコードと、
    前記複数の部分スペクトル画像のうち、前記第１スライドに対応する複数の第１の部分スペクトル画像から、第１光学的配置に関連する第１部分スペクトル画像を選択するコードと、
    前記複数の第１の部分スペクトル画像に基づいて再構成処理を行い、前記第１スライドの少なくとも一部に対応する結合スペクトル画像を実空間で表現された前記第１スライドの実空間画像として取得するコードと、
    前記複数の部分スペクトル画像のうち、前記第２スライドに対応する複数の第２の部分スペクトル画像から、前記第１光学的配置に対応する光学的配置の下で取得された第２部分スペクトル画像を決定することにより、前記第１部分スペクトル画像と前記第２部分スペクトル画像とを含みそれぞれがフーリエ空間で表現された一対の部分スペクトル画像を決定するコードと、
    前記複数の第２の部分スペクトル画像に基づいて再構成処理を行い、前記第２スライドの少なくとも一部に対応する結合スペクトル画像を実空間で表現された前記第２スライドの実空間画像として取得するコードと、
    前記それぞれがフーリエ空間で表現された前記一対の部分スペクトル画像をフーリエ空間上で位置合わせすることによってディストーションマップを生成するコードと、を有することを特徴とする顕微鏡システム。

Images