JP7047059B2 - 画像処理のための自動アッセイ評価および正規化 - Google Patents

Description

[0004]本開示は、生物学的サンプルの画像内のステインのタイターを評価するとともに、当該ステインのタイターをテンプレート画像中の同じステインのタイターに対して正規化する自動化システムおよび方法に関する。

[0001]デジタル病理学には、コンピュータ画面上で解釈可能なデジタル画像への全病理組織または病理細胞ガラススライドのスキャンを伴う。これらの画像は後々、撮像アルゴリズムによる処理または病理学者による解釈がなされる。組織切片（実質的に透明）を検査するため、細胞成分と選択的に結合する色付きの組織化学的ステインを用いることにより組織切片が作製される。臨床医またはコンピュータ支援診断（ＣＡＤ）アルゴリズムによる色強調すなわち染色細胞構造の使用によって、疾患の形態学的マーカを識別するとともに、これに応じた治療を進める。アッセイを観察することは、疾患の診断、処置に対する反応の評価、および疾患に効く新たな医薬品の開発等、多様なプロセスを可能にする。

[0002]免疫組織化学的（ＩＨＣ）スライド染色の利用により、組織切片の細胞中のタンパク質を識別可能であるため、生物組織中のがん細胞および免疫細胞等、さまざまな種類の細胞の研究に広く用いられている。このため、ＩＨＣ染色の研究での使用により、がん組織中の免疫細胞（Ｔ細胞またはＢ細胞等）の異なる発現のバイオマーカの分布および局在を理解して、免疫反応研究に利用することができる。たとえば、腫瘍は、免疫細胞の浸潤物を含むことが多く、腫瘍の出現を抑える場合もあれば、腫瘍の増殖に寄与する場合もある。

[0003]ｉｎ－ｓｉｔｕハイブリダイゼーション（ＩＳＨ）の使用により、顕微鏡下での観察の場合、具体的には形態学的に悪性に見える細胞中の発がん遺伝子の増幅等の遺伝学的異常または状態の有無を調べることができる。ｉｎ－ｓｉｔｕハイブリダイゼーション（ＩＳＨ）では、細胞または組織サンプル内の対象となる核酸の標的遺伝子を検出または特定するために標的遺伝子配列または転写物に対してアンチセンスである標識ＤＮＡまたはＲＮＡプローブ分子を採用する。ＩＳＨは、細胞または組織サンプル中の所与の標的遺伝子に対して特異的にハイブリダイズ可能な標識核酸プローブに対して、ガラススライドに固定された細胞または組織サンプルを曝露することにより実行される。複数の異なる核酸タグで標識された複数の核酸プローブに対して細胞または組織サンプルを曝露することにより、複数の標的遺伝子が同時に分析され得る。発光波長の異なる標識を利用することにより、単一の標的細胞または組織サンプル上の１回のステップにおいて、同時多色分析が実行されるようになっていてもよい。たとえば、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．によるＩＮＦＯＲＭ ＨＥＲ２ Ｄｕａｌ ＩＳＨ ＤＮＡ Ｐｒｏｂｅ Ｃｏｃｋｔａｉｌ Ａｓｓａｙは、ＨＥＲ２遺伝子の第１７染色体に対する比の列挙によって、ＨＥＲ２遺伝子のステータスを決定することが意図される。ＨＥＲ２および第１７染色体プローブは、ホルマリン固定・パラフィン包埋ヒト乳がん組織標本における２色発色ＩＳＨの使用により検出される。

[0005]ほとんどのデジタル病理学撮像アルゴリズムは一定の染色濃度で機能するように設計されているが、処理される実際のスライドは、ヘマトキシリン濃度またはタイターレベルの変動が広範に及ぶ可能性がある。任意特定の理論に縛られることを望まないなら、このようなステインの色および強度の変動によって、スライド中のヘマトキシリンステインが暗くなり過ぎたり薄くなり過ぎたりするため、このようなステインタイターの急激な変動を考慮した設計となっていない画像処理アルゴリズムに誤差が生じ得ると考えられる。実際、処理アルゴリズムは通例、所定の染色濃度内で作用するように調節されており、濃度がこの範囲外となった場合は、アルゴリズムが機能しなくなる可能性がある。開示の画像正規化システムおよび方法の使用により、画像内の濃度（または、タイター）は、任意の画像処理アルゴリズムの所定の染色濃度範囲内となるように調整され得る。このように、自動化ステイン正規化のための開示のシステムおよび方法は、ステインの色および強度の変動の抑制を可能にする。また、本明細書に開示の自動化システムおよび方法は、たとえば生物学的サンプルのスコアリングまたは組織画像内の特徴の定量化を行う取得画像の拡張下流処理を可能にする。

[0006]取得画像中のすべてのステインを正規化可能ではあるものの、そうすることが望ましくない場合が多い。特定のステインの強度は、具体的な生物学的指標に関連し得るためである。たとえば、がん免疫療法の標的として、プログラム死１（ＰＤ－１）がＴ細胞に発現し、免疫系を下方制御する抑制性受容体として機能する。ＰＤ－１の発現レベルは、ＤＡＢステイン強度により特性化され得る。したがって、ＤＡＢの正規化は、組織サンプル中のＰＤ－１発現レベル情報を歪ませ得ると考えられるため、望ましくない。また、核（たとえば、エストロゲン受容体（ＥＲ））をマークするカウンタステインとステインが常に共局在化される状況が存在する可能性もある。このような場合は、カウンタステインのヘマトキシリン（ＨＴＸ）との混合物中にＤＡＢが現れ得るため、純粋なＤＡＢ色分布を抽出して正規化に利用することは不可能である。出願人らは、細胞の核をマークするヘマトキシリンがさまざまなスライドにわたる堅牢な正規化を可能にすることを発見した。出願人らは、本明細書に記載のシステムおよび方法が純粋なヘマトキシリンステインのほか、他のステインと共局在化されたヘマトキシリンステイン（これまでは対処されず）の正規化を可能にするものと考える。

[0007]本開示の一態様は、クエリ画像内の第１のステインのタイターをテンプレート画像中の第１のステインのタイターに対して正規化する方法であり、クエリ画像が少なくとも第１のステインで染色された生物学的サンプルの画像である、方法であって、（ｉ）濃度成分を含むカラーモデル内でクエリ画像中の色・濃度分布座標を導出するステップと、（ｉｉ）導出されたクエリ画像中の色分布座標をテンプレート画像の色分布座標と位置合わせして、変換色分布座標を提供するステップと、（ｉｉｉ）導出されたクエリ画像中の濃度分布座標をテンプレート画像の濃度分布座標でスケーリングして、変換濃度分布座標を提供するステップと、（ｉｖ）加重変換色・濃度分布座標を用いることにより、濃度成分を含むカラーモデル内でクエリ画像を逆変換することによってＲＧＢ画像を再構成するステップと、を含み、位置合わせおよびスケーリングが、クエリ画像の推定タイターレベルに特有の所定のパラメータ値を利用する、方法である。任意特定の理論に縛られることを望まないなら、所定のパラメータ値または位置合わせおよびスケーリングパラメータのルックアップテーブルの使用は、確実なステインの色または強度統計値を導出するには純粋なステインの画素数が不十分である場合等に、正規化パラメータの堅牢な識別を可能にすると考えられる。いくつかの実施形態において、濃度成分を含むカラーモデルは、ＨＳＤカラーモデルである。

[0008]いくつかの実施形態において、所定のパラメータ値は、既知の第１のステインタイターレベルで決定された導出平均、角度、およびスケーリングパラメータである。いくつかの実施形態において、所定のパラメータ値は、複数のタイターレベルで少なくとも第１のステインのパラメータ値を含むデータベースに格納され、位置合わせおよびスケーリングの実行に最適なパラメータ値が選択されるように、クエリ画像中の推定された第１のステインタイターレベルが複数のタイターレベルのうちの１つと整合される。いくつかの実施形態において、第１のステインは、ヘマトキシリンであり、所定のパラメータ値は、クエリ画像内の推定されたヘマトキシリンタイターレベルに対応する。いくつかの実施形態において、推定タイターレベルは、正規化に先立って決定される。いくつかの実施形態において、推定タイターレベルは、正規化中（たとえば、濃度成分を含むカラーモデル（たとえば、ＨＳＤカラーモデル）へとＲＧＢクエリ画像を変換した後、画素ごとの変換座標の導出に先立って）に決定される。

[0009]いくつかの実施形態において、クエリ画像の推定タイターレベルは、導出された第１のステイン色・強度特徴に基づいて、クエリ画像の加重平均（または、モード）タイタースコアを演算することにより決定される。いくつかの実施形態において、加重平均スコアは、（ａ）クエリ画像中の一連のパッチそれぞれから複数の第１のステイン画像特徴を導出することと、（ｂ）トレーニングされたタイター識別分類器を用いることにより、画像パッチそれぞれから導出された複数の画像特徴を分類することと、によって演算される。いくつかの実施形態において、タイター識別分類器は、第１のステインタイターレベルをクラス標識として用いることにより標準化サンプルから導出された第１のステイン色・強度特徴に対してトレーニングされたマルチクラス分類器である。いくつかの実施形態において、一連のパッチは、クエリ画像から所定数のＦＯＶ（たとえば、５０個のＦＯＶ）を抽出することと、（ｂ）抽出された各ＦＯＶの一組のパッチを演算することと、（ｃ）各抽出ＦＯＶの一組のパッチのうち、閾値パッチ基準を満たすパッチを保持することと、によって導出される。いくつかの実施形態において、第１のステインは、ヘマトキシリンであり、基準は、（ｉ）パッチ中の画素の７０％超が０より高い（カラーデコンボリューションにより得られた）ヘマトキシリン信号を有する必要があること、（ｂ）画素の５０％超が何らかの染色を有する必要があること、および（ｃ）画素の１／３超がガウシアンフィルタリングの差により決定される「細胞様」構造に配置される必要があることを含む。

[0010]いくつかの実施形態において、加重変換色・濃度分布座標は、（ｉ）パッチ中の画素が第１のステイン画素である（すなわち、画素が第１のステインを有する）確率を演算することと、（ｉｉ）演算された確率で変換色・濃度分布座標を重み付けすることと、によって導出される。いくつかの実施形態において、位置合わせは、テンプレート色分布座標と同じ平均および配向を有するように、導出されたクエリ画像中の色分布座標をシフトおよび回転させることを含む。いくつかの実施形態において、スケーリングは、テンプレート画像中の第１のステイン画素の濃度と同じ加重平均および加重標準偏差を有するように、導出された濃度分布座標を変換することを含む。いくつかの実施形態において、色・濃度分布座標は、クエリ画像中の一連のパッチの画素ごとに導出される。

[0011]いくつかの実施形態において、この方法は、正規化および／またはタイター評価に先立ってＲＧＢ画像を分離するステップをさらに含む。いくつかの実施形態において、この方法は、少なくとも第１のステインで染色された細胞から、核、膜、形態、および／または他の細胞特徴を抽出するステップをさらに含む。いくつかの実施形態において、抽出された核、膜、形態、および／または他の細胞特徴は、細胞が腫瘍細胞であるとの分類等、細胞の分類に使用される。いくつかの実施形態において、ＲＧＢ再構成中の色位置合わせの場合は、カラーデコンボリューションに用いられる元のＨＴＸ色基準ベクトルの採用の代わりに、テンプレート画像中の純粋なＨＴＸ画素からの正規化平均ＲＧＢ ＯＤベクトルが再構成に用いられる。

[0012]本開示の別の態様は、１つまたは複数のステインで染色された生物学的サンプルの全スライド画像内の第１のステインのタイターを検査し、全スライド画像を第１のステインのタイターに対して正規化する方法であって、（ｉ）導出された第１のステイン画像特徴に基づいて、全スライド画像の加重平均タイタースコアを演算するステップと、（ｉｉ）演算された加重平均スコアが所定のタイター範囲内でない場合に、全スライド画像をテンプレート画像に対して正規化するステップと、を含み、全スライド画像が、（ａ）全スライド画像の色・濃度分布をテンプレート画像の色・濃度分布と整合させることであり、全スライド画像およびテンプレート画像の両者の色・濃度分布が、濃度成分を含むカラーモデル内で導出される、ことと、（ｂ）加重変換座標を用いて、濃度成分を含むカラーモデル内で全スライド画像を逆変換することによりＲＧＢ画像を再構成することと、によって正規化される、方法である。いくつかの実施形態において、所定のタイター範囲は、およそ３～およそ６である。いくつかの実施形態において、濃度成分を含むカラーモデルは、ＨＳＤカラーモデルである。

[0013]いくつかの実施形態において、加重平均スコアは、（ａ）全スライド画像中の一連の画像パッチそれぞれから複数の第１のステイン画像特徴を導出することと、（ｂ）トレーニングされた特徴識別分類器を用いることにより、画像パッチそれぞれから導出された複数の画像特徴を分類することと、によって演算される。いくつかの実施形態において、一連の画像パッチは、全スライド画像から所定数のＦＯＶを抽出することと、（ｂ）抽出された各ＦＯＶの一組のパッチを演算することと、（ｃ）各抽出ＦＯＶの一組のパッチのうち、閾値パッチ基準を満たすパッチを保持することと、によって導出される。いくつかの実施形態において、第１のステイン画像特徴は、ステイン色特徴およびステイン強度特徴である。

[0014]いくつかの実施形態において、全スライド画像の色・濃度分布は、（ｉ）全スライド画像の画像パッチ内で変換（たとえば、ＨＳＤ変換）を実行して、画像パッチそれぞれのすべての画素の色・濃度分布座標（ｃ_ｘ，ｃ_ｙ，Ｄ）を取得することと、（ｉｉ）テンプレート色座標と同じ平均および配向を有するように全スライド画像中の得られた色分布座標（ｃ_ｘ，ｃ_ｙ）をシフトおよび回転させて、各画像パッチの画素ごとに位置合わせされた色座標（ｃ_ｘ’，ｃ_ｙ’）を提供することと、（ｉｉｉ）テンプレート濃度分布と同じ加重平均および加重標準偏差を有するように全スライド画像から得られた濃度分布（Ｄ）をスケーリングして、各画像パッチの画素ごとにスケーリングされた濃度分布（Ｄ’）を提供することと、によって、テンプレート画像の色・濃度分布と整合される。いくつかの実施形態において、加重変換座標は、（ｉ）画像パッチ中の画素が第１のステイン画素である確率を演算することと、（ｉｉ）演算された確率によって、位置合わせされた色分布座標およびスケーリングされた濃度分布座標（ｃ_ｘ’，ｃ_ｙ’，Ｄ’）を重み付けすることと、によって導出される。いくつかの実施形態において、ＲＧＢ再構成中の色位置合わせの場合は、カラーデコンボリューションに用いられる元のＨＴＸ色基準ベクトルの採用の代わりに、テンプレート画像中の純粋なＨＴＸ画素からの正規化平均ＲＧＢ ＯＤベクトルが再構成に用いられる。

[0015]いくつかの実施形態において、得られた色・濃度分布のテンプレート色・濃度分布との整合には、所定の統計パラメータを利用するが、選定される所定の統計パラメータは、全スライド画像の加重平均タイタースコアを近似するタイターレベルにとって特別である。たとえば、第１のステインの推定タイターレベルが３の場合、この方法は、既知のタイターレベル３で第１のステインに対応するデータベースから所定の統計パラメータを読み出す。いくつかの実施形態において、第１のステインは、ヘマトキシリンである。いくつかの実施形態において、第１のステインは、ヘマトキシリンであり、所定の統計パラメータは、導出された色・濃度分布座標の全スライド画像からテンプレート画像への位置合わせおよびスケーリングに用いられる。

[0016]本開示の別の態様は、クエリ画像内の第１のステインのタイターをテンプレート画像中の第１のステインのタイターに対して正規化する撮像システムであり、クエリ画像が少なくとも第１のステインで染色された生物学的サンプルの画像である、撮像システムであって、（ｉ）画像取得デバイスと、（ｉｉ）１つまたは複数のプロセッサと、（ｉｉｉ）プロセッサに結合され、当該１つまたは複数のプロセッサにより実行された場合に、（ａ）濃度成分を含むカラーモデル内で、クエリ画像において生成されたパッチの画素ごとに色・濃度分布座標を導出することと、（ｂ）クエリ画像の推定タイターレベルに特有の所定の位置合わせおよびスケーリングパラメータ値を用いて、生成されたパッチの画素ごとに導出された色・濃度分布座標を変換することにより、変換色・濃度分布座標を提供することと、（ｃ）画素確率値により重み付けされた変換色・濃度分布座標を用いて、濃度成分を含むカラーモデル内でクエリ画像を逆変換することによりＲＧＢ画像を再構成することと、を含む動作を１つまたは複数のプロセッサに実行させるコンピュータ実行可能命令を格納するメモリと、を備えた、撮像システムである。いくつかの実施形態において、この撮像システムは、染色装置をさらに備える。いくつかの実施形態において、生物学的サンプルは、少なくとも２つのステインで染色されている。いくつかの実施形態において、第１のステインは、ヘマトキシリンである。いくつかの実施形態において、濃度成分を含むカラーモデルは、ＨＳＤカラーモデルである。

[0017]いくつかの実施形態において、生成されたパッチの画素ごとに導出された色・濃度分布座標の変換には、（ａ）テンプレート色座標と同じ平均および配向を有するように、生成されたパッチの画素ごとに導出された色分布座標（ｃ_ｘ，ｃ_ｙ）をシフトおよび回転させて、生成されたパッチの画素ごとに変換色座標（ｃ_ｘ’，ｃ_ｙ’）を提供することと、（ｂ）テンプレート濃度分布と同じ加重平均および加重標準偏差を有するように、生成されたパッチの画素ごとに得られた濃度分布（Ｄ）をスケーリングして、生成されたパッチの画素ごとに変換濃度分布（Ｄ’）を提供することと、を含む。いくつかの実施形態において、パッチは、クエリ画像から所定数のＦＯＶを抽出することと、（ｂ）抽出された各ＦＯＶの一組のパッチを生成することと、（ｃ）各抽出ＦＯＶの一組のパッチのうち、閾値パッチ基準を満たすパッチを保持することと、によって生成される。

[0018]いくつかの実施形態において、加重変換色・濃度分布座標は、（ｉ）画素が第１のステイン画素である確率を演算することと、（ｉｉ）演算された確率で変換色・濃度分布座標を重み付けすることと、によって導出される。

[0019]いくつかの実施形態において、複数のタイターレベルにおいて第１のステインに特有の位置合わせおよびスケーリングパラメータ値は、メモリに格納される。いくつかの実施形態において、クエリ画像の推定タイターレベルは、導出された第１のステイン色・強度特徴に基づいて、クエリ画像の加重平均タイタースコアを演算することにより決定され、選択される位置合わせおよびスケーリングパラメータがクエリ画像の加重平均タイタースコアを近似する。いくつかの実施形態において、加重平均スコアは、（ａ）クエリ画像中の生成されたパッチから複数の第１のステイン画像特徴を導出することと、（ｂ）トレーニングされたタイター識別分類器を用いることにより、生成されたパッチそれぞれから導出された複数の画像特徴を分類することと、によって演算される。いくつかの実施形態において、タイター識別分類器は、第１のステインタイターレベルをクラス標識として用いることにより標準化サンプルから導出された第１のステイン色・強度特徴に対してトレーニングされたマルチクラス分類器である。

[0020]本開示の別の態様は、１つまたは複数のステインで染色された生物学的サンプルの全スライド画像内の第１のステインのタイターを検査し、全スライド画像を第１のステインのタイターに対して正規化する非一時的コンピュータ可読媒体であって、（ｉ）導出された第１のステイン画像特徴に基づいて、全スライド画像の加重平均タイタースコアを演算することと、（ｉｉ）第１のステインの全スライド画像のタイターをテンプレート画像の第１のステインのタイターに対して正規化することと、を含み、全スライド画像が、（ａ）濃度成分を含むカラーモデル内でクエリ画像中の色・濃度分布座標を導出することと、（ｂ）導出されたクエリ画像中の色分布座標をテンプレート画像の色分布座標と位置合わせして、変換色分布座標を提供することであり、位置合わせが、テンプレート色分布座標と同じ平均および配向を有するように、導出されたクエリ画像中の色分布座標をシフトおよび回転させることを含み、位置合わせステップが、全スライド画像の演算された加重平均タイタースコアと整合された所定の位置合わせパラメータを利用する、ことと、（ｃ）導出されたクエリ画像中の濃度分布座標をテンプレート画像の濃度分布座標でスケーリングして、変換濃度分布座標を提供することであり、スケーリングが、テンプレート濃度分布座標と同じ加重平均および加重標準偏差を有するように、導出された濃度分布座標を変換することを含み、スケーリングステップが、全スライド画像の演算された加重平均タイタースコアと整合された所定のスケーリングパラメータを利用する、ことと、（ｄ）加重変換色・濃度分布座標を用いて、濃度成分を含むカラーモデル内でクエリ画像を逆変換することによりＲＧＢ画像を再構成することと、によって正規化される、非一時的コンピュータ可読媒体である。いくつかの実施形態において、第１のステインは、ヘマトキシリンである。いくつかの実施形態において、生物学的サンプルは、免疫組織化学アッセイおよび／またはｉｎ－ｓｉｔｕハイブリダイゼーションアッセイにおいて１つまたは複数のステインで染色されている。いくつかの実施形態において、濃度成分を含むカラーモデルは、ＨＳＤカラーモデルである。

[0021]いくつかの実施形態において、全スライド画像中の第１のステインは、演算された加重平均タイタースコアが所定の閾値タイタースコア範囲外となった場合、テンプレート画像の第１のステインのタイターに対して正規化される。いくつかの実施形態において、所定の閾値タイタースコアは、およそ３～およそ６の範囲である。いくつかの実施形態において、導出された第１のステイン画像特徴に基づく全スライド画像の加重平均タイタースコアは、（ａ）全スライド画像から所定数のＦＯＶを抽出することと、（ｂ）抽出された各ＦＯＶの一組のパッチを演算することと、（ｃ）一組のパッチ内の各パッチから、複数の第１のステイン色・強度特徴を導出することと、（ｄ）トレーニングされたタイター分類器を用いて、導出された複数の第１のステイン色・強度特徴を分類することと、（ｅ）すべてのパッチからの分類結果に基づいて、加重平均スコアを演算することと、によって演算される。

[0022]いくつかの実施形態において、非一時的コンピュータ可読媒体は、関心領域を識別する命令をさらに含む。いくつかの実施形態において、非一時的コンピュータ可読媒体は、入力画像を各ステインの個々のチャネル画像へと分離する命令をさらに含む。いくつかの実施形態において、非一時的コンピュータ可読媒体は、正規化後に細胞または核の付加的な特徴を導出するする命令をさらに含む。いくつかの実施形態において、非一時的コンピュータ可読媒体は、生物学的サンプルをスコアリングする命令をさらに含み、このスコアリングは、生物学的サンプルが染色された特定のアッセイに特有である。

[0023]特許または出願包袋には、カラーで作成された少なくとも１つの図面を含む。要請があれば、必要な料金の支払いを受けて、カラー図面を含む本特許または特許出願公開の写しが特許庁により提供される。

[0024]本開示の特徴の全体理解のため、図面が参照される。図面全体を通して、同一要素の識別には、同様の参照番号が用いられる。

[0025]画像取得デバイスおよびコンピュータシステムを具備する代表的なデジタル病理学システムを示した図である。 [0026]デジタル病理学システムまたはデジタル病理学ワークフローにおいて利用され得るさまざまなモジュールを示した図である。 [0027]画像中のステインのタイターを評価するステップの全体を示した図である。 [0028]クエリ画像中のステインのタイターをテンプレート画像のステインのタイターに対して正規化するステップの全体を示した図である。 [0029]ステインのタイターを評価した後に画像を正規化するステップの全体を示した図である。 [0030]正規化プロセスの一部としてステインのタイターを評価するステップの全体を示した図である。 [0031]ＦＯＶ選択の一例を示した図である。 [0032]図５Ａは、ＲＧＢカメラ信号が３Ｄ座標空間として観察され得ることを示し、カメラ限界が空間を立方体（ＲＧＢ立方体）に制限するとともに、個々のチャネル強度の最大値に等しい一定の全体強度を有する三角形を示した図である。 [0033]図５Ｂは、ＲＧＢデータの投射の結果としての平面を示した図である。 [0034]クエリ画像中のステインのタイターをテンプレート画像中の同じステインのタイターに対して正規化するステップを示した図である。 [0035]５０個のＦＯＶが例示的な全スライド（低倍率）画像に重ね合わされた後の当該全スライド画像を示し、５０個のＦＯＶ（赤色正方形）が全スライドの８０％ヘマトキシリンレベルに最も近いものとして選択された図である。 [0036]色正規化例であって、タイター１のクエリ画像がテンプレートタイター４を有するように正規化された場合（図８（ａ）および図８（ｂ））ならびにタイター９のクエリ画像がテンプレートタイター４を有するように正規化された場合（図８（ｃ）および図８（ｄ））を示した図である。 [0037]クエリデータセット（図９（Ａ））およびトレーニング集合（図９（Ｂ））について、タイター１のＨＥＲを含むＦＯＶを示した図である（本明細書の表２参照）。 [0038]３つの異なるブロック（８１個の全スライド画像）にわたる非染色細胞の数の平均的な変動を示した図である。 [0039]異なるヘマトキシリンステインを含むエストロゲン受容体（ＥＲ）染色乳がん画像を示し、３つの異なる臨床検査室からのスライドが２０倍の倍率でスキャンされた図である。 [0040]ＷＳＩにおいて選択されたＦＯＶの一例（図１２（ａ））、タイター１のスライドからのサンプルＦＯＶ（図１２（ｂ））、タイター９のスライドからのサンプルＦＯＶ（図１２（ｃ））、テンプレートスライドからのサンプルＦＯＶ（図１２（ｄ））、タイター１のスライドからの正規化サンプルＦＯＶ（図１２（ｅ））、およびタイター９のスライドからの正規化サンプルＦＯＶ（図１２（ｆ））を示した図である。 [0041]ステイン正規化前後のＨＥＲ２腫瘍細胞検出アルゴリズム出力の比較であって、細胞数比較（図１３（Ａ））および出力一貫性比較（図１３（Ｂ））を示した図である。

[0042]別段の明確な指定のない限り、２つ以上のステップまたは動作を含む本明細書に請求の如何なる方法においても、そのステップまたは動作の順序は、当該ステップまたは動作が列挙された順序に必ずしも限定されないことが了解されるものとする。

[0043]本明細書において、単数の用語「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上の別段の明確な指定のない限り、複数の指示対象を含む。同様に、単語「または（ｏｒ）」は、文脈上の別段の明確な指定のない限り、「および（ａｎｄ）」を含むことが意図される。用語「含む（ｉｎｃｌｕｄｅｓ）」は、「ＡまたはＢを含む（ｉｎｃｌｕｄｅｓ Ａ ｏｒ Ｂ）」がＡ、Ｂ、またはＡおよびＢを含むことを意味するように、包含的に定義される。

[0044]本明細書および特許請求の範囲において、「または（ｏｒ）」は、上記定義の「および／または（ａｎｄ／ｏｒ）」と同じ意味を有することが了解されるものとする。たとえば、リストにおいて項目を分離する場合、「または（ｏｒ）」または「および／または（ａｎｄ／ｏｒ）」は、包含的であるものと解釈され、多数または一覧の要素のうちの少なくとも１つだが、２つ以上を包含してもよく、また、任意選択として付加的なリスト外の項目を包含することも可能であるものとする。「～のうちの１つだけ（ｏｎｌｙ ｏｎｅ ｏｆ）」もしくは「～のうちのちょうど１つだけ（ｅｘａｃｔｌｙ ｏｎｅ ｏｆ）」等の別段の明確な指定がなされた用語または特許請求の範囲において使用される「～から成る（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」という用語のみ、多数または一覧の要素のうちのちょうど１つの要素の包含を表す。一般的に、本明細書における用語「または（ｏｒ）」は、「ｅｉｔｈｅｒ」、「ｏｎｅ ｏｆ」、「ｏｎｌｙ ｏｎｅ ｏｆ」、または「ｅｘａｃｔｌｙ ｏｎｅ ｏｆ」等の排他的な用語が先行する場合に排他的な選択肢（すなわち、「一方または他方であるが、両方ではない（ｏｎｅ ｏｒ ｔｈｅ ｏｔｈｅｒ ｂｕｔ ｎｏｔ ｂｏｔｈ）」）を示す旨の解釈のみがなされるものとする。特許請求の範囲において使用される「～から本質的に成る（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」は、特許法の分野において使用される場合の元の意味を有するものとする。

[0045]用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」等は、区別なく使用され、同じ意味を有する。同様に、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｓ）」等は、区別なく使用され、同じ意味を有する。具体的に、これらの用語はそれぞれ、「備える（ｃｏｍｐｒｉｓｉｎｇ）」の米国特許法における一般的な定義と矛盾なく定義されているため、「少なくとも以下の（ａｔ ｌｅａｓｔ ｔｈｅ ｆｏｌｌｏｗｉｎｇ）」を意味するオープンな用語として解釈され、また、付加的な特徴、限界、態様等を除外しないものと解釈される。このため、たとえば「構成要素ａ、ｂ、およびｃを有するデバイス（ａ ｄｅｖｉｃｅ ｈａｖｉｎｇ ｃｏｍｐｏｎｅｎｔｓ ａ， ｂ， ａｎｄ ｃ）」は、当該デバイスが少なくとも構成要素ａ、ｂ、およびｃを具備することを意味する。同様に、表現「ステップａ、ｂ、およびｃを含む方法（ａ ｍｅｔｈｏｄ ｉｎｖｏｌｖｉｎｇ ｓｔｅｐｓ ａ， ｂ， ａｎｄ ｃ）」は、当該方法が少なくともステップａ、ｂ、およびｃを含むことを意味する。さらに、本明細書においては、ステップおよびプロセスが特定の順序で説明される可能性があるものの、当業者であれば、ステップおよびプロセスの順序が変動し得ることが認識されよう。

[0046]本明細書および特許請求の範囲において、表現「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」は、一覧の１つまたは複数の要素を参照して、要素一覧における要素のうちのいずれか１つまたは複数から選択される少なくとも１つの要素を意味するが、要素一覧に具体的に掲載されたありとあらゆる要素のうちの少なくとも１つを必ずしも含まず、また、要素一覧における要素の如何なる組み合わせも除外しないことが了解されるものとする。また、この定義によれば、表現「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」が参照する要素一覧内で具体的に識別された要素と関係するか否かに関わらず、これらの要素以外の要素が任意選択として存在し得る。このため、非限定的な一例として、「ＡおよびＢのうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」（または同等に、「ＡまたはＢのうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」もしくは「Ａおよび／またはＢのうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」）は、一実施形態において、少なくとも１つ（任意選択として、２つ以上）のＡ（Ｂは存在せず（任意選択として、Ｂ以外の要素を含む））、別の実施形態において、少なくとも１つ（任意選択として、２つ以上）のＢ（Ａは存在せず（任意選択として、Ａ以外の要素を含む））、さらに別の実施形態において、少なくとも１つ（任意選択として、２つ以上）のＡおよび少なくとも１つ（任意選択として、２つ以上）のＢ（任意選択として、他の要素を含む）等を表し得る。

[0047]本明細書において、用語「生物学的サンプル（ｂｉｏｌｏｇｉｃａｌ ｓａｍｐｌｅ）」または「組織サンプル（ｔｉｓｓｕｅ ｓａｍｐｌｅ）」は、ウイルスを含む任意の有機体から得られた生体分子（タンパク質、ペプチド、核酸、脂質、糖質、またはこれらの組み合わせ等）を含む任意のサンプルを表す。有機体の他の例としては、哺乳類（たとえば、ヒト、猫、犬、馬、牛、および豚等の家畜動物、ならびにマウス、ラット、および霊長類等の実験動物）、昆虫、環形動物、クモ形類動物、有袋動物、爬虫類、両生類、バクテリア、および菌類が挙げられる。生物学的サンプルには、組織サンプル（たとえば、組織切片および組織の針生検標本）、細胞サンプル（たとえば、パップ塗抹標本もしくは血液塗抹標本等の細胞学的塗抹標本または顕微解剖により得られた細胞のサンプル）、または細胞分画、細胞片、もしくは細胞小器官（たとえば、細胞を溶解させ、遠心分離等によって細胞成分を分離したもの）を含む。生物学的サンプルの他の例としては、血液、血清、尿、精液、糞便物質、脳脊髄液、間質液、粘液、涙、汗、膿、（たとえば、外科生検もしくは針生検により得られた）生検組織、乳頭吸引液、耳垢、母乳、膣液、唾液、スワブ（口腔スワブ等）、または第１の生物学的サンプルから導出された生体分子を含む任意の物質が挙げられる。特定の実施形態において、本明細書における用語「生物学的サンプル（ｂｉｏｌｏｇｉｃａｌ ｓａｍｐｌｅ）」は、被験者から得られた腫瘍またはその一部から作製されたサンプル（均質化または液化サンプル）を表す。

[0048]本明細書において、用語「バイオマーカ（ｂｉｏｍａｒｋｅｒ）」または「マーカ（ｍａｒｋｅｒ）」は、何らかの生物学的状態または条件の測定可能なインジケータを表す。特に、バイオマーカは、特異的に染色可能で、細胞の生物学的特徴（たとえば、細胞の種類または細胞の生理学的状態）を示すタンパク質またはペプチド（たとえば、表面タンパク質）であってもよい。免疫細胞マーカは、哺乳類の免疫反応に関する特徴を選択的に示すバイオマーカである。バイオマーカは、疾患もしくは病気の処置に対する身体の反応の決定または被験者が疾患もしくは病気に罹りやすいかの判定に用いられるようになっていてもよい。がんに関して、バイオマーカは、体内のがんの有無を示す生物学的物質を表す。バイオマーカは、腫瘍から分泌される分子またはがんの存在に対する身体の具体的反応であってもよい。がんの診断、予後診断、および疫学には、遺伝子バイオマーカ、後成的バイオマーカ、プロテオームバイオマーカ、グリコミックバイオマーカ、および撮像バイオマーカを使用可能である。このようなバイオマーカは、血液または血清等の非侵襲的に収集された生体液において検査され得る。複数の遺伝子およびタンパク質ベースのバイオマーカが患者ケアにおいてすでに使用されており、ＡＦＰ（肝臓がん）、ＢＣＲ－ＡＢＬ（慢性骨髄性白血病）、ＢＲＣＡ１／ＢＲＣＡ２（乳がん／卵巣がん）、ＢＲＡＦ Ｖ６００Ｅ（黒色腫／大腸がん）、ＣＡ－１２５（卵巣がん）、ＣＡ１９．９（膵臓がん）、ＣＥＡ（大腸がん）、ＥＧＦＲ（非小細胞肺がん）、ＨＥＲ－２（乳がん）、ＫＩＴ（消化管間質系主要）、ＰＳＡ（前立腺特異抗原）、Ｓ１００（黒色腫）、その他多くが挙げられるが、これらに限定されない。バイオマーカは、（早期がんを識別する）診断法および／または（がんの進行の予想ならびに／または特定の処置に対する被験者の反応および／もしくはがんの再発の可能性の予測を行う）予後診断法として有用と考えられる。

[0049]本明細書において、用語「斑点（ｂｌｏｂ）」は、識別された核中心／種子の周りの一群の連結画素であって、核を表す。
[0050]本明細書において、用語「色チャネル（ｃｏｌｏｒ ｃｈａｎｎｅｌ）」は、画像センサのチャネルを表す。たとえば、画像センサは、赤（Ｒ）、緑（Ｇ），および青（Ｂ）等の３つの色チャネルを有していてもよい。

[0051]本明細書において、用語「視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ（ＦＯＶ））」は、所定のサイズおよび／または形状を有する画像部分を表す。いくつかの実施形態において、ＦＯＶは、別途手動または自動検査および分析に用いられるデジタル画像の領域である。ＦＯＶは、デジタル画像の一部特徴の分析（たとえば、デジタル画像の画素の強度値の評価）によって自動または手動で選択されるようになっていてもよい。

[0052]本明細書において、用語「画像データ（ｉｍａｇｅ ｄａｔａ）」は、本明細書における理解の通り、光学センサまたはセンサアレイ等によって生物学的組織サンプルから取得された生の画像データまたは前処理された画像データを含む。特に、画像データは、画素行列を含んでいてもよい。本明細書において、用語「免疫組織化学（ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）」は、抗体等の特定の結合剤との抗原の相互作用を検出してサンプル中の抗原の有無または分布を決定する方法を表す。サンプルは、抗体－抗原結合を可能にする条件下で抗体と接触される。抗体－抗原結合は、抗体に接合された検出可能な標識による検出（直接検出）または主抗体と特異的に結合する副抗体に接合された検出可能な標識による検出（間接検出）が可能である。本明細書において、「マスク（ｍａｓｋ）」は、デジタル画像の派生語であって、マスクの各画素が２進値（たとえば、「１」もしくは「０」（または、「真」もしくは「偽」））として表される。デジタル画像に前記マスクを重ねることにより、デジタル画像に適用される別途処理ステップにおいては、２進値のうちの特定の１つのマスク画素にマッピングされたデジタル画像のすべての画素が隠蔽、削除、あるいは無視または除去される。たとえば、真あるいは偽の閾値を上回る強度値を元の画像のすべての画素に割り当て、「偽」でマスクされた画素が重なるすべての画素を除去することによって、元のデジタル画像からマスクが生成され得る。

[0053]「マルチチャネル画像」は、本明細書における理解の通り、異なるスペクトル帯における蛍光あるいは検出可能性によってマルチチャネル画像のチャネルのうちの１つを構成する特定の蛍光染料、量子ドット、色原体等によって、核および組織構造等の異なる生物学的構造が同時に染色される生物学的組織サンプルから得られたデジタル画像を含む。

[0054]本明細書において、用語「ＲＧＢ色空間（ＲＧＢ ｃｏｌｏｒ ｓｐａｃｅ）」は、赤－緑－青（ＲＧＢ）カラーモデルに基づく任意の加法色空間を表す。特定のＲＧＢ色空間は、赤、緑、および青という加法原色の３つの色度により規定され、これらの原色により規定される三角形である任意の色度を生成可能である。ＲＧＢ色空間の完全な仕様には、白色点色度およびガンマ補正カーブも要する。

[0055]本明細書において、「テンプレート画像（ｔｅｍｐｌａｔｅ ｉｍａｇｅ）」は、基準として用いられる特性が既知の画像を表す。その他の画像が当該画像に類似するように、この画像の染色が後続の分析に適当であるものと決定されている。

[0056]本明細書において、用語「タイター（ｔｉｔｅｒ）」は、サンプル内のステインの濃度または量を表す。一般的に、タイターレベル値は、およそ１～およそ９の範囲であって、１が最低の染色濃度、９が最高の染色濃度を表す。染色時間、濃度等、タイターと関連する多くの物理的プロセスが存在する。

[0057]本明細書において、用語「分離画像（ｕｎｍｉｘｅｄ ｉｍａｇｅ）」は、マルチチャネル画像の１つのチャネルについて得られた濃淡値またはスカラー画像を含む。マルチチャネル画像を分離することにより、チャネルごとに１つの分離画像が得られる。

[0058]本明細書における言及および／または出願データシートにおける掲載の対象となる米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および非特許刊行物はすべて、その全内容が参照により本明細書に組み込まれる。種々特許、出願、および公開の概念を採用する必要に応じて、さらに別の実施形態を提供するように、実施形態の態様が改良され得る。

[0059]概要
[0060]デジタル病理学の全スライド画像（ＷＳＩ）における画像分析アルゴリズムの性能は、画像間のステイン変動によって妨げられ得る。このような困難を克服するため、画像中のすべてのステインに正規化が適用される多くのステイン正規化法が提案されている。ただし、免疫組織化学（ＩＨＣ）画像の場合は、特にステイン変動が特定の生物学的指標に関連する場合、画像中のすべてのステインの正規化が望まれるわけでもなければ、すべてのステインの正規化が実現可能なわけでもない状況が存在する。これに対して、カウンタステイン（通例、ヘマトキシリン（ＨＴＸ））は常に、堅牢な核検出のため、画像間で一貫していることが望まれる。本研究においては、テンプレートＩＨＣ ＷＳＩに対する位置合わせによってＩＨＣ ＷＳＩのＨＴＸステインを正規化するフレームワークが開示される。このため、色相飽和濃度（ＨＳＤ）モデルが利用され、画像の色成分分布がテンプレートと位置合わせされる。その後、テンプレートと整合するように、濃度成分がシフトおよびスケーリングされる。非ＨＴＸステインを保持するため、純粋なＨＴＸステインを有する画素は、ＨＴＸおよび非ＨＴＸステインの混合である画素と区別され、これに応じて、異なる正規化方法が適用される（実施例３参照）。

[0061]出願人らは、スライドが処理のための所望のタイター範囲にあるかを推定する前処理システムおよび方法を開発した。このシステムおよび方法は、クエリ画像のステインのタイターをテンプレート画像中のステインのタイターと合わせするようにも機能する。出願人らは、分析前条件に起因するＨＴＸ染色間の矛盾を解決するため、本明細書に記載のシステムおよび方法が使用され得ると考える。たとえば、図１１に示されるように、３つの臨床検査室からの３つのＥＲ染色乳がん画像が異なるＨＴＸステイン色相および強度を提示している。このような画像間の消極的な腫瘍細胞識別に対して、画像処理アルゴリズムが一貫した感度を有するのは困難である。

[0062]これを克服するため、本明細書に記載のシステムおよび方法は、ＨＴＸステインを所与のテンプレートＷＳＩに対してのみ正規化する前処理フレームワークを採用する。提案のフレームワークは、濃度成分を組み込んだカラーモジュール（たとえば、色相飽和濃度（ＨＳＤ）色空間）における座標位置合わせによって正規化を実行する。本開示では、ＨＳＤ変換に言及する場合があるものの、当業者には当然のことながら、色空間が濃度情報（たとえば、ステインの量と線形関係の濃度成分）を組み込むことを前提として、（現在既知または今後発見される）その他任意の好適な色空間変換が利用されるようになっていてもよい。いくつかの実施形態において、濃度成分を組み込んだカラーモジュールは、ステインの量と線形関係の濃度座標（または、濃度情報）の導出を可能にする。いくつかの実施形態において、濃度成分を組み込んだカラーモジュールは、ステインの量と無関係の色座標（または、色情報）の導出を可能にする。

[0063]ＩＨＣ画像分析の単一ステイン正規化要求を満たすため、カスタマイズされたＨＴＸ画素選択による確実な色分布導出およびステイン混合画素の特別処理が開発された。この前処理ステップが撮像アルゴリズムに及ぼす影響を定量化するため、出願人らは、正規化の有無に応じた画像に対するＩＨＣ染色細胞検出アルゴリズムの結果を証明することにより、提案の方法が異なるＨＴＸ濃度レベル間でより一貫した検出性能を示すことを実証した。

[0064]標本を撮像および分析するデジタル病理学システム２００が図１に示される。デジタル病理学システム２００は、撮像装置１２（たとえば、標本を含む顕微鏡スライドをスキャンする手段を有する装置）およびコンピュータ１４を備えることにより、撮像装置１２およびコンピュータが通信可能に（たとえば、直接またはネットワーク２０を介して間接的に）一体結合されていてもよい。コンピュータシステム１４は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット等、デジタル電子回路、ファームウェア、ハードウェア、メモリ６０２、コンピュータ記憶媒体、コンピュータプログラムもしくは命令セット（たとえば、プログラムがメモリもしくは記憶媒体に格納された場合）、プロセッサ（プログラムされたプロセッサを含む）、ならびに／またはその他を含み得る。図１に示されるコンピュータシステム１４は、表示装置１６および筐体１８を含むコンピュータを備えていてもよい。コンピュータシステムは、（メモリ、サーバ、または別のネットワーク接続デバイス等のローカルに）２進法形式でデジタル画像を格納可能である。また、デジタル画像は、画素行列に分割され得る。画素には、ビット深度により規定される１つまたは複数のビットのデジタル値を含み得る。当業者には当然のことながら、他のコンピュータデバイスまたはシステムが利用されるようになっていてもよく、また、本明細書に記載のコンピュータシステムは、付加的な構成要素（たとえば、標本分析器、顕微鏡、他の撮像システム、自動スライド作成機器等）に対して通信可能に結合されていてもよい。これら付加的な構成要素の一部および利用され得るさまざまなコンピュータ、ネットワーク等については、本明細書において別途記載される。

[0065]一般的に、撮像装置１２（または、プレスキャン画像がメモリに格納された他の画像源）は、１つまたは複数の画像捕捉デバイスを含み得るが、これに限定されない。画像捕捉デバイスは、カメラ（たとえば、アナログカメラ、デジタルカメラ等）、光学素子（たとえば、１つまたは複数のレンズ、センサ焦点レンズ群、顕微鏡対物レンズ等）、撮像センサ（たとえば、電荷結合素子（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）画像センサ等）、写真用フィルム等を含み得るが、これらに限定されない。デジタルの実施形態において、画像捕捉デバイスは、オンザフライ焦点合わせを提供するように協働する複数のレンズを含み得る。画像センサ（たとえば、ＣＣＤセンサ）が標本のデジタル画像を捕捉可能である。いくつかの実施形態において、撮像装置１２は、明視野撮像システム、マルチスペクトル撮像（ＭＳＩ）システム、または蛍光顕微鏡システムである。デジタル化組織データは、たとえばＶＥＮＴＡＮＡ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭＳ、Ｔｕｃｓｏｎ、ＡｒｉｚによるｉＳＣＡＮ ＣＯＲＥ等の画像スキャンシステムまたは他の好適な撮像機器により生成されるようになっていてもよい。付加的な撮像デバイスおよびシステムについては、本明細書において別途記載される。当業者には当然のことながら、撮像装置１２により取得されたデジタルカラー画像は従来、原色画素で構成される。各色付き画素は、それぞれ同数のビットを含む３つのデジタル成分上でコード化される。各成分は、用語「ＲＧＢ」成分でも示される原色（一般的に、赤、緑、または青）に対応する。

[0066]図２は、本開示のデジタル病理学システムにおいて利用されるさまざまなモジュールの概要を示している。いくつかの実施形態において、デジタル病理学システムは、１つまたは複数のプロセッサ２０３および少なくとも１つのメモリ２０１を有するコンピュータデバイス２００またはコンピュータ実装方法を採用しており、少なくとも１つのメモリ２０１は、１つまたは複数のプロセッサによる実行によって、１つまたは複数のモジュール（たとえば、モジュール２０２および２０５～２１２）における命令（または、格納データ）を１つまたは複数のプロセッサに実行させる非一時的コンピュータ可読命令を格納する。あるいは、これらの命令は、非一時的コンピュータ可読媒体（２０１）またはコンピュータ使用可能媒体に格納されていてもよい。いくつかの実施形態において、非一時的コンピュータ可読媒体２０１は、変動する伝搬信号を除くすべてのコンピュータ可読媒体を含んでいてもよい。

[0067]図２および図３Ａを参照して、本開示は、取得画像におけるステインのタイターを評価または推定するコンピュータ実装方法であって、（ａ）画像取得モジュール２０２の動作により、たとえば取得画像、または１つまたは複数のステインで染色された生物学的サンプルのマルチチャネル画像データを生成または受信するステップと、（ｂ）分離モジュール２０５の動作により、１つまたは複数のステインチャネルに対応する画像チャネル画像を生成するステップと、（ｃ）ＦＯＶ生成モジュール２０６の動作により、テスト画像のＦＯＶを生成するとともに、生成されたすべてのＦＯＶの中から、所定の基準を満たすＦＯＶを選択するステップ（ステップ２５０）と、パッチ生成・保持モジュール２０７の動作により、保持された各ＦＯＶ内で一連のパッチを生成するとともに、タイターが評価されるステインの有無を示す所定の基準を満たすそれらのパッチを保持するステップ（ステップ２５１）と、特徴抽出モジュール２０８の動作により、タイターが推定されるステインに関するステイン色特徴およびステイン強度特徴を導出するステップ（ステップ２５２）と、タイター分類モジュール２０９の動作により、抽出された色およびステイン特徴を分類するステップ（ステップ２５３）と、テスト画像のタイターの加重平均スコアを出力するステップ（ステップ２５４）と、を含む、方法を提供する。いくつかの実施形態において、ステインは、ヘマトキシリンである。

[0068]また、図２および図３Ｂを参照して、本開示は、取得画像中のステインのタイターをテンプレート画像中のタイターレベルに対して正規化するコンピュータ実装方法であって、（ａ）画像取得モジュール２０２の動作により、１つまたは複数のステインで染色された生物学的サンプルのマルチチャネル画像データ（たとえば、取得画像）を生成または受信するステップと、（ｂ）分離モジュール２０５の動作により、１つまたは複数のステインチャネルに対応する画像チャネル画像を生成するステップと、（ｃ）ＦＯＶ生成モジュール２０６の動作により、テスト画像のＦＯＶを生成するとともに、生成されたすべてのＦＯＶの中から、所定の基準を満たすＦＯＶを選択するステップ（ステップ２６０）と、パッチ生成モジュール２０７の動作により、保持された各ＦＯＶ内で一連のパッチを生成するとともに、タイターが正規化されるステインの有無を示すある所定の基準を満たすパッチを保持するステップ（ステップ２６１）と、変換モジュール２１０の動作により、変換座標を演算するステップ（ステップ２６２）と、分類モジュール２１１の動作により、テスト画像内の画素が、タイターが正規化されるステインを示す画素クラスに属する確率を決定するステップ（ステップ２６３）と、変換モジュール２０１の動作により、加重変換座標を用いてＲＧＢ画像を再構成するステップ（ステップ２６４）と、を含む、方法を提供する。いくつかの実施形態において、変換モジュール２１０は、ＨＳＤ変換モジュールである。いくつかの実施形態において、ステインは、ヘマトキシリンである。また、当業者には当然のことながら、付加的なモジュールまたはデータベースがワークフローに組み込まれていてもよい。本明細書においてより詳しく記載される通り、いくつかの実施形態においては、ＨＳＤ変換を実行する特定のパラメータを正規化プロセス中に導出するのとは対照的に、ＨＳＤパラメータデータベース２１２からこれらのパラメータが読み出されるようになっていてもよい。同様に、特定のフィルタの取得画像への適用または組織サンプル内の特定の組織学的および／もしくは形態学的構造の識別を行うように、画像処理モジュールが動作し得る。また、分析する画像の特定部分を選択するため、関心領域選択モジュールが利用されるようになっていてもよい。

[0069]いくつかの実施形態においては、正規化に先立って、ステインタイター評価または推定が実行される。図３Ｃを参照して、全スライド画像の取得（ステップ２７０）の後、サンプル内のステインのタイターが推定される。そして、ステインのタイターの推定値が所定のタイター閾値（たとえば、３～６の範囲の閾値）内となるかが判定される。タイターが所定のタイター閾値内となる場合（ステップ２７１）、画像は、別途処理の準備が整っている（ステップ２７３）。一方、タイターが所定のタイター閾値内とならない場合（ステップ２７２）、ステインのタイターは、テンプレート画像のタイターに対して正規化される（ステップ２７３）。

[0070]他の実施形態においては、ステインタイター評価が正規化プロセス中に実行される（たとえば、図３Ｄ参照）。たとえば、いくつかの実施形態においては、ステインのタイターに関連付けられた適当なパラメータがＨＳＤパラメータデータベース２１２から読み出されてＨＳＤ変換モジュール２１１により使用され得るように、特徴抽出モジュール２０８およびタイター分類モジュール２０９の動作によって、正規化中にテスト画像のステインのタイターの推定値を与えるようにしてもよい（ステップ２８１）。このため、正規化に先立つタイター評価の実行により、ステインのタイターの正規化が必要かを確かめるようにしてもよいし（図３Ｃ参照）、正規化中の実行により（図３Ｄ）、導出された色・濃度分布座標の位置合わせおよびスケーリングを実行する適当なＨＳＤパラメータを読み出すようにしてもよい。

[0071]本明細書に記載の方法は、クエリ画像およびテスト画像に対して等しく適用されるようになっていてもよい。このため、特定の箇所がクエリ画像内のＦＯＶの生成に言及している場合、これらの手順は、テンプレート画像に対しても同様に適用されるようになっていてもよい。

[0072]画像取得モジュール
[0073]最初のステップとして、図２を参照するに、デジタル病理学システム２００は、画像取得モジュール２０２を動作させて、１つまたは複数のステインを有する生物学的サンプルの画像または画像データを捕捉する。いくつかの実施形態において、受信または取得される画像は、ＲＧＢ画像またはマルチスペクトル画像である。いくつかの実施形態において、補足された画像は、メモリ２０１に格納される。

[0074]画像または画像データ（本明細書においては区別なく使用される）は、撮像装置１２を用いることにより、たとえば実時間で取得してもよい。いくつかの実施形態において、画像は、本明細書に記載の通り、標本を含む顕微鏡スライドの画像データを捕捉可能な顕微鏡等の器具から取得される。いくつかの実施形態において、画像は、画像タイルをスキャン可能なもの等、２Ｄスキャナを用いて取得される。あるいは、画像は、過去に取得（たとえば、スキャン）され、メモリ２０１に格納された（その一方、ネットワーク２０を介してサーバから読み出された）画像であってもよい。

[0075]サンプルは、１つまたは複数のステインの適用により染色されていてもよく、その結果としての画像または画像データは、１つまたは複数のステインそれぞれに対応する信号を含む。このため、本明細書に記載のシステムおよび方法が単一のステイン（たとえば、ヘマトキシリン）を推定または正規化し得る一方で、生物学的サンプル内のステインの数は制限されない。実際、生物学的サンプルは、多重アッセイにおいて、任意のカウンタステインの追加または一部として２つ以上のステインを含むように染色されていてもよい。

[0076]当業者には当然のことながら、異なる種類の核および／または細胞膜バイオマーカに対して組織サンプルが染色されるようになっていてもよい。組織構造の染色およびさまざまな目的に適したステインの選定のガイドの方法については、たとえばＳａｍｂｒｏｏｋ ｅｔ ａｌ．、「Ｍｏｌｅｃｕｌａｒ Ｃｌｏｎｉｎｇ：Ａ Ｌａｂｏｒａｔｏｒｙ Ｍａｎｕａｌ（分子クローニング：実習マニュアル）」、Ｃｏｌｄ Ｓｐｒｉｎｇ Ｈａｒｂｏｒ Ｌａｂｏｒａｔｏｒｙ Ｐｒｅｓｓ（１９８９）およびＡｕｓｕｂｅｌ ｅｔ ａｌ．、「Ｃｕｒｒｅｎｔ Ｐｒｏｔｏｃｏｌｓ ｉｎ Ｍｏｌｅｃｕｌａｒ Ｂｉｏｌｏｇｙ（分子生物学における現行手順）」、Ｇｒｅｅｎｅ Ｐｕｂｌｉｓｈｉｎｇ Ａｓｓｏｃｉａｔｅｓ ａｎｄ Ｗｉｌｅｙ－Ｉｎｔｅｒｓｃｉｅｎｃｅｓ（１９８７）に論じられており、その開示内容が参照により本明細書に組み込まれる。非限定的な一例として、乳がんの検出に関しては、いくつかの実施形態において、エストロゲン受容体マーカ、プロゲステロン受容体マーカ、Ｋｉ－６７マーカ、またはＨＥＲ２マーカを含む１つまたは複数のバイオマーカの有無について、組織サンプルがＩＨＣアッセイにおいて染色される。このため、いくつかの実施形態において、入力として用いられるバイオマーカ画像は、エストロゲン受容体（ＥＲ）マーカ、プロゲステロン受容体（ＰＲ）マーカ、Ｋｉ－６７マーカ、またはＨＥＲ２マーカのうちの少なくとも１つの有無に対応する信号を含むＩＨＣ画像である。非限定的な別の例として、非小細胞肺がんの検出に関しては、いくつかの実施形態において、ＰＤ－Ｌ１バイオマーカを含む１つまたは複数のバイオマーカの有無について、組織サンプルがＩＨＣアッセイにおいて染色される。このため、いくつかの実施形態において、入力として用いられるバイオマーカ画像は、ＰＤ－Ｌ１マーカ、ＣＤ３マーカ、およびＣＤ８マーカのうちの有無に対応する信号を含むＩＨＣ画像である。いくつかの実施形態において、コンピュータ実装方法は、分類された核をスコアリングするステップをさらに含む。

[0077]色原体ステインとしては、ヘマトキシリン、エオシン、ファストレッド、または３，３’－ジアミノベンジジン（ＤＡＢ）が挙げられる。また、当業者には当然のことながら、任意の生物学的サンプルが１つまたは複数のフルオロフォアで染色されるようになっていてもよい。いくつかの実施形態において、組織サンプルは、主ステイン（たとえば、ヘマトキシリン）で染色されている。いくつかの実施形態においては、特定のバイオマーカについて、組織サンプルがＩＨＣアッセイにおいて染色されている。

[0078]通常の生物学的サンプルは、ステインを当該サンプルに適用する自動染色／アッセイプラットフォームにおいて処理される。市場には、染色／アッセイプラットフォームとしての使用に適した多様な商品が存在しており、一例として、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ， Ｉｎｃ．（Ｔｕｃｓｏｎ、ＡＺ）のＤｉｓｃｏｖｅｒｙ（商標）製品がある。また、カメラプラットフォームとしては、明視野顕微鏡（一例として、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ， Ｉｎｃ．のＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴ製品）または１つもしくは複数の対物レンズおよびデジタル撮像装置のほかに一組のスペクトルフィルタを有する任意の顕微鏡が挙げられる。さまざまな波長で画像を捕捉する他の技術が用いられるようになっていてもよい。当技術分野においては、染色された生物標本の撮像に適した別のカメラプラットフォームが知られており、Ｚｅｉｓｓ、Ｃａｎｏｎ、Ａｐｐｌｉｅｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ等の企業から市販されている。また、このようなプラットフォームは、本開示のシステム、方法、および装置における使用に対して容易に適応可能である。

[0079]いくつかの実施形態において、入力画像は、組織領域のみが画像中に存在するようにマスクされる。いくつかの実施形態においては、非組織領域を組織領域からマスクするように組織領域マスクが生成される。いくつかの実施形態においては、組織領域を識別するとともに、背景領域（たとえば、撮像源からの白色光のみが存在する場所等、サンプルのないガラスに対応する全スライド画像の領域）を除外することによって、組織領域マスクが形成される。当業者には当然のことながら、非組織領域の組織領域からのマスキングのほか、組織マスキングモジュールは、特定の組織種または腫瘍が疑われる領域に属するものとして識別された組織の一部等、必要に応じて他の関心エリアをマスクするようにしてもよい。いくつかの実施形態においては、入力画像において非組織領域から組織領域をマスクすることにより組織領域マスキング画像を生成するのにセグメント化技術が用いられる。好適なセグメント化技術としては、先行技術から既知のものがある（「Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（デジタル画像処理）」、Ｔｈｉｒｄ Ｅｄｉｔｉｏｎ、Ｒａｆａｅｌ Ｃ．Ｇｏｎｚａｌｅｚ、Ｒｉｃｈａｒｄ Ｅ．Ｗｏｏｄｓ、ｃｈａｐｔｅｒ １０、ｐａｇｅ ６８９および「Ｈａｎｄｂｏｏｋ ｏｆ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ（医用画像ハンドブック）」、Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ａｎａｌｙｓｉｓ、Ｉｓａａｃ Ｎ．Ｂａｎｋｍａｎ Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ、２０００、ｃｈａｐｔｅｒ ２参照）。いくつかの実施形態においては、画像中のデジタル化組織データとスライドとの識別に画像セグメント化技術が利用されるが、この場合、組織が前景に、スライドが背景に対応する。いくつかの実施形態においては、構成要素が全スライド画像中の関心エリア（ＡｏＩ）を演算することにより、分析される背景の非組織エリアの量を制限しつつ、ＡｏＩ中のすべての組織領域を検出する。たとえば、組織データと非組織または背景データとの境界を決定するのに、広範な画像セグメント化技術（たとえば、ＨＳＶカラーベース画像セグメント化、Ｌａｂ画像セグメント化、平均シフトカラー画像セグメント化、領域拡張、レベル設定法、高速マーチング法等）が使用され得る。また、構成要素は、セグメント化に少なくとも部分的に基づいて、組織データに対応するデジタル化スライドデータの部分の識別に使用可能な組織前景マスクを生成可能である。あるいは、構成要素は、組織データに対応しないデジタル化スライドデータの部分の識別に用いられる背景マスクを生成可能である。

[0080]この識別は、エッジ検出等の画像分析動作によって可能となり得る。画像（たとえば、非組織領域）中の非組織背景ノイズを除去するのに、組織領域マスクが用いられるようになっていてもよい。いくつかの実施形態において、組織領域マスクの生成には、輝度が所与の閾値を上回る画素が１に設定され、閾値を下回る画素が０に設定されて、組織領域マスクが生成されるように、低分解能入力画像の輝度の演算、輝度画像の生成、輝度画像への標準偏差フィルタの適用、フィルタリング輝度画像の生成、およびフィルタリング輝度画像への閾値の適用といった動作のうちの１つまたは複数を含む（ただし、これらの動作に限定されない）。組織領域マスクの生成に関する付加的な情報および例については、「Ａｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ａｎａｌｙｚｉｎｇ ａ Ｍｕｌｔｉ－Ｃｈａｎｎｅｌ Ｉｍａｇｅ Ｏｂｔａｉｎｅｄ ｆｒｏｍ ａ Ｂｉｏｌｏｇｉｃａｌ Ｔｉｓｓｕｅ Ｓａｍｐｌｅ Ｂｅｉｎｇ Ｓｔａｉｎｅｄ ｂｙ Ｍｕｌｔｉｐｌｅ Ｓｔａｉｎｓ（複数のステインにより染色される生物学的組織サンプルから得られたマルチチャネル画像を分析する画像処理方法およびシステム）」という名称のＰＣＴ／ＥＰ／２０１５／０６２０１５に開示されており、そのすべての開示内容が参照により本明細書に組み込まれる。

[0081]いくつかの実施形態においては、画像または画像データを取得すべき生物学的サンプルの部分を選択するのに、関心領域識別モジュールが用いられるようになっていてもよい。図４は、領域選択のステップを示したフローチャートである。ステップ４２０において、領域選択モジュールは、識別された関心領域または視野を受信する。いくつかの実施形態において、関心領域は、本開示のシステムまたは本開示のシステムに対して通信可能に結合された別のシステムのユーザにより識別される。あるいは、他の実施形態において、領域選択モジュールは、ストレージ／メモリから関心領域の箇所または識別情報を読み出す。いくつかの実施形態において、ステップ４３０に示されるように、領域選択モジュールは、たとえばＰＣＴ／ＥＰ２０１５／０６２０１５に記載の方法によって、ＦＯＶまたはＲＯＩを自動的に生成するが、そのすべての開示内容が参照により本明細書に組み込まれる。いくつかの実施形態において、関心領域は、画像中または画像のいくつかの所定基準または特性に基づいてシステムにより自動的に決定される（たとえば、３つ以上のステインで染色された生物学的サンプルの場合は、ステインを２つだけ含む画像のエリアを識別する）。ステップ４４０において、領域選択モジュールは、ＲＯＩを出力する。

[0100]分離モジュール
[0082]画像取得の後、システム２００は、多重化画像を入力として受信する（たとえば、ステップ２８０）が、多重化画像は、本明細書に記載の通り、１つまたは複数のステインチャネルに対応する信号を含む。別途処理および分析に先立って、この最初の画像はまず、分離モジュール２０５等によって、その構成チャネルへと分離される。各分離チャネルは、特定のステインまたは信号に対応する。以下、分離画像は、「チャネル画像」と称され、本明細書に記載の各モジュールの入力として使用され得る。

[0083]たとえば、１つまたは複数のステインおよびヘマトキシリンを含むサンプルにおいて、これら１つまたは複数のステインおよびヘマトキシリンのチャネルごとに、個々の画像が生成されるようになっていてもよい。任意特定の理論に縛られることを望まないなら、これらのチャネルは、組織画像中の異なる組織構造を強調するものと考えられるため、構造的画像チャネルと称され得る。いくつかの実施形態において、分離は、少なくとも１つのヘマトキシリン画像チャネル画像を提供する。いくつかの実施形態においては、ヘマトキシリンの局所量を表すとともに画像内の核領域を強調する別個のチャネルへと取得画像が分離される。当業者には当然のことながら、これらのチャネルから抽出される特徴は、組織の任意の画像内に存在するさまざまな生物学的構造を表すのに有用である。

[0084]撮像システム２０２により提供されるマルチスペクトル画像は、個々のバイオマーカおよびノイズ成分と関連付けられた基本スペクトル信号の加重混合である。任意特定の画素において、混合重みは、組織の特定箇所における基本共局在化バイオマーカのバイオマーカ発現および当該箇所における背景ノイズに比例する。このため、混合重みは、画素ごとに変動する。本明細書に開示のスペクトル分類方法では、ありとあらゆる画素におけるマルチチャネル画素値ベクトルを一群の構成バイオマーカ・エンドメンバーまたはコンポーネントに分解し、バイオマーカそれぞれについて、個々の構成ステインの割合を推定する。

[0085]分離する方法は、当業者によく知られており、現在既知または今後発見される如何なる方法も、多重化画像の血管チャネル画像への「分離」に用いられるようになっていてもよい。一般的に、分離プロセスでは、ステイン固有のチャネルを抽出して、標準型の組織およびステイン組み合わせについてよく知られている基準スペクトルを用いることにより、個々のステインの局所濃度を決定する。分離では、管理画像から受信された基準スペクトルまたは観察下の画像から推定された基準スペクトルを使用するようにしてもよい。各入力画素の成分信号の分離は、血管チャネルおよび核チャネル等、ステイン固有のチャネルの読み出しおよび分析を可能にする。用語「分離（ｕｎｍｉｘｉｎｇ）」および「カラーデコンボリューション（ｃｏｌｏｒ ｄｅｃｏｎｖｏｌｕｔｉｏｎ）」（または、「デコンボリューション（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）」）等（たとえば、「ｄｅｃｏｎｖｏｌｖｉｎｇ」、「ｕｎｍｉｘｅｄ」）は、当技術分野において区別なく使用される。

[0086]いくつかの実施形態において、多重化画像は、分離モジュール２０５により、線形分類を用いて分離される。線形分離は、たとえばＺｉｍｍｅｒｍａｎｎ、「Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｌｉｎｅａｒ Ｕｎｍｉｘｉｎｇ ｉｎ Ｌｉｇｈｔ Ｍｉｃｒｏｓｃｏｐｙ（光学顕微鏡法におけるスペクトル撮像および線形分離）」、Ａｄｖ Ｂｉｏｃｈｅｍ Ｅｎｇｉｎ／Ｂｉｏｔｅｃｈｎｏｌ（２００５） ９５：２４５－２６５およびＣ．Ｌ．Ｌａｗｓｏｎ ａｎｄ Ｒ．Ｊ．Ｈａｎｓｏｎ、「Ｓｏｌｖｉｎｇ ｌｅａｓｔ ｓｑｕａｒｅｓ Ｐｒｏｂｌｅｍｓ（最小二乗問題を解く）」、ＰｒｅｎｔｉｃｅＨａｌｌ、１９７４、Ｃｈａｐｔｅｒ ２３、ｐ． １６１に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。線形ステイン分離においては、如何なる画素における測定スペクトル（Ｓ（λ））もステインスペクトル成分の線形混合と考えられ、当該画素において発現する個々のステインの色基準（Ｒ（λ））の割合または重み（Ａ）の合計に等しい。

[0087]Ｓ（λ）＝Ａ_１・Ｒ_１（λ）＋Ａ_２・Ｒ_２（λ）＋Ａ_３・Ｒ_３（λ）・・・・・Ａ_ｉ・Ｒ_ｉ（λ）
[0088]これは、以下のように行列形式でより一般的に表され得る。

[0089]Ｓ（λ）＝ΣＡ_ｉ・Ｒ_ｉ（λ）またはＳ＝Ｒ・Ａ
[0090]取得チャネル画像がＭ個、個々のステインがＮ個存在する場合は、Ｍ×Ｎ行列Ｒの列が本明細書において導出される最適な表色系であり、Ｎ×１ベクトルＡが個々のステインの割合の未知の部分であり、Ｍ×１ベクトルＳが画素における測定マルチチャネル・スペクトルベクトルである。これらの方程式において、各画素の信号（Ｓ）は、多重化画像の取得中に測定され、基準スペクトル（すなわち、最適な表色系）は、本明細書に記載の通り導出される。さまざまなステインの寄与（Ａ_ｉ）は、測定スペクトル中の各点に対するそれぞれの寄与を計算することにより決定され得る。いくつかの実施形態においては、以下の方程式集合を解くことにより測定スペクトルと計算スペクトルとの二乗差を最小化する逆最小二乗フィッティング手法を用いて、解が求められる。

[0091]［∂Σ_ｊ｛Ｓ（λ_ｊ）－Σ_ｉＡ_ｉ・Ｒ_ｉ（λ_ｉ）｝２］／∂Ａ_ｉ＝０
[0092]この方程式において、ｊは検出チャネルの数を表し、ｉはステインの数に等しい。線形方程式の解では、制約を受けた分離が強制的に重み（Ａ）の合計を１とし得る場合が多い。

[0093]他の実施形態において、分離は、２０１４年５月２８日に出願された「Ｉｍａｇｅ Ａｄａｐｔｉｖｅ Ｐｈｙｓｉｏｌｏｇｉｃａｌｌｙ Ｐｌａｕｓｉｂｌｅ Ｃｏｌｏｒ Ｓｅｐａｒａｔｉｏｎ（生理学的に妥当な画像適応色分離）」という名称のＷＯ２０１４／１９５１９３に記載の方法を用いて実現されるが、そのすべての開示内容が参照により本明細書に組み込まれる。一般的に、ＷＯ２０１４／１９５１９３は、反復的に最適化された基準ベクトルを用いて入力画像の成分信号を分離することにより分離する方法を記載する。いくつかの実施形態において、アッセイからの画像データは、アッセイの特性に固有の予想または理想結果と相関されることにより、品質基準を決定する。低品質画像または理想結果に対する低相関の場合は、行列Ｒの１つまたは複数の基準列ベクトルが調整され、生理学的および解剖学的要件に整合する高品質画像を相関が示すまで、調整された基準ベクトルを用いて分離が反復的に繰り返される。解剖学的、生理学的、およびアッセイ情報は、測定画像データに適用されるルールを規定して品質基準を決定するのに用いられるようになっていてもよい。この情報には、組織が染色された様子、染色の意図の有無に関わらない組織内の構造、および処理対象のアッセイに固有の構造、ステイン、およびマーカ間の関係を含む。反復プロセスの結果は、関心構造および生物学的に関連する情報を正確に識別する画像を生成し得るステイン固有ベクトルであり、ノイズのあるスペクトルも不要なスペクトルも一切含まないため、分析に適合する。基準ベクトルは、探索空間において調整される。探索空間は、基準ベクトルがステインを表すのに取り得るさまざまな値を規定する。探索空間は、既知または一般的に発生する問題を含む多様な代表的トレーニングアッセイをスキャンするとともに、トレーニングアッセイに対して高品質な基準ベクトル集合を決定することにより、決定されるようになっていてもよい。

[0094]他の実施形態において、分離は、２０１５年２月２３日に出願された「Ｇｒｏｕｐ Ｓｐａｒｓｉｔｙ Ｍｏｄｅｌ ｆｏｒ Ｉｍａｇｅ Ｕｎｍｉｘｉｎｇ（画像分離のためのグループスパーシティモデル）」という名称のＷＯ２０１５／１２４７７２に記載の方法を用いて実現されるが、そのすべての開示内容が参照により本明細書に組み込まれる。一般的に、ＷＯ２０１５／１２４７７２は、グループスパーシティフレームワークを用いた分離を記載しており、複数のコロケーションマーカからのステイン寄与の一部が「同じグループ」においてモデル化され、複数の非コロケーションマーカからのステイン寄与の一部が「異なるグループ」においてモデル化されるため、複数のコロケーションマーカの共局在情報がモデル化グループスパーシティフレームワークに提供され、グループ正則化（ｇｒｏｕｐ ｌａｓｓｏ）を用いてモデル化フレームワークを解くことにより、各グループ内の最小二乗解が得られる。この最小二乗解は、コロケーションマーカの分離に対応し、非コロケーションマーカの分離に対応するグループ間のスパース解を生じる。さらに、ＷＯ２０１５／１２４７７２は、生物学的組織サンプルから得られた画像データを入力し、複数のステインそれぞれのステイン色を表す基準データを電子メモリから読み出し、それぞれが生物学的組織サンプルにおいて配置され得るステインを含み、それぞれがグループ正則化基準のグループを構成し、少なくとも１つが２以上のサイズを有する各ステイングループを表すコロケーションデータを電子メモリから読み出し、基準データを基準行列として用いることによりグループ正則化基準の解を計算して分離画像を求めることによって分離する方法を記載する。いくつかの実施形態において、画像を分離する方法は、共局在化マーカからのステイン寄与の一部が単一のグループにおいて割り当てられ、非共局在化マーカからのステイン寄与の一部が別個のグループにおいて割り当てられるグループスパーシティモデルを生成するステップと、分離アルゴリズムを用いてグループスパーシティモデルを解くことにより、各グループ内の最小二乗解を得るステップと、を含んでいてもよい。

[0095]ＦＯＶ抽出モジュール
[0096]いくつかの実施形態において、全スライド画像は、その全体または一領域が複数のＦＯＶへと細分され、ＦＯＶサンプリンググリッドを生成する（ステップ２５０または２６０）。ＦＯＶサンプリンググリッドは、互いに比較可能な一組の代表領域を画像内に有するように生成される。いくつかの実施形態において、ＦＯＶは、分析する関連領域の代表サンプルを捕捉するように画像全体に分配される。これが実現され得る１つの方法として、ＦＯＶの一定間隔のグリッドを自動または手動で生成することにより、偏りのない構造化サンプリングを画像全体に施す。いくつかの実施形態において、グリッドは、画像全体を網羅する。他の実施形態において、グリッドは、画像全体を網羅しない。

[0097]通常は、ＦＯＶが最大解像度でコンピュータ画面に提示され得るように、ＦＯＶサイズが選定される。たとえば、コンピュータ画面が１０００×１０００画素の解像度を有し、全スライド画像中の画素が０．５マイクロメートル×０．５マイクロメートルである場合、良好なＦＯＶ候補サイズもまた、１０００×１０００画素または０．５ｍｍ×０．５ｍｍのサイズである。

[0098]いくつかの実施形態においては、所定数のＦＯＶが全スライド画像から抽出される。いくつかの実施形態において、所定のＦＯＶ数は、２５～１００の範囲である。他の実施形態において、所定のＦＯＶ数は、およそ５０である。いくつかの実施形態においては、画像内のステインの特徴に基づいて、所定数のＦＯＶが選択される。いくつかの実施形態においては、所定のステイン強度レベル（たとえば、ヘマトキシリン強度レベル）に基づいて、所定のＦＯＶが選択される。

[0099]いくつかの実施形態においては、画像ヒストグラムを導出するため、タイターが評価されるステインに係るチャネルが使用される（たとえば、タイターが評価されるステインがヘマトキシリンである場合は、ヘマトキシリンチャネルに対応する画像ヒストグラムが生成されることになる）。いくつかの実施形態においては、生成されたグリッド内の各ＦＯＶについて、（導出されたヒストグラムを用いて）平均画素強度が計算され、ある所定の平均ステイン強度を満たすＦＯＶが保持される。他の実施形態においては、平均画素強度がＦＯＶごとに計算され、平均画素強度の所定の上位割合に含まれるＦＯＶが保持される。いくつかの実施形態においては、ステインがヘマトキシリンであり、ヘマトキシリンについて８０％の強度レベルを満たすＦＯＶが選択される。いくつかの実施形態において、これは、相対的に強いヘマトキシリンステインが細胞核中のステインを表す、という仮定に基づいてなされる。いくつかの実施形態においては、極端に高いヘマトキシリン異常値によるバイアスのリスクを抑えるため、第８０の百分位数が経験的に選定される。

[00100]パッチ生成・保持モジュール
[00101]ＦＯＶが画像から抽出されたら、各ＦＯＶにおいて一連のパッチが生成される（ステップ２５１および２６１）。ＦＯＶ生成と同じように、パッチは、サンプリンググリッドの生成、すなわち、パッチの一定間隔のグリッドを自動または手動で生成して偏りのない構造化サンプリングをＦＯＶ内で施すことにより生成されるようになっていてもよい。いくつかの実施形態において、パッチは、ＦＯＶの寸法のサイズのおよそ５％～およそ２％の範囲の（ｘ，ｙ）寸法を有する。たとえば、ＦＯＶが１０００画素×１０００画素のサイズを有する場合、ＦＯＶ内の各パッチは、１００画素×１００画素のサイズを有していてもよい。当業者には当然のことながら、複数の非重畳パッチがＦＯＶごとに導出されることになる。

[00102]いくつかの実施形態において、生成されるパッチは、「スーパーピクセル」の形態である。スーパーピクセルは、複数の隣接画素を網羅する画像のサブエリアである。「スーパーピクセル」は、画像を自由形状の非交差画像パッチに分割する。いくつかの実施形態において、この形状は、各スーパーピクセルが目標サイズ範囲を満たし、主として１種類の組織または細胞を含むように選定されるようになっていてもよい。スーパーピクセルは、「グラフベースアルゴリズム」、「勾配上昇ベースアルゴリズム」、ＳＬＩＣアルゴリズム、平均シフト、および正規化カットを含む多くの方法により生成され得る。このため、実施形態によれば、スーパーピクセル生成手順が画像に適用され、それぞれがスーパーピクセルであるパッチを生成するようにしてもよい。実施形態によれば、「パッチ」として使用される隣接画素集合（すなわち、スーパーピクセル）を識別するため、単純線形反復クラスタリングが用いられる。単純線形反復クラスタリング（ＳＬＩＣ）は、スーパーピクセル生成のためのＫ平均法の適応であるが、重要な差異が２つあり、（ｉ）スーパーピクセルサイズに比例する領域に探索空間を制限することによって、最適化における距離計算の数が劇的に少なくなり（これにより複雑性が抑えられて、スーパーピクセルの数ｋとは独立に画素数が線形になると考えられる）、（ｉｉ）加重距離測度がスーパーピクセルのサイズおよび緊密さを制御するのと同時に、色および空間近接性を組み合わせる（Ａｃｈａｎｔａ ｅｔ ａｌ．、「ＳＬＩＣ Ｓｕｐｅｒｐｉｘｅｌｓ Ｃｏｍｐａｒｅｄ ｔｏ Ｓｔａｔｅ－ｏｆ－ｔｈｅ－Ａｒｔ Ｓｕｐｅｒｐｉｘｅｌ Ｍｅｔｈｏｄｓ（最新のスーパーピクセル法との比較によるＳＬＩＣスーパーピクセル）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．３４、Ｎｏ．１１、Ｎｏｖｅｍｂｅｒ ２０１２参照（そのすべての開示内容が参照により本明細書に組み込まれる））。たとえば、スーパーピクセルサイズに比例する領域は、スーパーピクセルの識別に用いられるスーパーピクセルエリアの所定の上限と同じであってもよい。

[00103]いくつかの実施形態においては、ある所定の基準を満たすＦＯＶ内のパッチのみが別途分析用に保持される。たとえば、細胞を一切有していないパッチ（背景パッチ）は、ステインを一切有していないはずであるため、タイターレベル決定に関して有用な情報を有していないと考えられる。

[00104]いくつかの実施形態において、第１の要件として、パッチ内のすべての画素のうちのある所定の割合は、タイターが評価対象となっているステインに対応する信号を有する必要があり、これは、当該ステインの画像チャネルを用いて決定される（たとえば、ステインがヘマトキシリンである場合は、ヘマトキシリンチャネルが利用される）。いくつかの実施形態において、ステイン画素の所定割合は、少なくとも６０％である。他の実施形態において、ステイン画素の所定割合は、少なくとも６５％である。さらに他の実施形態において、ステイン画素の所定割合は、少なくとも７０％である。別の実施形態において、ステイン画素の所定割合は、少なくとも７５％である。たとえば、パッチサイズが１００画素×１００画素であり、閾値割合が７０％に設定されている場合は、パッチ内の１０，０００画素のうち、７，０００個が評価対象のステイン（ヘマトキシリンの場合）を代表する必要がある。

[00105]いくつかの実施形態において、別の要件として、すべての画素のうちのある所定の割合は、何らかの染色がなされている必要がある。ＲＧＢ色空間における３つの色チャネルがそれぞれ２００より大きな値を有する場合（各チャネルが８ビットを有すると仮定して）、画素は「白」と考えられる。当業者には当然のことながら、ＲＧＢ画像が２４ビットの場合は、各チャネル（言い換えると、赤、緑、および青）が８ビットを有し、当該画像は３つの画像（各チャネルに１つずつ）で構成される。各画像は、０～２５５の従来の輝度強度で離散画素を格納することができる。いくつかの実施形態において、染色がなされる必要がある画素の所定割合は、少なくとも４０％である。すなわち、画素の少なくとも４０％が、それぞれ２００未満のＲＧＢチャネル値を有する必要がある。他の実施形態において、染色がなされる必要がある画素の所定割合は、少なくとも４５％である。さらに他の実施形態において、染色がなされる必要がある画素の所定割合は、少なくとも５０％である。別の実施形態において、染色がなされる必要がある画素の所定割合は、少なくとも６０％である。

[00106]さらに別の要件として、すべての画素のうちのある所定の割合は、「細胞様」構造に配置される必要がある。いくつかの実施形態において、細胞様構造に配置される必要があるすべての画素のうちの所定割合は、取得画像またはその任意の選択部分におけるすべての画素のうちの少なくとも２５％である。他の実施形態において、所定割合は、少なくとも３０％である。さらに他の実施形態において、所定割合は、およそ３０％～およそ３５％の範囲である。

[0101]いくつかの実施形態においては、このような細胞様構造の識別にガウシアン差分（ＤｏＧ）フィルタリングが用いられる。一般的に、ガウシアン差分は、元画像の不鮮明版の別の相対的鮮明版からの減算を伴う特徴強調アルゴリズムである。グレースケール画像の簡単な場合、不鮮明画像は、元のグレースケール画像を標準偏差が異なるガウシアンカーネルと畳み込みを実施することにより得られる。ガウシアンカーネルを用いた画像の不鮮明化は、高周波の空間情報のみを抑制すると考えられる。一方の画像を他方から減算することにより、２つの不鮮明画像に保存された周波数の範囲間に存在する空間情報が保存される。このため、ガウシアン差分は、元のグレースケール画像中に存在するわずかな空間周波数以外をすべて破棄する帯域通過フィルタである。

[0102]いくつかの実施形態においては、標準偏差が漸進的に減少するガウシアンカーネルを考慮するとともに、２つの連続ガウシアンによるフィルタリング後に得られた画像間の差を考慮することによって、マルチスケールＤｏＧが実装されることにより、特定の半径範囲を有する「斑点様」構造が検出されると考えられる。いくつかの実施形態において、マルチスケールＤｏＧの０番目のレイヤは、最も粗いガウシアン（標準偏差が最大のガウシアン）によりフィルタリングされた画像と次に粗いガウシアン（標準偏差が次に高いガウシアン）によりフィルタリングされた画像との差を取った後に得られた画像に対応する（本明細書においては、「ガウシアン差分画像」または「ＤｏＧ画像」と称される）。たとえば、０番目のレイヤのＤｏＧ画像は、標準偏差が１の第１のフィルタおよび標準偏差が２の第２のガウシアンフィルタを含む第１のガウシアンフィルタ対のガウシアン差分として演算されるようになっていてもよい。１番目のレイヤのＤｏＧ画像は、標準偏差が２の第１のフィルタおよび標準偏差が３の第２のガウシアンフィルタを含む第２のガウシアンフィルタ対のガウシアン差分として演算されるようになっていてもよい。２番目のレイヤのＤｏＧ画像は、標準偏差が３の第１のフィルタおよび標準偏差が４の第２のガウシアンフィルタを含む第３のガウシアンフィルタ対のガウシアン差分として演算されるようになっていてもよい。標準偏差は、整数値である必要がなく、本開示の他の実施形態においては、類似範囲の他の標準偏差値が用いられるようになっていてもよい。ガウシアンフィルタのカーネルの半径および形状は、予想されるサイズおよび形状の斑点に対して、フィルタ対が大きなＤｏＧを生成するように選定されるようになっていてもよい。

[0103]他の実施形態においては、画像内の斑点の検出ひいては細胞様構造の検出にガウシアンフィルタの一般ラプラシアンが利用されるようになっていてもよい。このような手法は、Ｋｏｎｇ、「Ａ Ｇｅｎｅｒａｌｉｚｅｄ Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ Ｆｉｌｔｅｒ ｆｏｒ Ｂｌｏｂ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ（斑点検出のためのガウシアンフィルタの一般化ラプラシアンおよびその応用）」、ＩＥＥＥ Ｔｒａｎｓ Ｃｙｂｅｒｎ．２０１３ Ｄｅｃ；４３（６）：１７１９－３３に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。

[0104]特徴抽出モジュール
[0105]パッチ生成・保持モジュール２０７を用いて、ステインを示すデータを含むパッチを保持した後（ステップ２５１）は、タイターが評価対象となっているステインを示す色・強度特徴が導出される（ステップ２５２）。

[0106]いくつかの実施形態において、色から導出される特徴としては、色彩比Ｒ／（Ｒ＋Ｇ＋Ｂ）または色主成分が挙げられる。他の実施形態において、色から導出される測定基準としては、局所画像ウィンドウ中の色および／または色強度相関それぞれの局所的統計値（平均値／中央値／分散／標準偏差）が挙げられる。いくつかの実施形態において、特徴としては、（ａ）カラーデコンボリューション後の第１のステインチャネル画像、（ｂ）全スライド画像の低域通過版、（ｃ）吸光度画像、ならびに（ｄ）ＬＡＢ分解によるＬおよびＢ画像チャネルから導出される平均値、中央値、第１四分位数、第３四分位数、第１不変モーメント、および標準偏差値が挙げられる。いくつかの実施形態において、これらの特徴は、前述の導出画像または画像チャネル画像それぞれの画像ヒストグラムから導出される。当業者には当然のことながら、画像のヒストグラムは通常、画素強度値のヒストグラムを表す。このヒストグラムは、画像中に見られる異なる各強度値における当該画像の画素の数を示すグラフである。８ビットのグレースケール画像の場合は、２５６個の異なる強度が存在し得るため、ヒストグラムは、これらのグレースケール値間の画素の分布を示す２５６個の数字を図式的に表示することになる。また、ヒストグラムは、カラー画像から取得可能である。たとえば、赤、緑、および青チャネルの個々のヒストグラムが得られる。

[0107]いくつかの実施形態においては、分離画像チャネル画像から導出された生成画像ヒストグラムの使用により、平均値、中央値、第１四分位数値、および第３四分位数値が挙げられるが、これらに限定されない、特徴を計算するようにしてもよい。また、いくつかの実施形態においては、ステインチャネル画像から導出された強度値のヒストグラムに基づいて、標準偏差が特徴として計算される。

[0108]いくつかの実施形態においては、取得画像のＲＧＢ画像の光学濃度領域表現内から吸光度画像が演算される。いくつかの実施形態においては、平均値、中央値、第１四分位数値、第３四分位数値、および標準偏差値の導出に吸光度画像のヒストグラムが生成および利用される。

[0109]ＬＡＢ色空間は、１つの輝度チャネルＬならびに２つの色チャネルＡおよびＢを含む。Ｌ＊ａ＊ｂ色空間において、「Ｌ」チャネルは画素の輝度を表し、「Ａ」チャネルは画素の赤および緑成分を表し、「Ｂ」チャネルは画素の青および黄成分を表す。いくつかの実施形態においては、平均値、中央値、第１四分位数値、および第３四分位数値の計算にＬチャネルおよびＢチャネルのヒストグラムが用いられる。いくつかの実施形態において、第１不変モーメントは、ＬＡＢ分解の後にＬおよびＢチャネルから導出された強度値のヒストグラムから計算される。

[0110]いくつかの実施形態においては、低域通過フィルタがステインチャネル画像に適用されるようになっていてもよい。低域通過フィルタは、たとえば第１のステインチャネル画像を平滑化することにより、各画素の周りの局所近傍の画素値を平均化あるいは表現する画素値で各画素値を置き換えるフィルタである。いくつかの実施形態においては、平均値、中央値、第１四分位数値、および第３四分位数値の計算に、低域通過フィルタリングされた第１のステインチャネル画像のヒストグラムが用いられる。

[0111]いくつかの実施形態においては、特徴として、画像ヒストグラムから導出された第１および第３四分位数が挙げられる。第１および第３四分位数は、データセット中の位置の測定結果である記述統計値である。いくつかの実施形態において、第１および第３四分位数は、昇順等、ヒストグラムの画素強度データの並べ替えにより導出される。第１四分位数すなわち低位四分位数は、昇順に並べ替えられた場合に画素強度値の最初の２５％をカットオフする値である。このリストの中央にある画素強度データ値（または、リストの中央の２つの値の平均値）が第１の四半分を表す。同様に、第３四分位数すなわち上位四分位数は、最初の７５％をカットオフする値である。このリストの中央にある画素強度データ値（または、リストの中央の２つの値の平均値）が第３四分位数を表す。

[0112]いくつかの実施形態において、特徴としては、第１不変モーメントが挙げられる。画像モーメントは、画像の画素強度のある所定の加重平均（モーメント）またはこのようなモーメントの関数であり、通例、何らかの魅力的な特性または解釈を有するように選定される。色モーメントは、画像中の色分布を特性化する測度である。第１色モーメントは、画像中の平均色として解釈され、以下の式を用いて計算され得る。

[0113]

[0114]ここで、Ｎは画像中の画素の数であり、ｐ_ｉｊはｉ番目の色チャネルにおける画像のｊ番目の画素の値である。
[0115]いくつかの実施形態において、特徴は、画像ヒストグラムの標準偏差値であり、最初にヒストグラムから平均画素強度値を導出した後、平均画素強度値の平方根を取ることによって計算される。

[0116]タイター分類モジュール
[0117]特徴抽出モジュール２０８を用いたステイン色・強度特徴の導出（ステップ２５２）の後は、導出された特徴が分類モジュールに提供されて、各導出画像パッチ内のステインのタイターレベルが演算されるようになっていてもよい（ステップ２５３および２５４）。

[0118]機械学習アルゴリズム（分類器）は、本明細書に記載の複数の機械学習法を組み込むことにより、本明細書に記載の機械学習法のいずれにより実現し得るものよりも高い予測性能を得るアンサンブル学習法を含んでいてもよい。アンサンブル学習法としては、ベイズ最適分類器、ブートストラップアグリゲーティング（「バギング」）、ブースティング、ベイズモデル平均化、ベイズモデル組み合わせ、交差検証選択（「ｂｕｃｋｅｔ ｏｆ ｍｏｄｅｌｓ」）、スタッキング（ｓｔａｃｋｅｄ ｇｅｎｅｒａｌｉｚａｔｉｏｎ）、およびランダムフォレストが挙げられるが、これらに限定されない。いくつかの実施形態において、アンサンブル学習法は、複数の決定木を構成し、個々の木のクラス（分類）または平均予測（回帰）のモードであるクラスを出力することによって動作するランダムフォレストを含む。

[0119]本明細書において、「分類器（ｃｌａｓｓｉｆｉｅｒ）」は、カテゴライズされる新たな観察結果の特性値（「オブジェクト特徴値」または「説明変数」とも称される）を分析することによって、一組のカテゴリ（オブジェクトクラス）のうち、新たな観察結果（オブジェクト）が属するカテゴリを識別可能なプログラムロジックである。分類器は、カテゴリメンバーシップが既知の観察結果を含むデータのトレーニング集合（ここでは、ステインのタイターレベルが既知のスライドから導出されたトレーニング画像）に基づいて得られるようになっていてもよい。いくつかの実施形態において、分類器は、教師あり学習手法の適用（たとえば、正しく識別されたステインタイターレベルのトレーニング集合に対して分類器の未トレーニング版をトレーニングすること（これにより、オブジェクトクラスの数および種類が事前に把握される））によって得られる。

[0120]いくつかの実施形態において、分類器は、ランダムフォレスト分類器である。たとえば、ランダムフォレスト分類器は、（ｉ）タイターレベルが既知で異なるデジタル画像のトレーニング集合を生成し、（ｉｉ）少なくともモジュール２０５～２０８を用いて、本明細書に記載されているように、デジタル画像のトレーニング集合から第１のステインを示す画像特徴（たとえば、ステインの色・強度特徴）を抽出し、（ｉｉｉ）当該ランダムフォレスト分類器をトレーニングして、タイターレベルをクラス標識として用いることにより、一組の抽出特徴（ステイン色特徴およびステイン強度特徴に関して上述した特徴等）に基づいてタイターレベルを識別することによりトレーニングされるようになっていてもよい。そして、トレーニングされたランダムフォレスト分類器は、テスト画像の導出画像パッチ内の導出ステイン色・強度特徴を分類する（ステップ２５３）ように適用されて、特定パッチの推定タイター値を決定するようにしてもよい。いくつかの実施形態においては、トレーニング画像が利用される。トレーニングスライド／画像は、如何なる組織サンプルからも生成され得る。いくつかの実施形態においては、トレーニングが組織固有であり、ヘマトキシリンステインのみが適用される。

[0121]いくつかの実施形態においては、トレーニングのため、タイターレベルが異なる複数のトレーニング画像が分類器に提供される。各トレーニングデジタル画像は、第１のステインのタイターを正確に示すために所定のタイタースコアが知られているＲＧＢ画像であってもよい。トレーニングデジタル画像それぞれについて、システムは、（本明細書に記載のような）第１のステインを示す複数の画像特徴を演算する。ここで、ランダムフォレスト分類器のトレーニングには、ステイン色およびステイン強度特徴ならびに関連するスライドタイターレベルが用いられる。

[0122]分類器２０９は、トレーニングされた後、タイターレベルが未知のテスト画像内のパッチの分類（ステップ２５３）に用いられる。分類器の出力は、各パッチの数値スコアすなわち各パッチの推定タイタースコアであり、推定タイタースコアは１～９の範囲であって、１が最低レベル（最も明るい染色）を表し、９が最高レベル（最も暗い染色）を表す（これらは、整数であってもよいし、それぞれの小数であってもよい）。

[0123]そして、いくつかの実施形態においては、各パッチの個々のタイタースコアから、全スライド画像のスコアが得られる（ステップ２５４）。いくつかの実施形態において、全スライド画像のスコアは、分類されたパッチからのタイタースコアの加重平均である。たとえば、５０個のパッチが考慮され、これらパッチのうち２０個のタイタースコアが１、これらパッチのうち３０個のタイタースコアが９であった場合は、（（２０＊１）＋（３０＊９））／５０＝５．８である。ここで、５．８というスコアは、全スライド画像（テスト画像）の加重平均スコアを表す。いくつかの実施形態において、スコアを演算する代替方法では、パッチスコアヒストグラムのモードを取得する。たとえば、５０個のパッチのうち、１０個のパッチのスコアが１、１０個のパッチのスコアが３、３０個のパッチのスコアが４である場合、全スライドのモードスコアは４である。

[0124]図３Ｃを参照して、いくつかの実施形態においては、この加重平均スコア（または、モードスコア）が所定のタイター閾値と比較されるようになっていてもよい。加重平均（モード）スコアが所定のタイター閾値により規定された限界内である場合は、正規化が必要とされない（ステップ２７１）。一方、加重平均スコアが所定のタイター閾値により規定された限界内ではない場合（ステップ２７２）、本明細書に別途記載のように、正規化が必要とされる場合がある。いくつかの実施形態において、所定のタイター閾値は、およそ３．５～およそ６．５の範囲である。

[0125]ＨＳＤ変換モジュール
[0126]本開示のいくつかの態様によれば、入力画像（「クエリ」画像）中のステインのタイターをテンプレート画像中のステインのタイターに対して正規化するのに、ＨＳＤ変換モジュール２１０が利用されるようになっていてもよい。そして、結果としての正規化画像が別途処理に用いられるようになっていてもよく、たとえば、正規化画像を用いて、核および／または形態学的特徴が識別、分類、およびスコアリングされるようになっていてもよい。

[0127]図３Ｂを参照して、ＨＳＤ変換モジュール２１０は、（ｉ）（ＨＳＤカラーモデル内で）クエリ画像中の各保持パッチ内の各画素の最初の色・濃度分布座標を導出すること（ステップ２６２）と、（ｉｉ）クエリ画像から導出された色・濃度分布座標をテンプレート色・濃度分布座標と整合させて、クエリ画像中の各保持パッチ内の各画素の変換座標を決定すること（ステップ２６３）と、（ｉｉｉ）ＨＳＤ分類モジュール２１１からのステイン確率値の受信に際して、受信確率値により重み付けされた各パッチ内の各画素の最終変換座標を用いることにより、ＨＳＤカラーモデルにおいてクエリ画像からＲＧＢを再生すること（ステップ２６４）と、を担う。これらの各ステップについては、本明細書においてより詳しく説明される。

[0128]本明細書に記載の通り、ステインのタイターを最初に検査することなくタイター正規化が実行される状況が存在する。すなわち、タイター検査ステップは、正規化前に実行されるのではなく、本明細書に別途記載の通り、スライドのステインの推定タイターが好適な位置合わせのために確定され、スケーリングパラメータの導出または読み出しがなされ得るように、正規化中に実行されるようになっていてもよい。これらの状況においては、ＨＳＤ変換モジュール２１０の動作に先立って、ＦＯＶ生成モジュール２０６およびパッチ生成・保持モジュール２０７が動作される。本明細書に記載の通り、画像の画素のＨＳＤ座標が演算されるのは、保持されたパッチ内である。本明細書に概説のステップ２５０および２５１の手順はそれぞれ、正規化ステップ２６０および２６１に対して繰り返されるようになっていてもよい。本明細書に概説の手順を繰り返すことなく、取得画像がＦＯＶのグリッドに分割されるようになっていてもよい。ＦＯＶの全グリッドのうち、閾値基準（たとえば、８０％のステイン強度レベル）を満たすＦＯＶが保持される。本明細書に記載の通り、保持されるＦＯＶそれぞれにおいて、ステインのある所定の基準を満たすパッチが生成され、保持される。

[0129]ＨＳＤ座標（ｃ_ｘ，ｃ_ｙ，Ｄ）の導出
[0130]色相飽和濃度（ＨＳＤ）カラーモデルは、色相飽和強度カラーモデルから導出される。ＨＳＤカラーモデルの背後にある考え方では、強度の代わりとなる個々のＲＧＢチャネルの光学濃度（ＯＤ）に対して、ＲＧＢ－ＨＳＩ変換（色相飽和強度変換）を適用する。当業者には当然のことながら、カラーカメラにより得られた３つの強度の直接使用によって、ＲＧＢカラーモデルが得られる。ＨＳＤモデルの色成分がステインの量とは無関係であることから、得られる色空間は、異なるステインの吸収特性をより良好に区別すると考えられる。ＲＧＢデータから強度を切り離すことによって、ＨＳＩカラーモデルが得られる。任意特定の理論に縛られることを望まないなら、透過光学顕微鏡法において認識される強度の変動の大部分は、染色濃度の変動が原因と考えられる。したがって、ＨＳＤ変換は、個々のＲＧＢチャネルの強度ではなく光学濃度値に適用されるＲＧＢ－ＨＳＩ変換として規定される。

[0131]ＨＳＤモデルは、ステインの量と無関係の２つの色成分（ｃ_ｘ，ｃ_ｙ）および濃度成分（Ｄ：ステインの量と線形関係）へとＲＧＢデータを変換する。任意特定の理論に縛られることを望まないなら、変動するステイン濃度から得られた理論的なＲＧＢ強度は、ＨＳＤ変換の色（ｃ_ｘ，ｃ_ｙ）平面の１点になるものと考えられる。その結果、特定のステイン（たとえば、ヘマトキシリン）で染色された画素の色データは、ある分布を構成することになり、Ｆ（ｃ_ｘ，ｃ_ｙ）で表される。

[0132]図６Ａを参照して、ＦＯＶおよびパッチ生成（ステップ６０１および６０２）の後は、各保持パッチ内の各画素のＨＳＤ座標が計算される（ステップ６０３）。これにより、色・濃度分布座標（ｃ_ｘ，ｃ_ｙ，Ｄ）が画素ごとに与えられる。これは、入力ＲＧＢ画像のＨＳＤ変換を実行することにより実現される。最初の問題として、当業者には当然のことながら、標本を透過した光の検出強度および吸収係数ｃのステインの量（Ａ）は、ランベルト・ベールの法則Ｉ＝Ｉ_０・ｅ^－Ａ・ｃによって記述される。そして、赤、緑、および青スペクトル帯の光学濃度（ＯＤ）は、方程式（１）により規定される。

[0133]

ただし、ｃｈ∈｛Ｒ，Ｇ，Ｂ｝ （１）
[0134]チャネルの光学濃度Ｄ_ｃｈは、チャネルｃｈにおけるステインの吸収値を所与として、ステインの量に線形依存する。いくつかの実施形態において、ＲＧＢ信号の全体強度は、方程式（２）のように規定される。

[0135]

[0136]同様に、ＯＤの全体測度は、方程式（３）のように規定され得る。
[0137]

[0138]図５Ａを参照して、ＲＧＢ空間の原点は黒を表し（すなわち、３つの主強度がすべてゼロであり）、立方体の最遠隅部が白を表す（主強度がすべて最大である）。これらの極値を結ぶ線がすべてのグレー値を表す。各複合色は、この立方体の点により表される。複合色の強度は、Ｉ＝（Ｉ_Ｒ＋Ｉ_Ｇ＋Ｉ_Ｂ）／３（３つの主強度の平均）として規定される。ＲＧＢ立方体において、グレースケール対角線に垂直な各平面には、当該平面上の点が等しい強度を有する、という特性がある（図５Ａは、そのような１つの平面を示している）。このような平面上の点は、三角形領域に制限され、そのサイズは、特定平面のＩの値に線形依存する。グレースケール対角線は、重心においてこの三角形と交差する。この色の正三角形を標準化サイズに対して正規化することにより、この平面上の点の座標を強度から独立させることができる。

[0139]図５Ａを再び参照して、色の三角形においては、重心を原点とし、赤強度が最大の隅部を正のｘ軸が通る２Ｄ座標系（ｃ_ｘ，ｃ_ｙ）が規定され得る。ＲＧＢ空間中のすべての点は、強度と無関係の色座標に変換され得る。色座標が同じ２つのＲＧＢ点ごとに、ＲＧＢ強度の比は同じである。色座標の計算には、ＲＧＢデータの三角形への投射を必要とする（図５Ａおよび図５Ｂ参照）。

[0140]３つのチャネルの光学濃度（方程式（３）参照）に対して図５Ａおよび図５Ｂの投射を使用することにより、ＲＧＢ－ＨＳＤ変換は、以下のように規定される。

[0141]

[0142]ＨＳＤモデルの場合、結果としての（ｃ_ｘ，ｃ_ｙ）平面には、Ｃ_Ｒ、Ｃ_Ｇ、およびＣ_Ｂ間の比が同じＲＧＢ点から単一点が得られる、という特性がある。このため、吸収曲線に関するすべての情報が１つの平面に表される。

[0143]チャネルの光学濃度は、以下のように規定され得る。
[0144]

[0145]ここで、Ｉ_０，ｃｈは、ステインが存在しない場合のチャネルｃｈの強度である。
[0146]光学濃度の全体測度は、以下のように規定され得る。

[0147]変換座標（ｃ_ｘ’，ｃ_ｙ’，Ｄ）の導出
[0148]ＨＳＤ座標の導出すなわちＲＧＢ画像－ＨＳＤ変換の実行の後、各保持パッチ内の画素ごとに変換座標（ｃ_ｘ’，ｃ_ｙ’，Ｄ）が導出される。一般的に、テスト画像の各パッチ中の各画素の色分布座標（ｃ_ｘ，ｃ_ｙ）は、テンプレート画像中の色分布座標と整合（位置合わせ）されて、色分布変換座標（ｃ_ｘ’，ｃ_ｙ’）を与える（ステップ６０４）。同様に、テスト画像の各パッチ中の各画素の濃度分布座標（Ｄ）は、テンプレート画像中の濃度分布座標と整合（スケーリング）されて、濃度分布変換座標（Ｄ’）を与える（ステップ６０５）。位置合わせ（位置合わせを実行するパラメータの導出を含む）およびスケーリングのステップについては、本明細書において記載される。

[0149]導出座標の変換
[0150]テンプレート画像中の対応するクラス分布と整合するようにテスト画像の色・濃度分布座標を変換するため（ステップ６０４）、（ｃ_ｘ，ｃ_ｙ）平面における色情報の２Ｄ位置決めが実行される。以下のように変換関数Ｔが科せられるような位置決め問題が規定され得るように色分布を示すため、Ｆ（ｃ_ｘ，ｃ_ｙ）が用いられる。

[0151]Ｆ（Ｔ（ｃ_ｘ，ｃ_ｙ））～Ｆ_{ｔｅｍｐｌａｔｅ}（ｃ_ｘ，ｃ_ｙ）
[0152]色分布の位置決めの手順には、後述の通り、（１）テンプレートスライドからの統計パラメータの抽出および（２）２Ｄ色分布の変換という２つのステップがある。

[0153]統計パラメータ導出／ＨＳＤパラメータデータベース
[0154]統計パラメータは、本明細書に記載の位置合わせおよびスケーリングの両ステップの変換座標の導出に必要とされる。統計パラメータは、ＨＳＤパラメータデータベース２１２から導出または再試行されるようになっていてもよい。

[0155]いくつかの実施形態において、導出される統計パラメータとしては、テンプレート画像中のステインクラス分布の平均（μ）および角度（φ）が挙げられる。いくつかの実施形態において、ｃ_ｘ軸に対するステインクラス分布（たとえば、ヘマトキシリン）の角度（φ）は、主固有ベクトルを計算することにより導出される。いくつかの実施形態においては、（ｃ_ｘ，ｃ_ｙ）対の共分散行列の第１固有ベクトルが解かれ、２Ｄ色空間において角度が解かれる。また、いくつかの実施形態において、統計パラメータには、スケーリングパラメータを含む。いくつかの実施形態において、スケーリングパラメータは、Ｆ_{ｔｅｍｐｌａｔｅ}分布全体を原点へと平行移動させた後（図５Ａおよび図５Ｂ参照）、角度（φ）に沿った回転ステップによってｃ_ｘ軸に沿った分散を最大化することにより導出される。最後に、スケーリングパラメータは、ｃ_ｘ軸およびｃ_ｙ軸それぞれへの回転分布の投射後に規定され、各軸に沿った投射値の最小値、第１、第２５、第５０、第７５、および第９０の百分位数、ならびに最大値を含む。統計パラメータそれぞれを導出する方法については、Ｊ．Ａ．ｖａｎ ｄｅｒ Ｌａａｋ、「Ｈｕｅ－ｓａｔｕｒａｔｉｏｎ－ｄｅｎｓｉｔｙ （ＨＳＤ） ｍｏｄｅｌ ｆｏｒ ｓｔａｉｎ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｄｉｇｉｔａｌ ｉｍａｇｅｓ ｆｒｏｍ ｔｒａｎｓｍｉｔｔｅｄ ｌｉｇｈｔ ｍｉｃｒｏｓｃｏｐｙ（透過光学顕微鏡法によるデジタル画像におけるステイン認識のための色相飽和濃度（ＨＳＤ）モデル）」、Ｃｙｔｏｍｅｔｒｙ、ｖｏｌ．３９、ｎｏ．４、ｐｐ．２７５－２８４、２０００にさらに開示されており、そのすべての開示内容が参照により本明細書に組み込まれる。

[0156]当業者には当然のことながら、色分布座標の位置合わせおよび濃度分布座標のスケーリングに関する統計パラメータの導出は、演算上の負荷がかなり大きくなり得る。また、当業者には当然のことながら、データが制御源から生成される場合は、分析の分散を抑えることができる。実際のところ、組織源からの分散を抑えて、ステインの分散のみを残すことができる。このため、演算時間を早め、演算コストを抑え、組織種、病理学等と関連付けられたバイアスを抑えようとして、出願人らは、アッセイ標準に従って染色された組織から導出された統計パラメータの標準化「参照」値のデータベースの使用を提案する。任意特定の理論に縛られることを望まないなら、パラメータの推定にバイアスまたは誤差がある場合は、正規化を「オフ」にすることにより、結果としての正規化画像が画像品質の点で劣ったものになり得ると考えられる。たとえば、画像が生物学的原因では非常に暗い一方、染色手順によっては暗くなく、これを正規化パラメータで捕捉する場合は、正規化によって、画像がその生物学的意味を失うことになる。

[0157]いくつかの実施形態において、統計パラメータのデータベースには、正規化対象のステインの一連の異なるタイターそれぞれの参照値を含む。実際のところ、データベースは、タイターレベル１～９のステインの統計パラメータを含んでいてもよい。たとえば、データベースは、タイター４で第１のステインの平均、角度、スケーリングパラメータ等を含んでいてもよい。また、データベースは、タイター５で第１のステインの平均、角度、スケーリングパラメータ等を含んでいてもよい。同様に、１～９の範囲のタイターレベルで第２、第３、・・・第ｎのステインの平均、角度、スケーリングパラメータ等を含んでいてもよい。また、当業者には当然のことながら、任意のタイターレベルの小数（たとえば、およそ４．５と推定されるタイター）に対して、統計パラメータが提供されるようになっていてもよい。いくつかの実施形態において、パラメータは、上記説明の通りＦＯＶおよびパッチを用いて、一組のスライドから抽出される。そして、これらの画像は、タイター分類アルゴリズムで分類され、結果としての予測タイターが抽出パラメータに関連付けられる。新たなスライドが生じた場合には、当該スライドが分類され、構成テーブルにおいて対応するパラメータを探すのに結果が用いられる。

[0158]ＨＳＤパラメータデータベース２１２を利用することにより、正規化のテストスライドが得られた場合には、本明細書に記載の手順を用いて、テスト画像のタイターレベルが推定されるようになっていてもよい（図３Ｂおよび図６参照）。正規化前または正規化中にタイターレベル（テスト画像の加重スコア）が推定されたら、参照値のデータベース２１２がＨＳＤ変換モジュール２１１により参照され、クエリ画像の推定タイターレベルに対応する統計パラメータがクエリスライドに固有の実パラメータであるかのように読み出され、位置合わせおよびスケーリングの計算に用いられるようになっていてもよい。このような標準化参照値は、データベース２１２に格納され、必要に応じてシステム２００によりアクセスされるようになっていてもよい。いくつかの実施形態において、統計パラメータは、位置合わせおよびスケーリングの両者に用いられる。

[0159]色分布座標の位置合わせ
[0160]統計パラメータの導出またはデータベース２１２からの読み出しがなされた後、位置合わせが実行される（ステップ６０４）。一般的に、各パッチ中の各画素の色分布座標（ｃ_ｘ，ｃ_ｙ）は、導出または読み出し統計値を使用することにより、テンプレート色分布座標と整合されて、位置合わせ色分布座標（ｃ_ｘ’，ｃ_ｙ’）を与える。

[0161]本明細書に記載の通り、Ｆ（ｃ_ｘ，ｃ_ｙ）は、正規化されるテスト画像の色分布を表す。ステインの正規化のプロセスは、Ｆ（ｃ_ｘ，ｃ_ｙ）分布の平均の減算およびΣ（Σは、Ｆ（ｃ_ｘ，ｃ_ｙ）の共分散行列を示す）の主固有ベクトルに沿った回転によってＦ（ｃ_ｘ，ｃ_ｙ）分布全体を平行移動させることから始まる。その後、区分的線形スケーリングが適用されて、現在の分布からのランドマークをテンプレートスライドのランドマークに整合させる。次のステップにおいては、スケーリング分布が導出角度に沿って逆回転され、テンプレートテスト画像中の対応する分布の主固有ベクトルと位置合わせされる。変換の最終ステップには、分布の導出平均への平行移動を含む。いくつかの実施形態において、位置合わせの出力は、テスト画像中の全パッチにおける全画素の変換色分布座標（ｃ_ｘ’，ｃ_ｙ’）を与える。

[0162]平均減算ステップの場合は、（ｃ_ｘ，ｃ，ｃ_ｙ，ｃ）＝（ｃ_ｘ，ｃ_ｙ）－（＼ｍｕ_ｘ，ｉ，＼ｍｕ_ｙ，ｉ）である。その後、（ｃ_ｘ，ｃｒ，ｃ_ｙ，ｃｒ）＝Ｕ_ｉ ^＊（ｃ_ｘ，ｃ，ｃ_ｙ，ｃ）を考慮した画像の共分散行列の特異値分解によって、単位行列Ｕを乗算することにより、（ｃ_ｘ，ｃ_ｙ）分布の主固有ベクトルに沿って分布を回転させる。第３のステップにおいては、テンプレートの主固有ベクトルに沿って分布を再び回転させる。すなわち、（ｃ_{ｘ，ｃｒｒ}，ｃ_{ｙ，ｃｒｒ}）＝Ｕ_ｔ ^＊（ｃ_ｘ，ｃｒ，ｃ_ｙ，ｃｒ）である。最後に、全分布を平行移動させて、テンプレート画像の平均と整合させる。すなわち、（ｃ_ｘ’，ｃ_ｙ’）＝（ｃ_{ｘ，ｃｒｒ}，ｃ_{ｙ，ｃｒｒ}）－（＼ｍｕ_ｘ，ｔ，＼ｍｕ_ｙ，ｔ）である。

[0163]濃度スケーリング
[0164]統計パラメータの導出またはデータベース２１２からの読み出しがなされた後は、導出または読み出しパラメータを用いてスケーリングが実行される（ステップ６０５）。一般的に、各パッチ中の各画素の濃度分布座標（Ｄ）は、テンプレート濃度分布座標と整合されて、スケーリング色分布座標（Ｄ’）を与える。

[0165]テンプレート画像の濃度プロファイルと整合するように、ＨＳＤカラーモデルのテスト画像の濃度成分（Ｄ）が変換される。いくつかの実施形態において、分布は、その平均および標準偏差をテンプレート画像中の統計パラメータと整合させることによって正規化される。したがって、変換濃度分布は、以下により決定される。

[0166]ここで、μおよび

は、濃度分布の加重平均および加重標準偏差であり、

、μ^{ｔｅｍｐｌａｔｅ}は、テンプレート中の対応する値であって、ＤおよびＤ’はそれぞれ、スケーリング前後の濃度を表す。
[0167]あるいは、変換濃度分布は、以下により決定され得る。

[0168]Ｄｔ＝Ｄ－＼ｍｕ＋＼ｍｕ_{ｔｅｍｐｌａｔｅ}
[0169]＼ｍｕ_ｄ＝ｍｅａｎ（Ｄｔ）（所望の平均値）
[0170]Ｄｓ＝Ｄｔ／＼ｓｉｇｍａ＊＼ｓｉｇｍａ＿ｔ
[0171]＼ｍｕ_ｏ＝ｍｅａｎ（Ｄｓ）（標準偏差の正規化後に得られる平均）
[0172]Ｄ’＝Ｄｓ－＼ｍｕ_ｏ＋＼ｍｕ_ｄ
[0173]変換座標の重み付け
[0174]ＨＳＤ空間における最終的な変換座標は、元の座標と、テンプレート中のステインクラス（たとえば、ヘマトキシリン）により位置合わせおよびスケーリングされた座標との加重和となる。このように、ステインクラス（たとえば、ヘマトキシリン）に属さない画素が不変を維持することになる。

[0175]各パッチ中の画素ごとに変換色分布・濃度分布座標（ｃ_ｘ’，ｃ_ｙ’，Ｄ’）が得られた後（ステップ６０４および６０５）、各画素の最終的な変換座標は、任意特定の画素がステインクラス画素（たとえば、ヘマトキシリン画素）である確率を表す確率値によって重み付けされる（ステップ６０７）。これらの確率値は、テスト画像中の画素それぞれについて、画素がステインクラス画素である確率を決定するようにトレーニングされた単純ベイズ分類器等の分類器を用いて導出される（ステップ６０６）。分類器のトレーニングについては、本明細書において別途記載される（ＨＳＤ分類モジュール参照）。

[0176]最終的な座標（ｃ_ｘ，ｆ，ｃ_ｙ，ｆ，Ｄ_ｆ）は、以下の通りである。
[0177]（ｃ_ｘ，ｆ，ｃ_ｙ，ｆ）＝ｗ_{ｓｔａｉｎ}（ｃ_ｘ’，ｃ_ｙ’）＋ｗ_{ｎｏ－ｓｔａｉｎ}（ｃ_ｘ，ｃ_ｙ）
[0178]Ｄ_ｆ＝ｗ_{ｓｔａｉｎ}Ｄ’＋ｗ_{ｎｏ－ｓｔａｉｎ}Ｄ
[0179]ここで、ｗ_{ｓｔａｉｎ}は、画素がステインクラスに属する確率であり、ｗ_{ｎｏ－ｓｔａｉｎ}は、画素がこのステインクラスに属さない確率である。

[0180]加重変換座標を用いた逆変換
[0181]最終ステップにおいては、ＲＧＢ色空間においてテスト画像を再生するため、加重変換座標が用いられる（ステップ６０７）。これは、本明細書に記載のＨＳＤ変換の逆を実行することにより実現されるようになっていてもよい。

[0182]（ｃ_ｘ，ｃ_ｙ）からＲＧＢへの逆変換は、方程式Ｉ_Ｒ＝Ｉ・（ｃ_ｘ＋１）を用いることにより実行され得る。
[0183]

[0184]ここで、個々のチャネル濃度は、以下の方程式を用いてＲＧＢへと逆変換され得る。
[0185]Ｉ_ｃｂ＝Ｉ_０，ｃｂ・ｅ^－Ｄｃｂ
[0186]いくつかの実施形態において、ＲＧＢ再構成中の色位置合わせの場合は、カラーデコンボリューションに用いられる元のヘマトキシリン色基準ベクトルの採用の代わりに、テンプレート画像中の純粋なヘマトキシリン画素からの正規化平均ＲＧＢ ＯＤベクトルが再構成に用いられる。

[0187]ＨＳＤ分類器モジュール
[0188]いくつかの実施形態においては、ステイン画素ではない画素から、タイターが正規化対象となっているステインのステイン画素であるテンプレート画像中の画素を認識するため、すなわち、画素分類結果を与えるために分類器がトレーニングされるが、この場合は、ＨＳＤ変換（ステップ６０３）により各パッチ中の画素ごとに導出されたＨＳＤ座標（ｃ_ｘ，ｃ_ｙ，Ｄ）が特徴として用いられる。

[0189]いくつかの実施形態において、分類器は、画素が特定のステインのものであるか否かを推定するようにトレーニングされる。これは、以下の基準が満たされる場合に、画素がステインクラス（たとえば、ヘマトキシリンクラス）に属する旨を考慮することによって実現される。

[0190]（ａ）画像が白ではない。ＲＧＢ画像の全体光学濃度が０．２未満で、ＲＧＢチャネルそれぞれからの光学濃度が０．２５未満の場合、画像は白と考えられる。光学濃度の導出については、本明細書において記載される。

[0191]（ｂ）画像の色相が青の範囲内である。いくつかの実施形態において、色相は、ＨＳＩ（色相飽和強度）色分解により得られる。色相は、画像の色度を規定する角度である。たとえば、色相値が１８０～２４０°の場合、結果としての色は青である。

[0192]（ｃ）テンプレート画像には、「細胞様」構造が存在する。すなわち、ＤｏＧフィルタの出力は、０より高い。ＤｏＧフィルタならびにその適用による「斑点」および細胞様構造の探索については、本明細書において記載される。

[0193]ステインクラスに属する画素を推定した後は、ＨＳＤ座標（ｃ_ｘ，ｃ_ｙ，Ｄ）を特徴として用いることにより、ヘマトキシリン画素対非ヘマトキシリン画素に関して、単純ベイズ分類器がテンプレート画像に対してトレーニングされる。いくつかの実施形態において、トレーニング集合は、テンプレート画像中のＦＯＶ／パッチから選択された画素から得られる。

[0194]本開示の実施形態を実現する他の構成要素
[0195]本開示のシステム２００は、組織標本に対して１つまたは複数の作成プロセスを実行可能な標本処理装置に接続されていてもよい。作成プロセスとしては、標本の脱パラフィン化、標本の調節（たとえば、細胞調節）、標本の染色、抗原読み出しの実行、免疫組織化学染色（標識化を含む）もしくは他の反応の実行、ならびに／またはｉｎ－ｓｉｔｕハイブリダイゼーション（たとえば、ＳＩＳＨ、ＦＩＳＨ等）染色（標識化を含む）もしくは他の反応の実行のほか、顕微鏡法、微量分析法、質量分光法、または他の分析方法のために標本を作成する他のプロセスが挙げられるが、これらに限定されない。

[0196]処理装置は、固定剤を標本に塗布可能である。固定剤としては、架橋剤（アルデヒド（たとえば、ホルムアルデヒド、パラホルムアルデヒド、およびグルタルアルデヒド）のほか、非アルデヒド架橋剤等）、酸化剤（たとえば、四酸化オスミウムおよびクロム酸等の金属イオンおよび錯体）、タンパク質変性剤（たとえば、酢酸、メタノール、およびエタノール）、メカニズムが未知の固定剤（たとえば、塩化第二水銀、アセトン、およびピクリン酸）、組み合わせ試薬（たとえば、カルノワ固定剤、メタカン、ブアン液、Ｂ５固定剤、ロスマン液、およびジャンドル液）、マイクロ波、および混合固定剤（たとえば、排除体積固定剤および蒸気固定剤）が挙げられる。

[0197]標本がパラフィンに埋め込まれたサンプルの場合、このサンプルは、適当な脱パラフィン化液を用いることにより脱パラフィン化され得る。パラフィンが除去された後は、任意数の物質が連続して標本に適用され得る。これらの物質としては、前処理用（たとえば、タンパク質架橋の逆転、核酸の曝露等）、変性用、ハイブリダイゼーション用、洗浄用（たとえば、ストリンジェンシ洗浄）、検出用（たとえば、視覚またはマーカ分子のプローブへのリンク）、増幅用（たとえば、タンパク質、遺伝子等の増幅）、カウンタ染色、封入用が可能である。

[0198]標本処理装置は、広範な物質を標本に適用可能である。これらの物質としては、ステイン、プローブ、試薬、洗浄液、および／または調節剤が挙げられるが、これらに限定されない。これらの物質としては、流体（たとえば、気体、液体、または気体／液体混合物）等が可能である。流体としては、溶媒（たとえば、極性溶媒、非極性溶媒等）、溶液（たとえば、水溶液または他種の溶液）等が可能である。試薬としては、ステイン、湿潤剤、抗体（たとえば、モノクローナル抗体、ポリクローナル抗体等）、抗原回復液（たとえば、水性または非水性の抗原緩衝液、抗原回復緩衝剤等）が挙げられるが、これらに限定されない。プローブとしては、検出可能な標識またはレポータ分子に付着した単離核酸または単離合成オリゴヌクレオチドが可能である。標識としては、放射性同位体、酵素基質、補因子、リガンド、化学発光または蛍光剤、ハプテン、および酵素が挙げられる。

[0199]標本処理装置としては、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．が販売するＢＥＮＣＨＭＡＲＫ ＸＴ器具およびＳＹＭＰＨＯＮＹＣ器具のような自動化装置が可能である。Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．は、自動分析を実行するシステムおよび方法を開示した多くの米国特許の譲受人であり、米国特許第５，６５０，３２７号、第５，６５４，２００号、第６，２９６，８０９号、第６，３５２，８６１号、第６，８２７，９０１号、および第６，９４３，０２９号、ならびに米国特許出願公開第２００３／０２１１６３０号および第２００４／００５２６８５号を含み、それぞれのすべての内容が参照により本明細書に組み込まれる。あるいは、標本は、手動で処理され得る。

[0200]標本が処理された後、ユーザは、標本支持スライドを撮像装置に移送することができる。いくつかの実施形態において、撮像装置は、明視野撮像スライドスキャナである。明視野撮像装置の１つとして、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．が販売するｉＳｃａｎ Ｃｏｒｅｏ明視野スキャナがある。自動化された実施形態において、撮像装置は、「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＴＥＣＨＮＩＱＵＥＳ（撮像システムおよび技法）」という名称の国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２号（特許公開第ＷＯ／２０１１／０４９６０８号）または２０１１年９月９日に出願された「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭＳ，ＣＡＳＳＥＴＴＥＳ， ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ（撮像システム、カセット、およびこれらの使用方法）」という名称の米国特許出願第６１／５３３，１１４号に開示されるようなデジタル病理学デバイスである。国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２号および米国特許出願第６１／５３３，１１４号のすべてが参照により本明細書に組み込まれる。

[0201]撮像システムまたは装置は、マルチスペクトル撮像（ＭＳＩ）システムまたは蛍光顕微鏡システムであってもよい。ここで用いられる撮像システムは、ＭＳＩである。ＭＳＩは一般的に、画素レベルで画像のスペクトル分布にアクセス可能とすることにより、コンピュータ化顕微鏡ベースの撮像システムを病理標本の分析に備える。多様なマルチスペクトル撮像システムが存在するが、これらのシステムすべてに共通する動作的態様は、マルチスペクトル画像を構成する能力である。マルチスペクトル画像とは、電磁スペクトル全体の特定の波長または特定のスペクトル帯域幅において画像データを捕捉したものである。これらの波長は、光学フィルタまたは赤外線（ＩＲ）等の可視光範囲を超える波長における電磁放射光線を含む所定のスペクトル成分を選択可能な他の器具の使用により選別されるようになっていてもよい。

[0202]ＭＳＩシステムとしては、光学撮像システムが挙げられ、その一部が、所定数Ｎの離散光帯域を規定するように調節可能なスペクトル選択システムを含む。この光学システムは、光検出器上に広帯域光源で透過照射される組織サンプルを撮像するように構成されていてもよい。光学撮像システムは、一実施形態において、たとえば顕微鏡等の拡大システムを含んでいてもよく、当該光学システムの１つの光出力と空間的に大略位置合わせされた１本の光軸を有する。このシステムは、異なる離散スペクトル帯において画像が取得されるように（たとえば、コンピュータプロセッサによって）スペクトル選択システムが調整または調節されるように、組織の一連の画像を構成する。また、この装置は、ディスプレイも含んでいてもよく、このディスプレイにおいて、取得された一連の画像から少なくとも１つの視覚的に知覚可能な組織の画像が現れる。スペクトル選択システムは、回折格子、薄膜干渉フィルタ等の一群の光学フィルタ、またはユーザ入力もしくは予めプログラムされたプロセッサのコマンドのいずれかに応答して、光源からサンプルを通じて検出器へと透過した光のスペクトルから特定の通過帯域を選択するように構成されたその他任意のシステム等、光分散要素を含んでいてもよい。

[0203]代替実施態様において、スペクトル選択システムは、Ｎ個の離散スペクトル帯に対応する複数の光出力を規定する。この種のシステムは、光学システムからの透過光出力を取り込み、識別されたスペクトル帯において、この識別されたスペクトル帯に対応する光路に沿ってサンプルを検出システム上で撮像するように、Ｎ本の空間的に異なる光路に沿って、この光出力の少なくとも一部を空間的に方向転換させる。

[0204]本明細書に記載の主題および動作の実施形態は、デジタル電子回路またはコンピュータソフトウェア、ファームウェア、もしくはハードウェア（本明細書に開示の構造およびその構造的同等物を含む）、あるいはこれらのうちの１つまたは複数の組み合わせにて実装され得る。本明細書に記載の主題の実施形態は、１つまたは複数のコピュータプログラム、すなわち、データ処理装置による実行またはデータ処理装置の動作の制御ためにコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つまたは複数のモジュールとして実装され得る。本明細書に記載のモジュールはいずれも、プロセッサにより実行されるロジックを含んでいてもよい。本明細書において、「ロジック」は、プロセッサの動作に影響を及ぼすように適用され得る命令信号および／またはデータの形態を有する如何なる情報をも表す。ソフトウェアは、ロジックの一例である。

[0205]コンピュータ記憶媒体としては、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムもしくは順次アクセス・メモリアレイもしくはデバイス、またはこれらのうちの１つまたは複数の組み合わせも可能であるし、これらに含まれることも可能である。さらに、コンピュータ記憶媒体は、伝搬信号ではないが、人工的に生成された伝搬信号として符号化されたコンピュータプログラム命令の供給源または宛先が可能である。また、コンピュータ記憶媒体としては、１つまたは複数の別個の物理的構成要素または媒体（たとえば、複数のＣＤ、ディスク、または他の記憶装置）も可能であるし、これらに含まれることも可能である。本明細書に記載の動作は、１つまたは複数のコンピュータ可読記憶装置に格納されたデータまたは他の供給源から受信されたデータに対してデータ処理装置により実行される動作として実装され得る。

[0206]用語「プログラムされたプロセッサ」は、データを処理するためのあらゆる種類の装置、デバイス、および機械を含み、一例として、プログラム可能なマイクロプロセッサ、コンピュータ、システム・オン・チップ、またはこれらのうちの複数、もしくは組み合わせが挙げられる。装置としては、専用論理回路（たとえば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路））が挙げられる。また、装置としては、ハードウェアのほか、対象のコンピュータプログラムのための実行環境を生成するコード（たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム・ランタイム環境、仮想機械、またはこれらのうちの１つもしくは複数の組み合わせを構成するコード）が挙げられる。この装置および実行環境は、ウェブサービス、分散型コンピューティング、およびグリッドコンピューティング・インフラストラクチャ等、種々異なるコンピューティングモデル・インフラストラクチャを実現することができる。

[0207]コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイラ型またはインタープリタ型言語、宣言型または手続き型言語等、如何なる形態のプログラミング言語でも記述可能であり、また、単体プログラムまたはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用に適した他のユニット等、如何なる形態でも展開可能である。コンピュータプログラムは、ファイルシステムのファイルに対応していてもよいが、必ずしもその必要はない。プログラムは、他のプログラムもしくはデータ（たとえば、マークアップ言語文書に格納された１つまたは複数のスクリプト）を保持するファイルの一部、対象のプログラムに専用の１つのファイル、または複数の調整されたファイル（たとえば、１つもしくは複数のモジュール、サブプログラム、もしくはコードの一部を格納したファイル）に格納され得る。コンピュータプログラムは、１つのコンピュータ上または１つのサイトに位置付けられた複数のコンピュータもしくは複数のサイトに分散され、通信ネットワークにより相互接続された複数のコンピュータ上で実行されるように展開され得る。

[0208]本明細書に記載のプロセスおよびロジックフローは、１つまたは複数のコンピュータプログラムを実行し、入力データに対する動作および出力の生成によって動作を実行する１つまたは複数のプログラム可能なプロセッサにより実行され得る。これらのプロセスおよびロジックフローは、専用論理回路（たとえば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路））により実行され得る。また、装置は、専用論理回路（たとえば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路））として実装され得る。

[0209]コンピュータプログラムの実行に適したプロセッサとしては、一例として、汎用および専用マイクロプロセッサの両者、ならびに任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサが挙げられる。一般的に、プロセッサは、リードオンリーメモリ、ランダムアクセスメモリ、またはその両者から命令およびデータを受信することになる。コンピュータの必須要素は、命令に従って動作を実行するプロセッサならびに命令およびデータを格納する１つもしくは複数メモリデバイスである。また、一般的に、コンピュータは、データを格納する１つまたは複数の大容量記憶装置（たとえば、磁気、光磁気ディスク、または光ディスク）を含むか、あるいは、１つまたは複数の大容量記憶装置に対するデータの受信、送信、または両者を行うように動作結合されることになる。ただし、コンピュータは、そのようなデバイスを必ずしも有する必要がない。さらに、コンピュータは、別のデバイス（たとえば、携帯電話、個人用デジタル補助装置（ＰＤＡ）、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、または携帯型記憶装置（たとえば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）、あるいはその他多くのデバイス）に埋め込まれ得る。コンピュータプログラム命令およびデータを記憶するのに適したデバイスとしては、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスが挙げられ、一例として、半導体メモリデバイス（たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス）、磁気ディスク（たとえば、内部ハードディスクもしくはリムーバブルディスク）、光磁気ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む。プロセッサおよびメモリは、専用論理回路による補完または専用論理回路への組み込みがなされ得る。

[0210]ユーザとの相互作用を可能にするため、本明細書に記載の主題の実施形態は、ユーザに情報を表示する表示装置（たとえば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ）ならびにユーザがコンピュータに入力を与え得るキーボードおよびポインティングデバイス（たとえば、マウスもしくはトラックボール）を有するコンピュータ上に実装され得る。いくつかの実施態様においては、情報の表示およびユーザからの入力の受け付けにタッチスクリーンが使用され得る。また、ユーザとの相互作用を可能にするため、他の種類のデバイスも同様に使用され得る。たとえば、ユーザに提供されるフィードバックとしては、任意の形態の感覚フィードバック（たとえば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバック）が可能であり、ユーザからの入力は、音響入力、音声入力、または触覚入力等、任意の形態で受け取られ得る。また、コンピュータは、ユーザが使用するデバイスに対する文書の送信および受信（たとえば、ウェブブラウザから受けた要求に応じてユーザのクライアントデバイス上のウェブブラウザにウェブページを送ること）によって、ユーザと相互作用可能である。

[0211]本明細書に記載の主題の実施形態は、バックエンドコンポーネント（たとえば、データサーバ）、ミドルウェアコンポーネント（たとえば、アプリケーションサーバ）、またはフロントエンドコンポーネント（たとえば、本明細書に記載の主題の一実施態様とユーザが相互作用し得るグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ）を含むコンピュータシステム、あるいは１つまたは複数のこのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせにて実現され得る。システムの構成要素は、如何なる形態または媒体のデジタルデータ通信（たとえば、通信ネットワーク）によっても相互接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、相互接続ネットワーク（たとえば、インターネット）、ならびにピア・ツー・ピアネットワーク（たとえば、アドホック・ピア・ツー・ピアネットワーク）が挙げられる。たとえば、図１のネットワーク２０は、１つまたは複数のローカルエリアネットワークを含み得る。

[0212]コンピュータシステムは、如何なる数のクライアントおよびサーバをも含み得る。クライアントおよびサーバは一般的に、互いに遠隔であって、通常は、通信ネットワークを通じて相互作用する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施形態においては、サーバが（たとえば、クライアントデバイスと相互作用するユーザへのデータの表示およびユーザからのユーザ入力の受け付けを目的として）クライアントデバイスにデータ（たとえば、ＨＴＭＬページ）を送信する。クライアントデバイスで生成されたデータ（たとえば、ユーザ相互作用の結果）は、サーバにおいてクライアントデバイスから受信され得る。

[0213]実施例

[0214]撮像アルゴリズムの性能
[0215]色正規化の有効性を実証するため、さまざまなタイターレベルでの正規化を伴う場合および伴わない場合について、画像における細胞検出アルゴリズムの性能を評価した。細胞の数は、さまざまなタイターで相対的に一定としたが、正規化が適用されない場合は、増加傾向が観察された。図＿および図＿は、全細胞数に対する染色および非染色細胞の割合が異なる（４つのブロックからの）１２枚のスライドについて、タイター４に対する変動を示している。図示のように、タイターレベルが４以上では、非正規化画像に対して非染色細胞の数が過大評価されているが、この問題は、ステイン正規化が適用された場合に緩和された。

[0216]データセットおよび結果
[0217]提案の方法の性能は、３つの異なるスキャナ（便宜上、スキャナ１、スキャナ２、およびスキャナ３と称される）から得られた３０２０個の全スライド画像から成るデータセットに対して評価された。スキャナごとに、３つの異なるマーカの画像すなわちＨＥＲ２、ＥＲ、およびＫｉ６７が収集された。これらの画像は１２個のブロックに由来し、ブロックごとに３つの異なる部分が利用可能である。ブロックおよび部分ごとに、タイターレベル１～９の結果が提供される。また、マーカ／スキャナの一部に対して、いくつかの制御全スライドが利用可能である。以下の表１においては、異なるマーカ／スキャナに利用可能な全スライドの数が示される。
表１：全スライド分布

[0218]タイターレベル推定に関しては、テストのために１つのブロックに属し、トレーニングのためにその他のブロックに属するスライドをすべて使用することにより、利用可能なマーカそれぞれについて、スキャナ１のいくつかの結果を示す。本項の最後の表２、表３、および表４においては、各スライドの各タイターレベルに分類されたパッチの数および最終的な平均化クラスを示す。
表２：タイター推定結果

[0219]アルゴリズムのステイン正規化部については、非常に薄くて非常に暗いスライドを正規化した場合のいくつかの結果を図８および図９に示す。また、図１０には、ステイン正規化を伴う場合および伴わない場合の画像における細胞検出アルゴリズムの性能を示している。

[0220]図８（ａ）は、ヘマトキシリン染色が薄い（タイター１）スライドからのＦＯＶの一例を示しており、それがタイター４のテンプレートに対して正規化されたものが図８（ｂ）である。図８（ｂ）においては、正規化アルゴリズムによって、細胞がはるかに容易に識別され得ることが分かる。同様に、図８（ｃ）には、タイター９のスライドからの例示的なＦＯＶを示しており、それがタイター４に対して正規化された対応する画像が図８（ｄ）に示される。

[0221]たとえばＨＥＲ２を取り上げると、より低いタイターレベルの過大評価に留意することができる。これは、図９に見られるように、ブロック間の染色の差に起因する。表２（図９Ａ）に示されるブロックの場合、ヘマトキシリン染色は、（トレーニング集合の別のブロックに属する）図９ＢのＦＯＶよりもはるかに暗い。これらの結果もまた、正規化の必要性を示している。特定のタイターは、同じマーカおよびスキャナを用いた異なるブロックに対してさえ異なって見え得るためである。他のマーカについても、同様の結果が観察され得る。図９（ａ）は、表２の結果を与えるのに用いられたブロックからのタイター１の例示的なＦＯＶを示している。このブロックについては、タイターがより低いブロックに対して過大評価されているため、同じタイターの例示的なＦＯＶが図９（ｂ）に示される。トレーニングに用いられるＦＯＶよりもテスト用ＦＯＶに対してヘマトキシリンレベルがはるかに暗くなる事実が見られるため、同じマーカおよびスキャナに対してさえ、染色の強度が異なるブロックで変動することを所与として、過大評価の理由が得られるとともに、正規化の必要性が示される。

[0222]純粋なＨＴＸステイン画素に関するＨＳＤ座標位置合わせ
[0223]テンプレートおよび対象ＷＳＩの両者に対してＨＳＤ変換が実行され、ＲＧＢ光学濃度（ＯＤ）値をＨＳＤ座標（ｃ_ｘ，ｃ_ｙ，Ｄ）に変換する。最初の２つの座標は、ステインの量とは無関係の色情報を含む。一方、最後の座標は、ステイン濃度と線形関係の濃度成分である。対象ＷＳＩにおける（ｃ_ｘ，ｃ_ｙ）成分の分布はテンプレート中の成分と位置合わせされ、濃度成分はテンプレートと整合するようにスケーリングされる。本願のフレームワークにおいては、ＨＳＤ座標位置合わせをすべてのステインに適用する代わりに、純粋なＨＴＸステインの正規化のみに対して、この位置合わせプロセスを採用する。これは、対象画像中のＨＴＸステインの色・濃度分布をテンプレート画像中の分布と最大限に整合させるためである。最終的に正規化された純粋なＨＴＸ画素は、位置合わせされたＨＳＤ座標（ｃ_ｘ’，ｃ_ｙ’，Ｄ’）を用いたＨＳＤ－ＲＧＢ変換によって得られる。本願の実験においては、色相飽和分布がテンプレートと劇的に異なるＨＴＸステインを位置合わせしようとする場合に、ｃ_ｘおよびｃ_ｙに対するヒストグラムの伸長によって、色のアーチファクトが深刻になり得ることが分かっている。したがって、このステップは、ＩＨＣ画像におけるＨＴＸ正規化の場合は省略されるものとする。

[0224]ＨＴＸステイン混合画素の特別処理
[0225]ＨＴＸステインが他のステインと混合された場合、混合物中のＨＴＸステインの実際の色・濃度分布を導出してＨＳＤ座標位置合わせに利用するのは不可能である。そこで、テンプレート画像中の純粋なＨＴＸステインの平均色・濃度に対して「グローバル」位置合わせを実行する。混合物中のＤＡＢステインを変更することなくこれを行うため、テンプレート画像および対象画像の両者にカラーデコンボリューションを適用する。ＨＴＸ_Ｉ／（ＤＡＢ_Ｉ）を対象画像のカラーデコンボリューションによるＨＴＸ（ＤＡＢ）成分とし、ΗΤΧ_Ｔ（ＤＡＢ_Ｔ）をテンプレート画像のＨＴＸ（ＤＡＢ）成分とする。濃度位置合わせのため、ΗΤΧ_Ｔと同じ平均および標準偏差を有するようにΗΤΧ_Ｉのシフトおよびスケーリングを行って、ΗΤΧ_ｆを得る。その後、ΗΤΧ_ｆおよびＤＡＢ_Ｉを用いることにより、ＲＧＢ再構成が実行される。ＲＧＢ再構成中の色位置合わせの場合は、カラーデコンボリューションに用いられる元のＨＴＸ色基準ベクトルの採用の代わりに、テンプレート画像中の純粋なＨＴＸ画素からの正規化平均ＲＧＢ ＯＤベクトルを再構成に用いる。背景画素およびＨＴＸと共局在しない他の非ＨＴＸステインは、正規化されることなく不変である。

[0226]純粋なＨＴＸステインおよびＨＴＸステイン混合物の識別
[0227]以下、純粋なＨＴＸおよびＨＴＸ混合物の画素を識別する方法を説明する。ヘマトキシリンおよびエオシンステインの混合物に画素が属し得ることを考慮するなら、ヘマトキシリン、エオシン、または背景に画素が属する確率を導出するように単純ベイズ分類器がトレーニングされる。そして、最終的な変換座標は、クラス確率を重みとして用いたステイン固有の変換座標の加重和である。本願のフレームワークにおいては、２つのクラスすなわちＨＴＸおよび非ＨＴＸのみが考慮されるが、これは、ユーザが正規化したい他種のステインに対する手法の一般化を容易にするためである。分類器は、テンプレート画像の画素のＨＳＤ座標を用いてトレーニングされる。本願の実験においては、特にクラス境界画素に関して、クラス確率を重みとして用いる場合、この単純な分類器の分類誤差によって、望ましくない色のアーチファクトがもたらされる可能性があることが分かっている。したがって、以下の基準を用いて規定された純粋なＨＴＸ画素に対してのみ、重み付け方式を適用する。

[0228]画素が白ではない。すなわち、全体ＯＤが０．２未満であり、ＲＧＢチャネルのうちの少なくとも１つからのＯＤが０．２５超である。
[0229]画素の色相がＨＳＤ空間において所定の青の範囲内である。

[0230]いくつかの「細胞様」構造が存在する。すなわち、分離ＨＴＸ成分に適用されたＤｏＧフィルタの出力が０より大きい。
[0231]ＨＴＸ混合物の画素を識別するため、ＤｏＧフィルタが分離ＤＡＢ成分に適用される。ＤｏＧフィルタの出力が０より大きく、画素の分離ＤＡＢおよびＨＴＸの両成分が固定閾値（ｔｈ＝０．２）よりも高く、画素の色相が所定の青の範囲外である場合は、画素がＨＴＸ混合物と決定される。他の画素は、不変である。

[0232]全スライド正規化
[0233]ＷＳＩ中の画素数が非常に多いことに留意する。このため、正規化に必要な統計データを解くためにＷＳＩ中のすべての画素を使用することは、演算コストが非常に高く、不要である。代替として、ＷＳＩ中のＨＴＸステインを代表する画素を選択する一般的な方法を設計する。本願の実施態様においては、上位５０個の視野（ＦＯＶ）画像（６００×６００画素）（その平均分離ＨＴＸ成分がＷＳＩ中のすべてのＦＯＶのうちの第８０の百分位数に最も近い）が最初に選択される。図１２は、選択されたＦＯＶの一例を示している。その後は、十分なＨＴＸステインを含むパッチ（１００×１００画素）を各ＦＯＶからさらに選択する。これは、背景画素を主に（７０％超）含むパッチを破棄することによって実現される。パッチ選択後は、実施例４に記載の基準を用いて、純粋なＨＴＸ画素を識別する。これらの画素は、上記実施例において、すべての統計データを解くのに用いられる。このステップにおいて、画素は、当該ＦＯＶ中のすべての青色画素の第２５の百分位数よりもＯＤが低い場合に背景と考えられるが、ここで青色画素は、色相がＨＳＤ空間において所定の青の範囲内である画素として識別される。

[0234]結果
[0235]３２４個のＨＥＲ２染色ＩＨＣ ＷＳＩから成るデータセットに対する提案方法の性能を評価する。これらのスライドは、１２個の乳がん組織ブロックに由来し、２７枚のスライドが各ブロックから切り出されている。同じブロックに由来するスライドは、９つの制御濃度レベルでＨＴＸを用いて染色されるが、これらは１～９の値のタイター数によって表され、１が最も明るい染色を示し、９が最も暗い染色を示す。各ＨＴＸタイターは、３つの連続スライドから成る群に適用される。テンプレート画像として、タイター４からＷＳＩを選択する。

[0236]提案方法の性能を定性的に評価するため、図１１には、ＨＴＸ濃度レベルがそれぞれタイター１およびタイター９であるスライドから２つの例示的なＦＯＶを示している。正規化ＦＯＶ画像中のＨＴＸステインは、異なる濃度レベル間で視覚的により一貫する一方、ＤＡＢステインは、元のスライドから不変である。

[0237]提案方法が画像分析アルゴリズムに及ぼす影響を評価するため、社内既製のＨＥＲ２腫瘍細胞検出アルゴリズムが３２４枚のスライドに適用される。具体的には、各スライドに対する細胞数読み出しのため、当該スライドから複数のＦＯＶが処理され、同じ組織ブロックからのスライド間でこれらのＦＯＶが位置決めされる。図３（ａ）は、１つの組織ブロックに対する各タイターの平均細胞数読み出しを示している。一般的に、正規化前は、非染色（青）細胞数がＨＴＸ濃度レベルに明らかに依存するが、正規化後は、このような依存性は大きく低下する。染色（茶）細胞の場合は、正規化の前も後も依存性が低い。異なるＨＴＸ濃度レベル間のアルゴリズム出力の一貫性をさらに示すため、同じ組織ブロックからタイター４スライドにより生成された同じ読み出しに対して、各タイターの平均非染色細胞数が正規化される。出力の一貫性が良好な場合、この数は、タイターごとにおおよそ一定を維持し、値１に近づく（タイター４の場合は１に等しい）はずである。図１２は、すべてのタイター間の一貫性の改善を明確に示している。また、正規化の後でさえ、タイター９のスライドが依然として、タイター４のスライドよりもはるかに高い細胞数を生成していることも観察される。これは、極端に高い濃度のＨＴＸが深刻な背景染色となって、アルゴリズムが背景において大量の細胞誤検出を生じるためであり、ステインの正規化だけでは解決され得ないことが分かっている。

[0238]したがって、出願人らは、ＨＴＸステインの変動がＩＨＣ画像分析に対して難題を突き付けると考える。本願は、ＨＳＤ色空間において色・濃度分布をテンプレート画像に位置合わせすることによりＨＴＸステインを正規化し得る単一ステイン正規化のフレームワークを提示する。ステイン混合物におけるＨＴＸの正規化は、分離ＨＴＸ成分の平均および標準偏差の位置合わせにより、テンプレート画像中の純粋なＨＴＸ画素の平均ＲＧＢ ＯＤベクトルをＲＧＢ再構成中のＨＴＸ色基準ベクトルとして用いることにより処理される。実験結果は、提案の方法がＤＡＢステインに影響を及ぼすことなく、異なる画像間のＨＴＸステインの一貫性を改善しており、ＨＴＸステイン変動に対する画像分析アルゴリズムの依存性を大幅に抑えていることを示す。この方法は、他のＩＨＣステインにも拡張可能であり、これが今後の課題である。

[0239]以上、多くの例示的な実施形態を参照しつつ本開示が説明されたが、本開示の原理の主旨および範囲に含まれるその他多くの改良および実施形態が当業者により考案され得ることが了解されるものとする。より詳細には、本開示の主旨から逸脱することなく、上記開示内容、図面、および添付の特許請求の範囲内の主題組み合わせ構成の構成部分および／または構成において、合理的な変形および改良が可能である。当業者には、構成部分および／または構成における変形および改良のほか、代替的な使用についても明らかとなるであろう。

[0240]本明細書においては、１つまたは複数のステインで染色された生物学的サンプルの全スライド画像内の第１のステインのタイターを検査し、全スライド画像を第１のステインのタイターに対して正規化する方法であって、
導出された第１のステイン画像特徴に基づいて、全スライド画像の加重平均タイタースコアを演算するステップと、
演算された加重平均スコアが所定のタイター範囲内でない場合に、全スライド画像をテンプレート画像に対して正規化するステップと、
を含み、
全スライド画像が、（ａ）全スライド画像の色・濃度分布をテンプレート画像の色・濃度分布と整合させることであり、全スライド画像およびテンプレート画像の両者の色・濃度分布が、濃度情報を組み込んだカラーモデル内で導出される、ことと、（ｂ）加重変換座標を用いて、濃度情報を組み込んだカラーモデル内で全スライド画像を逆変換することによりＲＧＢ画像を再構成することと、によって正規化される、方法がさらに開示される。

[0241]加重平均タイタースコアが、（ａ）全スライド画像中の一連の画像パッチそれぞれから複数の第１のステイン画像特徴を導出することと、（ｂ）トレーニングされた特徴識別分類器を用いることにより、画像パッチそれぞれから導出された複数の画像特徴を分類することと、によって演算される、方法がさらに開示される。

[0242]一連の画像パッチが、全スライド画像から所定数のＦＯＶを抽出することと、（ｂ）抽出された各ＦＯＶの一組のパッチを演算することと、（ｃ）各抽出ＦＯＶの一組のパッチのうち、閾値パッチ基準を満たすパッチを保持することと、によって導出される、方法がさらに開示される。

[0243]第１のステイン画像特徴が、ステイン色特徴およびステイン濃度特徴である、方法がさらに開示される。
[0244]全スライド画像の色・濃度分布が、（ｉ）全スライド画像の画像パッチ内で変換を実行して、画像パッチそれぞれのすべての画素の色・濃度分布座標（ｃ_ｘ，ｃ_ｙ，Ｄ）を取得することと、（ｉｉ）テンプレート色座標と同じ平均および配向を有するように全スライド画像中の得られた色分布座標（ｃ_ｘ，ｃ_ｙ）をシフトおよび回転させて、各画像パッチの画素ごとに位置合わせされた色座標（ｃ_ｘ’，ｃ_ｙ’）を提供することと、（ｉｉｉ）テンプレート濃度分布と同じ加重平均および加重標準偏差を有するように全スライド画像から得られた濃度分布（Ｄ）をスケーリングして、各画像パッチの画素ごとにスケーリングされた濃度分布（Ｄ’）を提供することと、によって、テンプレート画像の色・濃度分布と整合される、方法がさらに開示される。

[0245]加重変換座標が、（ｉ）画像パッチ中の画素が第１のステイン画素である確率を演算することと、（ｉｉ）演算された確率によって、位置合わせされた色分布座標およびスケーリングされた濃度分布座標（ｃ_ｘ’，ｃ_ｙ’，Ｄ’）を重み付けすることと、によって導出される、方法がさらに開示される。

[0246]得られた色・濃度分布のテンプレート画像の色・濃度分布との整合に、所定の統計パラメータを利用し、選定される所定の統計パラメータが、全スライド画像の加重平均タイタースコアを近似するタイターレベルにとって特別である、方法がさらに開示される。

[0247]第１のステインが、ヘマトキシリンである、方法がさらに開示される。
[0248]所定のタイター範囲が、４～６である、方法がさらに開示される。
[0249]濃度情報を組み込んだカラーモジュールが、ＨＳＤカラーモジュールである、方法がさらに開示される。

[0250]クエリ画像内の第１のステインのタイターをテンプレート画像中の第１のステインのタイターに対して正規化する撮像システムであり、クエリ画像が少なくとも第１のステインで染色された生物学的サンプルの画像である、撮像システムであって、（ｉ）１つまたは複数のプロセッサと、（ｉｉ）プロセッサに結合され、当該１つまたは複数のプロセッサにより実行された場合に、
濃度情報を組み込んだカラーモジュール内で、クエリ画像において生成されたパッチの画素ごとに色・濃度分布座標を導出することと、
クエリ画像の推定タイターレベルに特有の所定の位置合わせおよびスケーリングパラメータ値を用いて、生成されたパッチの画素ごとに導出された色・濃度分布座標を変換することにより、生成されたパッチの画素ごとに変換色・濃度分布座標を提供することと、
画素確率値により重み付けされた変換色・濃度分布座標を用いて、濃度情報を組み込んだカラーモデル内でクエリ画像を逆変換することによりＲＧＢ画像を再構成することと、
を含む動作を１つまたは複数のプロセッサに実行させるコンピュータ実行可能命令を格納するメモリと、を備えた、撮像システムがさらに開示される。

[0251]染色装置をさらに備えた、撮像システムがさらに開示される。
[0252]生物学的サンプルが、少なくとも２つのステインで染色された、撮像システムがさらに開示される。

[0253]生成されたパッチの画素ごとに導出された色・濃度分布座標の変換が、（ａ）テンプレート色座標と同じ平均および配向を有するように、生成されたパッチの画素ごとに導出された色分布座標（ｃ_ｘ，ｃ_ｙ）をシフトおよび回転させて、生成されたパッチの画素ごとに変換色座標（ｃ_ｘ’，ｃ_ｙ’）を提供することと、（ｂ）テンプレート濃度分布と同じ加重平均および加重標準偏差を有するように、生成されたパッチの画素ごとに得られた濃度分布（Ｄ）をスケーリングして、生成されたパッチの画素ごとに変換濃度分布（Ｄ’）を提供することと、を含む、撮像システムがさらに開示される。

[0254]複数のタイターレベルにおいて第１のステインに特有の位置合わせおよびスケーリングパラメータ値が、メモリに格納される、撮像システムがさらに開示される。
[0255]クエリ画像の推定タイターレベルが、導出された第１のステイン色・強度特徴に基づいて、クエリ画像の加重平均タイタースコアを演算することにより決定され、選択される位置合わせおよびスケーリングパラメータがクエリ画像の加重平均タイタースコアを近似する、撮像システムがさらに開示される。

[0256]加重平均スコアが、（ａ）クエリ画像中の生成されたパッチから複数の第１のステイン画像特徴を導出することと、（ｂ）トレーニングされたタイター識別分類器を用いることにより、生成されたパッチそれぞれから導出された複数の画像特徴を分類することと、によって演算される、撮像システムがさらに開示される。

[0257]タイター識別分類器が、第１のステインタイターレベルをクラス標識として用いることにより標準化サンプルから導出された第１のステイン色・強度特徴に対してトレーニングされたマルチクラス分類器である、撮像システムがさらに開示される。

[0258]パッチが、クエリ画像から所定数のＦＯＶを抽出することと、（ｂ）抽出された各ＦＯＶの一組のパッチを生成することと、（ｃ）各抽出ＦＯＶの一組のパッチのうち、閾値パッチ基準を満たすパッチを保持することと、によって生成される、撮像システムがさらに開示される。

[0259]加重変換色・濃度分布座標が、（ｉ）画素が第１のステイン画素である確率を演算することと、（ｉｉ）演算された確率で変換色・濃度分布座標を重み付けすることと、によって導出される、撮像システムがさらに開示される。

[0260]濃度情報を組み込んだカラーモジュールが、ＨＳＤカラーモジュールである、撮像システムがさらに開示される。
[0261]１つまたは複数のステインで染色された生物学的サンプルの全スライド画像内の第１のステインのタイターを検査し、全スライド画像を第１のステインのタイターに対して正規化する非一時的コンピュータ可読媒体であって、
導出された第１のステイン画像特徴に基づいて、全スライド画像の加重平均タイタースコアを演算することと、
第１のステインの全スライド画像のタイターをテンプレート画像の第１のステインのタイターに対して正規化することと、を含み、全スライド画像が、
濃度情報を組み込んだカラーモデル内でクエリ画像中の色・濃度分布座標を導出することと、
導出されたクエリ画像中の色分布座標をテンプレート画像の色分布座標と位置合わせして、変換色分布座標を提供することであり、位置合わせが、テンプレート色分布座標と同じ平均および配向を有するように、導出されたクエリ画像中の色分布座標をシフトおよび回転させることを含み、位置合わせステップが、全スライド画像の演算された加重平均タイタースコアと整合された所定の位置合わせパラメータを利用する、ことと、
導出されたクエリ画像中の濃度分布座標をテンプレート画像の濃度分布座標でスケーリングして、変換濃度分布座標を提供することであり、スケーリングが、テンプレート濃度分布座標と同じ加重平均および加重標準偏差を有するように、導出された濃度分布座標を変換することを含み、スケーリングステップが、全スライド画像の演算された加重平均タイタースコアと整合された所定のスケーリングパラメータを利用する、ことと、
加重変換色・濃度分布座標を用いて、濃度情報を組み込んだカラーモデル内でクエリ画像を逆変換することによりＲＧＢ画像を再構成することと、
によって正規化される、非一時的コンピュータ可読媒体がさらに開示される。

[0262]全スライド画像中の第１のステインが、演算された加重平均タイタースコアが所定の閾値タイタースコア範囲外となった場合、テンプレート画像の第１のステインのタイターに対して正規化される、非一時的コンピュータ可読媒体がさらに開示される。

[0263]所定の閾値タイタースコアが、およそ３～およそ６の範囲である、非一時的コンピュータ可読媒体がさらに開示される。
[0264]導出された第１のステイン画像特徴に基づく全スライド画像の加重平均タイタースコアが、（ａ）全スライド画像から所定数のＦＯＶを抽出することと、（ｂ）抽出された各ＦＯＶの一組のパッチを演算することと、（ｃ）一組のパッチ内の各パッチから、複数の第１のステイン色・強度特徴を導出することと、（ｄ）トレーニングされたタイター分類器を用いて、導出された複数の第１のステイン色・強度特徴を分類することと、（ｅ）すべてのパッチからの分類結果に基づいて、加重平均スコアを演算することと、によって演算される、非一時的コンピュータ可読媒体がさらに開示される。

[0265]濃度情報を組み込んだカラーモジュールが、ＨＳＤカラーモジュールである、非一時的コンピュータ可読媒体がさらに開示される。

Claims (15)

1. クエリ画像内の第１のステイン(stain)のタイター(titer)をテンプレート画像中の前記第１のステインのタイターに対して正規化する方法であり、前記クエリ画像が少なくとも前記第１のステインで染色された生物学的サンプルの画像である、方法であって、
   濃度情報を組み込んだカラーモデル内で前記クエリ画像中の色・濃度分布座標を導出するステップ（６０３）と、
   前記クエリ画像内に表示された前記第１のステインのタイターレベルを予測するステップであって、前記タイターレベルが、前記クエリ画像内の前記第１のステインの量を識別するものであるステップと、
   パラメータデータベースから、前記第１のステインの前記予測されたタイターレベルに対応する統計的パラメータにアクセスするステップと、
   前記アクセスされた統計的パラメータを利用して、前記導出された前記クエリ画像中の色分布座標をテンプレート画像の色分布座標と位置合わせして、変換色分布座標を提供するステップ（６０４）と、
   前記アクセスされた統計的パラメータを利用して、前記導出された前記クエリ画像中の濃度分布座標をテンプレート画像の濃度分布座標でスケーリングして、変換濃度分布座標を提供するステップ（６０５）と、
   加重変換色・濃度分布座標を用いること（６０７）により、前記濃度情報を組み込んだ前記カラーモデル内で前記クエリ画像を逆変換することによってＲＧＢ画像を再構成するステップ（６０８）と、
   を含む方法。
2. 前記アクセスされた統計的パラメータが、既知の第１のステインタイターレベルで決定された導出平均(derived mean)、角度、およびスケーリングパラメータを含む、請求項１に記載の方法。
3. 前記クエリ画像の前記推定タイターレベルが、導出された第１のステイン色・強度特徴に基づいて、前記クエリ画像の加重平均タイタースコアを演算することにより決定される（２５４）、請求項１または２に記載の方法。
4. 前記推定タイターレベルが、正規化に先立って決定される、請求項１～３のいずれか一項に記載の方法。
5. 前記推定タイターレベルが、正規化中に決定される、請求項１～４のいずれか一項に記載の方法。
6. 前記加重平均タイタースコアが、（ａ）前記クエリ画像中の一連のパッチそれぞれから複数の第１のステイン画像特徴を導出すること（２５２）と、（ｂ）トレーニングされたタイター識別分類器(titer-identification classifier)を用いることにより、前記一連の画像パッチそれぞれからの前記複数の第１のステイン画像特徴を分類すること（２５３）と、によって演算される、請求項１～５のいずれか一項に記載の方法。
7. 前記一連のパッチが、（ａ）前記クエリ画像から所定数のＦＯＶを抽出すること（２５０）と、（ｂ）前記抽出された各ＦＯＶの一組のパッチを演算すること（２５１）と、（ｃ）各抽出ＦＯＶの前記一組のパッチのうち、閾値パッチ基準を満たすパッチを保持することと、によって導出される、請求項６に記載の方法。
8. 前記トレーニングされたタイター識別分類器が、第１のステインタイターレベルをクラス標識として用いることにより標準化サンプルから導出された第１のステイン色・強度特徴に対してトレーニングされたマルチクラス分類器である、請求項６に記載の方法。
9. 前記加重変換色・濃度分布座標が、（ｉ）画素が第１のステイン画素である確率を演算すること（６０６）と、（ｉｉ）前記演算された確率で前記変換色・濃度分布座標を重み付けすること（６０７）と、によって導出される、請求項１～８のいずれか一項に記載の
   方法。
10. 色・濃度分布座標が、前記クエリ画像中の一連のパッチの画素ごとに導出され、前記一連のパッチが、（ａ）前記クエリ画像から所定数のＦＯＶを抽出すること（６０１）と、（ｂ）前記抽出された各ＦＯＶの一組のパッチを演算すること（６０２）と、（ｃ）各抽出ＦＯＶの前記一組のパッチのうち、閾値パッチ基準を満たすパッチを保持することと、によって導出される、請求項９に記載の方法。
11. 前記位置合わせが、テンプレート色分布座標と同じ平均(mean)および配向(orientation)を有するように前記導出された前記クエリ画像中の色分布座標をシフトおよび回転させ
    ること（６０４）を含む、請求項１～１０のいずれか一項に記載の方法。
12. 前記スケーリングが、テンプレート濃度分布座標と同じ加重平均および加重標準偏差を有するように前記導出された濃度分布座標を変換すること（６０５）を含む、請求項１～１１のいずれか一項に記載の方法。
13. 濃度情報を組み込んだ前記カラーモデルが、ＨＳＤカラーモデルである、請求項１～１２のいずれか一項に記載の方法。
14. 撮像システム（２００）であって、（ｉ）１つまたは複数のプロセッサ（２０３）と、（ｉｉ）前記１つまたは複数のプロセッサ（２０３）に結合され、前記１つまたは複数のプロセッサ（２０３）により実行された場合に、請求項１～１３のいずれか一項に記載の方法を当該撮像システム（２００）に実行させるコンピュータ実行可能命令を格納する１つまたは複数のメモリ（２０１）と、を備えた、撮像システム（２００）。
15. 撮像システム（２００）の１つまたは複数のプロセッサ（２０３）により実行された場合に、請求項１～１３のいずれか一項に記載の方法を前記撮像システム（２００）に実行させる命令を格納した非一時的コンピュータ可読媒体（２０１）。

Images