JP4420821B2 - 組織学的アセスメント - Google Patents

Description

本発明は、組織学的アセスメント、より具体的には、例えば（ただし限定はしない）乳癌組織のような潜在的な癌組織に関する臨床的情報を提供するための組織学的イメージに関する測定を行う方法、コンピュータプログラム、及び装置に関する。

乳癌は、女性が罹患する癌の一般的な形態であり、乳癌を示す病変が検知されると、診断、予後、及び治療計画を確立するために組織サンプルが採取されて病理組織学者によって検査される。しかし、組織サンプルの病理学的分析は、時間が掛かる上に不正確な方法である。それは、人間の目によるカラー画像の解釈を含み、この解釈は非常に主観的なものである。その特徴は、観察者が異なると、また、観察者が同じであっても時間が異なると、同じサンプルの観察でかなりの不正確さがあることである。例えば、２つの異なる観察者が同じ１０件の組織サンプルを評価すると、スライドの３つに対して意見が異なることが容易に起こる場合があり、すなわち、３０％の誤差である。この問題は、不均一性、すなわち、一部の組織サンプルの特徴の複雑性によって更に悪化する。更に、病理学スタッフの不足がある。

エストロゲン及びプロゲステロン受容体（ＥＲ及びＰＲ）状態、「Ｃ−ｅｒｂ−２」、及び血菅分布は、パラメータであり、それは、臨床医が患者の診断、予後、及び治療計画を作るのを助けるための関連データである。「Ｃ−ｅｒｂ−２」はまた、「Ｃｅｒｂ−Ｂ２」、「ｈｅｒ−２」、「ｈｅｒ−２／ｎｅｕ」、及び「ｅｒｂ−２」として公知である。
本発明の目的は、ＥＲ状態、ＰＲ状態、「Ｃ−ｅｒｂ−２」、及び血菅分布のうちの少なくとも１つの客観的測定のための技術を提供することである。

Ｊ．Ａ．Ｈａｒｔｉｇａｎ及びＭ．Ａ．Ｗｏｎｇ著「Ｋ平均クラスター化アルゴリズム」、アルゴリズムＡＳ１３６、応用統計学会誌、１９７９年 Ｆ．Ｈｅｉｊｄｅｎ著「画像ベース測定システム−オブジェクト認識及びパラメータ推定」、ジョン・ワイリー・アンド・サンズ、１９９４年 Ｒ．Ｓｃｈａｌｋｏｆｆ「パターン認識−統計的、構造的、神経的手法」、ジョン・ワイリー・アンド・サンズ・インコーポレーテッド、１９９２年 Ｋｌｅｔｔｅ Ｒ．及びＺａｍｐｅｒｏｎｉ Ｐ．著「画像処理オペレータのハンドブック」、ジョン・ワイリー・アンド・サンズ、１９９５年、１９９６年 Ｕｍｂａｕｇｈ Ｓ．Ｃ．著「色覚及び画像処理」、プレンティス・ホール、１９９８年 Ａ．Ｒｏｓｅｎｆｅｌｄ及びＡ．Ｃ．Ｋａｋ著「デジタル画像処理」、第１及び２巻、アカデミック・プレス、ニューヨーク、１９８２年 Ｎｅｌｄｅｒ Ｊ．Ａ．及びＭｅａｄ Ｒ．（１９６５年）、コンピュータジャーナル、第７巻、３０８〜３１３頁、１９６５年 Ｋ．Ｊａｃｋ著「分りやすいビデオ」、第２版、ハイ・テキスト・パブリケーションズ、サンディェゴ、１９９６年

第１の態様では、本発明は、ａ）病理組織学的標本の画像データを取得する段階と、ｂ）それぞれの細胞核に対応する近接ピクセルのグループを画像データ内で識別する段階とを有するエストロゲン又はプロゲステロン受容体（ＥＲ又はＰＲ）状態を測定する方法を提供し、本方法が、ｃ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｄ）色相及び飽和度に基づいて画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階、及びｅ）優先的に染色された細胞に対応するピクセルの割合からＥＲ又はＰＲ状態を判断する段階を更に含むことを特徴とする。
本発明は、それがコンピュータ実施可能であり、従って、マニュアル検査処理の主観性を回避する方法で実行されるという利点を提供する。

代替の第１の態様では、本発明は、ａ）病理組織学的標本の画像データを取得する段階と、ｂ）それぞれの細胞核に対応する近接ピクセルのグループを画像データ内で識別する段階とを有するＥＲ又はＰＲ状態を測定する方法を提供することができ、本方法が、ｃ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｄ）色相及び飽和度に基づいて画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階、及びｅ）正規化された平均飽和度からＥＲ又はＰＲ状態を判断する段階を更に含むことを特徴とする。

本発明の更なる代替の第１の態様では、本発明は、ａ）病理組織学的標本の画像データを取得する段階と、ｂ）それぞれの細胞核に対応する近接ピクセルのグループを画像データ内で識別する段階とを有するＥＲ又はＰＲ状態を測定する方法を提供することができ、本方法が、ｃ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｄ）色相及び飽和度に基づいて画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階、及びｅ）正規化された平均飽和度及び優先的に染色された細胞に対応するピクセルの割合からＥＲ又はＰＲ状態を判断する段階を更に含むことを特徴とする。

段階ｂ）は、マハラノビスの距離を用いるＫ平均クラスター化アルゴリズムを用いて実施することができる。
段階ｃ）は、画像データを色度空間に変換し、画像ピクセル及び基準色から色相及び飽和度を導出することによって実施することができる。色相は、

に等しい角度φから得られ、飽和度は、以下の式：

から得ることができ、ここで、（ｘ，ｙ）及び

は、それぞれ、色度空間における画像ピクセル座標及び基準色座標である。それは、０から９０度の範囲にあるように適応させることができ、８０度の色相閾値を段階ｄ）で設定することができる。飽和度閾値Ｓ₀を段階ｄ）で設定することができ、Ｓ₀は、０．１から１．９の範囲の飽和度については０．９であり、この範囲外の飽和度については０である。

優先的に染色された細胞に対応するピクセルの割合は、飽和度閾値よりも大きい飽和度及び色相閾値よりも小さい色相係数の両方を有するピクセル数を数え、このような数を画像におけるピクセル総数の割合として表現することによって判断することができる。それが、それぞれ、（ｉ）０、（ｉｉ）＞０及び＜０．０１、（ｉｉｉ）≧０．０１及び≦０．１０、（ｉｖ）≧０．１１及び≦０．３３、（ｖ）≧０．３４及び≦０．６６、又は（ｖｉ）≧０．６７及び≦１．０であるか否かに従って得点０、１、２、３、４、又は５を与えることができる。
正規化された平均飽和度には、それぞれ、（ｉ）≦２５％、（ｉｉ）＞２５％及び≦５０％、（ｉｉｉ）＞５０％及び≦７５％、又は（ｉｖ）＞７５％及び≦１００％であるか否かに従って得点０、１、２、又は３を与えることができる。
正規化された平均飽和度と優先的に染色された細胞に対応するピクセルの割合とに対する得点は、互いに加算してＥＲ又はＰＲの測定値をもたらすことができる。

本発明の方法は、ａ）異なる長さのウィンドウ関数と識別された近接ピクセルグループ内のピクセルのサブグループとを相関させ、細胞境界に関連するピクセルを識別する段階、ｂ）細胞境界に対応するピクセルから、細胞境界の明度及び鮮明度と細胞境界回りの明度の範囲との明度関連の尺度を計算する段階、ｃ）明度関連の尺度を異なる値の「Ｃ−ｅｒｂ−２」に関連する比較画像から得られた所定の均等物と比較する段階、及びｄ）画像データに対して判断されたものに最も近い明度関連尺度を有する比較画像に付随する値である「Ｃ−ｅｒｂ−２」値を画像データに割り当てる段階によって「Ｃ−ｅｒｂ−２」状態を測定する段階を含むことができる。

本発明の方法は、ａ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｂ）色相及び飽和度に基づいて画像データを閾値化することにより、セグメント化された画像を生成する段階、ｃ）近接ピクセルのグループをセグメント化画像内で識別する段階、及びｄ）画像データの全面積に対する割合として表される、血菅分布に対応するほど十分に大きい近接ピクセルのグループの全面積から血菅分布を判断する段階によって血菅分布を測定する段階を含むことができる。

第２の態様では、本発明は、ａ）病理組織学的標本の画像データを取得する段階と、ｂ）周囲の細胞境界の染色に関連するそれぞれの細胞核に対応する近接ピクセルグループを画像データ内で識別する段階とを有する「Ｃ−ｅｒｂ−２」状態を測定する方法を提供し、本方法が、ｃ）異なる長さのウィンドウ関数と識別された近接ピクセルグループ内のピクセルのサブグループとを相関させて、細胞境界に関連するピクセルを識別する段階、ｄ）細胞境界に対応するピクセルから、細胞境界の明度及び鮮明度と細胞境界回りの明度の範囲との明度関連の尺度を計算する段階、ｅ）明度関連の尺度を異なる値の「Ｃ−ｅｒｂ−２」に関連する比較画像から得られた所定の均等物と比較する段階、及びｆ）画像データに対して判断されたものに最も近い明度関連尺度を有する比較画像に関連する「Ｃ−ｅｒｂ−２」値を画像データに割り当てる段階を更に含むことを特徴とする。
この態様では、ウィンドウ関数の少なくともいくつかは、６、１２、２４、及び４８ピクセルという非ゼロ値をそれぞれ有し、それ以外の場所ではゼロ値を有することができる。細胞境界に関連するピクセルは、細胞境界幅の推定値を与える長さを有するウィンドウ関数との最大相関から識別される。

細胞境界明度及び鮮明度の明度関連の尺度は、正規化された境界マグニチュードを与えるために細胞境界をそのそれぞれの幅で割り、各々が選択されなかった均等物よりも大きい、正規化境界マグニチュードの小部分を選択し、選択された小部分の正規化境界マグニチュードを合計する段階を含む計算を用いて段階ｄ）で計算することができる。
段階ｄ）では、細胞境界回りの明度の範囲の明度関連の尺度は、各々がそれぞれのマグニチュードの範囲に関連する異なるマグニチュードのグループに正規化境界マグニチュードを分割し、各マグニチュードのグループに対して正規化境界マグニチュードのそれぞれのマグニチュード合計を与え、より大きなマグニチュードの合計からより小さなマグニチュードの合計を差し引く段階を含む計算を用いて計算することができる。
画像データに関して判断された尺度に最も近い明度関連尺度を有する比較画像は、比較画像及び画像データの明度関連尺度間のユークリッド距離から判断することができる。

段階ｂ）では、画像データにおいてそれぞれの細胞核に対応する近接ピクセルグループを識別する段階は、識別された近接ピクセルグループの数を最大にするように構成した適応閾値化技術によって実行される。赤、緑、及び青色画像平面を含む画像データに関しては、適応閾値化技術は、ａ）赤色画像平面のピクセルに対して平均値μ_R及び標準偏差σ_Rを生成する段階、ｂ）画像データからシアン画像平面を生成し、そのピクセルに対して平均値μ_cを計算する段階、ｃ）ＣＭＭを所定の乗数として、積ＣＭＭμ_cを計算する段階、ｄ）ＣＭＭμ_cよりも小さい少なくとも１つのシアンピクセルを含む、所定の長さのピクセルの隣接線形グループの数に等しい量ＲＢを計算する段階、ｅ）各赤色ピクセルに対して、ＲＭＭを所定の乗数として｛ＲＭＭμ_R−σ_R（４−Ｒ_B）｝に等しい閾値を計算する段階、ｆ）閾値に等しいか又はそれ以上の各赤色ピクセルを無視することにより閾値化された赤色画像を形成する段階、ｇ）閾値化赤色画像における近接ピクセルグループの数を判断する段階、ｈ）ＲＭＭ及びＣＭＭの値を変更し、段階ｃ）からｇ）を繰り返す段階、ｉ）もう一度ＲＭＭ及びＣＭＭの値を変更し、段階ｃ）からｇ）を繰り返す段階、及びｊ）段階ｇ）からｉ）で判断された近接ピクセルグループの数を比較し、ＲＭＭ及びＣＭＭの値の３つの対を二次元空間における点として扱い、近接ピクセルグループの最低数に関連するＲＭＭ及びＣＭＭの値の対を選択し、ＲＭＭ及びＣＭＭの値の他の２つの対を結ぶ線においてその鏡映を求め、この鏡映をＲＭＭ及びＣＭＭの値の新しい対として使用して、段階ｃ）からｇ）及びこの段階ｊ）を繰り返す段階を含むことができる。
ＲＭＭ及びＣＭＭ値の最初の３つの対は、それぞれ、０．８０２と１．２４、０．９０３と０．９０３、及び１．２４と０．８０２とすることができる。

シアン画像内の同様な位置にあるピクセルがＣＭＭμ_cよりも小さい場合は、茶色ピクセルを閾値化赤色画像から除去することができ、標準偏差σ_cを有するソーベルフィルタ処理されたシアン画像内の同様な位置にあるピクセルが（μ_c＋１．５σ_c）よりも大きい場合は、エッジピクセルを同様に除去することができる。脂質に対応するピクセルはまた、それらの赤、緑、及び青色ピクセル値の全てが関連色の最小値と各場合のそのピクセル値の範囲の９８％との合計よりも大きい場合は除去することができる。
閾値化された赤色画像は、形態的閉鎖操作を受ける場合がある。

第３の態様では、本発明は、ａ）病理組織学的標本の画像データを取得する段階を有する血菅分布を測定する方法を提供し、本方法が、ｂ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｃ）色相及び飽和度に基づいて画像データの閾値化することにより、セグメント化された画像を生成する段階、ｄ）セグメント化画像において近接ピクセルのグループを識別する段階、及びｅ）画像データの全面積に対する割合として表される、血菅分布に対応するのに十分に大きい近接ピクセルのグループの全面積から血菅分布を判断する段階を更に含むことを特徴とする。

この態様では、画像データは、それぞれ、Ｒ、Ｇ、及びＢと指定された赤色、緑色、及び青色の値を有するピクセルを含み、それぞれの飽和度値Ｓが、ａ）Ｒ、Ｇ、及びＢの最大値及び最小値としてそれぞれ各ピクセルに対してＭ及びｍを定義する段階、及びｂ）ｍがゼロに等しい場合はＳをゼロに設定し、他の場合はＳを（Ｍ−ｍ）／Ｍに設定する段階により、段階ｂ）で各ピクセルに対して導出されることを特徴とする。

Ｈに指定された色相値は、ａ）各ピクセル値をそのマグニチュードとそのピクセルの３色のマグニチュードの最大値のマグニチュードとの間の差分を取り、この差分をＲ、Ｇ、及びＢの最大値と最小値の差分で割るように変換するために、ｎｅｗｒ＝（Ｍ−Ｒ）／（Ｍ−ｍ）、ｎｅｗｇ＝（Ｍ−Ｇ）／（Ｍ−ｍ）、及びｎｅｗｂ＝（Ｍ−Ｂ）／（Ｍ−ｍ）によって与えられる各ピクセルに対する新しい値ｎｅｗｒ、ｎｅｗｇ、及びｎｅｗｂを定義する段階、及びｂ）Ｈが＞３６０であると判明した場合は、３６０がＨから差し引かれ、Ｈが＜０であると判明した場合は、３６０がＨに加算されるという条件で、下表のようにＨを計算する段階によって導出することができる。

セグメント化された画像を生成する段階は、更に別の処理のために２８２〜３５６の範囲の色相Ｈと０．２から０．２４の範囲の飽和度Ｓとの両方を有するピクセルのみを指定することによって実施することができる。セグメント化画像において近接ピクセルのグループを識別する段階は、このようなグループを空間的に濾過し、血菅分布に貢献するのに不十分なピクセルを有するグループを除去する段階を含むことができる。血菅分布を判断する段階は、値が少なくとも３１％であるか否かにより、血菅分布を高い値又は低い値を有するものとして処理する段階を含むことができる。

第４の態様では、本発明は、ａ）病理組織学的標本の画像データを処理して画像データにおいてそれぞれの細胞核に対応する近接ピクセルのグループを識別する段階、を実行するコンピュータ装置を制御するように構成されたＥＲ又はＰＲ状態を測定するためのコンピュータプログラムを提供し、このプログラムが、ｂ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｃ）色相及び飽和度に基づいて画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階、及びｄ）優先的に染色された細胞に対応するピクセルの割合からＥＲ又はＰＲ状態を判断する段階、を実施するように更に構成されたことを特徴とする。

代替の第４の態様では、本発明は、ａ）病理組織学的標本の画像データを処理して画像データにおいてそれぞれの細胞核に対応する近接ピクセルのグループを識別する段階、を実行するコンピュータ装置を制御するように構成したＥＲ又はＰＲ状態を測定するためのコンピュータプログラムを提供し、このプログラムが、ｂ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｃ）色相及び飽和度に基づいて画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階、及びｄ）正規化された平均飽和度からＥＲ又はＰＲ状態を判断する段階、を実施するように更に構成されたことを特徴とする。

更なる代替の第４の態様では、本発明は、ａ）病理組織学的標本の画像データを処理して画像データにおいてそれぞれの細胞核に対応する近接ピクセルのグループを識別する段階、を実行するコンピュータ装置を制御するように構成したＥＲ又はＰＲ状態を測定するためのコンピュータプログラムを提供し、このプログラムが、ｂ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｃ）色相及び飽和度に基づいて画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階、及びｄ）正規化された平均飽和度及び優先的に染色された細胞に対応するピクセルの割合からＥＲ又はＰＲ状態を判断する段階、を実施するように更に構成されたことを特徴とする。

第５の態様では、本発明は、ａ）病理組織学的標本の画像データを処理して周囲の細胞境界染色に関連するそれぞれの細胞核に対応する近接ピクセルグループを識別する段階、を実行するコンピュータ装置を制御するように構成した「Ｃ−ｅｒｂ−２」状態を測定するのに使用するためのコンピュータプログラムを提供し、このコンピュータプログラムが、ｂ）異なる長さのウィンドウ関数と識別された近接ピクセルグループ内のピクセルのサブグループとを相関させて細胞境界に関連するピクセルを識別する段階、ｃ）細胞境界に対応するピクセルから細胞境界の明度及び鮮明度と細胞境界回りの明度の範囲との明度関連の尺度を計算する段階、ｄ）明度関連の尺度を異なる値の「Ｃ−ｅｒｂ−２」に関連する比較画像から得られた所定の均等物と比較する段階、及びｅ）画像データに関して判断された尺度に最も近い明度関連尺度を有する比較画像に関連する「Ｃ−ｅｒｂ−２」値を画像データに割り当てる段階、を実施するように更に構成されたことを特徴とする。

第６の態様では、本発明は、ａ）病理組織学的標本の画像データを使用して色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｂ）色相及び飽和度に基づいて画像データを閾値化することによりセグメント化画像を生成する段階、ｃ）セグメント化画像において近接ピクセルのグループを識別する段階、及びｄ）画像データの全面積に対する割合として表される、血菅分布に対応するのに十分に大きい近接ピクセルのグループの全面積から血菅分布を判断する段階、を実行するコンピュータ装置を制御するように構成された血菅分布を測定するのに使用するためのコンピュータプログラムを提供する。

第７の態様では、本発明は、画像データを提供するために病理組織学的標本を撮影するための手段と、画像データにおいてそれぞれの細胞核に対応する近接ピクセルのグループを識別するようにプログラムされた画像データを処理するためのコンピュータ装置とを含むＥＲ又はＰＲ状態を測定するための装置を提供し、このコンピュータ装置が、ａ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｂ）色相及び飽和度に基づいて画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階、及びｃ）優先的に染色された細胞に対応するピクセルの割合からＥＲ又はＰＲを判断する段階、を実行するように更にプログラムされたことを特徴とする。

代替の第７の態様では、本発明は、画像データを提供するために病理組織学的標本を撮影するための手段と、画像データにおいてそれぞれの細胞核に対応する近接ピクセルのグループを識別するようにプログラムされた画像データを処理するためのコンピュータ装置とを含むＥＲ又はＰＲ状態を測定するための装置を提供し、このコンピュータ装置が、ａ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｂ）色相及び飽和度に基づいて画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階、及びｃ）正規化された平均飽和度からＥＲ又はＰＲ状態を判断する段階、を実行するように更にプログラムされたことを特徴とする。

本発明の更なる代替の第７の態様では、本発明は、画像データを提供するために病理組織学的標本を撮影するための手段と、画像データにおいてそれぞれの細胞核に対応する近接ピクセルのグループを識別するようにプログラムされた画像データを処理するためのコンピュータ装置とを含むＥＲ又はＰＲ状態を測定するための装置を提供し、このコンピュータ装置が、ａ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｂ）色相及び飽和度に基づいて画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階、及びｃ）正規化された平均飽和度及び優先的に染色された細胞に対応するピクセルの割合からＥＲ又はＰＲ状態を判断する段階、を実行するように更にプログラムされたことを特徴とする。

第８の態様では、本発明は、画像データを提供するために病理組織学的標本を撮影するための手段と、画像データにおいてそれぞれの細胞核に対応する近接ピクセルのグループを識別するようにプログラムされた画像データを処理するためのコンピュータ装置とを含む「Ｃ−ｅｒｂ−２」状態を測定するための装置を提供し、このコンピュータ装置は、ａ）異なる長さのウィンドウ関数と識別された近接ピクセルグループ内のピクセルのサブグループとを相関させて細胞境界に関連するピクセルを識別する段階、ｂ）細胞境界に対応するピクセルから細胞境界の明度及び鮮明度と細胞境界回りの明度の範囲との明度関連の尺度を計算する段階、ｃ）明度関連尺度を異なる値の「Ｃ−ｅｒｂ−２」に関連する比較画像から得られた所定の均等物と比較する段階、及びｄ）画像データに関して判断された尺度に最も近い明度関連尺度を有する比較画像に関連する「Ｃ−ｅｒｂ−２」値を画像データに割り当てる段階、を実行するように更にプログラムされたことを特徴とする。

第９の態様では、本発明は、画像データを提供するために病理組織学的標本を撮影するための手段と画像データを処理するためのコンピュータ装置とを含む血菅分布を測定するための装置を提供し、このコンピュータ装置が、ａ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階、ｂ）色相及び飽和度に基づいて画像データの閾値化することにより、セグメント化された画像を生成する段階、ｃ）セグメント化画像において近接ピクセルのグループを識別する段階、及びｄ）画像データの全面積に対する割合として表される、血菅分布に対応するのに十分に大きい近接ピクセルのグループの全面積から血菅分布を判断する段階、を実行するように更にプログラムされたことを特徴とする。
本発明のコンピュータプログラム及び装置の態様は、それぞれの方法の態様の特徴に対応する好ましい特徴を有することができる。
ここで、本発明をより十分に理解することができるように、添付図面を参照して単に例示的にその実施形態を以下に説明する。

本明細書で説明する例は、別々に又は一緒に実施することができる３つの異なる発明であり、それは、それらの全てが臨床医が癌を診断して治療プログラムを作成するのを個々に又は集合的に助ける測定であるからである。重要度が低下する順番に、これらの手順は、エストロゲン及びプロゲステロン受容体状態の判断、「Ｃ−ｅｒｂ−２」の判断、及び血菅分布の判断となる。
乳房の潜在的な癌腫の病理組織学的スライドという形態の組織サンプル評価の手順１０を図１に示す。この図は、患者診断、予後、及び治療計画を評価するための基盤として病理学者によって使用される特化された種類の測定結果を生成する処理を示す。

手順１０では、後述するような組織学的スライドから得られるデジタル化画像データを維持するデータベースが使用される。乳房組織サンプルから切片を採取（切断）し（生体組織検査）、それぞれのスライド上に置く。どのパラメータを判断すべきであるかにより、以下から選択された染色剤を使用してスライドを染色する。
ａ）基体（化学染色剤）としてジアミノベンジジン（ＤＡＢ）を用いる「Ｃ−ｅｒｂ−２」の免疫組織化学的染色−集合的に「Ｃｅｒｂ−ＤＡＢ」。これは、「Ｃ−ｅｒｂ−２」遺伝子増幅状態を評価するためのものである。
ｂ）エストロゲン受容体の発現（発現又は放出量）を評価するための基体としてのＤＡＢを伴うエストロゲン受容体（ＥＲ）（集合的に「ＥＲ−ＤＡＢ」）。プロゲステロン受容体（ＰＲ）状態は、ＥＲにおけるものと同じ染色が得られる化学処理を用いて調査する。
ｃ）血菅分布を評価するための基体としてフクシン（Ｆ）を用いるＣＤ３１に対する免疫組織化学的染色（血管形成）。

従来技術の手動の手順においては、臨床医は、スライドを顕微鏡の下に置き、「Ｃ−ｅｒｂ−２」、ＥＲ及びＰＲ状態の徴候については４０倍、血菅分布については２０倍の倍率でその領域（タイルという）を検査する。
本発明では、適切な形態による組織学的スライドから得られたデータが必要である。本実施例においては、画像データは、「Ｊｅｎｏｐｔｉｋｓ Ｐｒｏｇｒｅｓ ３０１２」デジタルカメラ付きの「Ｚｅｉｓｓ Ａｘｉｏｓｋｏｐ」顕微鏡を使用して病理学者によって得られたものである。各スライドから得られたデータは、４０の線形拡大（すなわち、４０Ｘ）で得られた一組のデジタル画像であり、各画像は、タイルの電子的均等物である。このカメラを使用した４０Ｘの倍率では、画像内の各ピクセルは、拡大していないスライドにおける一辺約２２０ｎｍの正方形（実際には、縦２１８ｎｍ×横２２５ｎｍ）に相当する。従って、ピクセルは、±５％よりも良い誤差で正方形であり、これは、後述する画像処理技術で仮定されるものである。

画像を選択するために、病理学者は、顕微鏡をスライド上で走査し、４０Ｘで実行すべき分析に関して最も有望と思われるスライドの領域（タイル）を選択する。その後、これらの領域の各々を顕微鏡及び先に言及したデジタルカメラを使用して写真撮影するが、このデジタルカメラでは、各領域について３色、すなわち、赤、緑、及び青色（Ｒ、Ｇ、及びＢ）によるそれぞれのデジタル画像が生成される。Ｒ、Ｇ及びＢの画像平面の組合せとしての画像を形成するために、ピクセルアレイ内の各ピクセルに対して３つの強度値が得られる。この画像データは、その後に使用するために、１２で一旦格納される。
１４での血菅分布測定に対して３つのタイルが必要であり、１６でのエストロゲン受容体及びプロゲステロン受容体の測定、及び１８での「Ｃ−ｅｒｂ−２」の測定の各々に対してタイル１つが必要である。これらの測定結果は、２０での診断報告の入力となる。

「Ｃ−ｅｒｂ−２」を評価するための従来技術の手動の手順では、病理学者は、染色強度、染色位置、及び組織サンプル内の問題の特徴に関連する細胞の相対的個数を主観的かつ別々に推定する。このようにして得られた値は、診断、予後、及び治療に関する決断の到達に使用される単一の測定結果を出すために病理学者によって組み合される。この例において以下で説明する処理では、この従来技術の手順に代わって客観的な手順が使用される。

ここで、図２を参照してＥＲ状態を判断するための処理１６を概説し、より詳細に後述する。マハラノビスの距離を用いてＫ平均クラスター化アルゴリズムがカラー画像に適用される前処理段階３０から開始される。これによって、マハラノビスの距離と類似の値を有することに基づきピクセルを関連付けてクラスター化することにより、更に別の処理のために関連の画像領域が判断されるか又は並べられる。３２では、カラー画像は、基準色の位置を含む色度空間に変換される。３４では、Ｋ平均クラスター化によって並べられたクラスター内のピクセルに対して色相及び飽和度が計算される。３６では、色相及び飽和度に基づいて閾値化することにより、茶色に染色されたピクセルが計算される。その後、３８では、染色されたピクセルの割合及び色平均飽和度の組合せからＥＲ状態の測定結果が導出される。

ＥＲ前処理段階３０の入力は、単一の組織学的カラー画像つまりタイルの生デジタルデータファイルから成る。各ピクセルの画像バンド値のトリプレットは、赤、緑、及び青色のスペクトル成分又は画像バンド内のそのピクセルの色を表す。３つの画像バンドのこれらの値の各々は、［０．．．２５５］の範囲であり、［０，０，０］は黒に対応し、［２５５，２５５，２５５］は白に対応する。
クラスター及びマハラノビスの距離を用いてデジタルカラー画像にＫ平均クラスター化アルゴリズム３０が適用される。クラスターは、関連の距離と類似の値を有するデータの自然なグループ分けであり、マハラノビスの距離は、クラスター中心に対するデータ項目の緊密の程度の指示を与える測定値である。細胞核をピクセルグループとして位置付けるための何らかの手段を有することが必要であるが、４つのクラスター又はマハラノビスの距離を使用することは必須のものではない。これらは、これまで、それぞれの細胞核に対応する近接ピクセルのグループを識別する際に良好に機能することが判明している。Ｋ平均アルゴリズムについては、Ｊ．Ａ．Ｈａｒｔｉｇａｎ及びＭ．Ａ．Ｗｏｎｇ著の論文「Ｋ平均クラスター化アルゴリズム」、アルゴリズムＡＳ１３６、応用統計学会誌、１９７９年によって説明されている。マハラノビスの距離については、Ｆ．Ｈｅｉｊｄｅｎ著「画像ベース測定システム−オブジェクト認識及びパラメータ推定」、ジョン・ワイリー・アンド・サンズ、１９９４年、及びＲ．Ｓｃｈａｌｋｏｆｆ「パターン認識−統計的、構造的、神経的手法」、ジョン・ワイリー・アンド・サンズ・インコーポレーテッド、１９９２年で説明されている。この処理は、初期化段階ａ）、その後の段階ｂ）での共分散行列の計算を含む。これは、段階ｃ）での確率計算に至り、この計算により、クラスター中心からのピクセルの距離が実質的に得られる。この手順は、以下の通りである。

ａ）最初に、それぞれ、赤、緑、及び青色の画像バンドの平均値から３０＋（クラスター番号＋１）×１０を差し引いた結果を用いてクラスター中心を設定する。例えば、第１のクラスター値は、平均＿赤−３０＋（０＋１）×１０ （従って、平均＿赤−２０）を設定することになり、平均＿緑及び平均＿青も同様に行う。第２のクラスターは、平均＿赤−１０、平均＿緑−１０、平均＿青−１０となり、他のクラスターも同様のものとなる。次に、その後の再調整のためにピクセルをクラスターに割り当てる。

ｂ）各クラスターについて、以下の計算を行う。
ｉ）式（１）から、各クラスターのピクセル内の異なる色の強度間の変化の程度を示す画像バンドの共分散行列の種類σ^k _ijの要素を計算する。

ただし、σ^k _ijは、共分散行列のｉｊ番目の要素であり、Ｎ^kは、クラスターｋ内のピクセルの数であり、ｃ_li及びｃ_ljは、画像バンドｉ及びｊにおけるピクセルｌの値であり、ｉ、ｊは、それぞれ、赤、緑、及び青色の画像バンドを表す値１、２、及び３を取り、μ^k _iは、クラスターｋに属する画像バンドｉの全てのピクセルの平均であり、μ^k _jは、クラスターｋに属する画像バンドｊの全てのピクセルの平均である。

ｉｉ）

で示される共分散行列の行列式を計算する。
ｉｉｉ）

で示される共分散行列の逆行列を計算する。
ｃ）ピクセル番号を示す指数ｉで、各ピクセル：

は、ここでは赤色（ｘ_i,1）、緑色（ｘ_i,2）、及び青色（ｘ_i,3）ピクセル値である３つの要素ｘ_i,1、ｘ_i,2、ｘ_i,3を有するベクトルとして扱われ、従って、赤、緑、及び青色の画像バンドは、それぞれ、第２の添字１、２、及び３によって表される。クラスターｋ内の全てのピクセルに及ぶｉで、ピクセルベクトル：

がそのクラスターに属さない確率：

は、以下の式（２）から計算される。

ただし、

及び、

は、先に定義した通りであり、μ^k _iは、クラスターｋ内の全てのピクセルベクトル：

の平均であり、ｔは、差分ベクトル：

の転置ベクトルを示す。
また、式（２）は、他の全てのクラスターにおける同じピクセルベクトル：

について再び値が求められる。ピクセルベクトル：

は、

が最小値を有する、すなわち、

に対するクラスター（ｋ_mと示される）に属する確率が最も高く、クラスターｋ_mは、こうして、ピクセル：

を受け取るのに最も適するものであり、すなわち、全てのｋ≠ｋ_mに対して、

を見つけ、クラスターｋ_mにピクセル：

を割り当てる。

ｄ）各クラスターｋに対して：
どのピクセルがクラスターｋに属するかの記録をアレイＸ^kとして記憶し、そのクラスターに割り当てられた各ピクセルベクトルでそれを更新し、そのクラスター内のピクセルの数Ｎ^kを更新する。

以下の式から各画像バンドｊ＝１、２、及び３に対してクラスター中心μ^k _jを計算する。

収束まで、すなわち、クラスターを変更するピクセルがこれ以上ないか又は反復数が総計２０になるまで段階ｂ）からｄ）を繰り返す。
ここでは、第１のクラスター（ｋ＝１）は、細胞核に対応し、対応するピクセルベクトルは、出力及び更に別の処理に対して関連あるものとして並べられたものである。

赤／緑／青（ＲＧＢ）から色度空間への３２での画像の変換。この例においては、以下に説明するように基準色が使用され、必要であれば、例えば、後述する「Ｃｅｒｂ Ｂ２」の例の手法を用いてこれを回避することができる。本例で使用される化学染色では、結果的に茶色の染色が行われ、本発明で使用される手法は、優先的にそれを検出するように構成される。しかし、異なる染色を使用することができ、その場合は、この技術は、異なるピクセル色を検出するように適応されるであろう。
実際には、明度は、化学染色の程度及びスライドに亘るサンプル厚みの変動、並びに画像を生成するのに使用されるカメラレンズによるぼかしの可能性のために変わりやすい。その結果、本実施例においては、後述するように色相（又は色）及び飽和度の測定値の計算に重点を置いている。

（ａ）ここで図３から図６も参照すると、各ＲＧＢ画像は、色度空間に変換される。図３は赤、緑、及び青色のピクセル値（それぞれ、Ｒ、Ｇ、及びＢで表す）が正規化されて０から１の範囲の値として表されたＲＧＢキューブを示す。これらのピクセル値は、それぞれ、赤、緑、及び青色の軸線５２、５４、及び５６上に表されている。色度空間は、Ｒ＋Ｇ＋Ｂ＝１である面５８である。ＲＧＢキューブ５０内では三角形であり、点（１，０，０）、（０，１，０）、及び（０，０，１）を通る。

（ｂ）図４は、軸線５２、５４、及び５６と、大まかには点（１，１，１）（図示せず）からここでは便宜上参照番号０を付けた原点（０，０，０）までＲＧＢキューブ５０の対角線に沿って見える色度空間５８とを示す。図３の点（１，０，０）、（０，１，０）、（０，０，１）は、ここでは、それぞれ、Ｊ、Ｋ、Ｌという参照記号が付されている。Ｄは、ＪとＬの間の直線の中間点である。入力ＲＧＢ画像からの画像ピクセル値は、色度空間１０８上に投影され、得られる投影は、更に別の処理のためのデータポイントになる。投影に関する計算は、以下の通りである。

赤、緑、及び青色ピクセルの色度値ｒ、ｇ、及びｂは、それぞれ以下のように定義される。
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）、及び、ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ） （５）
色度空間５８内の点Ｐから線ＪＫ及びＬＤまでの垂線は、それぞれ、Ｅ及びＧで後者と出会う。Ｐ及びＧから平面ＪＯＫまでの垂線は、それぞれ、Ｆ及びＨで後者と出会う。
式（５）を使用すると、三角形色度空間５８内の点Ｐは、次に、図４に示すｘ座標及びｙ座標によって定義され、以下の式によって与えることができる。

（ｃ）図５においては、色度空間５８は、原点Ｑから延びるｘ及びｙの座標軸で示されている。図内の点Ｓで示す基準色は、ここでは、臨床医によってこの目的のために指定されたものとして定義され、それは、最も積極的に染色される画像の部分の色である（画像が取られる元のスライドの部分上の強度が最も大きい色）。基準色のＲＧＢ成分は画像から取られ、そのｘ及びｙ座標は、式（５）及び（６）を使用して計算され、これらの座標は、

と表される。
（ｄ）図６において、極座標系（ｒ，θ）は、ここでは（Ｒ＋Ｇ＋Ｂ＝１）平面つまり色度空間８５上で定義される。座標系原点は、三角形５８の重心Ｇである。θ＝０に対する基準方向は、図５の基準色Ｓに向う半径ベクトルの方向ＱＳとして定義される。ＨＳＶ色空間において座標（ｘ，ｙ）を有するとして定義された三角形上のＰのような任意の点に対して、色相Ｈは、自身に対する半径ベクトル（例えば、ＱＰ）と基準色に対する半径ベクトルＱＳとの間の角度φとして定義される。これは、３４でφに対する以下の式から計算される。

及び、角度φは、以下のように定義される。

便宜上、色相Ｈの定義は、ここでは、全ての値を正に及び０からπ／２までの範囲にレンダリングするために若干変更されており、以前の値φの新しいバージョンψへの変換を下表１に示す。

（表１）

色相（Ｈ）閾値ψ₀は、手順のユーザ又はプログラマーによりπ／２よりも大きくないように３６で設定され、選択し得る典型的な値は８０度である。飽和度Ｓは、以下のように定義される。

飽和度閾値Ｓ₀の２つの値は、画像ピクセル飽和度値Ｓが範囲０．１から１．９にあるか否かによって設定される。これを下表２に示す。

（表２）

３６では、閾値を使用して、基準色に関して十分な茶色である（十分に大きな飽和度値を有する）ピクセルの数Ｎ_bを選択的に数える。画像内の全てのＨ及びＳのピクセル値を評価する。ピクセルが茶色ピクセル番号Ｎ_bに数えられるようなピクセルの色相値及び飽和度値によって満たされるべき条件を下表３に示す。

（表３）

表３において判断されたＮ_b個の飽和ピクセルの平均飽和度は、全ての飽和度値Ｓを加算して得られる合計をＮ_bで割ることによって計算される。その後、飽和ピクセルの最大飽和度値を求め、平均飽和度は、この最大値の百分率として表すことによって正規化される。この手法は、異なる画像間の色の染色の変動による誤差に対処するために使用される。３８では、それぞれ、この百分率が（ａ）≦２５％、（ｂ）＞２５％かつ≦５０％、（ｃ）＞５０％かつ≦７５％、又は（ｄ）＞７５％かつ≦１００％であるか否かにより、正規化された平均飽和度に０、１、２、又は３の得点を与える。

３８では、飽和ピクセルの割合、つまり、周囲の組織に対して十分に茶色に染色された細胞に対応する部分をＮ_b／Ｎの比率から計算する。ただし、Ｎは、画像内のピクセルの総数である。その後、下表５に示すように、この部分を０から５の範囲の得点に定量化する。

（表５）

０から８の範囲の尺度を得るために、以上判断された２つの得点、すなわち、正規化された平均飽和度及び十分に茶色のピクセルの割合に関する２つの得点をここで加算する。この数字が大きいほど、サンプルは、下表６に示すようにエストロゲン（ＥＲ）陽性が大きい。

（表６）

ＥＲ得点７又は８の女性は、タモキシフェンのようなホルモン治療に良好に反応することになり、ＥＲ得点が４から６の女性は、この治療に反応する可能性は５０％ということになる。得点が２又は３の女性は、余り良好には反応しないことになり、得点が０又は１の女性は、ホルモン治療には全く反応しないことになる。
ＥＲ及びＰＲの画像は、視覚的に識別することができず、異なる染色を使用して生成されることによって区別される。従って、ＰＲの得点は、上述のＥＲの得点と同じ方法で染色スライドから得られる。乳癌種におけるプロゲステロン受容体（ＰＲ）陽性の重要性は、ＥＲの均等物ほどは十分に理解されていない。また、一般的に、ＥＲ陽性の癌はＰＲ陽性になる。しかし、ＥＲ陽性ではなくてＰＲ陽性の癌腫の方が予後が悪いものとなる場合がある。

ここで、「Ｃ−ｅｒｂ−２」に転ずると、従来の手動による手法では、適切に染色するために病理組織学的スライドは薬品で処理され、その後、臨床医によって目視される。スライド上の乳房細胞は、このような組織細胞と癌評価には重要ではない不要な細胞の種類との間の区別を可能にするある範囲の面積を有する染色核を有することになる。癌細胞は、通常、識別処理で考慮すべき核の大きさの範囲が大きいことになる。臨床医は、不要な細胞利種類を無視し、以下のように関連の細胞を主観的に等級付けすることによって測定を行う必要がある。

得点０及び１は、陰性であり（治療を正当化しない）、一方、得点２及び３は、陽性と呼ばれる（治療を正当化する）。
残念ながら、以下のように、測定をより複雑なものにするアーチファクトがある。
退縮（収縮）によるアーチファクト：真の細胞膜染色よりもぼけて画定される。
熱によるアーチファクト：電気焼灼器を用いた場合、かなり画定不良の染色が発生する。
粉砕によるアーチファクト：組織が不注意で機械的に変形し、染色の画定不良を大きくする。
熱及び粉砕によるアーチファクトは、通常は、組織サンプルの境界部に限定され、望ましくは、タイルの撮影を行う臨床医によってある程度スライドから除外されるであろう。しかし、画定不良の染色が細胞膜に付着しないように防ぐことはそれでも重要なことである。

本発明の技術は、上述のパラメータ、すなわち、以下のものを測定しようとするものである。
細胞膜染色の完全性、
細胞膜染色の強度及び厚み、及び
細胞膜染色の比率。
本発明では２つの主な段階があり、これらは、画像の品質が劣る場合は、任意的に前処理によって先行させることができる。主な段階は、以下のものである。
腫瘍に関連する面積及び位置の制限を満たす細胞核を見つける段階、及び
先の段階で見つかった細胞核の細胞膜を特徴付ける得点を判断する段階。

ここで、図７を参照して本発明の「Ｃ−ｅｒｂ−２」手法をまず概説し、その後により詳細に説明する。画像に亘るカメラによるぼかし又は色の誤差のためにタイルの画像の品質が劣る場合は、任意的な前処理段階７０を実行する。
段階７１から段階７８で画像のセグメント化、すなわち、デジタル画像における背景からの事物の自動分離が行われる。タイルの元のデジタル画像は、赤、緑、及び青色の画像平面を有する。段階７１では、緑色及び青色の画像平面からシアン画像平面を導出され、段階７２では、ソーベルフィルタ処理されたシアン画像平面が導出される。この時点で、画像平面は５つである。これらのうち、赤色及び青色の画像平面は、従来の色の染色に関して必須のものであり、他の画像平面は、赤色画像平面に対する望ましいが必須のものではない濾過作業に使用される。７４及び７６では、５つの画像平面の統計学的尺度が計算され、その後、７８では、不要なピクセル及び空間的ノイズを除去するために既に濾過されたセグメント化画像が最適化されて生成される。セグメント化画像では、細胞核が識別される。段階７８は、ピクセル回りの領域からの情報を用いる適応閾値化技術であり、それは、鎖線８０内により詳細に示されており、矢印８２は反復を示している。これは、同じく使用することができる上述のＫ平均クラスター化アルゴリズムの代案である。

８４で見つかった細胞の数が１６よりも少ない場合、８６で画像が拒否される。それが１６又はそれ以上の場合、細胞核、従って細胞を見つけると、各細胞の周囲の細胞膜染色の強度、厚み、及び完全性が測定され、細胞膜染色がランク付けられる。
各細胞に対して、８８では、細胞境界明度値、細胞膜幅、及び強度の最も高い染色部の図心からの距離を判断するために、一連の様々な幅の相互相関ウィンドウが細胞の図心から４つの半径に沿って通される。細胞境界明度値は、細胞膜幅で割ることによって正規化される。その後、核面積と各細胞の正規化された境界明度値の合計とが得られる。その後、細胞膜染色強度、特異性、及び完全性を特徴付ける統計学的な尺度が推論される。これらの尺度は、４つの基準画像から得られた均等物と比較される。その後、測定された画像は、ユークリッド距離基準を用いて、最も近い基準値の得点である得点を割り当てることによって等級が付けられる。他の距離基準を使用することもできる。代替的に、適度に大きいサンプルの得点を基準値として使用してもよい。

ここで、「Ｃ−ｅｒｂ−２」処理についてより詳細に説明する。処理１８は、組織学的スライドの面積を４０倍に拡大することによって得られる１つの画像つまりタイルに適用される。もう一度図７を参照すると、以下のいずれかによって任意的な前処理段階７０を実行する。
（ａ）画像を適切な数のタイルに分割して（個々の変動性は少ない）別々に処理する段階。これは、一般的にオプションと考えるべきであるが、個々の画像に亘って適切な均一性がある場合は必要ではない。又は
（ｂ）好ましくは、十分な画像が同じカメラ対物レンズから利用可能である場合、境界に亘って分割されたより多くの部分細胞で副画像を処理するのではなく、その不足分を計算して補正する段階。

スライドのデジタル画像は、先に定義したように、３色つまり赤、緑、及び青色（ＲＧＢ）の画像であり、すなわち、各色についてそれぞれの画像平面がある。以下の分析を目的として、各ピクセルの文字Ｒ、Ｇ、及びＢは、そのピクセルにおける赤、緑、及び青色の強度として扱われる。７１では、青色及び緑色の画像平面から導出されたシアン画像を計算するために、ＲＧＢ身画像を使用する。すなわち、各ピクセルに対しては、シアン強度Ｃは、Ｃ＝（２×Ｂ＋Ｇ）／３から計算し、それぞれのピクセルの緑色（Ｇ）強度は、その青色（Ｂ）強度の２倍に加算され、得られる合計を３で割る。これを全てのピクセルに対して繰返した時、シアン画像又は画像平面が得られる。シアンは、サンプルの従来の化学染色によって生成される細胞境界色である茶色の補色であるために使用される。代わりに青色画像平面を使用することもできるが、シアン画像ほど良好な結果は通常得られない。異なる化学染色を使用する場合、付随の補カラー画像を選択することになる。この処理段階は必須のものではないが、不要なピクセルを濾過するのに大きく貢献するものであり、基準色がなくても同様に貢献する（代替手法を使用するＥＲ／ＰＲ例を参照）。

７２では、シアン画像平面にソーベルエッジフィルタを適用する。これは、Ｋｌｅｔｔｅ Ｒ．及びＺａｍｐｅｒｏｎｉ Ｐ．著「画像処理オペレータのハンドブック」、ジョン・ワイリー・アンド・サンズ、１９９５年で公開された標準的な画像処理技術である。ソーベルエッジフィルタは、数Ｓ_P及びＳ_Qの２つの３×３アレイから成り、その各々は、画像内のピクセルの連続的な３×３アレイで畳み込まれる。ここで、以下のようである。

段階７２では、最初にシアン画像の左上隅の第１のシアン３×３アレイのピクセルを選択する。行ｉ及び列ｊの一般的なシアンピクセルをＣ_ijと指定すると、画像の左上隅は、ピクセルＣ₁₁からＣ₁₃、Ｃ₂₁からＣ₂₃、Ｃ₃₁からＣ₃₃から成る。その後、Ｃ_ijが３×３シアンピクセルアレイ内にある時、Ｃ_ijには、Ｓ_Pアレイ内に位置するＳ_Pのそれぞれの数字が掛けられる。すなわち、それぞれ、Ｃ₁₁からＣ₁₃には１、２、１、Ｃ₂₁からＣ₂₃にはゼロ、Ｃ₃₁からＣ₃₃には−１、−２、−１が掛けられる。このように形成された積を代数的に加算すると値ｐとなる。

ｐの値は、ピクセル値がＣ₂₂の行のいずれかの側で第１の行と第３の行の間をゆっくりと変化する場合は相対的に低く、これらの行の間で急速に変化するピクセル値の場合は相対的に大きなものとなる。その結果、ｐは、行に亘る画像エッジの鮮明度を表すものとなる。この手順は、同じピクセルアレイを用いて繰り返されるが、Ｓ_QをＳ_Pの代わりに使用してｑの値を得る。ｑは、Ｃ₂₂のいずれかの側で第１の列と第３の列の間でゆっくり変化するピクセル値の場合は相対的に低く、これらの列の間で急速に変化するピクセル値の場合は高く、従って、ｑは、列に亘る鮮明度を表すものとなる。その後、ｐとｑの平方の合計の平方根、すなわち、

を計算するが、これは、「エッジマグニチュード」として定義され、変換されたシアン画像においては、Ｔ₂₂になる（３×３アレイの中心ではピクセルＣ₂₂の代わりをする）。また、エッジ「位相角」をｔａｎ^-1（ｐ／ｑ）として導出することが可能であるが、それは本例では必要ではない。

変換画像における一般的なピクセルＴ_ij（行ｉ、列ｊ）は、シアン画像のＣ_i-1,j-1からＣ_i-1,j+1、Ｃ_i,j-1からＣ_i,j+1、及びＣ_i+1,j-1からＣ_i+1,j+1から導出される。式（１１）内のソーベルフィルタの中心部の行及び列は、それぞれゼロであり、他の係数は１及び２であるので、Ｔ_ijのｐとｑは、以下のように計算することができる。
ｐ＝｛Ｃ_i-1,j-1＋２Ｃ_i-1,j＋Ｃ_i-1,j+1｝−｛Ｃ_i+1,j-1＋２Ｃ_i+1,j＋Ｃ_i+1,j+1｝ （１２）
ｑ＝｛Ｃ_i-1,j-1＋２Ｃ_i,j-1＋Ｃ_i+1,j-1｝−｛Ｃ_i-1,j+1＋２Ｃ_i,j+1＋Ｃ_i+1,j+1｝ （１３）
ｉ＝ｊ＝２で始まり、ｐ及びｑは、行の最後に到達するまでｊを１だけ上げて各このようなアレイについて式（２）及び（３）を評価することによって連続的な３×３ピクセルアレイについて計算される。その後、ｊを１だけ上げて、画像全体が変換されるまで第２の行などについてこの手順を繰り返す。この変換画像は、以下では「シアンのソーベル」画像又は画像平面と呼ばれる。

ソーベルフィルタでは、辺の一方又は他方で隣接するピクセルがない画像エッジのピクセルに対しては、値を計算することができない。すなわち、Ｎ個の行及びＭ個の列を有するピクセルアレイにおいては、エッジピクセルは、上部行及び下部行、及び第１列及び最終列であり、又は、変換画像ピクセルにおいては、Ｔ₁₁からＴ_1M、Ｔ_N1からＴ_NM、Ｔ₁₁からＴ_1M、及びＴ_1MからＴ_NMである。慣例により、ソーベルフィルタでは、これらのエッジ画像をゼロに設定する。

病理組織学的画像に関する測定の大きな問題は、異なるスライドの染色が大幅に、例えば暗い箇所を伴う青色から茶色の輪郭を伴う灰色がかった白色まで変動することがあるということである。この状況は、スライドを精選して所定の染色に適合するものだけを用いることによって改善することができる。しかし、画像を正規化するための統計学的技術を用いて適切な程度まで染色の変動に対処することが可能であることが既に判明している。これに関連して、段階７４及び７６は、段階７８での画像セグメント化で使用するために様々な統計学的パラメータを導出する。

段階７４においては、変換ピクセル値Ｔ_ijの平均及び標準偏差を計算する。便宜上、名称の変更を行う。ｉ及びｊに代わって指数ｋを使用する。すなわち、ｉ，ｊ＝１，１からＮ，Ｍに対してｋ＝１からＮＭである。これによって、二次元画像は、画像の連続した行から成る単一の複合線として取り扱われる。また、各ピクセル値におけるＴの代わりにｘを使用するので、Ｔ_ijは、ｘ_kとなる。以下の式（１４）及び（１５）は、それぞれ、変換ピクセルｘ_kの平均μ及び標準偏差σを計算するために使用する。

７６では、様々な統計学的パラメータを赤色、緑色、青色、及びシアンの画像ピクセルに対して上述の式（１４）及び（１５）を使用して計算する。
赤色画像平面については、統計学的パラメータは、そのピクセル値の平均μ_R及び標準偏差σ_Rである。式（１５）及び（１４）では、ｘ_kは、赤色画像平面における一般的なピクセル値を表す。更に、最大値、最小値、範囲（最大値−最小値）を得るために、赤色画像平面のピクセルを互いに比較する。同様に、各平面についてそれぞれの最大値、最小値、及び範囲を得るために、緑色及び青色の画像ピクセルの各々におけるピクセルを互いに比較する。最後に、シアン画像については、ピクセルの平均及び標準偏差を式（１４）及び（１５）を使用して計算するが、ここでは、ｘ_kは、シアン画像平面における一般的なピクセル値を表す。

段階７８においては、細胞核を識別して位置を突き止めるために画像をセグメント化する。赤色、緑色、青色、シアン、及びシアンのソーベルの画像平面に対する閾値化作業と、それに続く閾値化作業後に残った画像間隙の閉鎖との組合せの後に残った場合及びその場合に限り、細胞核の一部としてピクセルを数える。異なる画像間の化学染色の変動を考慮する方法で閾値を判断することが必要である。この例で使用される技術は、目的関数としての核数を最大化していくつかの閾値の多次元最適化を行うことであり、すなわち、所定の画像に対して、核のほぼ最大数が得られるまで知的に閾値を変更する。開始値は、閾値レベルを与えるのに適切なものを選択することにより、最適化ルーチンに対して計算される。この例においては、添え字１、２、及び３で表され、各々が２つの成分を有する３つの開始値が必要な二次元最適化を使用し、この開始値は、二次元平面の三角形の頂点を表す。開始値は、（ＲＭＭ１，ＣＭＭ１）、（ＲＭＭ２，ＣＭＭ２）、及び（ＲＭＭ３，ＣＭＭ３）であり、ＲＭＭは「赤色平均乗数」、ＣＭＭは「シアン平均乗数」を示す。かなりの数の画像を使用した試験の結果、適切な開始値は、ＲＭＭ１＝０．８０２、ＣＭＭ１＝１．２４、ＲＭＭ２＝ＣＭＭ２＝０．９０３、ＲＭＭ３＝１．２４、及びＣＭＭ３＝０．８０２であることが既に分っている。

ヘマトキシリン及びエオシン（Ｈ及びＥ）の細胞核で対比染色された画像については、青色の染色が強く、すなわち、それらは、相補的な赤色平面では非常に低い値を有する。従って、赤色平面は、以下のように閾値化に使用される主平面である。
（ａ）以下のように、赤色画像平面（青色に対してほぼ相補的）について閾値化画像を生成する。適応閾値よりも小さい全ての赤色ピクセル値については、閾値化赤色画像内の対応するピクセル位置を１に設定する。それ以外の場合は、それを０に設定する。以下のように、全てピクセル位置についてそれぞれの適応閾値を個別に計算する。段階７８のａ）では、赤色画像閾値は、各ピクセル近傍の囲い茶色染色の存在に依存し、すなわち、それは、シアン平均μ_c及び赤色平均μ_Rの関数である。考慮中のピクセルから外方に半径方向に検索することによって囲み茶色がないか検査を行う。この手順は、シアン画像平面において赤色画像平面と同じピクセル位置を選択し、そこから４つの方向、つまり東西南北の方向に７０ピクセル（又は、７０までの最大の利用可能な数）の距離がないか検索することである。ここで、東西南北は以下の意味を有する。すなわち、北は同じ列のピクセルから上方、南は同じ列のピクセルから下方、東は同じ行のピクセルから右、及び西は同じ行のピクセルから左にという意味を有する。精度を向上させるために、より多くの方向（例えば、対角的な北−東、北−西、南−東、及び南−西）を使用することができるが、本例では４つが適切であることが判明している。これらの方向又は半径のいずれにおいても、シアンピクセルが閾値（茶色ピクセルを示す）よりも小さいか、又は、シアンピクセルがそうしなくても７０ピクセルの半径に到達することになるかのいずれかである。ここで、半径に対する７０ピクセル値又はピクセル数Ｎ_p1は、上述のように、４０倍の倍率及び未拡大スライド上の２２０ｎｍの距離に対応するピクセル側面長さに相当する。ｎｍ単位による別のピクセル側面長さＬ_p2を与える別の倍率の場合、新しいピクセル数Ｎ_p2又は半径は、Ｎ_p1（２２０／Ｌ_p2）ピクセルであるべきである。その後、以下の方法で赤色閾値を適応的に変更するために「茶色」半径の数Ｒ_B（少なくとも１つの茶色ピクセルと交差する半径）を使用する。新しい赤色画像平面閾値ＲＴＮ＝ＲＭＭ１μ_R−σ_R（４−Ｒ_B）が計算され、ただし、ＲＭＭ１μ_Rは、ＲＭＭ１とμ_Rの積であり、σ_Rは、赤色画像平面の標準偏差である。限界値をＲＴＮに置くと、２５５という最大可能値が得られる。考慮中の赤色画像平面ピクセルがそれに対して計算された赤色画像平面閾値よりも小さい場合、閾値化赤色画像内の同じ位置にある対応するピクセルを１に設定し、それ以外の場合はゼロに設定する。

（ｂ）シアン画像平面を使用し、段階７４からのシアン平均μ_cを用いて、ＣＭＭ１とμ_cの積よりも小さい全てのシアンピクセル値に対して、閾値化赤色画像内の対応する位置にあるピクセルをゼロに設定し、それ以外はピクセルを変更しない。これは、余分な茶色ピクセルを除去する効果を有する。
（ｃ）シアンのソーベルの画像平面を使用し、段階７４からのシアン平均μ_c及び標準偏差σ_cを用いて、（μ_c＋１．５σ_c）よりも大きい全てシアンピクセル値に対して閾値化赤色画像内の対応するピクセルをゼロに設定し、それ以外はピクセルを変更しない。これは、余分な茶色エッジピクセルを除去する効果を有する。

（ｄ）脂質に対応するピクセルをここで以下のように除去する。ピクセル最小値及び段階７６で計算した範囲値を用いて、閾値化赤色画像を赤、緑、及び青色の画像平面から得られたデータを用いて生成する。以下の（ｉ）から（ｉｉｉ）の３つの基準の全てを満たすそれぞれの画像位置の各赤、緑、及び青色ピクセルグループに対して、閾値化赤色画像内の対応する位置のピクセルをゼロに設定し、それ以外はピクセルを変更しない。これは、脂質画像領域（強く飽和した白色区域として表示される脂肪の領域）を除去する効果を有する。これらの領域の除去は、必須のものではないが処理を向上させるために望ましいものである。それぞれのピクセルにおける各組の赤、緑、及び青色の値に対する判断基準は、
（ｉ）赤色値＞赤色最小値＋０．９８×（赤色範囲）、かつ
（ｉｉ）緑色ピクセル＞緑色最小値＋０．９８×（緑色範囲）、かつ
（ｉｉｉ）青色ピクセル＞青色最小値＋０．９８×（青色範囲）
段階（ｃ）及び段階（ｄ）は、必要に応じて、その後の手順の変更を行って鎖線８０内に形成された回帰ループの外側に移動させることができるであろう。

（ｅ）次の段階は、先の７８の段階（ｄ）で得られた２値画像に形態的閉鎖作業を適用することであり、この作業は、膨張作業及びその次に行われる侵食作業から成る。これらの形態上の作業により狭い間隙が融合され、画像内で斑点として表示される個々の近接ピクセルグループ内の小さな穴が排除される。これらの作業は、必須のものではないが処理を向上させるものである。これらは、不規則性つまり空間的「ノイズ」の除去と考えることができ、Ｕｍｂａｕｇｈ Ｓ．Ｃ．著「色覚及び画像処理」、プレンティス・ホール、１９９８年で公開された標準的な画像処理手順である。

（ｆ）ここで、段階（ｅ）で生成された２値画像に接続成分ラベル付け処理を適用する。これは、Ｒ．Ｋｌｅｔｔｅ及びＰ．Ｚａｍｐｅｒｏｎｉｕ著「画像処理オペレータのハンドブック」、ジョン・ワイリー・アンド・サンズ、１９９６年及びＡ．Ｒｏｓｅｎｆｅｌｄ及びＡ．Ｃ．Ｋａｋ著「デジタル画像処理」、第１及び２巻、アカデミック・プレス、ニューヨーク、１９８２年によって公開された公知の画像処理技術である（「斑点着色」ということもある）。画像内の同様の値を有する近接又は接続ピクセルの領域又はグループである２値画像内の「斑点」に数値ラベルが与えられる。すなわち、各グループ又は斑点は、全て１である接続ピクセルから成り、各々には、他のグループと異なる番号が割り当てられる。これによって、個々の斑点をラベルによって他の斑点と区別することができる。画像内のラベル付けされた領域又は斑点の数は、ラベル及び出力から計算される。また、接続成分のラベル付けは、各ラベル付け画像領域の図心（領域中心のピクセル位置）、高さ、幅、及び面積を判断するものである。ここで、画像領域の面積が小さすぎるか又は大きすぎるために、又はそれらが平坦であることを示す十分に異質の高さ及び幅を有するためにそれらが関連外である場合、画像領域は、２値画像から除去される。２値画像の残りの領域は、（ｇ）における次の処理段階に通される。
段階（ａ）から（ｆ）は、全ての開始点又は三角形頂点（ＲＭＭ１，ＣＭＭ１）、（ＲＭＭ２，ＣＭＭ２）、及び（ＲＭＭ３，ＣＭＭ３）の全てについて実施される。これによって、各場合の２値画像内に残る領域の数に対して３つの値が得られる。

（ｇ）この段階は、下降シンプレックス法と呼ばれ、Ｎｅｌｄｅｒ Ｊ．Ａ．及びＭｅａｄ Ｒ．の論文（１９６５年）、コンピュータジャーナル、第７巻、３０８〜３１３頁、１９６５年で公開された多次元最適化の標準的な反復統計学的技術である。入力として、段階（ｆ）後に残る領域の３つの数が必要である。勾配を用いる「Ｐｏｗｅｌｌ」と呼ばれるもののような他の最適化技術を用いることも可能である。その後、最低の残り領域数が得られる開始点／頂点を選択する。その後、２つの他の頂点に接続する線において、選択された頂点の鏡映として新しい開始点を生成する。すなわち、３つの頂点が１，１、１，２、及び２，１であり、１，１が選択された頂点である場合、新しい開始点は２，２である。その後、選択された頂点を無視し、他の２つが保持される。新しい開始点又は頂点は、（ＲＭＭ４，ＣＭＭ４）となり、新しい開始点を用いて段階（ａ）から（ｆ）を繰返し、２つの保持された頂点に関連するものとの比較のために新しい残り領域数を生成する。ここでもまた、最低残り領域数が得られる頂点を選択し、矢印８２で示すように、新しい（ＲＭＭ，ＣＭＭ）値の処理及び段階（ａ）から（ｆ）を繰り返す。反復は、画像領域の残りの数（細胞核数）の変化率が減速するまで、すなわち、連続的な反復がこの数字で１０％よりも少ない変化を示す時まで続行される。この時点で最適化を終了し、更に別の処理のために選択された、段階（ｆ）後に残る２値画像は、（ＲＭＭ，ＣＭＭ）を用いて生成したものであり、最高の核数を与える。

ここで、手順１８は、後ほど定義する「ｇｒａｎｄ＿ｍｅａｎ」及び「ｍｅａｎ＿ｒａｎｇｅ」という数量の判断に関連する。画像領域又は細胞核がこの例では１６であるユーザ指定数よりも少ないと下降シンプレックス法（ｇ）が判断した場合、８４において処理は８６に切り替わり、拒否されることになる問題の画像を指示する。
下降シンプレックス法で画像領域数が少なくとも１６個であると判断された場合、８４において処理は８８に切り替わり、そこで、これらの領域の境界を特徴付けるための検索を実施する。検索では、７８（ｆ）での接続成分ラベル付けにおいて得られるような各領域の面積及び図心ピクセル位置が使用され、各領域は、細胞核の中心である図心を有する細胞であると仮定される。この仮定は、ほとんどの細胞について正当化されるが、図心を保持しない不格好な細胞がある可能性がある。例えば、くぼんだ境界領域を有するものを排除することによって不格好な細胞を無視することが可能であるが、本例では実施されない。

領域の境界を特徴付けるための検索を図心からそれぞれの東西南北の方向（先に定義したような）に沿って行う（精度を向上させるためにより多くの方向を使用することもできる）。それは、１４０ピクセル又は２√（領域面積）のいずれか小さい方の距離δに対して、これらの方向の各々において実施される。ここで、半径の１４０ピクセルという数値は、４０倍の倍率に相当する。元のスライド内で２２０ｎｍに対応しないピクセルサイズについては、このピクセルの数値は、上述のように、公式Ｎ_p1（２２０／Ｌ_p2）を用いてスケーリングすべきである。この検索では、元の（２Ｂ＋Ｇ）／３シアン画像が使用され、理由は、経験的に上述のスライド染色に関してこの画像で最良の明確な細胞境界が得られることが分っているからである。Ｃ_ijを行ｉ及び列ｊにおけるシアン画像において領域の図心ピクセルの強度として指定すると、この図心の東西南北で検索するピクセルは、それぞれ、Ｃ_i+1,jからＣ_i+δ,j、Ｃ_i-1,jからＣ_i-δ,j、Ｃ_i,j+1からＣ_i,j+δ、及びＣ_i,j-1からＣ_i,j-δの強度をシアン画像において有することになる。正又は負である可能性がある差分値を生成するために検索するピクセルの各シアン強度を図心ピクセルのシアン強度Ｃ_ijから差し引く。シアン画像においては、細胞核は通常は青色であり、一方、境界は茶色である（上述のような染色により）。

各ピクセルは、次に、各々がピクセルを含み、ピクセルが図心の北、南、東、又は西であるか否かによって連続線でそれぞれ北、南、東、又は西（先に定義したような）でそこから延びる６、１２、２４、及び４８ピクセルの４つの線形グループ又は「ウィンドウ」の一部として処理される（以前と同様に、これらのウィンドウ長は、Ｍ／４０によってスケーリングすべきであり、拡大の場合はＭ≠４０である）。実際には、選択された方向の各々におけるピクセルは、グループ内のピクセルにおいて値１及びその外では値０を有する、それらの適用される数学的ウィンドウ関数を有する。本実施例における線形グループにおいては、Ｃ_i+1,jは、例えば、Ｃ_i+2,jからＣ_i+6,j、Ｃ_i+2,jからＣ_i+12,j、Ｃ_i+2,jからＣ_i+24,j、及びＣ_i+2,jからＣ_i+48,j（各場合において包含的）でグループ分けされる。これによって、４つの方向の各々において４δグループから総計１６δグループが得られる。各グループに対して、そのピクセルのシアン強度の各々と図心のシアン強度との間の差分を計算する。その差分を代数的にグループに亘って合計する（正と負の差分は互いに打ち消す）。グループのピクセルのシアン強度と図心のシアン強度との間の正味差分／ピクセルをもたらすために、この合計をグループ内のピクセル数で割る。

各方向、すなわち東西南北について、ここでは、４δ正味差分／ピクセルのそれぞれの組がある。各組において、正味差分／ピクセルを比較して最大値を識別する。これによって組のそれぞれ、すなわち東西南北の方向の各々について、それぞれの最大正味差分／ピクセル及びそれぞれの最大値が発生したウィンドウ（グループ内のピクセル数）のサイズが得られる。このように得られた４つの最大値（各方向につき１つ）及び各々の場合におけるそれぞれのウィンドウサイズを記憶する。各最大値は、このような方向における領域境界（細胞膜）のマグニチュードの尺度であり、理由は、シアン画像において、青色細胞核と比較された時の最大の差分は、茶色細胞境界で発生するからである。各最大値に関連するウィンドウサイズは、領域境界幅を示し、理由は、この手法で適合が乏しいものと比較すると、境界幅は、より近く適合するウィンドウサイズでは、より高い最大値が得られるからである。細胞境界形状に適合したウィンドウサイズ及びウィンドウを多く使用することにより、すなわち、各線形グループのピクセルに境界形状関数を集合的に形成するそれぞれの値を掛けることにより、より高い精度を得ることができる。この処理は、実は数学的には、ウィンドウ形状をピクセルの線形グループと相関させる相関操作である。更なる任意選択肢は、最大値が発生するウィンドウの中心での２つのピクセルの１つの位置として、最大又は境界（細胞半径）の位置を記録することである。これは、本例では行わなかったものであるが、不格好な細胞を４つの方向における最大値の位置の重大な差で示されるものとして検出して無視することができ、ウィンドウと細胞境界の斜めの交差に対処することによって幅の尺度を向上させると考えられる。
その後、各最大値又は領域境界マグニチュードは、これを導出するために使用された関連するウィンドウサイズ（領域境界幅）で割り算される。これは、この明細書の目的に対して正規化境界マグニチュードと呼ばれるものを形成する。これは、明度と鮮明度の両方の尺度である。これは、細胞膜に付着していない不明瞭な染色に対する区別を可能にする。

次の段階９０は、マグニチュードの大きいものから小さい順に仕分けするために「クイックソート」と呼ばれるものを４つの正規化境界マグニチュードに適用することである。クイックソートは、Ｋｌｅｔｔｅ Ｒ．及びＺａｍｐｅｒｏｎｉｕ Ｐ．著「画像処理オペレータのハンドブック」、ジョン・ワイリー・アンド・サンズ、１９９６年で公開された公知の技術であるからその説明は割愛する。それは、必須のものではないが便利なものである。各画像領域について、下表７で示すように、ここで上述のように行われた測定結果がそれぞれの一次元ベクトルで記録される。この表では、北、東などの方向は、クイックソートでは失われ、最大、２番目に大きい、３番目に大きい、及び最小に順序付けされる。

（表７）

ここで（また、９０でも）、画像領域を上表７の項目５の値、すなわち、最大、２番目に大きい、３番目に大きい、及び最小の正規化境界マグニチュードの和の降順に仕分けするために、更に別のクイックソートを画像領域に適用する。画像領域の部分集合をここで項目５の大きい値を有するものとして選択する。これらは、最も有意な画像領域であり、項目５のマグニチュードに関して画像領域の総数の上位１／８である。この画像領域の部分集合から、以下で定義するような「ｇｒａｎｄ＿ｍｅａｎ」、「ｍｅａｎ＿ｒａｎｇｅ」、及び「ｒｅｌａｔｉｖｅ＿ｒａｎｇｅ」といったパラメータが９２で計算される。
ｏｃｔｉｌｅ＝画像領域又は細胞核の総数の１／８ （１６）
境界＝正規化境界マグニチュード （１７）
Σ＝・・・の合計（部分集合又は最良ｏｃｔｉｌｅ内の全ての境界に亘って） （１８）
項目１＝最大正規化境界マグニチュード （１９）
項目３＝３番目に大きい正規化境界マグニチュード （２０）
ｇｒａｎｄ＿ｍｅａｎ＝６×［（Σ最大の境界）＋（Σ２番目に大きい境界）＋（Σ３番目に大きい境界）＋（Σ最小の境界）］／４ｏｃｔｉｌｅ （２１）
ｍｅａｎ＿ｒａｎｇｅ＝［（Σ項目１）−（Σ項目３）］／ｏｃｔｉｌｅ （２２）
ｒｅｌａｔｉｖｅ＿ｒａｎｇｅ＝１０×ｍｅａｎ＿ｒａｎｇｅ／ｇｒａｎｄ＿ｍｅａｎ （２３）

ｇｒａｎｄ＿ｍｅａｎは、画像が良好な細胞境界の鮮明度及び明度を示す程度を示す。ｒｅｌａｔｉｖｅ＿ｒａｎｇｅは、画像が細胞境界回りに延びる明度を示す程度を示し、最小の境界（項目４）は、不完全な細胞に対するある程度の丈夫さをもたらすためにこの計算から省略される。ｒｅｌａｔｉｖｅ＿ｒａｎｇｅの大きな値を示す細胞境界は、染色の不均一性、場合によっては境界の欠如にさえも対応して境界回りで認められるほど変動する明度を有することになる。

９４では、全体的な距離の尺度を計算する。この尺度は、現在のシアン画像（７１で生成）が所定の標準的な組の画像、すなわち、本例の４つの画像の各構成画像からどのくらいの距離であるかの推定値を提供する。この例においては、距離の尺度を４つの所定の標準的な画像から成る一組に対して計算する。標準的な画像は、画像の大きな試験データベースをそれぞれ４つの異なる「Ｃ−ｅｒｂ−２」状態表示（より詳細に後述するような）に対応する４つの異なる画像タイプに分けることによって得られたものである。各画像タイプの画像は、処理１８を用いて各画像の総平均及び相対範囲を判断するために分析されたものである。それぞれの平均的総平均Ｍ_i（ｉ＝０，１，２，及び３）及びそれぞれの平均的相対範囲ＲＲ_iは、４つ画像タイプの各画像について判断されたものである。代替的に、多くの画像からの検査によって関連タイプの４つの良好な品質の画像を選択し、Ｍ_i及びＲＲ_iをそれらから判断することも可能である。

値Ｍ_i及びＲＲ_iは、それぞれの４要素ベクトルＭ及びＲＲの成分になり、以下の式で使用される。
「Ｃ−ｅｒｂ−２」指標＝ｍｉｎ_i｛（Ｍ_i−総平均）²＋（ＲＲ_i−相対範囲）²｝ （２４）
ただし、ｍｉｎ_iは、式（２４）の右辺の中括弧｛ ｝内の式が最小であるｉ（ｉ＝０，１，２，又は３）の値である。ベクトルＭについては、データセットからＭ₀＝１２．３２、Ｍ₁＝２３．１６、Ｍ₂＝４２．３４、及びＭ₃＝８７．３５という要素が判断された。ベクトルＲＲに対して同様に判断された要素は、ＲＲ₀＝２．５０１、ＲＲ₁＝１．８５、ＲＲ₂＝１．１１１、及びＲＲ₃＝０．５３９４であった。指数ｉの値は、「Ｃ−ｅｒｂ−２」測定処理に対する指標として戻される。

ｉ＝３の値が「Ｃ−ｅｒｂ−２」測定処理で得られた場合、これは、陽性の強い結果であると見なされ、元の組織サンプルが採取された患者は、現時点ではハーセプチンによる治療に非常に適すると見なされる。ｉ＝２という値は、弱い陽性であり、治療の適合性が疑わしいこと示し、ｉ＝１又は０は、不適合性を示す陰性の結果である。これを下表８に示す。

（表８）

ここで図８を参照すると、血菅分布の測定に関する処理１４の流れ図が示されている（図１を参照）。処理１４は、画像が採取された病理組織学的スライドと比較して各々が×２０に拡大された３つの画像の各々に適用される。１００では、各画像を赤色／緑色／青色（ＲＧＢ）から異なる画像空間の色相／飽和度／値（ＨＳＶ）に変換する。ＲＧＢからＨＳＶへの変換については、Ｋ．Ｊａｃｋ著「分りやすいビデオ」、第２版、ハイ・テキスト・パブリケーションズ、サンディェゴ、１９９６年で説明されている。実際には、値Ｖ（つまり明度）は、スライドに亘る染色及び厚みの変動、並びに画像を生成するために使用されるカメラレンズによるぼかしによって変動しやすい。その結果、この例においては、Ｖ成分は無視されて計算されず、色相（又は色）及び飽和度値Ｈ及びＳに重点を置いている。２つのＲＧＢ画像の各ピクセルに対して、以下のようにＨ及びＳを計算する。
Ｌｅｔ Ｍ＝（Ｒ，Ｇ，Ｂ）の最大値 （２５）
Ｌｅｔ ｍ＝（Ｒ，Ｇ，Ｂ）の最小値 （２６）
次に、ｎｅｗｒ＝（Ｍ−Ｒ）／（Ｍ−ｍ） （２７）
ｎｅｗｇ＝（Ｍ−Ｇ）／（Ｍ−ｍ）、及び （２８）
ｎｅｗｂ＝（Ｍ−Ｂ）／（Ｍ−ｍ） （２９）
これによって、ピクセルの各色は、そのマグニチュードとそのピクセルの３つの色のマグニチュードの最大値のマグニチュードとの間の差分に変換され、この差分を（Ｒ、Ｇ、Ｂ）の最大値と最小値の差分で割る。

飽和度（Ｓ）は、以下のように設定する。
Ｍがゼロに等しい場合、Ｓ＝０ （３０）
Ｍがゼロに等しくない場合、Ｓ＝（Ｍ−ｍ）／Ｍ （３１）
色相（Ｈ）の計算は、以下の通りである。すなわち、式（２５）から、Ｍは、Ｒ、Ｇ、及びＢのうちの少なくとも１つに等しくなければならない。
Ｍがゼロに等しい場合、Ｈ＝１８０ （３２）
ＭがＲに等しい場合、Ｈ＝６０（ｎｅｗｂ−ｎｅｗｇ） （３３）
ＭがＧに等しい場合、Ｈ＝６０（２＋ｎｅｗｒ−ｎｅｗｂ） （３４）
ＭがＢに等しい場合、Ｈ＝６０（４＋ｎｅｗｒｇ−ｎｅｗｒ） （３５）
Ｈが３６０又はそれ以上である場合、Ｈ＝Ｈ−３６０ （３６）
Ｈが０よりも小さい場合、Ｈ＝Ｈ＋３６０ （３７）
値Ｖは、この例では使用しないが、仮に使用する場合は（Ｒ、Ｇ、Ｂ）の最大値に設定されるであろう。

次の段階１０２は、２値画像を得るために色セグメント化を適用することである。このセグメント化は、ＨＳＶ色空間からの色相及び飽和度を用いる閾値化に基づくものであり、それを下表９に示す。

（表９）

これにより、１に設定されたピクセルが更に処理されて０に設定されたピクセルが無視されるセグメント化された２値画像が生成される。
次の段階１０４は、接続成分のラベル付け（先に定義済み）をセグメント化された２値画像に適用することである。これによって、１に等しい近接ピクセルの領域を有する２値画像が得られ、領域は、更に別の処理に向けて独特にラベル付けされ、それらの面積が判断される。次に、血菅分布に貢献しない不十分なピクセルを有する小さな接続された成分（１０ピクセルよりも小さい画像領域）を除去するために、ラベル付けされた２値画像を空間的に濾過し、これは、低減した２値画像をもたらす。

次に、接続成分のラベル付けの結果から低減した２値画像内の残りの画像領域の面積の合計を１０６で求め、次に、この合計を全体画像の面積の百分率として表す。このような３つの百分率面積値をもたらすように、元のＲＧＢ画像の各々について別々にこの手順を実行する。３つの百分率面積値の平均を計算すると、それは、血菅によって占有された組織サンプルの面積の百分率、すなわち、サンプル血菅分布の推定値を表す。
下表１０に示すように、血菅分布は、それが少なくとも３１％に等しいか否かによって高い又は低いと判断される。

（表１０）

高い血菅分布は、腫瘍の血液供給が既に助長されているので比較的速い腫瘍成長に対応し、早期の治療が指示されている。低い血菅分布は、比較的遅い腫瘍成長に対応するものであり、早期の治療はそれほど重要ではない。

数量及び結果を計算するための以上の説明で挙げた手順は、キャリア媒体に記録されて従来のコンピュータシステムで実行される適切なコンピュータプログラムによって評価することができることは明らかである。このようなプログラムは、使用される数学的表現が公知の計算手順であるから、発明を必要としなくても熟練のプログラマーには実施が簡単である。従って、このようなプログラム及びシステムの説明は割愛する。
本明細書で説明した３つの発明の全ての例で説明した処理段階は、全てが必須のものではなく、代替案を与えることができる。例えば、結果的に増大する処理上の負担が許容可能である場合は、その後の処理のための面積を選択する際の不適切に小さな面積を無視する段階は、省略することが可能である。以上の例は、実行可能な開示を提供し、本発明を制限しないことを意図するものである。

診断及び治療の定式化を助けるために癌の徴候を測定するための手順のブロック図である。 図１の手順においてＥＲ及びＰＲ受容体状態を測定するための処理のブロック図である。 それぞれの直交軸上にプロットされた赤、緑、及び青色の色空間（カラーキューブ）の擬似三次元図である。 色度空間を形成するための図３の変換を示す図である。 色度空間準拠座標系の図である。 極座標の使用を示す図である。 図１の手順における「Ｃ−ｅｒｂ−２」を測定するための処理のブロック図である。 図１の手順における血菅分布を測定するための処理のブロック図である。

符号の説明

１０ 組織サンプル評価の手順
１４ 血菅分布の測定
１６ エストロゲン及びプロゲステロン受容体の測定
１８ 「Ｃｅｒｂ Ｂ２」の測定

Claims (14)

1. コンピュータ制御を用いて実行するエストロゲン又はプロゲステロン受容体（ＥＲ又はＰＲ）状態を測定する方法であって、
   ａ）病理組織学的標本の画像データを取得する段階と、
   ｂ）前記画像データにおいてそれぞれの細胞核に対応する近接ピクセルのグループを識別する段階と、
   ｃ）色相座標及び飽和度座標を有する色空間において、画像データに対する色相及び飽和度を導出する段階と、
   ｄ）色相及び飽和度に基づいて前記画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階であって、ピクセルは、予め決められた色相閾値よりも小さい色相係数であり、前記ピクセルの飽和度が予め決められた範囲内にあるか否かに応じて異なる値になる飽和度閾値よりも大きい飽和度である場合に、優先的に染色された細胞に対応するように識別される、前記識別する段階と、
   ｅ）優先的に染色された細胞に対応するように識別されたピクセルの正規化された平均飽和度、及び、画像データ内にあるピクセルの総数に対する、前記識別されたピクセルの数の割合の組み合わせからＥＲ又はＰＲ状態を判断する段階と、
   を更に含むことを特徴とするコンピュータにより実行される方法。
2. 前記色相及び飽和度を導出する段階は、前記画像データ内にあるピクセルのピクセル値を色度空間に変換し、前記色度空間内にあるピクセルの色データの座標及び前記色度空間内にある基準色の座標から色相及び飽和度を導出することによって実行されることを特徴とする請求項１に記載のコンピュータにより実行される方法。
3. 色相は、
   

   

   に等しい角度φから得られ、以下の式
   

   

   から飽和度を得て、ここで、（ｘ，ｙ）及び
   

   

   は、それぞれ、色度空間におけるピクセル座標及び基準色座標であることを特徴とする請求項２に記載のコンピュータにより実行される方法。
4. 色相は、０から９０度の範囲にあるようになっており、色相閾値が、８０度であることを特徴とする請求項１又は２に記載のコンピュータにより実行される方法。
5. 飽和度閾値０．１から１．９の範囲の飽和度に対して０．９、及びこの範囲外の飽和度に対して０であることを特徴とする請求項１又は２に記載のコンピュータにより実行される方法。
6. ＥＲ又はＰＲ状態を判断する段階は、正規化された平均飽和度の第一得点と優先的に染色された細胞に対応するピクセルの割合の第二得点とを取得し、該第一得点及び第二得点を互いに加算することによって実行されることを特徴とする請求項１に記載のコンピュータにより実行される方法。
7. コンピュータ装置を制御するためのプログラムコードを組み込むＥＲ又はＰＲ状態を測定する際に使用するためのコンピュータプログラムであって、
   ａ）画像データにおいてそれぞれの細胞核に対応する近接ピクセルのグループを識別する段階と、
   ｂ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階と、
   ｃ）色相及び飽和度に基づいて前記画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階であって、前記ピクセルは、予め決められた色相閾値よりも小さい色相係数であり、ピクセルの飽和度が予め決められた範囲内にあるか否かに応じて異なる値になる飽和度閾値よりも大きい飽和度である場合に、優先的に染色された細胞に対応するように識別される、前記識別する段階と、
   ｄ）優先的に染色された細胞に対応するように識別されたピクセルの正規化された平均飽和度、及び、画像データ内にあるピクセルの総数に対する、前記優先的に染色された細胞に対応するように識別されたピクセルの数の割合の組み合わせからＥＲ又はＰＲ状態を判断する段階と、
   を実施するように構成されたことを特徴とするコンピュータプログラム。
8. 前記コンピュータ装置を制御するためのプログラムコードは、
   前記画像データ内にあるピクセルのピクセル値を色度空間に変換し、前記色度空間内にあるピクセルの色データの座標及び前記色度空間内にある基準色の座標から色相及び飽和度を導出する段階、
   を実施するように構成されたことを特徴とする請求項７に記載のコンピュータプログラム。
9. 前記コンピュータ装置を制御するためのプログラムコードは、
   

   

   に等しい角度φから色相を得て、以下の式
   

   

   から飽和度を得て、ここで、（ｘ，ｙ）及び
   

   

   は、それぞれ、色度空間におけるピクセル座標及び基準色座標であるように、
   構成されたことを特徴とする請求項８に記載のコンピュータプログラム。
10. 前記コンピュータ装置を制御するためのプログラムコードは、
    正規化された平均飽和度の第一得点と優先的に染色された細胞に対応するピクセルの割合の第二得点とを取得し、該第一得点及び第二得点を互いに加算することによって、ＥＲ又はＰＲ状態を判断するように、
    構成されたことを特徴とする請求項７に記載のコンピュータプログラム。
11. 画像データを準備するために病理組織学的標本を撮影するためのコンピュータ制御により実行される手段と、該画像データを処理するためのコンピュータ装置とを含むＥＲ又はＰＲ状態を測定するための装置であって、
    コンピュータ装置が、
    ａ）該画像データにおいてそれぞれの細胞核に対応する近接ピクセルのグループを識別する段階と、
    ｂ）色相座標及び飽和度座標を有する色空間において画像データに対する色相及び飽和度を導出する段階と、
    ｃ）色相及び飽和度に基づいて前記画像データを閾値化し、周囲の標本組織に対して優先的に染色された細胞に対応するピクセルを識別する段階であって、前記ピクセルは、予め決められた色相閾値よりも小さい色相係数であり、ピクセルの飽和度が予め決められた範囲内にあるか否かに応じて異なる値になる飽和度閾値よりも大きい飽和度である場合に、優先的に染色された細胞に対応するように識別される、前記識別する段階と、
    ｄ）優先的に染色された細胞に対応するように識別されたピクセルの正規化された平均飽和度、及び、画像データ内にあるピクセルの総数に対する、前記優先的に染色された細胞に対応するように識別されたピクセルの数の割合の組み合わせからＥＲ又はＰＲ状態を判断する段階と、
    を実行するようにプログラムされたことを特徴とする装置。
12. 前記コンピュータ装置は、前記画像データ内にあるピクセルのピクセル値を色度空間に変換し、前記色度空間内にあるピクセルの色データの座標及び前記色度空間内にある基準色の座標から色相及び飽和度を導出することによって、前記色相及び飽和度を導出する段階を実行するようにプログラムされたことを特徴とする請求項１１に記載の装置。
13. 前記コンピュータ装置は、
    

    

    に等しい角度φから色相を得て、以下の式
    

    

    から飽和度を得て、ここで、（ｘ，ｙ）及び
    

    

    は、それぞれ、色度空間におけるピクセル座標及び基準色座標であるように、
    プログラムされたことを特徴とする請求項１１に記載の装置。
14. 前記コンピュータ装置は、
    正規化された平均飽和度の第一得点と優先的に染色された細胞に対応するピクセルの割合の第二得点とを取得し、該第一得点及び第二得点を互いに加算することによって、ＥＲ又はＰＲ状態を判断するように、
    構成されたことを特徴とする請求項１１に記載の装置。

Images