JP5156631B2 - 画像領域の自動選定 - Google Patents

Description

本発明は、画像領域の自動選定に関し、詳細には（但し、限定ではないが）、病理組織学的評価用の標本組織試料の画像領域を自動的に選定するための方法、装置及びコンピュータプログラムに関する。

標本組織試料の選定は、多くの種類の癌、異常、又は患者の反応の病理組織学的評価において不可欠な準備である。組織試料が選定されると、これらの試料は病理学者によって手作業で評価され、エストロゲン及びプロゲステロン受容体（ＥＲ及びＰＲ）状態、Ｃ−ｅｒｂ−２及び血管分布のようなパラメータを判定することができる。Ｃ−ｅｒｂ−２はまた、Ｃｅｒｂ−Ｂ２、ｈｅｒ−２、ｈｅｒ−２／ｎｅｕ及びｅｒｂ−２として公知である。自動病理組織学的評価はまた、例えば、国際特許出願公開第２００４／０１７０５２号、第２００４／０４７００４号、第２００４／０４６９９４号、第２００４／０３８６３３号、第２００４／０５７５１３号、第２００４／０４４８４５号、第２００４／０５５７３３号及び第２００４／０７２９００号によって公知である。

国際特許出願第２００４／０１７０５２号公報 国際特許出願第２００４／０４７００４号公報 国際特許出願第２００４／０４６９９４号公報 国際特許出願第２００４／０３８６３３号公報 国際特許出願第２００４／０５７５１３号公報 国際特許出願第２００４／０４４８４５号公報 国際特許出願第２００４／０５５７３３号公報 国際特許出願第２００４／０７２９００号公報 ＲＭ Ｈａｒａｌｉｃｋ、Ｋ Ｓｈａｎｍｕｇｅｎ ａｎｄ Ｉ Ｄｉｎｓｔｅｉｎ著「Ｔｅｘｔｕｒｅ Ｆｅａｔｕｒｅｓ ｆｏｒ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（ＩＥＥＥ Ｔｒａｎｓ．Ｓｙｓｔ．、Ｍａｎ、Ｃｙｂｅｒｎ．、Ｖｏｌ ＳＭＣ−３、ｐｐ６１０−６２１、１９７３年） Ｐｒｅｎｔｉｃｅ Ｈａｌｌ著Ｕｍｂａｕｇｈ Ｓ．Ｃ．「Ｃｏｌｏｕｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」１９９８年 Ｋ．Ｊａｃｋ著「Ｖｉｄｅｏ Ｄｅｍｙｓｔｉｆｉｅｄ」第２版、ＨｉｇｈＴｅｘｔ Ｐｕｂｌｉｃａｔｉｏｎｓ、サンディエゴ、１９９６年 Ｋｌｅｔｔｅ Ｒ．及びＺａｍｐｅｒｏｎｉ Ｐ．著「Ｈａｎｄｂｏｏｋ ｏｆ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｏｐｅｒａｔｏｒｓ」、Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ、１９９５年 Ｋｌｅｔｔｅ Ｒ．、Ｚａｍｐｅｒｏｎｉｕ Ｐ．著「Ｈａｎｄｂｏｏｋ ｏｆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｏｐｅｒａｔｏｒｓ」、Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ、１９９６年 Ｇｏｌｄｂｅｒｇ Ｄ．Ｅ．著「Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ ｉｎ Ｓｅａｒｃｈ、Ｏｐｔｉｍｉｓａｔｉｏｎ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」、Ａｄｄｉｓｏｎ Ｗｅｓｌｅｙ、１９８９年 Ｐｒｅｓｓ Ｗ．Ｈ．、Ｔｅｕｋｏｌｓｋｙ Ｓ．Ａ．、Ｖｅｔｔｅｒｌｉｎｇ Ｗ．Ｔ．、Ｆｌａｎｎｅｒｙ Ｂ．Ｐ．著「Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｉｅｓ ｉｎ Ｃ ：ｔｈｅ ａｒｔ ｏｆ ｓｃｉｅｎｔｉｆｉｃ ｃｏｍｐｕｔｉｎｇ」、Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、１９９２年 Ｋｎｕｔｈ Ｄ．Ｅ．著「Ｔｈｅ Ａｒｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍｍｉｎｇ」、ｖｏｌ．２、Ａｄｄｉｓｏｎ Ｗｅｓｌｅｙ、１９８１年 「Ｐａｔｈｏｌｏｇｙ Ｒｅｐｏｒｔｉｎｇ ｏｆ Ｂｒｅａｓｔ Ｄｉｓｅａｓｅ」、ＮＨＳＢＳＰ Ｐｕｂｌｉｃａｔｉｏｎ ｎｏ５８、２００５年１月

乳癌は、詳細には、女性の癌の一般的なものであり、組織試料の選定を必要とし、乳癌を示す病変が検出されると乳房組織試料が採取され、関心のある特徴を明らかにするために化学的に染色されて病理学者によって評価され、診断、予後及び治療計画を設定する。しかしながら、評価のための組織試料の選定は、時間がかかる手作業の処理である。この手作業の処理は、極めて主観的な人間の目によるカラー画像の判読を伴い、すなわち、病理学者が顕微鏡を低倍率で使用して、顕微鏡スライド上のコア生検標本組織試料を詳しく調べ、関心のあるパラメータが検出可能であることを示唆する特徴部を示すスライドの一部分を識別する。この目的は、組織学的パラメータの判定に好適な可能性がある顕微鏡スライド画像の領域（タイルと呼ぶ）を識別することである。２．５ｘの倍率（選定用に一般的）で見られるスライドにタイルの重複がないと仮定すると、４０ｘの倍率（評価用には一般的）で最大２５６個のタイルに対応するが、これらのタイルの多くが不適切な可能性がある。実際には関心のあるパラメータが正確に検出可能ではなかったことが後で判明するようなタイルが選定された場合、評価時間が無駄なものとなる。この選定処理は、別の観測者によって選定されたタイル間で、及び同じ観測者によって異なる時間に選定されたタイル間でさえもかなりのばらつきがあることを特徴とする。更に、病理学スタッフが不足しているので、タイル選定処理を自動化することが望ましい。

本発明の目的は、標本選定の自動化技術を提供することである。

本発明は、画像全体内の画像領域（「タイル」）の選定を自動化する方法を提供し、本方法は、
ａ）画像全体の同時生起行列及び画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性が比較的高いか又は比較的低いかに基づいてタイル間の区別を行なう計算画像を生成する段階と、
ｂ）関心のある特性を示す可能性が比較的高いタイルの事前部分集合を選定する段階と、
ｃ）事前部分集合内のタイルに関して、色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す段階と、
ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、事前部分集合からタイルの別の部分集合を選定する段階と、
を含む。

本発明は、組織試料の画像からのタイルの選定のための客観性のある再現可能な自動化技術を形成する利点を提供する。

タイルの事前部分集合から別の部分集合を選定する段階は、過度のタイル重複の回避を考慮することができる。計算画像を生成する段階は、同時生起行列と、エントロピ画像と、画像全体の内部領域に比べて低照度の外部領域を該計算画像から除外するように構成されたビネットマスクとの組合せを使用することができる。

計算画像を生成する段階は、同時生起行列及びエントロピ画像を閾値処理してこれらの行列及び画像を２進化する段階を組込むことができる。画像全体は、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）画像であり、計算画像を生成する段階は、画像全体の緑色面を使用して実施することができる。

計算画像は、画像全体の同時生起行列を少なくとも使用して、関心のある画像特徴部を含むタイル領域（前景）及びこのような特徴部が無いタイル領域（背景）の両方の空間フィルタリングのために、該計算画像に対して形態学的クロージング演算を適用して生成することができる。

タイルの事前部分集合及び別の部分集合の選定は、無作為処理によって実施することができる。

本発明の方法は、癌グレーディングに使用することができ、本方法は、色相／彩度／明度の変換を画像データに適用する段階と、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得る段階と、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算する段階とを含むことができる。

或いは、本発明の方法は、ステロイド／タンパク質発現分析に使用することができる、本方法は、画像データを変換してシアン色画像データを提供する段階と、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算する段階とを含むことができる。

タイルの事前部分集合からの別の部分集合の選定は、特徴部尺度と、非選定相当部よりも大きな（符号は無視）タイル重複との間の差異を示すタイルを選定することによって実施することができる。

別の態様において、本発明は、画像全体内のタイルの自動化選定のための装置を提供し、該装置は、
ａ）画像全体の同時生起行列及び画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性が比較的高いか又は比較的低いかに基づいてタイル間の区別を行なう計算画像を生成する手段と、
ｂ）関心のある前記特性を示す可能性が比較的高いタイルの事前部分集合を選定する手段と、
ｃ）事前部分集合内のタイルに関して色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す手段と、
ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、事前部分集合からタイルの別の部分集合を選定する手段と、
を含む。

タイルの事前部分集合から別の部分集合を選定する手段は、過度のタイル重複を回避するように構成することができる。計算画像を生成する手段は、同時生起行列と、エントロピ画像と、画像全体の内側領域に比べて低照明の外側領域を計算画像から除外するように構成されたビネットマスクとの組合せを使用することができる。

計算画像を生成する手段は、同時生起行列及びエントロピ画像の閾値処理を用いて、これら行列及び画像を２進化することができる。画像全体は、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）の画像であり、計算画像を生成する手段は、画像全体の緑色面から該計算画像を導き出すことができる。

計算画像は、画像全体の同時生起行列を少なくとも使用し、関心のある画像特徴部を含むタイル領域（前景）及びこのような特徴部が無いタイル領域（背景）の両方の空間フィルタリングのために、該計算画像に形態学的クロージング演算を適用することによって生成することができる。

タイルの事前部分集合及び別の部分集合の選定は、無作為処理を使用することによって実施することができる。

本発明の装置は、癌グレーディングに使用することができ、本装置は、色相／彩度／明度の変換を画像データに適用し、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得て、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算するように構成することができる。

或いは、本発明の装置は、ステロイド／タンパク質発現分析のために使用することができ、本装置は、画像データを変換してシアン色画像データを提供し、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算するように構成することができる。

タイルの事前部分集合からの別の部分集合の選定は、特徴部尺度と、非選定相当部よりも大きな（符号は無視）タイル重複との間の差異を示すタイルを選定することによって実施することができる。

別の態様において、本発明は、画像全体内のタイルの選定を自動化するのに使用するコンピュータソフトウェアを提供し、該ソフトウェアは、
ａ）前記画像全体の同時生起行列及び前記画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性が比較的高いか又は比較的低いかに基づいてタイル間の区別を行なう計算画像を生成する段階と、
ｂ）関心のある特性を示す可能性が比較的高い前記タイルの事前部分集合を選定する段階と、
ｃ）前記事前部分集合内のタイルに関して、色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す段階と、
ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、前記事前部分集合からタイルの別の部分集合を選定する段階と、
を実行するようにコンピュータ装置を制御する命令を組込む。

本発明のソフトウェアは、同時生起行列及びエントロピ画像の閾値処理して、これらの行列及び画像を２進化することによって計算画像を生成する命令を有することができる。画像全体は、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）の画像であり、該ソフトウェアは、画像全体の緑色面から該計算画像を生成する命令を有することができる。

本ソフトウェアは、画像全体の同時生起行列を少なくとも使用することによって、及び関心のある画像特徴部を含むタイル領域（前景）と、このような特徴部が無いタイル領域（背景）との両方の空間フィルタリングのために計算画像に対して形態学的クロージング演算を適用することによって該計算画像を生成する命令を有することができる。

タイルの事前部分集合及び別の部分集合の選定は、無作為処理によって実施することができる。

本発明のソフトウェアは、癌グレーディングに関して使用することができ、本ソフトウェアは、色相／彩度／明度の変換を画像データに適用し、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得て、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算するための命令を含むことができる。

或いは、本発明のソフトウェアは、ステロイド／タンパク質発現分析のために使用することができ、本ソフトウェアは、画像データを変換してシアン色画像データを提供し、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算するための命令を含むことができる。

タイルの事前部分集合からの別の部分集合の選定は、特徴部尺度と、非選定相当部よりも大きな（符号は無視）タイル重複との間の差異を示すタイルの選定を実施するソフトウェア内の命令によって実施することができる。

次に、本発明を十分に理解することができるようにするため、添付図面を参照しながら例証として本発明の実施形態を説明する。

図１を参照すると、全体的に符号２で示された低倍率の顕微鏡スライド画像は、コア生検標本組織４を含む。符号６のような矩形画像領域は、組織学的パラメータの判定に好適な可能性があるものと見なされる。領域６は、組織タイル又は単にタイルと呼ばれ、組織学的目的のために後で更に拡大されることになる。選定処理の目的は、比較的テクスチャがかなりあるコア生検の染色切片の画像であり、従って、比較的テクスチャが少なく且つ染色されていない切片よりも関心のある特徴部を示す可能性が高いタイル６を選定することである。

タイルを選定する従来技術の手作業処理では、臨床医は、顕微鏡下にスライド２を置き、低倍率（例えば、２．５ｘ）から高倍率（例えば、４０ｘ）までの倍率の組合せでスライドを調べる。次に、臨床医は、異常な色、サイズ、形状及び境界定義付けを含む組織又はタイル６の領域を目視で識別するといった主観的手順を試みる。次に、この方法で選定されたタイル６は、１つ又はそれ以上の組織学的パラメータの特定につながるより詳細な分析のために使用される。この実施例で以下に説明するタイル選定処理は、従来技術の手作業処理を自動化処理に置き換えるものである。

図２は、組織学的評価用の組織タイルの自動化選定の処理１０の概略である。切片は、組織試料（生検）から採取（切断）され、それぞれの顕微鏡スライド上に置かれる。これらのスライドは、どの組織学的パラメータが関連しているかに応じて、この実施例においては乳癌グレーディング又はタンパク質発現分析において、選定された染色剤を使用して染色される。特定の染色剤及びこれらの利用法は、次の通りである。
ａ）ヘマトキシリン及びエオシン（Ｈ＆Ｅ）。組織及び細胞構造を描写するための一般的な染色液である。Ｈ＆Ｅによって染色された組織は、有糸分裂活性、核多形性及び細管活性を含む、乳癌のグレーディングを評価するのに使用される。
ｂ）基質（化学的染色剤）としてジアミノベンジジン（ＤＡＢ）を有するＣ−ｅｒｂ−２、総称して「Ｃｅｒｂ−ＤＡＢ」用の免疫組織化学的染色。タンパク質過剰発現及びＣ−ｅｒｂ−２遺伝子増幅状態を評価するためのものである。
ｃ）エストロゲン受容体の発現（発現又は放出量）を評価するために、基質としてＤＡＢを有するエストロゲン受容体（ＥＲ）（総称的に「ＥＲ−ＤＡＢ」）。プロゲステロン受容体（ＰＲ）の状態は、ＥＲにおけるものと同じ呈色をもたらす化学処理を使用して調べられる。

各染色されたスライドは、１２において、赤色、緑色及び青色（Ｒ、Ｇ及びＢ）の３色のデジタル画像を生成する自動化スライドスキャナを使用してスキャンされる。ピクセルアレイ内の各ピクセルについて３つの輝度値が求められ、Ｒ、Ｇ及びＢの画像平面の組合せからなる画像を提供する。このデジタル画像の低解像度形態（例えば、２．５ｘの直線寸法又は２．５ｘの倍率）が分析され、１４でタイルのセットを選定するようにする。次に、選定されたタイルは高倍率の像が得られ、１６でデータベース内に入力されて更に処理される。有糸分裂、多形性、エストロゲン受容体（ＥＲ）、プロゲステロン受容体（ＰＲ）及びＣ−ｅｒｂ−２の評価では、最大解像度又は最大顕微鏡倍率は、現在４０ｘであり、細管では倍率は１０ｘである。選定されたタイルセットを構成するタイルの数は、評価されるもの、及び現在の医療行為に応じて決まり、有糸分裂ではまた、その数は顕微鏡のフィールド径によって決まる。現在のところ、有糸分裂には１０タイルが選定され、多形性には２タイル、細管には２タイル、ＥＲ、ＰＲ及びＣ−ｅｒｂ−２には各々１タイルが選定される。しかしながら、タイルのセット内のタイル数は選定の問題であり、本発明にとって重要ではない。

次に図３を参照すると、図２を参照して説明した処理１０の段階１４がより詳細に示されている。２０において、入力ＲＧＢ画像の緑色面Ｇから同時生起行列が生成される。緑色面を使用することは必須ではないが、これが良い結果をもたらすことが経験的に示されている。同時生起行列の生成は、例えば、ＩＥＥＥ Ｔｒａｎｓ．Ｓｙｓｔ．、Ｍａｎ、Ｃｙｂｅｒｎ．、Ｖｏｌ ＳＭＣ−３、ｐｐ６１０−６２１（Ｔｅｘｔｕｒｅ Ｆｅａｔｕｒｅｓ ｆｏｒ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ、ＲＭ Ｈａｒａｌｉｃｋ、Ｋ Ｓｈａｎｍｕｇｅｎ ａｎｄ Ｉ Ｄｉｎｓｔｅｉｎ）（１９７３年）で説明されている標準的な画像処理手順である。このような行列は、その各々が既定の画像特徴が同時に起こる周波数の行列成分を有する多次元ヒストグラムである。入力ＲＧＢ画像は、最初に、その元の直線寸法（１／３６の領域）の１／６にサブサンプリングされ、次に、このサブサンプリングされた画像内のピクセル値が、後続の計算を軽減するために、２５６グレイレベルから８グレイレベルにまで再量子化され、すなわち、０〜３１のピクセル値は０に設定され、３２〜６３は１に設定され、以下、２２４〜２５５が７に設定されるまで同様である。次に、同時生起行列が計算され、これは、量子化なしの場合に得られるはずの２５６ｘ２５６行列ではなく、８ｘ８行列である。本実施例において、同時生起行列は、グレイレベルｉ及びｊが１つ又はそれ以上の既定方向の特定の距離だけ離れた２つのピクセルで起こる度数である、一般成分すなわちｉ，ｊ成分（ｉ行ｊ列）を有する。ここで、この距離は、１ピクセルであるようにとられ、方向は４つのセット、すなわち、現在考慮中のピクセルの上下左右であり、これらは、現在のピクセルの行と列（但し、対角方向ではない）の最も近接した成分である。

２２において、同時生起行列の成分が評価され、最大値の成分及びその行位置が決定され、この行位置は、当該位置における量子化されたグレイレベルを示し、これに３２（すなわち、２５６／８）を乗算してグレイレベル値を０〜２５５の元の前量子化範囲の値に変換する。次に、変換された値を用いて、以下のようにバイナリマスク（ピクセル値１及び０のみ）の生成のために閾値を定義する。このバイナリマスクは、変換された閾値を上回る値を有する入力画像緑色面Ｇのピクセルに等価の位置に配置されたピクセルに関して全て０（背景、組織なし）であるピクセル値を有し、バイナリマスクにおける他の全てのピクセル値は１（前景、組織）に設定される。

同様に２２において、バイナリマスクを除去するために、形態学的クロージングが適用される。形態学的クロージングは必須ではないが、不要な画像構造を空間的にフィルタ除去することによって、得られる結果が改善される。形態学的クロージングは、形状及び配置に基づいた標準的な画像処理技術であり、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ著Ｕｍｂａｕｇｈ Ｓ．Ｃ．「Ｃｏｌｏｕｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」（１９９８年）に公表された。あるサイズ及び形状のフィルタを画像に適用し、画像特徴部の膨張（拡張）又は縮退（収縮）を生成し、凹凸を除去する。形態学的クロージング演算は、膨張の後に縮退が続くものとして定義される。形態学的演算は、フィルタカーネルを画像全体で一度に１ピクセル位置だけ動かすことによって、画像に適用される。本実施例において、以下の式（１）に示す円への近似である３ｘ３フィルタカーネル（９成分）を使用する。

このフィルタカーネルは、概念上一度に９つの画像ピクセルを覆い、好都合なことに、最初の３列のうちの最初の３行のピクセルを有する画像の左上コーナーで始まる。膨張を生成するために、非ゼロフィルタカーネル成分によって覆われている４つの画像ピクセルのいずれか１つ又はそれ以上が値１を有する場合、フィルタ出力は１に設定され、これは、ＯＲ演算を使用して実行される加算に相当する。次に、フィルタカーネルは、右に１ピクセル動かされ、この処理が繰り返される。画像の右手端に達すると、次いで、フィルタカーネルは１ピクセル下に動かされ、この処理は、画像全体がこの方法で処理されるまで反復される。縮退は膨張の双対であり、ここで、非ゼロフィルタカーネル成分によって覆われている４つの画像ピクセルのいずれかの１つ又はそれ以上が、値０を有する場合、フィルタ出力は０に設定され、これは、ＡＮＤ演算を使用して実行される加算に相当する。縮退は、膨張と同じようにして画像全体に対して繰り返される。

次に、形態学的クロージング演算から得られた処理済み画像は、その成分の各々を１から減算することによって反転され、従って、背景ピクセルは１になり、前景ピクセルは０になる。同じ形態学的クロージング演算が繰り返され、新しい結果が反転されて、元の形式に戻り、すなわち背景ピクセルが０になり、前景ピクセルが１になる。これらの２つの段階は、背景及び前景の両方に存在する穴を低減する効果を有し、これらの段階から得られた画像をマスクＡと呼ぶ。

２４において、元の入力ＲＧＢ画像の緑色面Ｇから、エントロピ画像が計算される。エントロピは、ランダム性の尺度であり、分布したピクセル値がよりランダムであるほど、エントロピがより大きい。一様な画像領域（組織がない空きのスライドガラスの領域の画像など）は、組織のテクスチャがかなりある領域よりも低いエントロピを有する傾向がある。画像は、最初にその元の直線寸法の１／６にサブサンプリングされ（例えば、１４７６ｘ１１６０ピクセルはサブサンプリングされて２４６ｘ１９３にされる）、エントロピは、画像内の７ｘ７ピクセルのウィンドウに関して計算される（以下で説明する）。このウィンドウは、画像全体にわたって一度に１ピクセル位置だけスキャンされ、各位置においてエントロピが計算される。このウィンドウは、画像全体にわたって完全にスキャンされると、１ピクセル位置だけ下に動かされ、再度画像全体にわたりスキャンされる。この処理は、画像全体がこのようにスキャンされるまで反復される。

各ピクセル位置において、ピクセル輝度の周波数を示すヒストグラムが得られ、例えば、８ビットピクセルを有する画像では、ヒストグラムは、０〜２５５の２５６の輝度値を備えた横軸と、各輝度値を備えたピクセル数の縦軸とを有する。従って、ヒストグラムは、２５６成分を有するベクトルとして扱われ、このベクトルは、一般のすなわち輝度ｉを有するピクセル数であるｉ番目の非正規化成分ｕ_i（ｉ＝０〜２５５）を有する。次に、このヒストグラムは、各非正規化成分ｕ_iをヒストグラムの非正規化成分ｕ_iの和、すなわち和Σｕ_iで除算することによって正規化され、この正規化は、各ｕ_iをそれぞれの正規化要素ｈ_iに変換し、次いで、エントロピＥが式（２）から計算される。

ウィンドウが画像全体にわたって下方に移動し、エントロピ測定の完全なセットが完了すると、エントロピマスクを生成するための閾値であるエントロピ画像が得られる。エントロピ画像ピクセルが、１．０などの閾値よりも大きい場合には、マスクは、前景値１に設定され、閾値よりも大きくないエントロピ画像ピクセルは、背景値０に設定される。この処理の間、エントロピ画像及びエントロピマスクの両方は、元の完画像全体サイズまで、すなわち、サブサンプリングする前の画像までアップサンプリングされる。ここではエントロピマスクをマスクＢと呼ぶ。

スライド画像を得るのに使用される顕微鏡は、外側画像領域よりも中央画像領域がより明るい状態で変化する可能性がある画像照明を提供し、実験から、この変化は、極端な場合には３５％〜５０％になり、その照明がスライドの４つのコーナーに向かって大きく低下していることが観察された。この問題は、段階２６において、画像処理を既定領域に制限するビネットとして作用する楕円形画像マスクＶを生成することによって改善される。ビネットマスクＶのピクセルは、式（３）を用いてｖ_xy値から計算される。

ここで、ｘ及びｙは、画像の中心の原点（０，０）に対するデカルトピクセル座標位置であり、ｒ₁及びｒ₂は、楕円形マスクＶの半長軸及び半短軸であり、これらの軸は、ビネットを行なう前に対応する矩形画像の高さ及び幅寸法の４２．５％になるように好都合に設定され、これは、各画像の直線寸法の少なくとも最外部１５％が処理から除外されることを意味する。式（３）の右辺の全パラメータは、ピクセルの数で表現されている。式（３）がｖ_xy値を１以下にすると、位置（ｘ，ｙ）での楕円形マスクＶのピクセルは、前景を示す１に設定され、式（３）がｖ_xy値を１よりも大きくすると、位置（ｘ，ｙ）での楕円形マスクＶのピクセルは、背景を示す０に設定され、このマスクは後でマスクＣと呼ぶ。

２８において、同時生起、エントロピ、及び楕円形ビネットのマスクＡ、Ｂ及びＣは、それぞれ、式（４）で示した論理演算を使用して単一のマスクＤに結合される。

ここで、∧は、論理ＡＮＤ関数を意味し、∨は、論理ＯＲ関数を意味する。マスクＡ、Ｂ及びＣのこの組合せを使用することは実際には必須ではなく、Ｃは除外することができ、Ｄの代わりにＡ又はＢのいずれかは単独で使用することができる。しかしながら、マスクＡ、Ｂ及びＣが生成され、タイル選定での使用のために結合される場合には、得られる結果が改善されることが経験的に示されている。

マスクＤは、病理組織分析用のスライド領域を示すために使用され、病理学目的に許容できる組織を含むスライド領域を定める。式（４）に示すように、論理ＯＲは、マスクＡとＢとの間に適用され、これは、同時生起とエントロピ技術の両方が、考慮すべき可能性のある関心スライド領域を単独で示すことができることを反映している。従って、Ａ又はＢのいずれかにおけるピクセルが１である場合には、結果として得られるピクセルは１になるはずである。次に、ＡとＢとの論理和の結果はマスクＣと論理積をとられ、これは、マスクＣによって表現される楕円形ビネット内の領域に制限される考慮事項をもたらす。

３０において、元のＲＧＢ画像のビネット領域Ｃ内から無作為に選定されたタイルのセットを生成するタイル選定の処理が導入される。無作為な処理は必須ではないが、既定の位置からの又は規則的な間隔に基づいた選定と比較して、アーティファクトに対してより堅牢であることが経験的に分かっている。無作為処理は、そのかなり小さいセットが、後で説明される基準に基づいて引き続き選定されることになるタイルの極めて大きいセットを生成する。最初に選定されたタイルの数は重要ではなく、経験的に、タイルの好適な数は、有糸分裂で１７５個、細管で７０個、並びにＣ−ｅｒｂ−２、ＥＲ及びＰＲの各々では１２５個であることが分かっている。多形性でのタイルは、後に説明するように、有糸分裂用に選定されたタイルの最終セットから選定される。

無作為の選定処理は、各々が０〜１の範囲の無作為な数のペア（ｘ，ｙ）のセットを生成し、これは次に、関連する画像寸法に応じてスケーリングされ、すなわち、画像の横ピクセル（ｘ）又は縦ピクセル（ｙ）の数が乗算される。各ペア（ｘ，ｙ）は、画像内の位置（ｘ，ｙ）におけるタイルの中心と見なされる。無作為の選定処理は、既定数のペアが選定されるまで反復する。この処理は、選定されたペアが特定の基準に従うことを保証し、すなわち、このペアは適正な分布を示し、画像のエッジにあまり近接しないようにすべきであり、又は、当初は限定的な重複（２０％）は許容されるが、あまり過大に重複しないようにすべきである。従来技術の手作業選定では、最大で６０％までのタイル重複が生じる可能性がある。既に生成されたものと比べて、基準セットに適合できないあらゆるペア（ｘ，ｙ）は、不適切として排除され、すなわち、基準は以下の式（５）で設定される。

式（５）において、ｘ及びｙは無作為に生成された数のペア、ｔ_xi及びｔ_yiは現在許容されている無作為な数のセットのｉ番目のペア、ｗはタイルの必要幅、ｈはタイルの必要高さ、Ｗは入力画像の幅、Ｈは入力画像の高さ、ｒ₁及びｒ₂は、楕円形ビネットマスクＣの半長軸及び半短軸である。この処理の終了時の出力は、組織学的好適な可能性のあるものとして選定されたタイルの中心を示す座標（ｘ，ｙ）ペアのセットとなる。

３２において、処理１４は、乳癌グレーディング又はタンパク質発現分析が行われるかどうか応じて分岐する。他の特定の病理組織分析処理を後続の段階３４〜４２と並行して導入し、関連する特徴尺度の異なるセットを計算し、従って、処理１４が他のアプリケーションを対象とすることができるようにする。

乳癌グレーディングに関して、３４で、元のＲＧＢ画像は、赤色／緑色／青色から異なる画像空間である色相、彩度、明度ＨＳＶに変換される。この変換を現在選定されているタイルの画像データに制限することができるが、しかしながら、極めて多くのタイルが選定され、タイルの一部は重複し、少なくとも部分的に同じデータの変換を必要とする可能性がある。従って、タイルに対する変換を制限することは必ずしも有利ではなく、この実施例では、元のＲＧＢ画像全体が変換される。

ＲＧＢからＨＳＶへの変換は必須ではなく、変換なし又は別の変換を用いることができるが、ＲＧＢからＨＳＶに変換すると、より重要な画像特徴部を更に強調することによって得られる結果が改善される。これは、「Ｖｉｄｅｏ Ｄｅｍｙｓｔｉｆｉｅｄ」第２版、ＨｉｇｈＴｅｘｔ Ｐｕｂｌｉｃａｔｉｏｎｓ、Ｓａｎ Ｄｉｅｇｏ（１９９６年）Ｋ．Ｊａｃｋによって説明されている。実際には、明度Ｖ（すなわち明るさ）は、染色の変化及びスライド全体の厚さ、並びに画像を生成するのに使用されるカメラレンズによる潜在的なビネットによって影響を受ける傾向がある。その結果、この実施例では、Ｖ成分は無視され、すなわちＶ成分は計算されず、色相（すなわち色）及び彩度値Ｈ及びＳが強調される。Ｈ及びＳは、以下のように２つのＲＧＢ画像の各ピクセルに関して計算される。

式（８）〜式（１０）は、ピクセルの各色を、その等級と当該ピクセルの３色等級の最大等級との間の差に変換し、この差は、（Ｒ，Ｇ，Ｂ）の最大値と最小値の間の差によって除算される。
彩度Ｓは以下のように設定される。

色相（Ｈ）に関する計算は、以下の通りである。式（６）から、Ｍは、Ｒ、Ｇ及びＢの少なくとも１つに等しくなくてはならない。

上述したように、明度Ｖはこの実施例では使用されないが、Ｖが使用されたとすると、（Ｒ，Ｇ，Ｂ）の最大値に設定されるはずである。

図４に図式的に示した０〜３５９の３６０個の値を有するベクトルである、ヒストグラムが色相Ｈに関して生成される（上述の通り）。このヒストグラムは、２つの極大値を有し、これらの極大値は、該ヒストグラムの低色相（０〜１７９）領域７２の明極大点すなわち極大値７０、及び高色相（１８０〜３５９）領域７６の暗極大点すなわち極大値７４である。明極大点７０及び暗極大点７４が生じる位置又は色相値は、この実施例においては、既定の色相位置（実験によって選定された２５０）から外側を捜すことによって配置され、これらの極大値は、「明極大位置」及び「暗極大位置」として記録される。これに加えて、暗極大点の始点位置及び終点位置である位置７８及び８０が記録される。これらの点は、元のＲＧＢ画像が、色相範囲の全３６０度を占めることができないことに起因して求められる。上部分の暗極大点終点位置の絶対値から暗極大点位置の絶対値を差し引いた値が１２よりも小さい場合、色相ヒストグラムは、３６０度方向に偏っていると考えられ、次いで、以下の式（１９）及び式（２０）で定義された量ｒ_min及びｒ_maxが計算される。

上部分の暗極大点終点位置の絶対値から暗極大点位置の絶対値を差し引いた値が、１２よりも小さくない場合、ｒ_min及びｒ_maxは、以下の式（２１）及び式（２２）で定義され計算される。

式（１９）〜式（２２）において、ｒ_minは範囲最小値であり、ｒ_maxは範囲最大値である。この範囲情報を色相値及び彩度値と共に使用して、元の入力（Ｒ，Ｇ，Ｂ）画像の「明ピンク色」位置、「暗ピンク色」位置及び「白色」位置にほぼ対応する、３つの新しいマスクが生成される。これらの新しいマスクは、以下の式（２３）において、それぞれの条件を使用して作成される。

ここで、ｈは色相画像、ｓは彩度画像、ｌｐは明ピンク色、ｄｐは暗ピンク色、ｗｔは白色である。ｌｐ、ｄｐ又はｗｔに関してそれぞれの条件を満足する場合、ｌｐ、ｄｐ又はｗｔは、適切であるとして１に設定され、満足しない場合には、０に設定される。この演算は、画像ｈ及びｓにおいて同様に配置された（ｉ番目の）ピクセルのペアを使用して画像全体にわたり画素毎に実行される。

３６において、乳癌に関連する画像特徴部の尺度ｆｍが、段階３０で選定されたタイルの各々について計算され、この計算には、以下の式（２４）を使用する。

ここで、Ｅは、式（２）を使用して計算され且つ現在のタイル内の全データ点にわたって平均化されたエントロピ、Σｌｐ、Σｄｐ及びΣｗｔは、それぞれ明ピンク色、暗ピンク色及び白色の画像内のピクセルにわたる総和、各画像はピクセル数として表現された面積Ａを有する。従って、ｘ、ｙ及びｚは、評価される現在のタイル内に存在する成分ｌｐ、ｗｔ及びｄｐのそれぞれの百分率を示している。

式（２４）内の他のパラメータは以下の通りである。μ₁、μ₂及びμ₃は０に設定され、σ₁＝０．２５、σ₂＝０．２、σ₃＝０．１、ｗ₁＝０．７及びｗ₂＝０．３に設定され、α、β及びδは、それぞれのガウス関数Ｃ₁、Ｃ₂及びＣ₃の倍率、各場合において最大関数値が１．０になることを保証するように選択され、すなわち、α＝１．５９５、β＝１．９９４及びδ＝３．９８９である。現在のタイルに関し、図３の段階２８で生成された結合マスクＤの対応する部分からの背景点について、２５％より大きい百分率が決定される場合、特徴部尺度ｆｍは、例えば、タイルが組織を十分に示していないと考えられるので０に設定され、すなわち、この尺度は、１片の組織のエッジにまで広がる可能性がある。

ここで、ステロイド又はタンパク質分析に関連する図３の他のブランチ３８〜４２に戻り、３８で、元のＲＧＢ画像が、青色及び緑色画像平面から導き出されるシアン色画像を計算するのに使用され、すなわち、各ピクセルに関して、シアン色輝度Ｃは、Ｃ＝（２ｘＢ＋Ｇ）／３、すなわち、それぞれのピクセルの緑色（Ｇ）輝度を、青色（Ｂ）輝度の２倍に加えて、結果として得られた総和を３で除算して計算される。全ピクセルに関して繰り返されると、これによって、シアン色の画像又は画像平面がもたらされる。シアン色は、従来の標本の化学染色によって生成されるセル境界色の茶色に対する補色である理由から使用される。代わりに青色画像面を使用することができるが、通常はシアン色画像と同じ程度に良好な結果をもたらすものではない。異なる色の染色が使用される場合には、望ましくは、関連の補色画像が選定されることになる。次に、ソーベルエッジフィルタが、シアン色画像面に適用され、このフィルタは、Ｋｌｅｔｔｅ Ｒ．及びＺａｍｐｅｒｏｎｉ Ｐ．著「Ｈａｎｄｂｏｏｋ ｏｆ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｏｐｅｒａｔｏｒｓ」、Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ（１９９５年）で公表されている標準画像処理技術である。

癌グレーディングに関して説明した場合と同様に、上述のシアン色／ソーベルのシアン色変換は、現在選定されたタイルの画像データに制限することができる。しかしながら、これを行うことは必ずしも有利ではなく、この実施例においては、元のＲＧＢ画像全体が変換される。

ソーベルエッジフィルタは４０で適用され、このフィルタは、２つの３ｘ３の数値配列Ｓ_P及びＳ_Qを含み、これらの各々は、画像内のピクセルの連続する３ｘ３配列と畳み込まれる。

段階４０は、最初に、シアン色画像の左上手コーナーにおいて第１のシアン色３ｘ３ピクセル配列を選択する。行ｉ及び列ｊの一般シアン色ピクセルをＣ_ijで指定し、画像の左上手コーナーは、Ｃ₁₁〜Ｃ₁₃、Ｃ₂₁〜Ｃ₂₃及びＣ₃₁〜Ｃ₃₃のピクセルからなる。次に、Ｃ_ijが３ｘ３シアン色ピクセル配列の中にある時、Ｃ_ijは、Ｓ_P配列内に配置されたそれぞれのＳ_Pの数字を乗算する。すなわち、Ｃ₁₁〜Ｃ₁₃は、それぞれ、１、２及び１を乗算し、Ｃ₂₁〜Ｃ₂₃は０を乗算し、Ｃ₃₁〜Ｃ₃₃は、それぞれ−１、−２及び−１を乗算する。こうして形成された積は、代数的に加算されて値ｐを得る。

ｐの値は、Ｃ₂₂の行のいずれかの側である第１行と第３行との間でゆっくりと変化するピクセル値については相対的に低く、これらの行の間で迅速に変化するピクセル値に対しては相対的に高く、その結果、ｐは、行にわたる画像エッジ鮮鋭度の指標を提供する。この処理は、Ｓ_PをＳ_Qに置き換える以外は同じピクセル配列を使用して繰り返され、値ｑが得られ、ｑは、Ｃ₂₂の列のいずれかの側にある第１列と第３列との間でゆっくりと変化するピクセル値に対して相対的に低く、これらの列の間で迅速に変化するピクセル値に対しては相対的に高い。従って、ｑは、列にわたる画像エッジ鮮鋭度の指標を提供する。次に、ｐ及びｑの平方和の平方根、すなわち、

が計算され、これは「エッジ強度」として定義され、変換されたシアン色画像内のＴ₂₂（３ｘ３配列の中心においてピクセルＣ₂₂を置き換えた）になる。又、エッジの「位相角度」をｔａｎ^-1ｐ／ｑとして導出することが可能であるが、これは、本実施例においては必要とされない。

変換された画像内の一般ピクセルＴ_ij（すなわち、行ｉ、列ｊにおいて）は、シアン色画像のＣ_i-1,j-1〜Ｃ_i-1,j+1、Ｃ_i,j-1〜Ｃ_i,j+1及びＣ_i+1,j-1〜Ｃ_i+1,j+1から導き出される。式（２５）のソーベルフィルタの中央行及び列は、それぞれ０であり、他の係数は１及び２であるので、Ｔ_ijに関するｐ及びｑは、以下のように計算することができる。

ｉ＝ｊ＝２から始めると、ｐ及びｑは、行の最後に達するまでｊが１だけ増分され、並びにこうした各配列の評価式（２６）及び（２７）によって連続する３ｘ３ピクセル配列について計算され、次いで、ｊが１だけ増分され、この処理は、画像全体が変換されるまで第２行その他に関して繰り返される。この変換された画像は、以下では「ソーベルのシアン色」画像又は画像平面と呼ぶ。

ソーベルフィルタは、両側の一方又は他方上に隣接するピクセルがない画像エッジにおけるピクセルについて、すなわちＮ行Ｍ列のピクセル配列においては値を計算することができず、エッジピクセルは、最上行及び最下行並びに第１列及び最終列にあり、又は変換後の画像ピクセルＴ₁₁〜Ｔ_1M、Ｔ_N1〜Ｔ_NM、Ｔ₁₁〜Ｔ_1N及びＴ_1M〜Ｔ_NMにある。ソーベルフィルタリングの規約によって、これらの端部ピクセルは０に設定される。

４２において、ステロイド又はタンパク質分析におけるそれぞれの特徴部尺度ｆ_mが、以下の式（２８）により図３の段階３０において選定されたタイルの各々について計算される。

ここで、Ｅは式（２）を用いて計算され且つ評価される現在のタイル内の全ピクセルにわたって平均化されたエントロピであり、Ａは、タイル面積（現在のタイル内のピクセルの数）であり、ｃ及びｃｅは、一般な又はそれぞれｊ番目のピクセルｃ_j及びｃｅ_jを有するシアン色画像及びソーベルのシアン色画像、μ_c及びμ_ceは、それぞれ、シアン色画像及びソーベルのシアン色画像の平均値、σ_c及びσ_ceは、それぞれ、それらの画像の標準偏差である。Ｃ_peについての式は、各タイルについて順番に、すなわち、各場合における現在のタイルについて、該タイルのシアン色画像及びソーベルのシアン色画像ｃ及びｃｅ内の全ての関連の同様に配置された又はｊ番目のピクセルｃ_j及びｃｅ_jが、それぞれの閾値Ｔ₁及びＴ₂と比較されることを意味しており、Ｔ₁より小さい各ｃ_jが、利用可能なＴ₂より大きい各ｃｅ_jと論理和をとられ、各タイルについての論理和演算の結果が総和される。次に、総和演算の結果は、タイル面積Ａによって除算され、現在のタイルに関する特徴部尺度への寄与であるＣ_peを提供する。これは、現在選定されている全タイルに関して繰り返される。

平均値及び標準偏差は、以下のように計算される。便宜上、命名法の変更が行なわれ、ｉ及びｊを単独ピクセル指数ｋに置き換え、すなわち、ｉ，ｊ＝１，１〜Ｎ，Ｍをｋ＝１〜ＮＭに置き換える。ここで、Ｎ及びＭは元の画像寸法であり、この指標ｋは、２次元画像を画像の連続する行から構成された単独の複合ラインとして扱う。以下の式（２９ａ）〜式（３０ｂ）は、シアン色画像及びソーベルのシアン色画像内のピクセルｘ_k及びｘ_keの平均値μ_c及びμ_ce並びに標準偏差σ_c及びσ_ceを計算するのに使用される。

この点において、ループ３４〜３６又はループ３８〜４２のどちらが実施されるかに応じて、３６で癌グレーディング特徴部尺度のセットが導き出されるか、或いは、４２においてステロイド／タンパク質発現分析特徴部尺度のセットが導き出されるかのいずれかである。評価される各タイルにそれぞれ１つの特徴部尺度がある。いずれの場合においても、導き出された特徴部尺度のセットは、その各々がそれぞれのタイルについての特徴部尺度であるエントリ（ベクトル成分）を有するベクトルとして取り扱われる。４４において、これらのベクトル成分は、「クイックソート」と呼ばれるものを用いて（但し、いずれのソート技術も使用することができる）ソートされる。クイックソートは、Ｋｌｅｔｔｅ Ｒ．、Ｚａｍｐｅｒｏｎｉｕ Ｐ．著「Ｈａｎｄｂｏｏｋ ｏｆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｏｐｅｒａｔｏｒｓ」、Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ（１９９６年）に公表された公知の技術であり、以下では説明されない。次に、このソートされたベクトル成分特徴部尺度は、大きさを降順にランク付けされ、最大値が最初に現れるようにする。ソート及びランク付けは必須ではないが、好都合である。

４６において、それぞれソートされ且つランク付けされた特徴部尺度であるベクトル成分を有する、累積分布関数ベクトルｃが導き出される。累積分布関数ベクトルｃは、単調増加しているベクトル成分を有するものであるが、特徴部尺度がソートされランク付けされると、このベクトルは、その成分が最大値を有する最小番号の成分ｃ₁から単調減少するように計算される。従って、ベクトル成分は、逆順で評価され、すなわち、累積分布関数ベクトルｃの最終ベクトルエントリ又はベクトル成分ｃ_nは、特徴部尺度のソートされ且つランク付けされたベクトルの最終成分ｆ_mnに等しいように設定される。次に、累積分布関数ベクトルｃの連続する各成分ｃ_i（ｉ＝ｎ−１〜１）は、式（３２）に示すように、その前の成分ｃ_i+1と、ソートされ且つランク付けされた特徴部尺度ベクトルｆの現在の成分ｆ_iとの和に等しいように設定される。

ここで、ｎはベクトルの成分の数であり、ｉ＝ｎ−１，ｎ−２，．．．．．．，１。

４８において、確率的サンプリングが適用され、これは、Ｇｏｌｄｂｅｒｇ Ｄ．Ｅ．「Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ ｉｎ Ｓｅａｒｃｈ、Ｏｐｔｉｍｉｓａｔｉｏｎ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」、Ａｄｄｉｓｏｎ Ｗｅｓｌｅｙ（１９８９年）による遺伝的アルゴリズムにおける無作為選定のために開発された公知の技術である。この技術はまた、図５の右上に符号１００で示したルーレットホイール選定と呼ばれ、すなわち、ホイールの１０２のような概念的に個々のスロットがその特徴部尺度に従って重み付けされ、よって、より大きなスロットをもたらすことになるスロットが、選定処理中に選定される尤度がより大きくなる。簡単な実施例でこれを説明すると、それぞれ重み０．２、０．３、及び０．５を有する３つの特徴値のみが存在する場合、これらには０〜０．２、０．２１〜０．５、及び０．５１〜１の区間が割り当てられ、０．２と０．２１の間、及び０．５と０．５１との間の値はいずれも切り上げられることになる。従って、区間長は重みに比例する。乱数発生元は、０から１の間の数を選定し、第１の値、第２の値、又は第３の値は、乱数が第１の区間、第２の区間又は第３の区間に現れるか否かに応じて選定される。従って、選定は無作為であるが、より大きな重みの特徴部尺度はより大きな選定確率を有する。

現在評価されているタイルのセットの部分集合は無作為に選定され、該部分集合は、このセットにおける他のタイルに比べて病理組織的測定目的に好適なより高い確率を有する。この段階において選定されるタイル数は重要ではない。ここでも同様に、無作為選定は必須ではないが、得られる結果が改善すると思われる。

実験から、次のタイルの数、すなわち有糸分裂で２０個、細管で７個、Ｃ−ｅｒｂ−２で５個、ＥＲ及びＰＲの各々で５個が選定され、多形性タイルは、以下で説明するように有糸分裂タイルの最終セットから選定される。標準的なライブラリ関数を使用して固有擬似乱数のセットが生成される。Ｐｒｅｓｓ Ｗ．Ｈ．、Ｔｅｕｋｏｌｓｋｙ Ｓ．Ａ．、Ｖｅｔｔｅｒｌｉｎｇ Ｗ．Ｔ．、Ｆｌａｎｎｅｒｙ Ｂ．Ｐ．著「Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｉｅｓ ｉｎ Ｃ ：ｔｈｅ ａｒｔ ｏｆ ｓｃｉｅｎｔｉｆｉｃ ｃｏｍｐｕｔｉｎｇ」、Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ（１９９２年）、及びＫｎｕｔｈ Ｄ．Ｅ．著「Ｔｈｅ Ａｒｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍｍｉｎｇ」、ｖｏｌ．２、Ａｄｄｉｓｏｎ Ｗｅｓｌｅｙ（１９８１年）を参照されたい。このような数の生成は、公知技術によるものであり、より詳細には説明しない。擬似乱数は、２つの数が同じではなく、生成処理が確実に終了するように生成が制限され、実験によりこの制限が５０回の試行に設定されるようにして生成される。

再度図５を参照すると、累積分布関数ベクトルｃは、ベクトル成分の大きさの降順で予め割り当てられたそれぞれのタイル指数ｘに関する成分で曲線１２０としてプロットされて図示されている。累積分布関数ベクトルｃの各成分は、それぞれ特徴部尺度であり、これらの成分はタイル指数ｘに関して降順でソートされるので、曲線１２０は単調減少している。上述のように選定された各擬似乱数はｙ軸位置として扱われ、すなわち、矢印１２２及び１２４によって示されているように、該乱数を用いて累積分布曲線１２０上の点に指数を付与し、当該ｙ軸位置を有する曲線上の点についてのタイル指数又はｘ軸値で示されるタイルが識別される。生成処理の終りにおいては、選定されたタイルの部分集合を示すタイル指数のセットが得られる。

５０において、タイルの選定された部分集合は、段階４４において説明したように、これらの特徴部尺度ｆ_mに従ってソートされ、次いでランク付けされて、最大ｆ_m値が最初に現れるようにｆ_mの降順で指数が与えられる。ソート及びランク付けは必須ではないが、好都合である。５２において、選定された部分集合のタイルの各々について、選定された部分集合内の他の全タイルｊと比較されるときには、指数番号ｉを有する現在のタイルの重複の量ｏｖ_iの見積もりが式（３３）を使用して行われる。

ここで、ｘⁱ _cは、ｘ（高さ）方向におけるタイルｉの中心の座標、ｘ^j _cは、その方向におけるタイルｊの中心の座標、ｙⁱ _cは、ｙ（幅）第２方向におけるタイルｉの中心の座標、ｙ^j _cは、第２方向におけるタイルｊの中心の座標、ｈはタイルの高さ、ｗはタイルの幅、Ｎは、選定された部分集合内のタイルの数である。

５４において、式（３４）を使用して各タイルの特徴部尺度（段階３６又は段階４２から）及び重複測定値（段階５２から）に基づいて、新しい尺度Ｆ_iが得られる。

ここで、ｆ_mi及びｏｖ_iは、ｉ番目のタイルの特徴部尺度及び重複測定値である。尺度Ｆ_iは、段階４８から選定されたタイルの各々に関して計算される（例えば、有糸分裂で２０個、細管で７個、並びにＣ−ｅｒｂ−２、ＥＲ及びＰＲの各々で５個）。特徴部尺度を最大にし、重複の量を最小にすることが望ましく、タイル間の重複は許容できるときには重複の最小化は必須ではないが、後続の組織学的パラメータの測定において冗長性が低減されることになる。特徴部尺度を最大化し重複を最小化するために、式（３４）の右辺の負の特徴部尺度−ｆ_miと正の重複＋ｏｖ_iとの組合せについての最小値が導出される。実際には、最小値のセットが配置され、本実施例では、有糸分裂については２０個のうちの１０個が選定され、細管については７個のうちの２個、並びにＣ−ｅｒｂ−２、ＥＲ及びＰＲの各々については５個のうちの２個が選定され、多形性に関しては、２０個の有糸分裂タイルから２個が選定された。次いで、病理学者による後続の組織分析又は自動化技術についての本発明によるタイルの自動化選定が完了する。しかしながら、これらの最小値の数は経験から得られるものであり、本発明の技術は、他のタイルの数にも等しく有効であることは強調される。有糸分裂について選定されたタイルの数は、例えば、タイルを得るのに使用される顕微鏡の視野に関係している。「Ｐａｔｈｏｌｏｇｙ Ｒｅｐｏｒｔｉｎｇ ｏｆ Ｂｒｅａｓｔ Ｄｉｓｅａｓｅ」、ＮＨＳＢＳＰ Ｐｕｂｌｉｃａｔｉｏｎ ｎｏ５８（２００５年１月）において言及されているように、１０個よりも多い有糸分裂タイルを選定することができる。

前述の実施例において、本発明の自動化処理により評価されたタイルの数は、有糸分裂では１７５個、細管では７０個、並びにＣ−ｅｒｂ−２、ＥＲ及びＰＲの各々については１２５個であった。最終的に、組織学的評価のために選定されたタイルの数は、有糸分裂では１０個、細管、Ｃ−ｅｒｂ−２、ＥＲ、ＰＲ及び多形性の各々については２個であった。選定されたタイルのこれらの数は、元のスライド画像全体から得ることができる２５６個の重複のないタイルよりも極めて少ない。本発明のこの実施例は、評価されるタイルの６％よりも小さく、平均２．９％までタイルの数の削減を達成し、これは、組織学的評価の負担を大幅に軽減すると同時に、利用可能なタイルの良好な試料の調査を保証する。

本発明の適用には、
ａ）腫瘍と、
ｂ）細胞質又は細胞核又は支質、壊死、線維芽細胞、腺、腺管、皮膚、リンパ球、線維、管腔、弾性組織などの細胞の様々な部分の異常と、
ｃ）製剤、創薬における使用、すなわち詳細分析のための組織切片の特定、生物マーカ、及びタンパク質、ステロイド、又は他の種類の受容体のための創薬と、
が含まれる。

上記の説明において記載された処理は、キャリア媒体において具現化され且つ従来のコンピュータシステム上で動作する適切なコンピュータソフトウェアによって評価することができる点は明らかである。このようなソフトウェアは、画像全体におけるタイルの自動選定を実施するためのコンピュータ装置の動作を制御するコンピュータ可読命令を収容するコンピュータ可読媒体を備えた製品の形態とすることができ、該コンピュータ可読命令は、本明細書で前述した処理の段階を実施するコンピュータ装置を制御する手段を提供する。この性質からなるソフトウェアは、記載の処理は公知の数学的処理であるので、発明を必要とせずに熟練したプログラマーであれば実施が簡単である。従って、このようなソフトウェア及びコンピュータ装置又はコンピュータシステムは詳細には説明しない。

コア生検の切片位を含む組織試料を有する顕微鏡スライドの低倍率画像と、更に評価するために組織の領域の選定を示している概略図である。 本発明の処理のブロック図である。 図２における段階を実施する処理をより詳細に示すブロック図である。 図３の色画像変換段階において得られる色相ヒストグラムの概略図である。 図３に示す処理において使用する無作為選定処理の図である。

符号の説明

２ 低倍率の顕微鏡スライド画像
４ コア生検標本組織
６ 矩形画像領域

Claims (27)

1. 画像全体内の画像領域（「タイル」）の選定を自動化する方法であって、
   ａ）前記画像全体の同時生起行列及び前記画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性に基づいてタイルを識別する計算画像を生成する段階と、
   ｂ）前記計算画像の中で関心のある特性を示す可能性を有するタイルの事前部分集合を選定する段階と、
   ｃ）前記事前部分集合内のタイルに関して、色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す段階と、
   ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、前記事前部分集合からタイルの別の部分集合を選定する段階と、
   を含み、
   前記タイルの事前部分集合から別の部分集合を選定する段階が、過度のタイル重複の回避を考慮しており、
   前記計算画像を生成する段階が、同時生起行列と、エントロピ画像と、前記画像全体の内部領域に比べて低照度である外部領域を前記計算画像から除外するよう構成されたビネットマスクとの組合せを使用する、
   ことを特徴とする方法。
2. 前記計算画像を生成する段階が、前記同時生起行列及び前記エントロピ画像を閾値処理してこれらを２進化する段階を含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記画像全体が、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）画像であり、前記計算画像を生成する段階が、前記画像全体の緑色面を使用して実施される、
   ことを特徴とする請求項１に記載の方法。
4. 前記計算画像を生成する段階が、前記画像全体の同時生起行列を少なくとも使用し、関心のある画像特徴部を含むタイル領域（前景）及びこのような特徴部の無いタイル領域（背景）の両方の空間フィルタリングのために、前記計算画像に対して形態学的クロージング演算を適用する段階を含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記事前部分集合を選定する段階が、無作為処理によって実施される、
   ことを特徴とする請求項１に記載の方法。
6. 前記タイルの事前部分集合から別の部分集合を選定する段階が、無作為処理によって実施される、
   ことを特徴とする請求項１に記載の方法。
7. 癌グレーディングにおいて、色相／彩度／明度の変換を画像データに適用する段階と、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得る段階と、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算する段階と、
   を含む請求項１に記載の方法。
8. ステロイド／タンパク質発現分析において、画像データを変換してシアン色画像データを提供する段階と、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算する段階と、
   を含む請求項１に記載の方法。
9. 前記タイルの事前部分集合から別の部分集合を選定する前記段階が、特徴部尺度と、非選定相当部よりも大きな（符号は無視）タイル重複との間の差異を示すタイルを選定することによって実施される、
   ことを特徴とする請求項１に記載の方法。
10. 画像全体内のタイルの自動化選定のための装置であって、
    ａ）前記画像全体の同時生起行列及び前記画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性に基づいてタイルを識別する計算画像を生成する手段と、
    ｂ）前記計算画像の中で関心のある特性を示す可能性を有するタイルの事前部分集合を選定する手段と、
    ｃ）前記事前部分集合内のタイルに関して色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す手段と、
    ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、前記事前部分集合からタイルの別の部分集合を選定する手段と、
    を含み、
    前記タイルの事前部分集合から別の部分集合を選定する手段が、過度のタイル重複を回避するように構成されており、
    前記計算画像を生成する手段が、同時生起行列と、エントロピ画像と、前記画像全体の内部領域に比べて低照度である外部領域を前記計算画像から除外するよう構成されたビネットマスクとの組合せを使用する、
    ことを特徴とする装置。
11. 前記計算画像を生成する前記手段が、前記同時生起行列及び前記エントロピ画像を閾値処理してこれらを２進化することを実装する、
    ことを特徴とする請求項１０に記載の装置。
12. 前記画像全体が、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）の画像であり、前記計算画像を生成する手段が、前記画像全体の緑色面から前記計算画像を導き出す、
    ことを特徴とする請求項１０に記載の装置。
13. 前記計算画像を生成する手段が、前記画像全体の同時生起行列を少なくとも使用し、関心のある画像特徴部を含むタイル領域（前景）及びこのような特徴部の無いタイル領域（背景）の両方の空間フィルタリングのために、前記計算画像に対して形態学的クロージング演算を適用する、
    ことを特徴とする請求項１０に記載の装置。
14. 前記事前部分集合を選定する手段が、無作為選定処理を使用する、
    ことを特徴とする請求項１０に記載の装置。
15. 前記タイルの事前部分集合から別の部分集合を選定する手段が、無作為選定処理を使用する、
    ことを特徴とする請求項１０に記載の装置。
16. 癌グレーディングにおいて、色相／彩度／明度の変換を画像データに適用する手段と、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得る手段と、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算する手段とを含む、
    ことを特徴とする請求項１０に記載の装置。
17. ステロイド／タンパク質発現分析において、画像データを変換してシアン色画像データを提供する手段と、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算する手段と、
    を含む請求項１０に記載の装置。
18. 特徴部尺度と、非選定相当部よりも大きな（符号を無視）タイル重複との間の差異を示すタイルを選定することによって、前記タイルの事前部分集合から別の部分集合を選定する手段を含む、
    ことを特徴とする請求項１０に記載の装置。
19. 画像全体内のタイルの選定を自動化するのに使用するコンピュータソフトウェアであって、前記ソフトウェアが、
    ａ）前記画像全体の同時生起行列及び前記画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性に基づいてタイルを識別する計算画像を生成する段階と、
    ｂ）前記計算画像の中で関心のある特性を示す可能性を有するタイルの事前部分集合を選定する段階と、
    ｃ）前記事前部分集合内のタイルに関して、色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す段階と、
    ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、前記事前部分集合からタイルの別の部分集合を選定する段階と、
    を実行するようにコンピュータ装置を制御する命令を組込んでおり、
    更に、過度のタイル重複の回避を考慮して前記タイルの事前部分集合から別の部分集合を選定する段階を実施する命令を有し、
    同時生起行列と、エントロピ画像と、前記画像全体の内部領域に比べて低照度である外部領域を前記計算画像から除外するよう構成されたビネットマスクとの組合せを使用して、前記計算画像を生成する段階を実施するための命令を有する、
    ことを特徴とするコンピュータソフトウェア。
20. 前記同時生起行列及び前記エントロピ画像を閾値処理してこれらを２進化することによって、前記計算画像を生成する段階を実施するための命令を有する、
    ことを特徴とする請求項１９に記載のコンピュータソフトウェア。
21. 前記画像全体が、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）画像であり、前記画像全体の緑色面から計算画像を生成する前記段階を実施するための命令を有する、
    ことを特徴とする請求項１９に記載のコンピュータソフトウェア。
22. 前記画像全体の同時生起行列を少なくとも使用し、関心のある画像特徴部を含むタイル領域（前景）及びこのような特徴部が無いタイル領域（背景）の両方の空間フィルタリングのために前記計算画像に対して形態学的クロージング演算を適用する、前記計算画像を生成する段階を実施するための命令を有する、
    ことを特徴とする請求項１９に記載のコンピュータソフトウェア。
23. 無作為処理によって事前部分集合を選定する段階を実施するための命令を有する、
    ことを特徴とする請求項１９に記載のコンピュータソフトウェア。
24. 無作為処理によって前記タイルの事前部分集合から別の部分集合を選定する段階を実施するための命令を有する、
    ことを特徴とする請求項１９に記載のコンピュータソフトウェア。
25. 癌グレーディングにおいて、色相／彩度／明度の変換を画像データに適用する段階と、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得る段階と、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算する段階とを実施するための命令を有する、
    ことを特徴とする請求項１９に記載のコンピュータソフトウェア。
26. ステロイド／タンパク質発現分析において、画像データを変換してシアン色画像データを提供する段階と、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算する段階とを実施するための命令を有する、
    ことを特徴とする請求項１９に記載のコンピュータソフトウェア。
27. 特徴部尺度と、非選定相当部よりも大きな（符号は無視）タイル重複との間の差異を示すタイルを選定することによって、前記タイルの事前部分集合から別の部分集合を選定する段階を実施するための命令を有する、
    ことを特徴とする請求項１９に記載のコンピュータソフトウェア。

Images