JPH11515097A

JPH11515097A - ニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーション・システム

Info

Publication number: JPH11515097A
Application number: JP9512263A
Authority: JP
Inventors: ラズ，ライアン，エス．
Original assignee: モルフォメトリックステクノロジーズインク．
Priority date: 1995-09-19
Filing date: 1996-09-18
Publication date: 1999-12-21
Also published as: AU6921496A; EP0850405A2; WO1997011350A3; US6463425B2; US20020123977A1; WO1997011350A2; US20020042785A1; CA2232164A1; AU726049B2

Abstract

(57)【要約】ニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーション・システム。本発明によれば、異なる光学帯域を有する３つの画像は生物学的な試料の同じ顕微鏡シーンとして取得される。それらの画像は加工され、セルラーマテリアルを識別する細胞物質マップは生成される。次いで、細胞物質マップはニューラル・ネットワークに適用される。ニューラル・ネットワークは細胞物質マップを細胞核対象及び細胞質対象へ、核領域を分離する３次元空間における閾値面を決定することによって分類する。別の特徴において、ニューラル・ネットワークはルックアップテーブルの形成のハードウェア符号化アルゴリズムからなる。

Description

【発明の詳細な説明】ニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーション・システム発明の分野本発明は、医学および生物学における自動化された診断技法に関し、特に、細胞核および細胞質のオブジェクトのマルチスペクトル・セグメンテーションのためのニューラル・ネットワークに関する。発明の背景医学および生物学の分野における自動診断システムは、顕微鏡画像の視覚的検査に頼ることが多い。既知のシステムは人間によって採用されている手順を模倣しようとしている。このタイプのシステムの適切な一例はパップスミア（Ｐａｐｓｍｅａｒ）のレビューまたは診断において細胞検査技師を支援するために設計された自動計測器である。通常の動作においては、そのようなシステムはパップスミアの細胞の内容の顕微鏡画像を迅速に取得する。これらの手順の目標は、普通でないか、あるいは潜在的に異常な子宮頸管の細胞を含んでいる可能性がある画像を識別することである。これらの自動計測器によって利用されている画像解析技法は人間の細胞検査技師によって行われている手順に対して意識的に、あるいは無意識に類似していることが多い。このタイプの評価のために順に実行しなければならない３つの明確な操作がある。それらは（１）セグメンテーション、（２）特徴抽出、および（３）分類である。セグメンテーションは顕微鏡画像の中の問題のオブジェクトの輪郭を明確化することである。解析のために必要な子宮頸管細胞の他に、子宮頸管細胞の識別を妨害する広範囲の「背景」物質、有機堆積物および汚染があり、したがって、輪郭が明確化されなければならない。また、各子宮頸管細胞に対して、細胞質と細胞核との輪郭を明確化する必要がある。特徴抽出の操作はセグメンテーション操作の完了後に行われる。特徴抽出はこれらの領域の形態学的、テクスチャ的、濃度計的、および色彩的な各属性に基づく一連のディスクリプタとしてそのセグメント化された領域を特性評価するステップを含む。分類のステップは画像解析における最終ステップである。前のステージにおいて抽出された特徴がいくつかのタイプの弁別手段による分類手順において使われる。次にこの分類の結果がその画像の中の細胞の「診断」に変換される。上記の３つのステージのうち、セグメンテーションが最も重要であり、且つ最も困難である。特に医学または生物学の試料において普通に遭遇する画像のタイプに対してそのことが言える。パップスミアの場合、セグメンテーションの目標は子宮頸管細胞とそれらの細胞核を正確に輪郭を明確化することである。その状況はスミアの中に見られる細胞の多様さによってだけでなく、サンプルの作成技法によって作り出される形態学的な変化によって、そしてこれらの試料に関連付けられた有機堆積物の量によって複雑なものとなる。さらに、調製時にスライドの表面に子宮頸管細胞が置かれる方法を制御することは困難であり、結果として大量の細胞のオーバラップおよび歪みが生じる。これらの状況下で、セグメンテーションの操作は困難である。これらのタイプの画像に対するセグメンテーションの精度およびスピードを改善するための１つの既知の方法は、すべてのパップスミアに関連付けられた示差着色（ｄｉｆｆｅｒｅｎｔｉａｌｓｔｒａｉｎｉｎｇ）の手順を利用することを含む。Ｐａｐａｎｉｃｏｌａｏｕプロトコルに従って、細胞核はダーク・ブルーに染色され、一方、細胞質はブルー・グリーンからオレンジ・ピンクまでのどれかの色に着色される。Ｐａｐａｎｉｃｏｌａｏｕの着色は病理学解析に対して重要な細胞の構造を強調し、輪郭を明確化するために設計された特定のプロトコルといくつかの着色剤または染料との組合せである。Ｐａｐａｎｉｃｏｌａｏｕ着色に含まれる着色剤または染料はヘマトキシリン、オレンジＧおよびエオシン空色（ビスマルク・ブラウンと一緒に２つの酸性染料、エオシンＹおよびライト・グリーンＳＦイエローを混合したもの）である。各着色成分は特定の細胞構造または物質に対して選択的にセンシティブであるか、あるいは結び付く。ヘマトキシリンは細胞核の物質に対して結び付き、それをダーク・ブルーに着色する。オレンジＧはケラチン蛋白質が含まれていることを示す。エオシンＹは細胞核、赤い血液細胞および成熟したうろこ状の上皮細胞を染色する。ライト・グリーンＳＦイエローの酸性着色剤は代謝的にアクティブな上皮細胞を染色する。ビスマルク・ブラウンは植物の物質およびセルローズを染色する。これらの着色剤の組合せおよびそれらの診断解釈は、コンピュータ支援型の画像計測器の出現に先立って安定な医学的プロトコルに進化してきた。その結果、染料は複雑なスペクトル特性のパターンを標準の画像解析手順に対して提示する。詳しく言えば、その染料の光学的挙動に基づいた単純なスペクトルの分解は、画像の中の細胞成分を高い信頼度で見分けるためには十分ではない。染料のスペクトル応答のオーバラップはこのタイプの直接的なセグメンテーションに対しては大き過ぎる。示差染色特性の使用は、セグメンテーションの問題に対する最終的な解を求めるための唯一の手段である。それと同等に重要なのは、アイデンティティに関する判定を行う時に細胞オブジェクトのスペクトル特性によって提供される情報を取り扱うための手順である。この技術の分野において、診断の手順を自動化するための試みがなされてきた。しかし、セグメンテーション・プロセスを実行するためのシステムに対するニーズが残っている。発明の簡単な概要本発明はニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーション（ＮＮＡ-ＭＳＳとも呼ばれる）の方法およびシステムを提供する。本発明による最初のステージは同じ顕微鏡シーンの３つの画像の取得を含む。各画像は異なる狭い帯域通過光学フィルタを使って得られる。そのフィルタには染色スペクトルの中の吸収ピークを識別することに関連している光の波長の狭い帯域を選択する効果がある。光の波長帯域の選定は、スライド表面上の細胞物質の異なるタイプを識別するために使われる時、これらのピークによって提供される分離の度合いによってガイドされる。本発明による第２のステージは元々細胞的であると既に判定されている物質のアイデンティティについての決定を行うためのニューラル・ネットワーク（代表的な例の広範な集合によって訓練されている）を含む。そのニューラル・ネットワークはディジタル化された画像の中の１つの画素がその性質において細胞核であるかどうかを判定する。このステップの完了時にシステムはセグメンテーションをリファインするために標準範囲の画像処理を適用し続けることができる。３つの各スペクトル帯域の中の光画像の細胞コンポーネントと光の伝送強度との間の関係は複雑であり、非線形的なものである。ニューラル・ネットワークを使ってこれらの３つの画像からの情報を組み合わせることにより、背景から子宮頸管細胞を分離し、細胞質からの細胞核の分離に成功する度合いを高くすることができる。線形の操作の集合だけでは成功は不可能である。パップスミアの診断および評価はＰａｐａｎｉｃｏｌａｏｕ着色と呼ばれる示差着色手順を導入することによって支援される。Ｐａｐａｎｉｃｏｌａｏｕ着色はいくつかの着色剤または染料と、病理学解析にとって重要な細胞構造を強調して輪郭を明確化するために設計された、特定のプロトコルとの組合せである。Ｐａｐａｎｉｃｏｌａｏｕ着色に含まれる着色剤または染料はヘマトキシリン、オレンジＧおよびエオシン空色（ビスマルク・ブラウンと一緒に２つの酸性染料、エオシンＹおよびライト・グリーンＳＦイエローを混合したもの）である。各着色成分は特定の細胞構造または物質に対して選択的にセンシティブであるか、あるいは結び付く。ヘマトキシリンは細胞核の物質に結び付き、それをダーク・ブルーに着色する。オレンジＧはケラチン蛋白質が含まれていることを示す。エオシンＹは細胞核、赤い血液細胞および成熟したうろこ状の上皮細胞を染色する。ライト・グリーンＳＦイエローの酸性着色剤は代謝的にアクティブな上皮細胞を染色する。ビスマルク・ブラウンは植物の物質およびセルローズを染色する。本発明の他の態様によれば、ディジタル化された画像の中のＰａｐａｎｉｃｏｌａｏｕ着色された上皮細胞をセグメント化するための複雑な手順の中で、３つの光学的波長帯域が使われる。その手順は標準のセグメンテーション操作（侵食、拡張など）をニューラル・ネットワークと一緒に使って既に細胞的物質であると判定されている領域の中の細胞核コンポーネントの位置を識別する。セグメンテーションの目的は細胞のオブジェクトを抽出すること、すなわち、細胞の核を細胞質から区別することである。このセグメンテーションに従って、マルチスペクトル画像は２つのクラスに分けられる。それらは細胞質オブジェクトおよび細胞核オブジェクトである。それらは三次元空間を含む多次元の閾値ｔによって分離される。本発明によるニューラル・ネットワークは確率プロジェクション・ニューラル・ネットワーク（ＰＰＮＮ）を含む。本発明によるＰＰＮＮの特徴は大量のデータに対する高速のトレーニング、マルチモードの非ガウス分布データの処理、細胞の有用なサブクラスを表しているパターンの小さいクラスタに対する高い感度を同時に備えた良好な一般化である。他の態様においては、ＰＰＮＮはハードウェア符号化アルゴリズムとして実装される。１つの態様において、本発明は生物学的試料の中の細胞核および細胞質のオブジェクトを識別するための方法を提供する。前記方法は（ａ）前記生物学的試料の複数の画像を取得するステップと、（ｂ）前記画像から細胞物質を識別して細胞物質のマップを生成するステップと、（ｃ）前記細胞物質のマップに対してニューラル・ネットワークを適用し、前記画像から細胞核および細胞質のオブジェクトを分類するステップとを含んでいる。第２の態様においては、本発明は生物学的試料の中の細胞核および細胞質のオブジェクトを識別するためのシステムを提供し、細胞システムは、（ａ）前記生物学的試料の複数の画像を取得するための画像取得手段と、（ｂ）前記画像を処理し、そして細胞物質を識別する細胞物質マップを生成するための処理手段と、（ｃ）前記細胞物質マップを処理するためのニューラル・プロセッサ手段とを含んでいて、前記画像からの細胞核および細胞質のオブジェクトを分類するための手段を含んでいる。第３の態様においては、本発明は入力データを分類するためのハードウェア符号化ニューラル・プロセッサを提供する。前記ハードウェア符号化ニューラル・プロセッサは、（ａ）複数のアドレス可能な記憶ロケーションを備えているメモリと、（ｂ）入力データに関連付けられた分類情報を含んでいる前記アドレス可能な記憶装置のロケーションと、（ｃ）選択された入力データに対して前記メモリの中に格納されている分類情報にアクセスするために、前記入力データからアドレスを発生するためのアドレス発生手段とを含んでいる。本発明の好適な実施形態が、例を示す方法によって、次の明細書、請求項、および図面を参照しながら以下に記述される。図面の簡単な説明図１は、本発明によるニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーションのフロー・チャートを示す。図２は、ニューラル・ネットワークに対する処理要素を図式的な形式で示す。図３は、図２の処理要素を含んでいるニューラル・ネットワークを図式的な形式で示す。図４は、ニューラル・ネットワークに対するトレーニング・ステップを図式的な形式で示す。図５は、本発明によるニューラル・ネットワークに対するクラスタリング・アルゴリズムをフロー・チャート形式で示す。図６は、本発明によるニューラル・ネットワークに対するハードウェアの実装を示す。好適な実施形態の詳細説明本発明はニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーション・システム（ＮＮＡ‐ＭＳＳとも呼ばれる）のシステムおよび方法を提供する。マルチスペクトル・セグメンテーションの方法は１９９６年７月１８日付けの同時係属出願の国際特許出願第ＣＡ９６／００４７７号および、その出願者の名前での特許出願の中に記述されて特許請求されている事項に関連している。本発明によるＮＮＡ‐ＭＳＳは特にＰａｐａｎｉｃｏｌａｏｕ着色の婦人科学的スミアに適しており、このコンテキストの中で説明される。しかし、本発明はＰａｐａｎｉｃｏｌａｏｕ着色型のスミア以外の応用に対しても広い適用性を有することを理解されたい。最初に図１を参照すると、本発明によるニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーション（ＮＮＡ‐ＭＭＳ）の方法１がフローチャート形式で示されている。最初のステップ１０は３つのディジタル化された画像、すなわち、細胞の試料の顕微鏡的シーンを入力するステップを含む。その画像はそれぞれ３つの狭い光学的帯域、すなわち、５４０±５ｎｍ、５７７±５ｎｍおよび６３０±５ｎｍにおいて取得される。（画像は画像システム（図示せず）によって発生される。そのことはこの分野に熟達した人には理解されることであり、したがって、ここでは詳細には説明されない。）次に、画像は以下に説明されるようなマルチセグメンテーションの方法１およびニューラル・ネットワークによって処理される。図１に示されているように、その画像はレベリング演算（ブロック１２）の対象となる。レベリング演算１２はその画像から照明の輝度における空間的変動を取り除くステップを含む。レベリング演算は既知の画像処理技法を使って単純な数学的ルーチンとして実装される。レベリング演算の結果はそれぞれのフィールドに渡って輝度が一様である一組のディジタル化された８ビットの画像である。ディジタル化された８ビット画像は先ず最初にそのディジタル化された画像の中の細胞物質を識別するために一連の処理ステップを通る。次に、ディジタル化された画像は細胞質のオブジェクトから細胞核のオブジェクトをセグメント化するためにニューラル・ネットワークによって処理される。図１を参照すると、レベリング演算１２に続いて、次の演算は閾値手順ブロック１４を含む。閾値手順は細胞が元になっている物質をサーチして、レベリングが行われた後の画像を解析するステップを含む。閾値手順１４は５３０ｎｍおよび６３０ｎｍの光学的波長帯域に対して適用され、特定のディジタル値の範囲内に入るディジタル化された画像の領域として、細胞が元になっている画像の中の物質を識別するステップを含む。閾値手順１４は画像の単独バイナリ「マップ」を作り出す。そのマップの中で、単独のバイナリ・ビットが細胞の物質であるかどうかの領域を識別する。閾値演算１４の次に拡張演算（ブロック１６）が続く。拡張演算１６はブロック１４の中で発生された細胞物質のバイナリ・マップを修正する従来の画像処理演算である。拡張演算によって、細胞物質の領域が、大きな領域の中の小さなボイドを埋めるために１ピクセルだけ成長、すなわち、拡張する。拡張演算１６は細胞物質の２つの別々の領域が結合して１つの領域になることができない状態、すなわち、「ノー・ジョイン」状態によって修正されることが好ましい。この状態によって、バイナリ・マップの精度が拡張演算１６全体を通じて保存される。拡張演算はボイドを正しく埋めることを保証するために、二度適用されることが好ましい。拡張演算１６の結果、細胞物質のバイナリ・マップが修正される。図１に示されているように、拡張演算１６の次に侵食演算（ブロック１８）が続く。侵食演算１８は細胞物質の修正されたバイナリ・マップ（拡張演算１６の結果）をその元の境界へ戻す。侵食演算１８は従来の画像処理技法を使って実装される。侵食演算１８によってその２値画像の中の細胞の境界が縮まるか、あるいは膨張する可能性があるが、埋められたボイドには影響しない。侵食演算１８はレーザ診断解析にとっては重要でない小さな領域の細胞物質を消去する追加の効果がある。侵食演算１８の結果、細胞質であるディジタル化された画像の中の領域の最終のバイナリ・マップである。本発明による次のステージはブロック２０におけるニューラル・ネットワークの演算である。ニューラル・ネットワーク２０は８ビットのディジタル化された画像に対して適用され、前の演算の結果として発生された最終のバイナリ細胞質マップによって決定される細胞質の内部にある領域だけに限定して、その８ビットのディジタル化された画像に対して適用される。ニューラル・ネットワーク２０は２値画像の中の個々の画素（すなわち、「ピクセル」）のアイデンティティ、すなわち、それが細胞核の一部であるか、あるいはそうではないかのいずれかに関する判定を行う。ニューラル・ネットワークの演算の結果、細胞核物質であるとみなされる細胞質内の領域のディジタル・マップが得られる。次に、その細胞核物質のマップがさらに処理の対象となる。本発明によるニューラル・ネットワーク２０について以下に詳細に説明される。ニューラル・ネットワーク２０の適用に続いて、その結果の細胞核物質のマップが侵食演算（ブロック２２）の対象となる。侵食演算２２は診断的な意味からは小さ過ぎる細胞核物質マップの領域を消去する。その結果、細胞核領域のバイナリ・マップが修正される。侵食演算２２の結果として修正されたバイナリ・マップは次に拡張演算（ブロック２４）の対象となる。拡張演算２４はノー・ジョイン状態、すなわち、拡張演算によって細胞核物質の２つの別々の領域を単独の領域に結合できない状態になる。この方法で、拡張演算が施されたにもかかわらず、そのバイナリ・マップの精度は保たれる。拡張演算２４はボイドを適切に埋めることを保証するために２回適用されることが好ましい。これらの拡張演算の結果、細胞核物質のバイナリ・マップが修正される。拡張演算２４に続いて、侵食演算（ブロック２６）が適用される。侵食演算２６を２回適用することによって、診断の意味では小さ過ぎるバイナリ・マップ内の細胞核物質の領域が消去される。その結果、細胞核領域のバイナリ・マップが修正される。残りの演算は勾配の大きい境界を共有する細胞核領域を分離するために、ピクセルの輝度の勾配の高い、すなわち、境界を含んでいるバイナリ・マップを構築するステップを含む。この勾配の大きい境界が存在することは、２つの密接しているが分離されている細胞核があることの証拠である。細胞核マップの中の勾配の高い境界を分離する最初のステップは、Ｓｏｂｅｌマップに対して適用される閾値演算（ブロック２８）を使ってこれらの勾配の高い境界のマップを構築することである。Ｓｏｂｅｌマップはピクセルの輝度（ブロック２９）の高い勾配を含んでいる画像の領域を判定するために、５７７ｎｍのディジタル化された８ビット画像に対してＳｏｂｅｌのグレディエント演算子を適用することによって発生される。（５７７ｎｍ帯域に対するディジタル化された８ビット画像はブロック１２におけるレベリング演算から得られたものである。）ブロック２９におけるＳｏｂｅｌ演算の結果、勾配の大きさの８ビット・マップが作られる。閾値Ｓｏｂｅｌ演算２８に続いて、論理否定演算が実行される（ブロック３０）。論理否定演算３０は２つの状態、すなわち、勾配の大きい状態と細胞核との一致を求め、その一致の点における細胞核マップのピクセル値を反転し、細胞核物質であると推察されている領域からそれを消去する。この論理演算の結果、細胞核マップが修正される。修正された細胞核マップは次に侵食演算の対象となる（ブロック３２）。侵食演算３２は修正された細胞核マップの中で、診断の意味では小さ過ぎる領域を消去する。その結果、細胞核領域のバイナリ・マップが修正される。接近した細胞核の境界を分離するためのグレディエント技法（ブロック２８および３０）および取るに足らない画像をクリアするための侵食演算（ブロック３２）を適用した後、細胞核領域のバイナリ・マップが劇的に変更されている。新しく形成された分離を維持しながら、元の境界に対してマップを復元するために、このプロセスはブロック３４において拡張演算を適用する。拡張演算３４は、２つの細胞核領域はそれらが拡張した時に結合された状態にはならず、そして細胞核領域が、Ｓｏｂｅｌの手順が適用される前に存在していたバイナリ・マップによって定義されるその古い境界の外側へは成長することができないという条件を含む。拡張演算３４は４回適用されることが好ましい。その結果、細胞核物質のバイナリ・マップが修正される。拡張演算３４の適用によって、マルチスペクトル・セグメンテーション・プロセス１による細胞核のセグメンテーション手順が完了し、そしてその結果のバイナリ細胞核マップはブロック３６においてラベル付けされ、そして必要な場合はさらに画像処理が適用される。上記のように、図１の中のブロック２０における演算は、ディジタル化された画像のニューラル・ネットワーク処理を含む。一般に、ニューラル・ネットワーク２０は有向グラフのトポロジーを持つ高度に並列の、分散型情報処理システムである。ネットワークは一組の「ノード」およびノード間の一連の「コネクション」を含む。ノードは処理要素を含み、ノード間のコネクションは１つのノードから別のノードへの情報の転送を表す。図２を参照すると、バックプロパゲーションのニューラル・ネットワーク２０に対する１つのノード、すなわち、処理要素１００ａが示されている。ノード１００ａの各々はそれぞれ個々にａ₁、ａ₂、ａ₃．．．ａ_nと図２の中で示されている１つまたはそれ以上の入力１０２を受け入れる。入力１０２はノード１００ａに取り込まれ、各入力１０２はそれ自身の数学的重み係数が乗算されてから、処理要素１００ａに対する閾値係数と一緒に集計される。次に、処理要素１００ａはネットワーク２０の中で使われている「伝達関数」に従って単独の出力１０４（すなわち、ｂ_j）を発生する。出力１０４はたとえば、図１の中で示されているような処理要素１００ｂ、１００ｃ、１００ｄ、１００ｅおよび１００ｆなどの他のノードまたは処理要素に対する入力として利用される。伝達関数は任意の適切な数学的関数であってよいが、普通は「シグモイド（ｓｉｇｍｏｉｄ）」関数が採用される。ノード１００への入力１０２と出力１０４との間の関係は次の式（１）によって与えられる。ここでｂ_jはノード１００の出力１０４であり、ａ_iは「Ｉ」とラベルが付けられたノードに対する入力１０２の値である。Ｗ_jiはその入力１０２に対して与えられている重みであり、そしてθ_jはノード１００に対する閾値である。本出願において、伝達関数はシグモイド関数に習ってモデル化されている。その一般的な形式において、ニューラル・ネットワークに対するノードまたは処理要素は図３に示されているように１０６、１０８および１１０によって示される一連の層に配置される。第１層１０６は１１２ａ、１１２ｂ、１１２ｃ、１１２ｄおよび１１２ｅと個別に示されているノードまたは処理要素１１２を含む。第１層１０６は入力層であり、判定に必要な情報を受け入れる。ニューラル・ネットワーク２０の中の第２層１０８は隠された層として知られており、個別に１１４ａ、１１４ｂ、１１４ｃ、１１４ｄおよび１１４ｅとして示されている処理要素１１４を含む。入力層１０６の中のすべてのノード１１２は、隠された層１０８の中のすべてのノード１１４に対して接続されている。２つ以上の隠された層があって、次々の層の中の各ノードは前の層の各ノードに接続されている可能性があることは理解される。簡単のため、図３には１つの隠された層１０８だけが示されている。（最後の）隠された層１０８は出力層１１０につながっている。出力層１１０は図３の中で個別に１１６ａ、１１６ｂ、１１６ｃ、１１６ｄおよび１１６ｅとして示されている処理要素１１６を含む。（最後の）隠された層１０８（図３）の各ノード１１４は出力層１１０の各ノード１１６に接続されている。出力層１１０はその判定がそれ以降の計算装置によって解釈されるようにする。ニューラル・ネットワーク・アーキテクチャの強さは、特定の例についての以前のトレーニングに基づいて一般化するための能力である。これを利用するために、ニューラル・ネットワークは分類されるオブジェクトのタイプの一連の例が提示される。バックプロパゲーションのニューラル・ネットワークは正しい判定を与えることに成功したことに従って、そのコネクションの重みおよび閾値の多重度を変更することによってそれ自身を編成する。これはスーパバイズ型の学習と呼ばれ、その場合、オペレータはネットワークにその分類における成功に従った情報を提供する。ネットワークはその性能、すなわち、バックプロパゲーションの成功に基づいて、そのコネクションの重みおよび閾値を変更するために標準の一般規則を適用する。マルチスペクトルのセグメンテーション・プロセスのコンテキストにおいて、マルチスペクトル画像は２つのクラスＣ₀‐細胞質およびＣ₁‐細胞核に分けられる。その分離は三次元空間を含む多次元閾値ｔによって行われる。細胞核および細胞質のオブジェクトに対するピクセルの分布は複雑であり、そして三次元空間は多数のクラスタおよび非オーバラップ型の領域を含む。最適の閾値は三次元空間において非線形表面を有し、本発明によるニューラル・ネットワークは細胞核および細胞質のオブジェクトをセグメント化するための三次元空間の中の複雑な閾値表面を探すための手段を提供する。本発明のこの態様によると、ニューラル・ネットワーク２０は入力層１０６、単独の隠された層１０８、および出力層１１０を含む。入力層１０６は調べられている特定のピクセルに対する、ディジタル化された３つの８ビット値の各々に対して３つのノードまたは処理要素１１２（図３）を含む。（３つのディジタル化された値は図１に関連して上記のように３つの各光学帯域の中で取得されてレベル化された３つの画像から発生する）出力層１１０は単独の処理要素１１６（図３）を含み、それは調べられているピクセルが細胞核の一部であるかどうかを示す。ニューラル・ネットワーク２０が判定を行うために正しく演算することができる前に、それは先ず重みおよび閾値の適切な組合せを設定するために「訓練」されなければならない。このトレーニングは例題の大きな集合についてセグメンテーション手順の外部で実行される。その例題の中のピクセルの分類における誤りは各処理ユニットの中のコネクションの重みおよび閾値に対する補正として「バックプロパゲート」される。分類の誤りが許容できるようになると、ネットワークはこれらの重みおよび閾値で「凍結」され、そしてそれは図１の中のブロック２０において示されるようにセグメンテーション手続きの中に単純な代数演算として統合化される。１つの好適な実施形態においては、本発明によるニューラル・ネットワーク２０は１つの確率プロジェクション・ニューラル・ネットワークを含み、それもＰＰＮＮと呼ばれる。本発明によるＰＰＮＮの特徴は大量のデータに対する高速のトレーニング、マルチモーダル非ガウス分布データの処理、細胞の有効なサブクラスを表している小さなクラスタのパターンに対する、高いセンシティビティと同時に良好な一般化である。他の態様においては、ＰＰＮＮはハードウェア・エンコード型の実装によく適している。本発明によるＰＰＮＮは確率密度関数（ＰＤＦ）のエスティメータ（ｅｓｔｉｍａｔｏｒ）を利用する。結果として、そのＰＰＮＮは確率密度関数のエスティメータとして、あるいはパターン認識における一般的な分類器として適している。そのＰＰＮＮはトレーニング・データを使ってＮ次元のＰＤＦ配列を生成し、その配列がさらに以下に説明されるように、与えられたクラスの内部に特徴ベクトルがある確率を評価するために使われる。ＰＰＮネットワークを生成して訓練するために、入力空間がｍ×ｍ×．．．ｍのディスクリート・ノード（ディスクリートな入力空間が知られている場合、ｍは普通はその範囲より小さく選択される）に区画化される。たとえば、三次元のＰＤＦ配列の場合、２⁶×２⁶×２⁶のグリッドを生成するだけで十分である。図４に示されているように、次のステップは各トレーニング・パターンの影響を隣接するノードに対してマップするか、あるいは投影するステップを含む。これは以下の式（２）に従って行われる。ここでｐ_J［Ｘ₀，Ｘ₁，．．．，Ｘ_N-1］はｊ番目の繰返しの後の［Ｘ₀，Ｘ₁，．．．，Ｘ_n-1］ノードの現在の値であり、ｄｊ［Ｘ₀，Ｘ₁，．．．，Ｘ_n-1］は［Ｘ₀，Ｘ₁，．．．，Ｘ_n-1］ノードに対するｊ番目の入力パターンの影響を表し、ｒ_kはそのパターンからｋ番目のノードまでの距離であり、ｒ₀は２つの隣接ノード間の最小距離であり、そしてｎは空間の次元である。式（１）から、は正規化された値を表すことが理解される。Ｐ_N［Ｘ₀，Ｘ₁，．．．，Ｘ_n-1］（ここでｊ＝Ｎ−トレーニング・パターンの数）の累積が完了すると、正規化の演算が行われて、ＰＰＮＮに対する合計のエネルギー値Ｅ_PPN−１が得られる。ＰＰＮＮに対する正規化された値（すなわち、Ｐ^*）は次の式（３）に従って計算される。フィードフォワードの計算の場合、訓練されて正規化されたノードＰ^* _N［Ｘ₀ ，Ｘ₁，．．．，Ｘ_n-1］および逆のマッピングが以下の式（４）に従って利用される。ここでｄ_j ⁽¹⁾［Ｘ₀，Ｘ₁，．．．，Ｘ_n-1］は上記の式（１）によって計算される。２つのクラス（すなわち、Ｃ₀‐細胞質およびＣ₁細胞核）を解くために、本発明によるＰＰＮＮを使うアプリケーション、２つのネットワークは各クラスに対して別々に、すなわち、Ｐ_C0［Ｘ₀，Ｘ₁，．．．，Ｘ_n-1］およびＰ_C1［Ｘ₀，Ｘ₁ ，．．．，Ｘ_n-1］に対して別々に訓練されなければならない。両方のＰＰＮＮが正規化されているので、それらは以下の式（５）に従って一緒に結合することができる。式（４）および式（５）からの最終の判定は次の式で与えられる。本発明によるＰＰＮＮは特にマルチモーダル・データ分布に適しているが、多くの実際的な状況においては、不平衡のデータ・セットがある。これは或るクラスタは他のクラスタよりデータのサンプル数が少なく、そして結果として、少数のパターンで表されていたいくつかの自然クラスタは、ＰＰＮＮの結合後に失われてしまう可能性がある。この問題を解決するために、本発明の他の態様に従ってすべての自然クラスタを等化するアルゴリズムが提供される。次に図５を参照すると、本発明によるクラスタリング・アルゴリズム２００の１つの実施形態がフロー・チャート形式で示されている。すべてのトレーニング・パターン、すなわち、ブロック２０２の中のＮ個のサンプルおよびブロック２０４の中の与えられた数、すなわち、「Ｋ」のクラスタがＫ平均クラスタリング演算ブロック２０６に対して印加される。クラスタリング演算２０６は入力データをクラスタ化し、クラスタ１〜Ｋを発生する（ブロック２０８）。次に、ｉ番目のクラスタに属するすべてのトレーニング・データが抽出されて別のサブクラスに入れられる。トレーニング・データの各サブクラスに対して、正規化されたＰＰＮＮ、すなわち、Ｅ₁＝１が生成される（ブロック２１０）。クラスタリング・アルゴリズムの中の最終の演算はＫ個のＰＰＮＮのすべてを一緒に結合し、すべてのノードをクラスタの数で分けることによって、結果のＰＰＮＮを正規化するステップ（ブロック２１２）を含む。ブロック２１２において実行される演算は次の式で表すことができる。クラスタリング・アルゴリズム２００は上記の式（６）に従って最終の分類を生成する前に、各クラスに対して別々に次のように実装することができる。２つの各クラスに対するクラスタの最適個数は最終のＰＰＮＮパーフォーマンス解析（上記の式（６））から見出すことができる。先ず最初に、ＰＰＮ₂＝１に対するクラスタの個数が固定され、そしてＰＰＮ₁に対するクラスタの最適個数が見出される。次に、逆の変形がＰＰＮ₁＝１、ΛＰＰＮ₂＝ｏｐｔとしてモデル化される。最後に、２つの最適ネットワークＰＰＮ₁ ^optΛＰＰＮ₂ ^optが式（６）に従って組み合わせられる。ニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーション・プロセスが、本発明による確率プロジェクション・ニューラル・ネットワークによって説明されているが、他の従来型のニューラル・ネットワーク、たとえば、バックプロパゲーション（ＢＰ）ネットワーク、楕円基本関数（ＥＢＰ）ネットワーク、および学習ベクトル量子化（ＬＱＶ）ネットワークなどが適していることは理解される。しかし、ＰＰＮＮの方が好ましい。確率プロジェクション・ニューラル・ネットの性能の結果は従来のネットワークによって達成される性能を超えていることが分かっている。本発明の他の態様によれば、ニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーション・プロセスは特殊目的のコンピュータの一部として従来のＦＰＧＡ（ＦｉｅｌｆＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）ロジックで組み入れられたハードウェア・エンコード型の手順として実装される。このネットワークのハードウェア実装はハードウェア・メモリ（図６）の一部に含まれているルックアップ・テーブルの形式で見られる。上記のように、ニューラル・ネットワーク２０は３つの入力ノードおよび単独のバイナリ出力ノードを含む。本発明によるニューラル・ネットワーク２０の構造によって、ネットワークのハードウェア実装も単純化される。図６に示されているように、３つの入力ノードは画像を取得する際に使われる３つの光学的帯域３０１、３０２、３０３に対応する。５３０ｎｍおよび６３０ｎｍの帯域において取られた画像は有効分解能が７ビットであり、一方、５７７ｎｍの帯域は全８ビットを保有する。（５７７ｎｍの帯域は細胞核に中心がある）次に、ニューラル・ネットワーク２０の性能が、これらの３つの入力の可能なすべての組合せに対して求められる。全体で２２ビットあるので、２²²すなわち、４２０万通りの可能な組合せがある。ルックアップ・テーブルを生成するために、その空間の中のすべての入力ピクセル（この実施形態における３つの画像に対しては２⁷×２⁷×２⁸個の変形）が走査され、そしてルックアップ・テーブルがＰＰＮＮの判定、すなわち、１‐「ピクセルが細胞核に属している」；０‐「ピクセルは細胞核に属していない」が、これらのピクセルの組合せのすべてに対して埋められる。このニューラル・ネットワークの結果のコーディング（すなわち、出力）は入力の可能な各組合せをメモリの中に格納されているルックアップ・テーブル３０５の中のユニークなアドレス３０４に割り当てることである。テーブル３０５の中のアドレス３０４は、図６の中でそれぞれ３０６、３０７、３０８によって示されている３つのチャネル値のバイナリ値を一緒に結合することによって形成される。たとえば、図６に示されているように、第１のチャネル３０１（すなわち、５３０ｎｍ）からの画像に対するピクセルはバイナリの０１０１０１１であり、第２のチャネル３０２（すなわち、６３０ｎｍ）からの画像に対するピクセルはバイナリの０１０１０１１であり、そして第３のチャネル３０３（すなわち、５７７ｎｍ）からの画像に対するピクセルはバイナリの０１０１０１１であり、そしてバイナリ表現３０６、３０７、３０８を一緒に連結することによって、アドレス３０４が形成され、その値はバイナリの０１０１０１１０１０１０１１００１０１０１１となる。アドレス３０４は、入力のこの組合せに対するニューラル・ネットワークの応答を表す単独のバイナリ値３０９を格納している、ルックアップ・テーブル３０５（すなわち、メモリ）の中の１つのロケーションをポイントする。たとえば、メモリ・ロケーション０１０１０１１０１０１０１１００１０１０１１の値が論理０であれば、それはその問題のピクセルがその細胞核には属していないことを意味する。ＮＮＡ‐ＭＳＳのハードウェア・エンコーディングによって、複雑な判定を行いながら、高速でそのプロセスが実行することができる。第２に、実験データがさらに作表され、評価されて、さらに複雑な判定空間を使ってセグメンテーションの精度を改善することができる。このように、本発明によるアルゴリズムはシステムのアーキテクチャを変える必要なしに、ニューラル・ネットワークのコネクションを記述する係数のテーブルを調整することによって、さらに最適化することができる。本発明はその精神または不可欠な特性から離れることなしに、他の特定の形式で実現することができる。したがって、ここで説明されている実施形態は説明的なものであって、制限的なものではないと考えられ、したがって、前記の説明ではなく付加されている請求項によって示されている本発明の請求範囲、および請求項と等価の意味および範囲内にあるすべての変更がここに含まれるべきであることが意図されている。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ０６Ｆ 15/18 ５６０Ｇ０６Ｆ 15/18 ５６０ＣＧ０６Ｔ 7/00 15/70 ４６５Ａ 15/62 ３９５ (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ

Claims

【特許請求の範囲】１．生物学的試料の中の細胞核および細胞質のオブジェクトを識別するための方法であって、該方法が、（ａ）前記生物学的試料の複数の画像を取得するステップと、（ｂ）前記画像から細胞物質を識別し、細胞物質のマップを生成するステップと、（ｃ）前記細胞物質のマップに対してニューラル・ネットワークを適用し、前記画像から細胞核および細胞質のオブジェクトを分類するステップとを含む方法。２．請求項１に記載の方法において、前記の複数の画像を取得するステップが、前記生物学的試料に対する顕微鏡的シーンの３つのディジタル化された画像を取得するステップを含んでいる方法。３．請求項２に記載の方法において、細胞物質のマップを生成する前記ステップが、細胞物質を含んでいる細胞画像の中の領域を識別するための閾値演算を含んでいる方法。４．請求項３に記載の方法において、前記細胞物質のマップに対して拡張および侵食の演算の適用をさらに含んでいる方法。５．請求項１に記載の方法において、ニューラル・ネットワークを適用する前記ステップが、分類されるべき細胞核および細胞質のオブジェクトのタイプの例題で前記ニューラル・ネットワークを訓練するステップを含み、そして前記トレーニング・ステップは、前記サンプルの分類におけるバックプロパゲーションの誤差を含んでいる方法。６．請求項１に記載の方法において、細胞核および細胞質のオブジェクトを分類する前記ステップが、三次元空間における閾値曲面を決定するステップを含み、そして前記細胞核および細胞質のオブジェクトが前記三次元空間によって分離されるようになっている方法。７．請求項６に記載の方法において、前記ニューラル・ネットワークは確率プロジェクション・ニューラル・ネットワークを含んでいる方法。８．請求項７に記載の方法において、前記確率プロジェクション・ニューラル・ネットワークは、確率密度関数のエスティメータを使って、特徴ベクトルが与えられたクラスの中にあることを評価するようにした方法。９．請求項８に記載の方法において、前記画像の中に現われているデータのクラスタを等化するステップをさらに含んでいる方法。１０．生物学的試料の中の細胞核および細胞質のオブジェクトを識別するためのシステムであって、該システムが、（ａ）前記生物学的試料の複数の画像を取得するための画像取得手段と、（ｂ）前記画像を処理するための処理手段および細胞物質を識別する細胞物質マップを生成する手段と、（ｃ）前記細胞物質のマップを処理し、そして前記画像から細胞核および細胞質のオブジェクトを分類するための手段を含んでいる、ニューラル・プロセッサ手段とを含むシステム。１１．請求項１０に記載のシステムにおいて、前記ニューラル・プロセッサ手段はメモリの中に格納されているルックアップ・テーブルを含み、前記メモリはアドレス可能なロケーションの中に格納されている判定出力を有し、前記画像入力の組合せに対応している前記判定出力を読み出すために、前記メモリに対するアドレスを生成するためのアドレッシング手段を含んでいるシステム。１２．請求項１１に記載のシステムにおいて、前記アドレッシング手段は前記画像に対応しているバイナリ値を組み合わせ、前記組み合わされたバイナリ値から前記メモリにアクセスするためのアドレスを形成するための手段を含んでいるシステム。１３．請求項１０に記載のシステムにおいて、前記ニューラル・プロセッサ手段は確率プロジェクション・ニューラル・ネットワークを含み、そして特徴ベクトルが与えられたクラスの範囲内にあることを評価するための確率密度関数エスティメータを含んでいるシステム。１４．請求項１３に記載のシステムにおいて、前記ニューラル・プロセッサ手段は前記画像の中のデータのクラスタ数を等化するための等化手段を含んでいるシステム。１５．請求項１０に記載のシステムにおいて、前記ニューラル・プロセッサ手段は三次元の空間における閾値曲面を求めるための手段を含み、前記細胞核および細胞質のオブジェクトが前記三次元空間によって分離されるようにしたシステム。１６．入力データを分類するためのハードウェア・エンコード型のニューラル・プロセッサであって、前記ハードウェア・エンコード型のニューラル・プロセッサは、（ａ）複数のアドレス可能な記憶ロケーションを有するメモリと、（ｂ）入力データに関連付けらた分類情報を含んでいる前記アドレス可能なメモリのロケーションと、（ｃ）選択された入力データに対する前記メモリの中に格納されている分類情報にアクセスするために、前記入力データからアドレスを生成するためのアドレス生成手段とを含むプロセッサ。１７．請求項１６に記載のデバイスにおいて、前記入力データは細胞物質のディジタル化された画像の中の画像ピクセルを含んでいるデバイス。１８．請求項１７に記載のデバイスにおいて、前記分類情報は前記メモリの前記アドレス可能なロケーションのそれぞれに格納されているバイナリ・ディジットを含み、前記バイナリ・ディジットの１つの状態は前記入力データが所定のクラスに属していることを示し、そして前記バイナリ・ディジットの他の状態は入力データが前記クラスの外側にあることを示しているデバイス。